阿里发表Make-A-Character，AI头像生成工具，几分钟内即可生成高质量3D的动画人物头像

“Make-A-Character: High Quality Text-to-3D Character Generation within Minutes”

简介

Mach利用大型语言和视觉基础模型，从简单的文本描述中生成逼真的3D头像。该系统具有可控性、高度逼真、完整性、可动性和行业兼容性等特点。用户可以通过直观的文本提示自定义头像的面部特征和服装，而且这些头像可以无需额外建模即可用于各种情境。

Dense Landmark检测

面部标记点在重建三维面部结构中的重要性，传统的68或98个面部标记点只能覆盖有限的面部区域，缺乏额头等区域的标记点，因此本文提出了利用密集面部标记点来重建面部和头部几何形状的方法。为了获得密集面部标记点，本文采用了合成图像进行训练，并使用了多视角捕捉和处理流程来生成统一拓扑结构的头部几何形状和面部纹理。同时，本文还使用了多种数字资产来创建完整的人头模型，并使用了经典的52个混合形状来生成不同的面部表情。在面部标记点检测方面，本文采用了堆叠沙漏网络来回归每个面部标记点的热图。最后，本文通过计算FaceScape数据集中98个面部标记点的重投影误差来评估方法的性能。

几何生成

通过将每个顶点的位置映射到三个正交平面上，可以将3D网格表示为三通道图像。通过引入投影损失、总变差损失和对称损失等约束，可以实现头部几何的生成。最终的损失函数包括标记投影损失、顶点损失、对称损失等。

纹理生成

纹理提取

首先通过几何生成得到几何模型，然后采用不同iable渲染方法得到所需的纹理图像。为了解决像素位置和UV坐标之间不一定存在一一对应关系的问题，采用多分辨率方法逐步生成纹理。最后通过计算渲染图像和目标图像之间的损失来优化纹理生成。

漫射反照率估计

直接使用可微渲染得到的纹理是不理想的，因为它不能完全分离纹理图像中的照度和漫射反照率分量。因此，当在不同的照明条件下渲染时，包含烘焙照明的纹理可能会导致明显的不现实的阴影和阴影。为了解决这个问题，我们引入了一种神经愉悦的方法，从纹理图像中去除不需要的光照，得到可渲染的漫射反照率。值得注意的是，我们的愉悦算法适用于纹理图像而不是肖像图像。这是一个有意的选择，因为纹理图像没有遮挡，并且在肖像的不同姿势和表情中保持一致，使得数据采集和算法学习更容易处理。

真实数据收集。我们在均匀照明下捕获了193个个体的面部。通过重建几何图形，我们获得了未扭曲的高分辨率漫反射率。

训练数据生成。不同照度下的纹理通过烘烤光合成为地面真实弥散反照率。为了覆盖广泛的自然采光条件，我们为每个地面真实数据烘焙100个高动态范围(HDR)灯(包括室内/室外，白天/夜晚场景)。为了提高数据的多样性，避免过拟合，根据个体类型角(Individual typogy Angle, ITA)对地面真散射反照率的肤色进行增强。

网络。在不失去一般性的前提下，我们将纹理愉悦问题表述为图像到图像的转换问题。具体来说，我们采用了粗至细的pix2pixHD网络，该网络将合成的照明纹理作为输入，生成具有视觉吸引力的高分辨率漫射反照率。损失函数被定义为GAN损失和VGG特征匹配损失的加权组合。

纹理校正和补全

本文介绍了一种纹理修正和补全的流程，用于解决单个正面肖像图像所生成的漫反射反照率在眼睛、嘴巴和鼻孔区域周围可能存在的伪影问题。该流程利用面部解析算法提取这些容易出错的区域的掩模，并使用Poisson方法将其与模板漫反射反照率进行膨胀和合并。此外，还将口部和眉毛的颜色从肖像图像转移过来以保持面部特征，并在眼睛和脸颊周围添加化妆来提高美感。最后，将面部区域与模板漫反射反照率进行Poisson混合以获得耳朵和颈部的纹理。

头发生成

为了生成高保真的3D头像，使用单独的发丝而不是网格来渲染头发。通过SD模型合成各种发型图像，然后从这些2D图像中进行基于发丝的3D重建。使用SOTA研究和USC-HairSalon数据集训练模型，重建过程包括占用和方向场的估计以及几万个发丝的几何描述生成。生成的发型资产与现有的元人类头发一起标记属性，以实现高效匹配。由于实时发型生成耗时，选择离线生成多样化的发型资产。

资产匹配

使用CLIP的文本编码器计算输入提示和资产标签之间的余弦相似度，以选择最合适的资产。资产包括头部、发型、身体、服装和一些配件，每个资产都带有文本注释。将这些资产整合在一起，构建一个完整的3D角色。