苹果发表最快3D数字人生成器HUGS，30分钟创建赛博数字人分身，渲染仅需16毫秒

方法

本文介绍了一种自动分离和表示人体和静态场景的方法，使用3D高斯模型。该方法使用SMPL身体模型和COLMAP的结构光点云初始化人体和场景高斯模型。文章首先简要回顾了3D Gaussian Splatting和SMPL身体模型，然后介绍了在3D高斯框架中建模和动画人体时所面临的挑战以及提出的解决方法。

预备知识

3D Gaussian Splatting（3DGS）是一种用3D高斯函数表示场景的方法，每个高斯函数由位置、不透明度、中心、协方差矩阵和球谐函数组成。在渲染时，高斯函数被投影到图像平面上形成2D高斯函数，通过alpha混合计算像素颜色。SMPL是一个参数化的人体模型，可以控制姿态和形状，通过姿态和形状参数将模板人体网格转换到形状空间。

SMPL模型是一个可动画的人体网格模型，它利用线性混合蒙皮技术将人体网格动画化。该模型适用于身体类型的标准化，但不包括头发和服装等细节。我们的方法利用SMPL网格和LBS技术进行初始化，然后利用高斯函数来模拟头发和服装等细节。

人类高斯图像

使用预训练的SMPL回归器来估计每个图像的SMPL姿势参数和共享的身体形状参数。使用学习的LBS驱动3D高斯模型来表示人体，并输出高斯模型的位置、旋转、缩放、球谐系数和相对于关节的LBS权重。人体高斯模型构建在一个规范空间中，其中包含一个特征三面板和三个多层感知器（MLPs）来预测高斯模型的属性。规范空间是SMPL的一个预定义姿势空间。

渲染过程。给定关节配置G，渲染图像的过程如下：对于每个高斯函数，首先在其中心位置µi处插值三维平面，得到特征向量fxi，fyi，fzi∈Rd。特征fi表示第i个高斯函数，是fxi，fyi，fzi的连接。将fi作为输入，外观MLP DA输出第i个高斯函数的RGB颜色和不透明度；几何MLP DG输出到中心位置的偏移量∆µi，旋转矩阵Ri（由前两列参数化）和三个轴的比例Si；变形MLP DD输出该高斯函数的LBS权重Wi∈Rnk。使用LBS和关节变换G来转换人体高斯函数，然后将其与场景高斯函数合并并投射到图像平面上。渲染过程是端到端可微分的。

优化。优化中心位置、特征三面体和三个MLP的参数。使用L1损失、SSIM损失和感知损失来比较渲染图像和真实图像。还使用预训练的分割模型获取人体区域，并使用相同的损失函数进行比较。通过ℓ2损失将学习到的LBS权重W约束为接近SMPL的权重。最终的损失函数由多个部分组成，使用Adam优化器进行优化。

使用SMPL网格模型的顶点作为高斯分布的中心，并使用预训练的特征三面板和MLP来输出RGB颜色、透明度、旋转和缩放等参数。预训练过程中，使用了SMPL网格模型和LBS权重进行初始化和正则化。在测试过程中，不再使用SMPL网格模型和LBS权重。

本文介绍了一种基于高斯混合模型的人体建模方法。该方法使用三维高斯分布来表示人体的形状和姿态，并通过优化来拟合输入的人体数据。在优化过程中，使用克隆、分裂和修剪高斯分布来避免局部最小值。

测试时渲染。优化后，可以直接使用LBS权重来动态渲染人体姿态，无需重新计算高斯分布。该方法的优点是可以高效地表示人体形状和姿态，并且可以直接应用于动态渲染。

定量结果

在NeuMan数据集和ZJU Mocap数据集上的实验结果表明，HUGS在重建质量和速度方面均优于现有方法NeRF-T、HyperNeRF、NeuMan和Vid2Avatar。

在渲染速度方面，HUGS比NeuMan快了7600倍，比Vid2Avatar快了3800倍。

消融分析

实验结果表明，HUGS可以有效地重建人体模型，并且在去除LBS、禁用densification、去除Lh loss和直接优化3DGS参数等方面进行了实验和分析。在NeuMan数据集上，该方法在人体区域的PSNR、SSIM和LPIPS指标上表现出色。