DreamGaussian4D：高效4D动画生成，生成时间从几小时缩短至几分钟

“DreamGaussian4D: Generative 4D Gaussian Splatting”

简介

近年来，生成模型在生成数字内容方面取得了显著进展，包括2D图像、视频和3D场景。然而，4D动态场景的生成仍然存在一些挑战，包括一致性和高质量。目前已有一些研究致力于4D生成，但仍需要更多的工作来解决这些问题。现有的4D生成模型需要花费数小时才能生成一个4D NeRF，并且生成的动作难以控制。

本文介绍了DreamGaussian4D框架，可以在几分钟内高效生成具有4D高斯喷洒的动态场景。该框架采用了可变形高斯喷洒表示法，显式建模空间变换，从而大大简化了4D生成中的动态优化。作者提出了更好的训练方法DreamGaussianHD，学习运动的驱动视频来替代常用的视频扩散模型。最后，作者提出了视频到视频纹理细化策略，进一步提高了导出动画网格的质量。

4D生成

4D生成技术的研究进展，旨在生成动态的3D场景，适用于动画、游戏和虚拟现实等图形应用。目前的研究主要集中在利用文本到视频扩散模型来提炼4D内容，并通过渲染视频来优化4D表示。近期的研究致力于进一步提高逼真度，但优化时间和计算成本仍然很高。同时，4D内容与运动相互耦合，因此缺乏生成运动的多样性和控制性。最近的一些工作提出了从输入图像中获取4D模型的方法，但仍然遵循视频提炼框架，优化时间长且缺乏有效的运动控制。本文提出了一种基于图像条件生成视频的方法，可以在同一静态模型上生成多样的运动。与现有的一些方法相比，本文的方法需要更少的优化迭代次数。

DreamGaussianHD用于静态生成

DreamGaussian是一个用于图像到3D生成的模型，但是原始版本存在一个问题，就是在生成静态模型的未见区域时会引入显著的模糊，这会对后续的动态优化过程产生不利影响。为了解决这个问题，研究者们设计了一种改进的实现方法，称为DreamGaussianHD，它可以可靠地提高图像到3D生成的质量，虽然会增加一定的优化时间。

多视角优化

DreamGaussian在SDS优化过程中通常只对参考视图进行采样，这导致优化和收敛不平衡。通过增加每次优化步骤中采样的视图数量（批处理大小），可以显著缓解这个问题。例如，采样16个视图可以在3D高斯分布的未见区域生成高质量的几何形状。然而，这种方法会增加SDS计算的内存使用量并延长优化时间。

修复底色

3D图像扩散模型通常使用白色背景渲染训练对象，而黑色背景会引入噪声，导致模糊。为了获得更精细的结果，DreamGaussian在背景颜色上采样白色。

高斯变形用于动态生成

生成驱动视频

本文提出了一种新的图像到4D生成方法，与其他方法不同的是，它使用任何描绘输入图像的视频进行显式监督。该方法不依赖于视频扩散模型，因此可以选择质量更高、具有更好时间一致性和运动的视频，从而实现更好的可控性和多样性。作者使用了现成的稳定扩散视频生成器来生成视频。

静态到动态初始化

为了将静态的3D高斯分布转化为动态的4D高斯分布，使用变形网络来预测每个高斯分布在时间戳下的位置、旋转和缩放的变化。为了避免随机初始化变形网络导致动态和静态模型发散，初始化变形模型以预测零变形。为了实现梯度反向传播，引入跳跃连接到预测头中。

变形场优化

通过优化变形场来实现从参考视角到整个3D模型的运动传播，并利用Zero-1-to-3-XL来预测未见部分的变形。在训练过程中，采样多个视角以保持时序一致性。由于静态模型初始化，可以在较低的噪声水平下开始SDS。

视频到视频纹理优化

本文介绍了一种视频重建方法，通过提取每一帧的网格来实现，但这些网格缺乏时间关联，因此采用了视频到视频的流程来增强UV空间纹理映射并保持时间一致性。该流程包括合成相机轨迹、渲染视频、引入噪声和使用图像到视频扩散模型来转换噪声视频为干净的视频。最后，通过计算MSE损失并反向传播来改善所有时间步骤的纹理映射。