Adobe发布创新的DMV3D方法 单个A100生成3D图像只需30秒

　　近期，Adobe研究院和斯坦福大学的研究者推出了一项创新的3D生成方法，命名为DMV3D。通过基于Transformer的新型单阶段全类别扩散模型，该方法能在单个A100GPU上仅需30秒的时间内生成高保真3D图像。DMV3D通过将2D多视图图像扩散、3D NeRF重建和渲染集成到一个端到端的训练过程中，成功避免了传统方法中的问题。

　　这项研究的关键在于使用稀疏的多视图投影作为训练数据，以解决传统3D生成方法中存在的模糊和难以去噪的问题。相比之下，DMV3D展示了在单个图像或文本输入的情况下实现3D生成的能力。通过固定一个稀疏视图作为无噪声输入，并对其他视图进行类似于2D图像修复的降噪，DMV3D能够在30秒内生成各种高保真3D图像，这一成果超越了先前基于SDS的方法和3D扩散模型。

　　研究者还介绍了DMV3D的训练和推理过程，包括基于重建的多视图降噪器的构建、多视图扩散和去噪的方法以及模型的时间和相机调节。此外，通过引入文本或图像的条件降噪器，DMV3D实现了可控的3D生成，为无条件生成模型提供了更多可能性。

　　这一创新方法的提出对于AI视觉领域的3D生成研究具有重要意义，不仅在技术上解决了传统方法的问题，而且在性能上取得了SOTA的成果。该研究为未来的VR、AR、机器人技术和游戏等应用领域提供了新的可能性。