利用NeRF 谷歌研究通过简单文本生成3D图像

　　对于谷歌日前介绍的Dreamfusion，只需输入简单的文本提示，这个利用2D数据训练出来的模型可以为你生成相应的3D图像。

　　Dreamfusion是生成性3D人工智能系统Dream Fields的进化。对于Dream Fields，它利用了NeRF生成3D视图的能力，并将其与CLIP评估图像内容的能力相结合。文本输入后，未经训练的NeRF模型从单个视点生成随机视图，并通过CLIP进行评估。反馈用作NeRF模型的校正信号。这个过程从不同的视角重复多达20000次，直到生成与文本描述匹配的三维模型。

　　DreamFusion与DreamFields之间最大的不同是计算损失的方法。最新的DreamFusion采用了谷歌预训练的2D文本图像扩散模型Imagen来计算损失。

　　研究人员引入一个新的图像采样方法SDS，它是在参数空间而不是像素空间中进行采样。在生成图像的过程中，里面的参数会经过优化，成为扩散模型的一个训练样本，而经过扩散模型训练之后的参数具备多尺度特性，更利于后续的图像生成。

　　另外，扩散模型不需要反向传播，这是因为扩散模型能够直接预测更新的方向。所以，三维生成不需要三维数据进行培训。相反，Dreamfusion使用Imagen从不同角度生成的对象的2D图像学习3D表示。

　　与DreamFields相比，Dreamfusion可以基于文本输入创建更高质量、深度和法线的可重照明3D对象。同时，使用Dreamfusion创建的多个3D模型可以合并到一个场景中。

　　谷歌研究团队写道：“我们的方法不需要3D训练数据，同时不需要对图像扩散模型进行修改，这证明了预处理图像扩散模型的有效性。”