科技魔方

英伟达发布Edify 3D生成模型 2分钟即可生成高质量3D资产

更多场景

2024年11月25日

  NVIDIA最新推出的 Edify3D 技术在3D 资产生成领域取得重大突破。这项创新技术能在短短两分钟内,基于文本描述或参考图像生成包含完整 UV 贴图、4K 纹理和 PBR 材质的高品质3D 模型,为游戏设计、影视制作和扩展现实等行业带来革命性解决方案。

  Edify3D 采用了独特的技术架构,将多视角扩散模型与基于 Transformer 的重建技术相结合。其核心管线包含三个关键步骤:

  多视角扩散模型根据输入生成多个视角的 RGB 图像;

  多视角 ControlNet 合成对应的表面法线;

  重建模型将这些信息整合成神经3D 表示,通过等值面提取和网格后处理生成最终的几何体。

  在实际应用中,Edify3D 展现出卓越的性能表现。它不仅能生成具有精确网格结构的3D 模型,还能保证纹理的高分辨率和材质贴图的完整性。系统支持生成从背包、留声机到机器人手臂等多样化的3D 资产,且生成的模型都具有自适应的四边形网格拓扑结构,便于后期编辑和渲染。

  特别值得一提的是,Edify3D 还可用于生成复杂的3D 场景。通过与大语言模型(LLM)结合,系统能够根据文本提示定义场景布局、物体位置和尺寸,创建连贯且真实的3D 场景组合。这一功能为艺术设计、3D 建模和 AI 模拟等应用提供了强大支持。

  在技术扩展性方面,Edify3D 表现出色。随着训练视角数量的增加,模型生成的图像质量和一致性不断提升。重建模型的性能也会随着输入视角数量的增加而改善,同时还能根据计算资源灵活调整三平面令牌大小。

  这项技术的发布标志着3D 内容创作进入新纪元,为相关行业带来前所未有的效率提升和创作可能。

+1

来源:AIbase基地

延展资讯