Magic Leap与英伟达合作，集成Omniverse渲染到Magic Leap 2

　　Magic Leap日前宣布与英伟达合作，共同提供一种离线计算1:1比例的3D数字模型并将其流式传输到Magic Leap 2的方法。团队目前已经构建了NVIDIA Omniverse扩展，而这将允许企业用户能够在不影响视觉质量的情况下，从NVIDIA Omniverse渲染全尺寸数字孪生并流式传输到Magic Leap 2。

　　需要注意的是，Magic Leap与Omniverse的集成目前处于早期阶段，并预计将于今年上半年正式发布。

　　在以前，由于计算限制，这种渲染的视觉质量十分有限。但现在Magic Leap构建了一个Omniverse扩展，从而允许客户在NVIDIA Omniverse渲染全尺寸数字孪生并流式传输到Magic Leap 2，包括将常见的企业建模工具(如Autodesk Maya)带到Magic Leap2，无需转换或优化。

一键查看

　　团队表示，基于通用场景描述USD格式的3D内容高保真渲染可以在Magic Leap 2立即查看。内容以USD文件的形式存储在Omniverse Nucleus中，而用户可以对内容进行实时编辑和协作。

　　只需单击“View on Magic Leap”，即可在服务器渲染图像，并将其流式传输到Magic Leap2。图像会立即以正确的位置、方向和比例显示给用户。Omniverse的核心XR扩展将自动渲染高质量的立体图像，并将其提交给行业标准的OpenXRAPI。

　　然后，服务器端OpenXR远程渲染运行时利用NVIDIA GPU加速来合成和编码立体图像，并通过网络传输，而Magic Leap 2会进行解码并显示。

　　Magic Leap 2同时不断将头部姿势、眼动追踪、控制器状态和其他输入数据发送回服务器，并通过OpenXR将其呈现给Omniverse。在后端，其他用户可以继续实时编辑USD内容，并立即渲染和流式传输到Magic Leap 2。

实现上述体验的四项技术突破

　　团队表示，通过利用一系列的Magic Leap 2功能和NVIDIA RTX GPU，所述解决方案缓解了延迟等常见挑战，并为AR模型解锁了令人难以置信的新视觉细节。

　　重投影可减少延迟并将内容锁定到位：利用Magic Leap 2基于深度的重投影功能，系统可以使用每帧的颜色和深度图像，在用户的实际位置创建新的场景视图，从服务器渲染帧的位置校正姿势错误。通过这样做，尽管存在潜在的网络延迟，但内容依然保持锁定状态。结合头部姿势预测、输入和渲染循环的精确计时等技术，Magic Leap 2可以容忍超过100毫秒的端到端延迟，同时为用户保持身临其境的体验。

　　NVIDIA RTX光追和DLSS实现照片级真实感：得益于技术的最新进步，NVIDIA GPU具有足够的功率来运行这种计算密集型任务。通过双方的合作，Magic Leap现在可以利用所述的强大功能，同时将Omniverse内容呈现给Magic Leap 2，并以最高的保真度在显示诸如皮革或金属纹理等精细细节。

　　动态调光功能技术：这项功能可以强调突出数字内容，并为其添加行业定义级别的沉浸感。另外，它可以令汽车等AR对象看起来固实(即对象后面没有明显的自然光穿透)，而且允许AR对象在现实世界中投射出逼真的虚拟阴影。

　　精确的环境照明和反射确保沉浸感：精确的环境照明和反射一直困扰着AR体验的沉浸感。Magic Leap与英伟达的合作解决了这个问题，并实现了逼真的照明和反射。现在，双方正在积极研究通过动态照明估计来提高逼真度的方法。

持续合作，推动企业数字孪生

　　Magic Leap表示，他们将继续与英伟达合作，并在数字孪生技术进步的基础上为企业用户提供更大的价值，不断改进和寻找数字孪生的新用例。有了更具沉浸感和可访问性的数字孪生，企业可以加快设计，深化协作，改变设计评论和其他体验。

　　Magic Leap与Omniverse的集成目前处于早期阶段，并预计将于今年上半年正式发布。