科技魔方

开发分享:骁龙Spaces XR双渲染融合将2D应用扩展3D体验

AR/VR

2023年06月29日

  高通在6月初为骁龙Spaces发布了一项全新功能Dual Render Fusion(双渲染融合)。无需任何先前的XR经验,它可允许开发者轻松地将其2D移动应用扩展成3D体验,从而将智能手机的简单性和熟悉性与AR眼镜的数字叠加能力融合在一起。

  现在,已经有一系列的开发者在使用Dual Render Fusion来构建骁龙Spaces应用程序。

  工作原理

  Dual Render Fusion允许智能手机屏幕成为AR应用程序的主要输入,而AR眼镜则充当次要增强显示器。换句话说,智能手机充当了增强现实体验的控制器,从而允许用户使用熟悉的移动UI和手势来选择在增强现实中看到的内容。举个例子,假设你正在使用地图应用程序进行游览观光。有了Dual Render Fusion,你可以像往常一样使用手机浏览地图,同时在AR中看到历史地点的3D重建。

  在将2D移动应用程序转换为3D空间体验时,Dual Render Fusion允许基于骁龙Spaces的应用程序同时渲染到智能手机和兼容头显,如联想ThinkReality A3。在这种设置中,智能手机可以用作物理控制器和主显示器,而接入智能手机的XR设备则可以实时提供二次空间XR视图。

  从技术角度来看,应用程序现在一个Activity中有两个渲染自相同场景图的camera(视口)。通过在Game Engine Inspector中选择每个Target Eye,开发者可以在Unity项目中启用Dual Render Fusion的camera:

  一旦启用,你就可以预览camera。如下图所示,Dual Render Fusion在Unity模拟器中,而感知能够有效地层叠到2D智能手机体验。

  左边的视窗显示了Unity中的3D场景视图。中间显示了智能手机显示器的模拟,包含3D场景和用户界面控制。右边的视口则模拟头戴式XR显示器的渲染,而且在本例中启用了模拟的手部追踪。

  不需要任何networking或同步代码,你可以通过智能手机触摸屏控制或基于感知的手部追踪来操作立方体。

  额外的空间体验

  如今,用户对他们目前的智能手机体验感到满意。但正如第一代智能手机推动了人机交互的范式转变一样,我们现在正站在又一个拐点:XR正在推动向人机交互向空间体验的转变,并因而增强用户的日常生活。

  所以,高通认为Dual Render Fusion非常重要。你可以通过这项功能来向用户介绍空间概念,同时充分利用现有的智能手机交互。现在,应用程序可以以全新的沉浸式方式体验,同时保留熟悉的控制机制。最重要的是,用户不必放弃他们的智能手机。相反,他们可以从额外的空间XR体验中获益。

  一个优秀的例子是来自mixed.world并且曾在AWE 2023期间亮相的《Virtual Places》。利用骁龙Spaces和Dual Render Fusion,《Virtual Places》正在通过3D空间视图增强传统的2D地图导航。其中,用户可以用智能手机浏览地图,同时获得相关地区的3D视觉预览。多点触控界面支持熟悉的捏合合展开交互,这样用户可以在手机操作地图视图,而AR眼镜则可提供3D可视化体验。

  DB Creations的《Table Trenches》同样在AWE 2023期间进行了演示,而它提供了一个将Dual Render Fusion轻松整合的游戏示例。

  DB Creations的联合创始人布雷克·格罗斯(Blake Gross)表示:“通过Fusion,我们能够创造出任何没有AR经验的人员都可以通过已知移动交互范例来获取和使用的体验。在《Table Trenches》中,这一点特别有用,因为我们可以将UI从游戏世界中剥离出来,并将其变成一个熟悉的触摸面板。另外,Fusion令智能手机屏幕成为一个动态界面,所以我们可以改变手机的行为方式。Fusion很容易就可以整合到我们的应用中,因为它使用了我们熟悉的Unity Canvas。由于我们的游戏已经使用了Unity Canvas,所以它就像设置一个新camera一样简单。我们在AWE期间注意到,新用户很容易上手并开玩我们的游戏,无需我们提供任何手动解释。”

  利用Dual Render Fusion开发应用

  预计到2031年,全球智能手机用户数量将达到66亿左右,这是一个巨大的市场,而手机开发者可以开发并提供新的体验。骁龙Spaces和Dual Render Fusion可以帮助你构建引人入胜的XR体验,并将现有Unity移动应用和演示内容快速移植到XR,只需少量或甚至不需要改动代码。一般流程包括:

  在Unity中创建一个新的3D或3D URP项目。

  导入Snapdragon Spaces SDK和Dual Render Fusion软件包。

  配置OpenXR和Snapdragon Spaces SDK集成的设置。

  使用Project Validator,只需点击几下即可轻松为Dual Render Fusion更新项目和场景。

  构建你的应用。

+1

来源:映维网

延展资讯