Meta推Meta Reality系统，整合彩色透视、空间锚点等功能

　　今天，为了让更多人了解Meta对于VST混合现实的愿景和策略，Meta在官博中引入了Meta Reality概念，并进一步解释为什么令人信服的虚实融合需要这样的技术。Meta表示：Meta的混合现实系统将命名为Meta Reality，该系统整合了彩色立体透视、场景理解、空间锚点、共享空间锚点、实时遮挡和碰撞、对象检测和照明信息等功能。

　　图注：1)两个黑白前置摄像头将场景中的物体可视化，接着系统将左右两个摄像头的不同视角图像组合，合成黑白立体视图;2)利用中心的彩色摄像头为场景表面着色和添加纹理;3)扭曲左右眼视图，并通过用户注视点预测算法(可预测几毫秒内)来补偿渲染延迟。

　　首先明确，VR是完全沉浸的数字体验，而MR混合现实则是将虚拟内容叠加在物理环境之上，相比于光学AR，VST混合现实通过摄像头透视和图像渲染来实现虚实融合。除此之外，令人信服的MR还需要具备空间理解能力，让数字图像与真实空间自然互动。因此，MR使用的不只是摄像头捕捉到的2D视频数据，还需要根据这些数据进行3D空间建模，以及表面识别。而这将需要高分辨率传感器、AI场景理解和空间锚点算法。

　　据了解，为了营造自然的深度，Meta Reality系统会为用户左右眼生成独立角度的两个图像，好处是可以模拟人眼看周围环境的效果。相比于Quest 2，Quest Pro的透视效果大大提升，其采用的摄像头像素提升了4倍，并且支持基于空间理解的图像渲染、3D几何重建和深度理解。这意味着，Quest Pro可识别房间几何形状的各个方面并精确定位对象在3D空间的位置，这样在混合现实模式中也能显示准确的空间距离关系。

　　Meta计算机视觉工程经理Ricardo Silveira Cabral表示：Quest Pro采用两个摄像头视图来重建逼真的深度，可确保彩色MR体验对人眼来说是舒适的。即使在深度重建不完美或超出系统范围的情况下，立体纹理提示也能让用户的大脑完成剩下的工作并推断深度。

　　除此之外，Quest Pro在Quest 2基础上升级了Inside-Out定位系统(Insight)，优化了深度传感功能，可实时生成给定空间的密集3D模型。在自然和人工照明条件下，Quest Pro的深度传感方案可识别1万个关键点，最远可识别5米范围。利用这些兴趣点信息，系统可实时生成物理空间的3D网格，并与物理世界图像组合。接着再通过TimtWarp技术将具有空间数据的物理图像分割成左右眼视图，并通过用户注视点预测算法(可预测几毫秒内)来补偿渲染延迟。

　　为了让MR透视看起来更加自然，Quest Pro的彩色相机可为3D空间图着色，而这种彩色透视架构兼容性足够好，可在Quest Pro上运行Quest 2的混合现实应用，在Quest 2上以黑白色为背景的MR应用内，在Quest Pro上可以在彩色背景上运行。总体来讲，Quest Pro的彩色立体透视比单市场方案体验更舒适，视觉失真更少。

　　除此之外，Meta在博文中又继续解释了Scene API(场景理解)、空间锚点等优化MR体验的功能。将场景理解和空间锚点结合后，MR应用可以和物理空间更好的融合，将用户所在的场景变成游戏世界。Scene API

　　场景理解功能在Connect 2021期间已经推出，它是Meta Presence Platform的一部分，特点是可让开发者快速构建复杂且场景感知的MR体验，从而实现与用户环境的丰富交互。场景理解的好处是降低AR/VR对场景理解的要求，通过手动画边界来设置实时遮挡和碰撞效果。Meta对于该功能有以下解释：

　　1)场景模型是一个单一的系统的环境表示，由几何和语义信息组成。场景模型的基本元素是锚点，每个锚点都可以附加各种组件。例如，用户的客厅是围绕带有语义标签的单个锚点组织的，这些标签可以是地板、天花板、墙壁、桌子或沙发;

　　2)场景捕捉会为用户提供系统引导，帮助用户在房间一边走一边为家具等物体划定边界。Meta表示：未来我们的目标是提供一个自动化版本的场景捕捉，不需要人们手动捕捉周围环境;

　　3)Scene API是一个接口，可允许AR/VR应用查询和访问场景模型中空间信息，可用于多种场景，比如物体定位、物理模拟、导航等。 空间锚点

　　空间锚点是开发MR应用的核心功能，该功能允许应用在空间中创建一个参照系或一个定位点，这样应用中的虚拟对象就可长时间保存在空间中。对于设计师来讲，他们可以随时将自己的3D设计放在工作室空间中，第二天继续完成自己的设计，就像放在桌上的真实模型那样。对于游戏玩家来讲，他们也可以将3D棋盘放在空间中，第二天继续玩。

　　空间锚点可以与场景模型锚点(墙壁、桌子、地板等)结合使用，比如将用户所在的空间作为创作平台，或是将将虚拟门固定在物理墙上，实现虚实互动。Meta认为，锚点功能让虚拟内容与物理空间结合更紧密。

　　近期，Meta还推出了共享空间锚点功能，并将该功能添加到Presence Platform。共享空间锚点允许一个人创建的锚点，并与同一物理空间中的其他人共享。这意味着，开发者可为多个用户创建共享的世界，并锁定位置参考框架来构建本地多人游戏体验。例如，两个或更多人可以坐在物理的桌边，一起玩虚拟棋盘游戏。

　　参考：Meta