Meta分享：Quest Pro眼动注视点渲染的原理、实践和应用

　　Meta在Connect 2022大会为QuestPro推出了基于眼动追踪的注视点渲染功能Eye Tracked Foveated Rendering(ETFR)。这种全新的图形优化可以利用眼动追踪，以高像素密度渲染注视点区域，并以低像素密度渲染外围区域，从而为开发者节省了大量的GPU算力。同时，ETFR的设计可以允许你在Unity和Unreal中轻松集成。

　　例如，《Red Matter 2》的开发者表示：““集成ETFR是一个无缝的过程，激活就像拨动开关一样简单。然后，我们的团队专注于最大化像素密度。结果令人印象深刻，像素密度增加了33%，相当于光学中心渲染的像素增加了77%。ETFR和Quest Pro的Pancake透镜组合提供了非常清晰的图像。ETFR真正提升了游戏体验。”

　　下面这篇博文将进一步介绍ETFR的工作原理，最佳实践和常见问题解答，从而帮助你优化Meta Quest应用的图形。

　　什么是ETFR?

　　固定注视点渲染Fixed Foveated Rendering(FFR)固定地在屏幕中心(又称为注视点区域)渲染全像素密度，并在屏幕边缘渲染低像素密度。至于ETFR，它可以利用眼动追踪数据来移动需要渲染全像素密度地注视点区域。由于低像素密度区域始终隐藏在外围视觉中，所以可以基于眼睛注视数据应用更大胆的策略，相对较FFR节省更多的GPU算力。

　　工作原理

　　ETFR通过首先从眼动追踪摄像头图像计算用户的注视方向，然后使用注视方向在应用渲染管道中移动高像素密度的注视点区域。

　　为了做到这一点，Meta的Unity和Unreal集成实现了一个新的Vulkan扩展：Tile Offset (VK_QCOM_fragment_density_map_offset)。通过指定像素偏移值，它允许重复使用相同的foveation map并平滑地移动。如下面的动画所示，Tile Offset在移动注视点区域时提供了更精细的控制，并避免了传统方法中的闪烁伪影：

　　有Tile Offset

　　没有Tile Offset

　　API架构

　　相关的OpenXRAPI是从现有的XR_FB_foveation框架(FFR使用的框架)扩展而来。Meta的Unity和Unreal集成在后台调用API，所以你不需要处理细节。原生VR应用程序可以遵循相同的步骤来支持ETFR。

　　延迟优化

　　在ETFR管道中，摄像头传感器和处理以与显示器相同的帧速率运行，并与渲染管道完全同步，以最小化眼睛运动和显示时间之间的延迟。特别是，团队抵消了眼动追踪摄像头的捕获时间，从而最小化“眼动追踪器产生新的注视输出”和“用于更新foveation map的注视输出“之间的差距，如下面红色框中显示：

　　根据当前渲染负载，UE4测试应用程序中测得的端到端管道延迟在46到57毫秒之间。如果在logcat(adb logcat -s VrApi)中读取类似的ETFRLat度量，你应该会得到类似的结果。

　　限制和最佳实践

　　ETFR是一个强大的工具，但它不是万能药，可能不适合所有类型的应用。如果你的应用程序属于fragment-heavy片段密集型(例如，使用复杂的材质或以非常高的分辨率渲染)，ETFR会有巨大的帮助，因为它会减少给定渲染过程中的片段着色执行。所以如果你的程序属于vertex bound，所述工具不会提供太大的帮助。

　　另外，ETFR目前仅适用于你的眼睛缓冲区(主层)，这意味着如果你使用其他合成器层，渲染和合成相关层的GPU成本将不会随着ETFR而提高，仅会降低眼睛缓冲区的成本。

　　最终，你应该决定如何以及何时使用这个工具，并确保彻底测试应用程序。就像FFR一样，低像素密度的外围区域会导致闪烁，尤其是对于高对比度和复杂的几何结构。所以，你应仔细选择最大的foveation level，从而平衡性能和视觉质量。

　　额外的GPU算力节省

　　Meta建议使用ETFR的额外GPU增益来增加渲染目标大小，从而获得更清晰和更塑形的图像。以下是UE4测试应用程序中以默认和增加眼睛纹理大小渲染的FFR/ETFR的GPU渲染时间示例：

　　如上表所示，如果你的应用程序现在正在使用FFR-3进行渲染，你可以尝试切换到ETFR-2，从而提高眼睛纹理分辨率，并使用MSAA-2以获得更清晰的图像。其中，GPU时间成本大致相同。

　　ETFR的GPU算力节省将取决于应用程序的内容，所以请确保以不同的foveation level和渲染目标大小来配置应用程序。

　　Dynamic Foveated Rendering动态注视点渲染

　　Meta同时建议启用Dynamic Foveated Rendering动态注视点渲染，以便根据当前GPU渲染负载自动调整foveation level。最大foveation level可由“Foveated Rendering level”指定。在启用这个选项之前，开发人员应确保在最大foveation level下充分测试渲染质量(例如，外围视觉中的视觉伪影不能太多)。

　　开发人员工具包

　　ETFR现已支持SDK v49(Unity和Unreal)。

　　最后的想法

　　ETFR主要降低了像素吞吐量，并可能为未来的头显实现高PPD(像素/度)渲染。当然，你最终需要平衡应用程序的图形复杂性、分辨率、MSAA和foveation level，在性能节省和视觉质量之间进行权衡。

　　Meta致力于为你提供更简单的图形优化和性能提升方法，而发布ETFR只是这一旅程的开始。下面是关于ETFR的常见问题解答。

　　ETFR是否需要OpenXR?

　　是的，只支持OpenXR，因为Meta完全致力于支持未来的OpenXR API。例如在UE4中，请确保在“XR API”设置下选择了“OpenXR OVRPlugin”。

　　ETFR是否需要Vulkan?

　　对于Meta的UE4/Unity ETFR集成，仅支持使用Vulkan+Multiview的应用程序。由于缺少fragment density map和Tile Offset扩展的支持，ETFR无法支持GLES。Meta建议所有UE和Unreal开发者在Quest应用程序中使用Vulkan。

　　ETFR是一个‘要么用要么不用’的功能吗?

　　不是，你可以在游戏引擎脚本level的任何时候打开/关闭ETFR或切换到FFR。例如，你可以尝试在游戏主菜单中完全关闭ETFR，并仅在进入游戏场景时打开ETFR。

　　如何处理眼动追踪许可?

　　用户第一次使用ETFR打开应用程序时，系统将显示一个权限提示，请求用户接受眼动追踪权限。如果权限被拒绝，应用程序将回退到FFR渲染，但是，你可以选择在游戏引擎脚本level以不同的方式处理回退逻辑。

　　请注意，用户可以随时选择在通用菜单中暂停眼动追踪，在系统设置中禁用眼动追踪，或取消眼动追踪权限。