索尼专利介绍一种支持差分渲染的无线VR头显

　　无线束缚的VR一体机已然是行业的主流方向。尽管索尼即将发售的PSVR 2依然需要通过数据线接入PS 5，但如果有关注这家公司的专利发明和论文研究，你就会发现他们同样在探索无线功能。

　　例如在6月23日公布的专利申请“Wireless head mounted display with differential rendering”中，索尼又介绍了一种支持差分渲染的无线头显。

　　为了支持无线头显提供高保真体验，高带宽和稳定连接十分必要。所以，索尼希望通过差分渲染来帮助实现稳定的无线数据传输。简单来说，索尼提出的“差分渲染”是指根据眼动追踪对视图的不同区域进行有差别的渲染，亦即行业常说的注视点渲染：系统可以只集中渲染用户的注视点区域，并降低周边区域的渲染性能，从而降低对传输数据的要求。

　　注视点渲染又称中央凹渲染。中央凹是指人类视网膜中心的一个小坑。人眼中心凹的分辨率最高，而我们外围视觉在细节和颜色方面则较低，但对运动比较敏感。你可以将它想象成一台相机搭载了一个只有数百万像素的大型传感器，而中间又嵌入了一个数千万像素的小型传感器。

　　实际上，你能够以高分辨率感知世界的视觉区域比你想象中要小：仅仅只有几度而已。中央凹与其他区域之间的分辨力差异非常巨大，以至于没有没有中央凹，你甚至无法识别文字。

　　注视点渲染的目标正是为了利用这一特点，只以高分辨率渲染中央凹位置，亦即人眼注视点区域，然后大幅降低外围视觉的的场景复杂度。这样做可允许我们将大部分处理能力集中在对细节贡献最大的区域，同时在其他地方节省计算资源。

　　对于“Wireless head mounted display with differential rendering”这份发明，索尼就希望利用注视点渲染来帮助无线头显实现稳定的图像呈现。

　　在一个实施例中，接收头显所在的交互式环境的捕获图像;接收至少一个惯性传感器的惯性数据;分析捕获的图像和惯性数据以确定头显的当前位置和预测的未来位置;使用头显的预测未来位置在朝向预测未来位置的方向调整RF收发器的波束形成方向。

　　接下来，追踪头显用户的注视点;生成描述用于虚拟环境视图的图像数据。然后，基于所述用户的注视点追踪数据对所述视图的区域进行差分渲染。

　　同时，可以生成描述来自所述虚拟环境的声音的音频数据，并使用调整后的波束形成方向，通过RF收发器将图像数据和音频数据传输到头显。

　　索尼指出，通过与以更高的图像质量设置渲染用户注视的视图区域，以更低的图像质量设置渲染视图的其他区域，这可以显著减小图像数据的大小。

　　值得一提的是，索尼曾在3月举行的GDC 2022大会分享了注视点渲染的性能。其中，PSVR 2同时开启注视点渲染和眼动追踪时可以将GPU帧时间提升3.6倍，而单独使用注视点渲染时则提升2.5倍。对于这一点，一个解释应该是动态注视点渲染和固定/静态注视点渲染。前者基于眼动追踪获取的用户注视点动态渲染中心视场，而后者全程将高分辨像素固定在眼睛纹理的中心。

　　相关专利：Sony Patent | Wireless head mounted display with differential rendering

　　名为“Wireless head mounted display with differential rendering”的专利申请是在2022年3月提交，并在日前由美国专利商标局公布。