近日,谷歌申请一项压缩系统(Foveated Compression System)的专利被公布,专为由注视点渲染(Foveated Rendering)产生的帧而设计。
在运用注视点渲染技术的过程中,除了用户眼睛看着的确切区域外,该技术能以低分辨率呈现VR头显中大部分视图,这是通过眼球追踪技术检测到的。而眼球之前的区域——即人类能感知到的最极致的细节——将以更高的分辨率呈现。注视点渲染技术对于VR未来的发展至关重要,因为它能提供更高的分辨率,同时对GPU的要求也较为合理。
为什么要压缩帧?为什么不能简单地把结果直接传送到头显中?
该专利解释说,在独立头显中,从SoC(芯片系统)到显示器的数据通道的带宽是有限的。 增加带宽会增加能源消耗。像DisplayPort这样的规格已经包含一个可选的压缩系统,但其背后的算法并不是针对单帧中不同视觉敏锐度的元素而设计的。
在专利中所描述的新压缩系统将优先考虑高细节区域内的元素,其结果应该是“几乎无损”。组合无人工图像的高细节图像和低细节图像,是需要定制芯片的。但庆幸的是,在专利申请中,这款芯片被描述为“相对简单”。
虽然该专利申请于本周公布,但其申请日期为2017年7月。该专利似乎基于谷歌搜索于2017年末发表的一篇名为“Strategies for Foveated Compression and Transmission(注视点压缩和传播的策略)”的论文。
该项目由Behnam Bastani博士领导,他领导了Google的整个VR渲染研究工作。2018年,巴斯塔尼来到Facebook,在 Michael Abrash领导下的FRL部门工作。Facebook似乎有从谷歌和微软挖走顶尖VR人才的趋势。