科技魔方

专利显示Oculus用专用组件取代部分GPU功能,以降低MTP动显延迟

AR/VR

2019年08月12日

  (映维网 2019年08月12日)尽管虚拟现实行业近年来已经取得了令人难以置信的进步,但传统的头显仍可能存在对整体用户体验产生负面影响的缺陷。

  例如,一些头显可能无法准确地补偿和/或考虑用户的物理移动。更具体地说,所述头显可能会出现一定程度的延迟,从而导致显示器的画面显示落后于用户的实际物理运动。这种延迟称作动显延迟(Motion-to-photons latency,社区有时候将这种延迟称为运动到光子延迟或头动延迟)。除了影响用户的整体体验之外,动显延迟甚至有可能导致用户产生晕动症。

  在一份最新公布的专利申请中,Oculus描述了一种用于减少头显动显延迟的专用组件。

  所述组件可包括图像信号处理器,其接收由头显摄像头组件捕获的至少一个图像帧。专用硬件组件同时可以包括接收计算机生成图像的输入格式化组件。专用硬件设备同时可以包括混合组件,其通过将计算机生成的图像叠加到图像帧来生成至少一个混合现实帧。

  专用组件可以包括一个或多个硬件加速型图像校正组件,每个组件为混合现实帧执行至少一个图像校正过程。例如,色差校正,伽马校正,非均匀性校正,Dithering等图像校正过程。

  在一些示例中,专用组件可以包括图像信号处理器和混合组件之间的直接通信路径,其使得图像帧能够直接馈送到混合组件而不是缓冲在存储器中。在一个示例中,专用组件可以包括一个或多个硬件加速型畸变组件,其可以将异步时间扭曲和/或异步空间扭曲应用于图像帧和/或计算机生成图像。

  传统上,前面提及的图像校正操作中的一些可以由GPU,但大多数GPU并非专门为其设计。所以,GPU可能会减慢所述操作,并且当GPU部署在虚拟现实中时会引起和/或促成动显延迟。

  通过将所述操作交由专用组件执行,这可以减少头显系统的动显延迟。

  相关专利:Apparatus, System, And Method For Mitigating Motion-To-Photon Latency In Head-Mounted Displays

  另外,图像信号处理器可以将图像帧直接发送至处理组件,而不是暂时在存储器中缓冲图像帧。在这样的示例中,图像信号处理器可以通过避免访问与图像帧相关的存储器来减轻动显延迟。

  另外,可以实现硬件加速型显示成像管道,后者能够通过公共时钟信号与相应的显示组件同步。这种同步可以消除在图像传送组件和显示组件之间执行同步操作的需要。通过这种方式,可以减少头显中的资源消耗和/或时间延迟,从而进一步减轻动显延迟,并且潜在地改善头显用户的整体体验。

  通过上面描述的主要方式及专利描述的其他方式,Oculus构思的专用设备从理论上讲可以减少头显系统的动显延迟。

  名为“Apparatus, System, And Method For Mitigating Motion-To-Photon Latency In Head-Mounted Displays(用于减少头显动显延迟的装置,系统和方法)”的专利申请最初于2018年6月提交,并在日前由美国专利商标局公布。

  需要主要的是,这只是一份专利申请,尚不确定具体的效果,以及不确定Oculus是否会或将于何时商业化所述的发明技术。

+1

来源:映维网

推荐文章