Meta专利探索改善AR波导不均匀性引起的视觉伪影现象

　　对于头显设备，波导不均匀性会引起视觉伪影。在名为“Dynamic uniformity correction”的专利申请中，Meta针对波导不均性问题提出了自己的解决方案。

　　图1B示出了示例增强现实系统100B。增强现实系统100B可包括含有帧框架112、一个或多个显示器114和计算系统120的头显 110。显示器114可以是透明或半透明，从而允许佩戴头显 110的用户通过显示器114查看真实世界，并同时向用户显示视觉人造现实内容。

　　头显 110可包括可向用户提供音频人造现实内容的音频设备。头显 110可以包括一个或多个摄像头，其可以捕获环境的图像和视频。头显 110可以包括眼动追踪系统。头显 110同时可以包括显示引擎。

　　具体来说，专利描述的特定实施例可以利用基于当前眼睛位置和先前帧的校正图所确定的校正图，然后动态地校正要显示的图像，从而补偿波导不均匀性。对于特定眼睛位置，系统可基于从特定眼睛位置测量的波导非均匀光传输特性生成校正图。

　　对于从特定眼睛位置查看的静态图像，系统可通过应用为所述眼睛位置生成的校正图来消除由波导不均匀性引起的负面视觉效果。对于从不同眼睛位置查看的一系列动态图像，系统可使用眼动追踪追踪系统来动态测量眼睛位置，并基于动态测量的眼睛位置来确定适当的校正图。

　　在特定实施例中，系统可以使用基于当前眼睛位置生成的校正图和用于校正先前帧的一个或多个先前校正图来校正要显示的图像。系统可针对波导区域为多个预先确定的眼睛位置生成校正图。每个校正贴图可以与RGB颜色通道的特定颜色通道相关联，并且每个预定的眼睛位置可以与相应RGB颜色通道的三个校正贴图相关联。

　　每个校正映射可以包括缩放因子阵列，以缩放特定颜色通道的图像像素值。系统可将生成的校正图存储在数据库和计算机存储器中。校正图可以具有相对较低的空间分辨率，以最小化系统资源使用的负担。

　　为了校正图像序列的当前帧，系统可以首先使用眼动追踪系统确定用户的当前眼睛位置(X，Y)。如果当前眼睛位置(X，Y)落在预先确定的眼睛位置之一(例如在阈值距离内)，则系统可选择与所述眼睛位置相关联的校正图。

　　在稍后步骤中由时间滤波器处理之后，所选择的校正贴图可用于校正当前帧。如果当前眼睛位置(X，Y)没有落在任何预定的眼睛位置，系统可识别与包含当前眼睛位置(X，Y)的区域对应的16个预定眼睛位置。然后，系统可对与16个预定眼睛位置相关联的十六组校正图应用双三次插值，以生成用于当前眼睛位置的校正图(用于RGB颜色通道)。

　　系统可以使用双三次插值分别为三个RGB颜色通道生成三个校正贴图，每个校正贴图是基于相同颜色通道的16个校正贴图的双三次插值生成。或者，系统可以识别最近的4个预确定眼睛位置，它们位于包含当前眼睛位置(X，Y)的网格区域的四个角。

　　然后，系统可以对与4个预定眼睛位置相关联的四组校正贴图应用双线性插值，以生成用于当前眼睛位置的校正贴图(用于RGB颜色通道)。系统可以使用双线性插值分别为RGB颜色通道生成三个校正贴图，每个校正贴图基于相同颜色通道的四个校正贴图的双线性插值生成。

　　然后，系统可从计算机存储器检索用于校正先前帧的先前校正图。对于每个颜色通道，系统可以使用时间滤波器，并基于双线性或双三次插值生成的校正图和用检索校正图来生成优化校正图贴图。

　　由于预定校正图具有相对较低的空间分辨率，所以基于预定校正图生成的优化校正图同样具有相对较低的空间分辨率。系统可使用双线性插值或类似插值对优化校正贴图进行上采样，以实现与图像分辨率或显示分辨率匹配的更高分辨率。

　　然后，系统可以将由上采样处理生成的高分辨率校正贴图应用于当前帧，并且在输出当前帧之前将每个高分辨率校正贴图应用于一个颜色通道。应用所述高分辨率校正贴图可以致使当前帧中的RGB颜色通道的像素值通过各个高分辨率校正贴图的相应比例因子进行调整。

　　结果，所显示的内容随着时间的推移可以看起来更平滑，并且对眼动追踪数据的错误更具弹性。同时，波导不均匀性引起的视觉伪影可以消除或减小。

　　名为“Dynamic uniformity correction”的Meta专利申请最初在2020年7月提交，并在日前由美国专利商标局公布。