索尼VR专利提出通过眼动追踪补偿运动模糊伪影

　　运动模糊是物体快速运动所造成的明显模糊拖动痕迹。对于VR而言，这种运动模糊伪影会对用户体验造成负面影响。在名为“Motion blur compensation through eye tracking”的专利申请中，索尼就提出了一种通过眼动追踪来补充运动模糊的方法。

　　索尼指出，当前的运动模糊技术不考虑用户的眼睛运动。这意味着，即使用户可能正在注视点着运动对象，运动对象都可能会呈现出运动模糊。所以，有必要结合眼动追踪来处理运动模糊。

　　在一个实施例中，专利描述的系统执行用户的注视点追踪。注视点追踪可以包括头部追踪、眼动追踪和用户身体运动追踪中的一个或多个。

　　然后，将注视点追踪识别为跟随对象。响应于将对象识别成在显示器运动，将注视点追踪标识为跟随对象而将运动模糊特征实现为对象没有运动模糊。

　　在一个实施例中，可以将对象识别为在显示器移动，并将注视点追踪识别为不跟随对象。响应于将对象识别成在显示器运动并且将注视点追踪标识为不跟随该对象，将运动模糊特征实现为对象的运动模糊。在这样的示例中，对象的运动模糊可以与对象的运动向量和注视点追踪的运动向量之间的差成比例。

　　所以，可以根据用户的注视点跟随对象来实现显示器呈现的对象的第一运动模糊，以及根据用户的注视点不跟随对象来实现第一对象的第二运动模糊。

　　图2示出了呈现动画移动对象202的显示器200。在所示示例中，动画移动对象是如运动向量204所示向左移动的平面。用户206具有注视点POG 208。

　　在图2的示例中，POG稳定地固定在静止对象210，并且不跟随运动物体202，所以POG 208在运动物体202的行进方向上，即在x维上具有零的运动矢量。线212的长度可以与移动对象202的运动向量212的大小和POG 208的运动向量之间的差成比例。线212远离移动对象202延伸的方向可以朝向POG 208的位置。

　　参考图3，其中POG 208跟随由运动向量300指示的移动对象202。在这种情况下，假设用户精确地追踪运动对象，这意味着运动矢量300和对象运动矢量204的幅度之间的差为零。因此，最小运动模糊应用于运动对象202。

　　另一方面，如果需要，运动模糊302可以应用于静止对象210，因为用户的POG 208正在远离静止对象210。线302的长度可以与静止物体210的运动矢量的大小(其为零)和POG 208的运动矢量300之间的差成比例。线302远离静止物体210延伸的方向可以朝向POG 208的位置。

　　现在参考图4。从框400开始，可以接收头部追踪和/或身体追踪，并且在框402可以接收眼睛追踪。

　　因此，如果需要，可以在框404将用户注视点(POG)的运动矢量确定为可归因于身体运动、头部运动和眼睛运动的运动矢量之和。可以使用向量代数将各种运动向量组合成POG的运动向量。

　　前进到框406，确定用户正在观看的对象的运动向量。这可以通过访问可以伴随计算机模拟的渲染的对象元数据来完成。

　　框408随后指示基于对象的运动向量与POG的运动向量之间的差，然后应用(或不应用)运动模糊。例如，当运动矢量指示观看者正在追踪移动对象时，可以不将运动模糊应用于该移动对象，而如果期望，可以基于用户的POG相对于静止对象移动而将运动模糊施加于在显示器上不移动的对象。

　　另一方面，如果用户注视着空间中的某个点而不跟随运动对象，则运动模糊可以应用于运动对象。

　　运动模糊可以通过软件通过模糊如图2和图3所示的边缘/渲染运动线来实现。其中，所述边缘/渲染与POG的方向或运动以及显示对象和用户POG的运动矢量之间的差一致。在一个实施例中，模糊可以隐式发生。在一个实施例中，可以通过确保眼睛追踪的场景部分减少或没有运动模糊来实现聚焦。

　　图5示出了可以相关的头戴式显示器，其包括位置传感器502、用于感测头部运动的运动传感器504、用于追踪眼睛的摄像头506以及用于将信号从头显的传感器发送到运动模糊计算机510的收发器508。

　　图6和图7示出了硬件辅助实施例，可以提供亮度控制电路606和曝光控制电路608，以选择性地改变显示器600的部分(例如部分602)的曝光和亮度。

　　例如，可以增加亮度，并减少曝光时间以减少运动模糊。例如，可以通过短时间曝光图像，然后在第二个时间段显示为黑色来“选通”屏幕以减少模糊。

　　显示器可以在整个屏幕具有可变的曝光时间，将功率和热量仅分配到屏幕的一小部分，以实现更高的曝光，但时间很短。

　　作为具体示例，显示器可以在20%的时间内以50%的亮度显示n个图像(在剩余时间内以0%的亮度显示)。如果显示器仅在10%的时间内使用100%的亮度，则可能会发射相同数量的光子。在图2和图3的运动物体(平面)的情况下，这可以增加平面的亮度，并且减少曝光时间以减少模糊(图3)，同时对图2进行相反的操作，即对于期望眼睛运动引入模糊的区域，降低长曝光的亮度。

　　模糊可以沿着一个轴添加和移除，而由于眼睛相对于显示器的运动与由于其他一切(头部、身体等)沿着另一个轴的运动。

　　对于硬件情况，可以添加模糊/持久性掩码以及帧缓冲器。掩码通知硬件在每个像素/每个区域掩码上保持图像的程度。

　　在一个实施例中，可以传递速度场以及帧缓冲器。异步重投影可能发生在离头显更近的地方，即头显可能会在渲染前执行低延迟追踪并扭曲视场，因此用户可以获得超低延迟重投影，模糊程度相当于头部追踪和/或眼睛追踪的结合。

　　名为“Motion blur compensation through eye tracking”的索尼专利申请最初在2021年8月提交，并在日前由美国专利商标局公布。