Meta专利为波导光瞳复制AR/VR系统提出波导不均匀性校正解决方案

　　使用波导进行光瞳复制的AR/VR系统可能面临波导不均匀性问题。理想情况下，沿着同一方向射出波导的光应该具有相同的光强，而不管光在波导的哪个位置射出。但由于波导的非均匀性，在波导的不同位置射出的光实际上可能具有不同的光强。另外，显示器可能有三个RGB颜色通道，每个颜色通道可能受到不均匀性的不同影响。当颜色的相对强度发生变化时，除了亮度变化外，显示器还可能发生色移。因此，系统需要根据用户眼睛的实际位置来校准波导的非均匀性。

　　传统的技术假设眼距Z不变，只改变眼睛的(X, Y)位置。但由于用户眼睛的适眼距可能会因人而异，并且会根据用户佩戴头显的方式而变化，从而导致非最佳显示结果。若是利用眼动追踪器，精度不足则会影响性能。另外，使用现有的技术在3D空间中校准用户的眼睛位置可能会成本昂贵。

　　为了解决上述问题，Meta在名为“Display non-uniformity correction”的专利申请中提出了一种不均匀校正方法。

　　在具体实施例中，系统可以根据用户当前的眼睛位置生成校正图以校正显示不均匀性。系统可以使用设备的校准过程来生成用户适眼距的校正图。设备校准过程可以是两步过程或一步过程。

　　对于两步法，系统可在存储器存储器中预生成并存储若干预生成的校正图。预生成的校正图可以参数化为用户眼睛在用户适眼距处的位(X, Y)。在特别的实施例中，预生成的校正图可以通过在多个眼距处实际测量相应的波导透射图来生。

　　在运行时，系统可以使用眼动追踪系统确定用户的瞳孔位置(X, Y, Z)，并使用(X, Y)位置生成最终的校正图。最终校正图可以通过插值相应的预生成校正图来生成。

　　在特定实施例中，系统可以使用一步过程来基于用户的(X, Y, Z)瞳孔位置确定最终校正图。

　　作为示例，系统可首先使用AR/VR设备的眼动追踪系统确定粗略的眼动距离Z，并确定与粗略的眼动距离Z相对应的校正图。然后，系统可允许用户提供反馈信来引导系统生成最优校正图，而最优校正图将产生最优非均匀性校正图，更准确地校正显示器的非均匀性。

　　之后，系统可以存储校正图，并在运行时使用校正图对波导非均匀性进行校正。例如，系统可在预定的整体眼距Z1、Z2、Z3等处预先确定一组显示校正图。然后在标定过程中，系统可以对用户适眼距的Zi距离进行粗略估计，并通过插值包含估计距离Zi的Zn和Zn+1距离对应的预先确定的校正图，确定一组Zi距离的校正图。

　　接下来，系统可以使用Zi距离的校正图集生成最终的校正图，并用于校正所显示的图像。同时，系统可向用户提供虚拟滑块，以允许用户对显示质量提供实时反馈。系统可以根据用户反馈不断地为用户实时地重新生成校正图，直到用户看到最佳显示结果为止。

　　在具体实施例中，系统可以生成校正图，用于使用基于光场呈现原理的射线光学来校正显示器的非均匀性。例如，系统可以使用传播方法来根据用户在特定适眼距处的眼睛位置来确定校正图，从而校正显示器的非均匀性。

　　所述系统可在若干预先确定的眼位预先测量波导传输图。其中，所述眼位可位于与标称眼位相对应的平面之上。这种预测量可以在出厂前的校准过程中进行。

　　系统可以将这些预先测量的传输映射存储在存储器中。在运行时，系统可首先确定用户的眼睛在三维空间中的位置，包括眼睛的适眼距。然后，系统可以使用传播方法来确定用户当前眼睛位置(X, Y, Z)的波导透射图。传播方法可以包括将来自用户眼睛位置的若干光线投射到波导的显示平面之上。

　　通过对预先测量的透射图所表示的光场进行采样系统可以，确定用户当前眼睛位置(X, Y, Z)的透射图。然后，系统可以根据用户当前眼睛位置(X, Y, Z)的传输图生成最终的校正图。

　　通过使用校正图来校正显示不均匀性，本系统可为用户提供更好的显示质量和最佳的用户体验。

　　在一个实施例中，系统基于眼动追踪系统确定的近似眼距，通过基于一系列距离的预先确定校正图和用户实时反馈生成校正图来生成不同适眼距的有效校正图。系统可以在不增加眼动追踪系统要求的情况下提供最佳的显示质量。

　　通过使用光场渲染来生成校正图，系统可以通过减少用于从预存储的校正图或传输图生成校正图的计算资源和内存资源，从而进一步提供更高效的性能。在特定的实施例中，系统可以通过使用光场方法提供另一个优点：减少在工厂或存储校准过程中需要测量的位置数量。这可以加快校准时间，减少所需的内存等等。

　　系统可以使用较小的数据集来生成中间校正图，或者在实时系统中直接计算给定瞳孔(X, Y, Z)位置的补偿。

　　在特定的实施例中，用户的瞳孔到波导的距离Z可以在安装过程中精确测量。然后，可以在这个距离Z处测量所有(X，Y)位置的波导传输函数。例如，系统可以在工厂内或店内校准过程中生成适眼距的校正图，并将其参数化为用户瞳孔位置(X，Y)。

　　系统可以使用高分辨率眼动追踪或测量系统来确定用户瞳孔和波导之间的准确距离Z。然后，系统可以在适眼距处的多个预定义(X，Y)位置生成多个校正图。接下来，系统可以将校正图存储在内存存储器中，以根据眼动追踪系统在运行时测量的用户瞳孔位置(X，Y)生成校正图。

　　如前所述，预生成的校正图可以参数化为在特定适眼距的瞳孔位置(X，Y)。在运行时，系统可以确定用户的眼睛位置(x, y, z)，并使用(X，Y)位置来计算最终的校正图。

　　系统可以根据用户瞳孔的(X，Y)位置，并通过插值多个预先生成的校正图来生成最终的校正图。

　　在一个实施例中，系统可允许用户执行在线校准过程，以在运行时确定用户眼睛相对于显示器的Z距离，从而得出最佳显示质量并相应地生成校正图以纠正显示不均匀性。系统可以生成预生成的校正图作为Z距离的函数。

　　例如，系统可以为一系列Z距离中的每个Z距离生成一组预生成的校正图，并将预生成的校正图存储在内存存储中供以后使用。在具体实施例中，系统可以在两个Z距离(Z1, Z2)处的两组预生成的校正图之间执行插值，以确定目标适眼距Zi处的一组中间校正图。

　　目标适眼距Zi可以落在两个Z距离(Z1, Z2)的范围内。然后，系统可以根据用户瞳孔的(X, Y)位置对中间校正图进行插值，并生成自定义校正图。例如，系统可以通过插值四个中间校正图来生成(X, Y)瞳孔位置的自定义校正图。其中，中间校正图对应于目标适眼距处包含(X, Y)位置的四个位置。

　　图4A示出了用于基于初始估计的眼差401生成自定义校正图的示例性处理400A。系统可以在预定的适眼距离420处预先生成校正图矩阵。预生成的校正图矩阵可包括一组位于每个适眼距的多个预先确定位置的预生成校正图。

　　每个预生成的校正图可以基于从相应的适眼距和相应的眼睛位置的波导传输不均匀性来生成。系统可以首先测量预先确定位置的显示波导的传输特性，并相应地生成校正图。每个预生成的校正图一旦应用于显示的图像，就可以从相应的视图位置校正波导的非均匀性。系统可将预生成的校正图存储在存储器中供以后使用。

　　在运行时和校准过程中，系统可以使用头显的眼动追踪系统来确定与用户适眼距相对应的Zi距离的粗略估计。例如，系统可以使用眼动追踪系统确定初始估计的适眼距401与Zi的距离。

　　然后，系统可以将初始估计的适眼距401与一组预先确定的距离420对应的位置进行比较。系统可以根据确定Zi在Zn和Zn+1确定的范围内，选择Zn和Zn+1，并选择相应的校正图。

　　换句话说，系统可以根据测量到的Zi距离，在确定Zi位于Zn和Zn+1的距离范围内的情况下，从记忆存储器中选择Zn和Zn+1处的两组预先生成的校正图。然后，系统将选择的两组对应于Zn和Zn+1的校正图内插，确定一组中间校正图。

　　接下来，系统可以将这组中间校正图存储在内存存储器中，并根据眼动追踪系统在运行时测量到的用户瞳孔的实际(X, Y)位置，使用中间校正图生成自定义校正图。

　　所述系统可使用所述自定义校正图来调整所述待显示图像的像素值以校正所述显示不均匀性，并将所述校正后的图像显示给所述用户。用户可以观察校正图是否充分校正了显示图像的显示不均匀性，并实时提供反馈以便进一步调整。

　　图4B示出用于根据用户的实时反馈确定自定义校正图的示例性过程400B。在系统显示根据上述步骤确定的初始自定义校正图进行调整的图像后，系统可在显示器向用户显示交互元素或/并通过其他方式与用户通信，要求用户对所显示的图像提供反馈。

　　例如，系统可以向用户显示虚拟滑块430，以允许用户提供关于显示质量的实时反馈。所述虚拟滑块430的两端可以对应于Zn和Zn+1两个距离，用户可以控制所述虚拟滑块430的滑杆431，使所述系统尝试Zn和Zn+1之间的任何位置。

　　系统可以指定用户想要尝试的模拟Zj距离。当用户在调整虚拟滑块时，系统在指定的Zj距离不断地实时重新生成用户眼睛位置(X, Y)的自定义校正图。系统可以根据用户指定的Zj距离和当前测量的用户瞳孔(X, Y)位置，使用新生成的自定义校正图不断调整待显示的图像，并不断更新显示，直到用户看到最佳显示结果。