眼动追踪越发成为头显的标准配置,各家厂商都在积极探索精确、轻型、紧凑和高成本效益的眼动追踪系统。早前映维网已经分享了一系列与所述主题相关的厂商发明,而美国专利商标局日前又公布了一份名为“Eye-tracking using laser doppler interferometry”的Meta专利申请。具体来说,研究人员提出了一种使用激光多普勒干涉法来追踪眼睛运动的方法,又或者说使用激光自混合干涉效应来追踪眼睛运动。
据百科,激光自混合干涉效应是指:激光器的输出光在被外部物体反射或散射后,其重新反馈回激光器的谐振腔内。携带外部物体信息的反馈光与腔内光发生干涉,调制激光器的输出特性。根据特定的对应关系,系统可以实现对目标物的物理测量。与传统干涉系统相比,自混合干涉系统仅有一个干涉通道,结构简单、紧凑,易准直,灵敏度高,已广泛应用于工业测量、科学研究、国防军事等众多领域。
团队指出,所述方法没有任何图像处理或成像要求,不需要使用诸如外部摄像头之类的附加光学组件来提供准确的眼动追踪信息,从而能够减小眼动追踪系统的尺寸和成本。另外,所述方法同时消除了诸如背景滤波之类的附加计算步骤,从而降低了眼动追踪系统的计算成本和功耗。
概括来说,在一个实施例中,头戴式显示设备包括眼动追踪设备和配置为向用户眼睛发送一个或多个图像的显示器。眼动追踪设备包括第一光学组件和耦合到第一光学组件的一个或多个处理器。第一光学组件包括第一光源和与第一光源光学耦合的第一光传感器。第一光源具有第一光学腔。
第一光源定位为向用户眼睛输出第一相干光,并接收作为反馈光从用户眼睛返回的第一相干光的至少第一部分。反馈光进入第一光腔并引起第一相干光强度的调制。第一光传感器配置为检测第一相干光的调制强度,并基于检测到的第一相干光的强度生成一个或多个第一信号。一个或多个处理器配置成从一个或多个第一信号确定用户眼睛的运动信息。
图2是根据示例性系统200的框图。图2中所示的系统200包括显示组件205、成像组件235和输入接口240,它们各自耦合到主机210。显示组件205包括电子显示器215、一个或多个处理器216、眼动追踪模块217、调整模块218、一个或多个定位器220、一个或多个位置传感器225、一个或多个位置摄像投222、存储器228、惯性测量单元(IMU)230、一个或多个光学组件260等。
图3B示出了基于专利实施例的眼动追踪装置390,其主要使用自混合干涉术确定关于眼睛340的运动信息。眼动追踪装置390包括一个或多个光学组件392和耦合到一个或多个光学组件392的一个或多个处理器394。一个或多个光学设备392配置为执行干涉测量,基于干涉测量生成一个或多个信号,并将一个或多个信号发送到一个或多个处理器394。一个或多个处理器394配置为基于从光学组件392接收的一个或多个信号来确定眼睛340的运动信息。
在一个实施例中,眼动追踪装置390同时包括耦合到光学组件392,并配置为控制光学组件中的光源的操作的电源396。例如,电源396可配置为改变从光学组件392输出的光的功率或强度。在一个实施例中,电源396耦合到一个或多个处理器394,使得可以由一个或多个处理器394控制电源396的操作。
图4A-4C、5A-5B和6A-6C示出了对应于光学组件392的示例光学装置。
如图4A所示,光学组件400包括光源410(例如激光源)和光传感器420(例如光电探测器)。在图4A-4C中,光传感器420与光源410分开放置。
光源410包括由两个反射元件(例如反射面412和414)定义的腔416(例如光学腔)。在一个实施例中,反射元件是分布式布拉格反射器。
在一个实施例中,光源410可以是激光源,例如垂直腔表面发射激光器(VCSEL)或垂直外腔表面发射激光器(VECSEL)。
腔416用于产生相干光,光源410定位为向用户眼睛340输出至少一部分相干光。表面412为半反射(例如表面412是部分反射和部分透射镜)。例如表面414的反射率大于表面412的反射率。表面412将朝向腔体416内的表面412传播的光的一部分反射回表面414,并传输朝向腔体416内的表面412传播的光的一部分。如图4B所示,从光源410发射透射光作为相干光490。
光源410同时配置为接收作来自用户眼睛340的至少一部分相干光为反馈光492。反馈光492进入光源410的腔416并干扰腔416内相干光的产生,从而致使所产生的相干光的强度的调制。
参考图4C,调制相干光494从光源410输出(例如,从腔416输出),并且调制相干光494的至少一部分由光传感器420接收和检测。光传感器420配置成基于调制相干光494的检测强度生成一个或多个信号。可以通过分析调制相干光494或基于调制相干光494生成的一个或多个信号来确定关于眼睛340的运动信息。
这种测量技术称为“自混合干涉测量法”,其中相干光(如激光束)从目标(如眼睛等目标对象)反射回光源(如激光腔),反射光干扰并调制光源内部产生的相干光。可根据调制相干光的强度测量来确定关于目标的位置和/或运动信息。
在一个实施例中,使用与光源集成的传感器代替与光源分离的传感器。
图5A和5B是示出了垂直集成光学组件500。光学组件500有时可以称为干涉仪传感器。如图5A所示,光学组件500包括光源410和垂直集成的光传感器520(例如光电探测器),其与光源410光学耦合并垂直集成。光源410包括限定空腔416的表面412和414。在图5A中,两个表面412和414都是半反射表面(例如部分反射镜和部分透射镜),其配置为将腔416内产生的相干光的至少一部分反射回腔416中,并传输腔416内产生的光的至少一部分。例如,表面414向光传感器520发射腔体416内产生的相干光的一部分,使得光传感器520可以检测发射光的强度。
可使用光学组件500代替图3B所示的光学组件392。参考图5B,光学组件500配置为经由表面412向用户眼睛340输出相干光490。光学组件500同时配置为经由表面412接收来自用户眼睛340的至少一部分相干光作为反馈光492。由于表面414为半反射,所以在腔416内产生的相干光的至少一部分经由表面414从光源410向垂直集成光传感器520输出。光传感器520配置为接收经由表面414从光源410输出的调制相干光494的至少一部分,并基于调制相干光494的检测强度生成一个或多个信号。
图6A-6C是示出了水平集成光学组件600。光学组件600是干涉仪传感器,其包括配置为输出相干光490的光源410(例如激光源)和与光源410水平集成的光传感器620。光源410包括限定腔416的表面412和414。
光学组件600可以用来代替图3B所示的光学组件392。参考图6B,光源410配置为经由表面412向用户眼睛340输出相干光490。光源410同时配置为经由表面412接收来自用户眼睛340的至少一部分相干光作为反馈光492。反馈光492经由表面412进入光源410的腔体416,并与腔体416内产生的相干光发生干涉,导致对腔体416内产生的相干光的强度进行调制。调制光494的一部分从腔体416漏出,并由光传感器620检测。在一个实施例中,滤波器622位于腔体416和光传感器620之间,以衰减从腔体416传输到光传感器620的光。
或者,光传感器620在调制光被外部物体(例如目标物体眼睛)反射后检测调制光。在图6C中,经调制的相干光494经由表面412从光源410输出,并且调制相干光494的至少一部分被目标物体(眼睛340)重定向回光学组件600的光传感器620,并且随后被光传感器620接收和检测。在一个实施例中,屏障624位于腔体416和光传感器620之间,以阻止光从腔体416传输到光传感器620。水平集成光传感器620配置成基于调制相干光494的检测强度生成一个或多个信号。可以通过分析调制相干光494或基于调制相干光494生成的一个或多个信号来确定关于眼睛340的运动信息。
图7A示出了使用眼动追踪装置390追踪眼睛运动的示意图。从光学组件392输出的相干光490的至少一部分从眼睛340反向反射或反向散射,并在光学组件392处接收作为反馈光492。反馈光492调制光学组件392中的相干光490的强度。关于眼睛340的位置和移动的信息可以根据调制相干光的强度测量来确定。
图7B示出了包括多个光学组件392的眼动追踪装置390。眼动追踪装置390包括多个(例如两个或更多个)光学组件392,每个光学组件392可对应于光学设备400、500和600中的任何一个。7B中示出了两个光学组件392-1和392-2。光学组件392-1的定位使得从光学组件392-1的光源输出的相干光490-1在x-z平面中入射到眼睛340。相反,光学组件392-2的定位使得从光学组件392-2的光源输出的相干光490-2入射到y-z平面中的眼睛340。
因此,眼动追踪装置390对眼睛340在x和y方向上的位置和移动敏感。通过采用两个光学组件392-1和392-2,眼动追踪装置390能够在两个维度(例如在x方向和y方向)确定眼睛位置和眼球运动信息。例如,相干光490-1由光学组件392-1的光源输出。由反馈光与相干光490-1的干涉产生的调制相干光由光学组件392-1的光传感器接收。
光学组件392-1的光传感器基于接收调制相干光生成一个或多个信号。可以使用由光学组件392-1的光传感器生成的一个或多个信号来确定关于沿x方向的眼球运动信息。类似地,相干光490-2由光学组件392-2的光源输出。由反馈光与相干光490-2的干涉产生的调制相干光由光学组件392-2的光传感器接收。光学组件392-2的光传感器基于接收调制相干光生成一个或多个信号。可以使用由光学组件392-2的光传感器生成的一个或多个信号来确定关于眼睛沿y方向的运动信息。
名为“Eye-tracking using laser doppler interferometry”的Meta专利申请最初在2020年7月提交,并在日前由美国专利商标局公布。