对于AR/VR头显,质保的重要性日益增加。所以,Meta针对这个问题提出了一种“人造眼”系统。概括来说,专利描述了一种可以作为人造眼系统的透镜组件,并用于在操作或测试头戴式显示器时模拟人眼。
Meta指出,对于批量生产的AR/VR头显,对每台设备进行手动测试并不符合实际。然而,仅仅用静态摄像头代替人体测试并不足够。为了确认VR/AR显示器的响应性和显示图像的质量,行业需要一种能够在捕获用户透视视觉信息的同时实现眼动追踪功能的光学校准系统。
所以,名为“Artificial eye system”的专利申请主要描述了一种具有形状类似人眼角膜的透镜的人造眼系统。
在一个实施例中,所述的人造眼系统包括外壳、用于从透镜捕获图像光的摄像头系统、以及位于透镜和摄像头系统之间的虹膜结构。外壳可以包括“角膜区域”和“巩膜区域”。人造眼系统可以安装到将人造眼系统重新定位到各种定向的定向台。利用这些功能,人造眼系统可以模拟人眼的属性和行为,以支持眼动追踪系统操作和VR/AR测试。
人造眼系统的透镜具有角膜形状轮廓的朝外表面。角膜形状的轮廓可以是非球面或球面,并且具有与外壳的巩膜区域的半径不同的半径。透镜可以附接到外壳的角膜区域或与外壳的角膜区集成。
透镜可以像人类角膜一样操作以将光聚焦到摄像头系统,以使摄像头系统能够以类似于人眼可能感知图像的方式捕获图像。透镜通过形成在虹膜结构中的瞳孔开口聚焦图像光。虹膜结构可以包括一个略微反光的哑光表面,并用作模仿人眼虹膜的属性。瞳孔可以是摄像头系统的入射光瞳。
摄像头系统可以包括图像传感器和光学系统。图像传感器配置为将接收的图像光转换成图像数据。光学系统可以包括位于瞳孔和图像传感器之间的一个或多个光学元件(例如透镜),从而将光聚焦到图像传感器。摄像头系统可以耦合到外壳以与透镜、光瞳和外壳对准地旋转。
在一个实施例中,人造眼系统结合到光学校准系统中,以与头戴式显示器一起操作。光学校准系统可以包括头显、人造眼系统、定向控制器和处理逻辑。头显可以包括显示器和眼动追踪系统以及其他组件。
显示器投射图像或信息的图像光,所述图像或信息可以基于人造眼系统的定向。眼动追踪系统可用于确定人造眼睛系统的方位,并向处理逻辑提供方位信息。处理逻辑可以将人造眼系统的已知方位(例如由方位控制器设置)与由眼动追踪系统确定的接收方位进行比较。
将已知定向与测量定向进行比较可以有助于摄像头系统和/或眼动追踪系统的校准。然后,人造眼系统(和摄像头系统)可用于在生产环境中对头显执行质量保证测试。其中,图像数据与人眼实际所感知的相似。
图1示出了光学校准系统100,其配置为监视、校准和测试头戴式显示系统。根据一个实施例,光学校准系统100包括耦合到处理逻辑104,并且配置为从显示器106接收图像光的人造眼系统102。人造眼系统102通过结合类似人眼的透镜、光瞳和外壳来解决传统光学校准系统中的缺陷。
人造眼系统102是透镜组件,包括配置为接收图像光并将图像光转换成图像数据的多个组件。人造眼系统102包括透镜108、摄像头系统110和位于透镜108和摄像头系统110之间的虹膜结构112。根据一个实施例,人造眼系统102同时包括配置为携带透镜108、虹膜结构112和/或摄像头系统110的外壳114。
透镜108的形状类似人眼的一部分,以模拟人眼角膜的光透射属性。透镜108包括形状像人眼角膜的外表面116。外表面116是接收来自外部人造眼系统102的光的朝外表面。外表面116是凹面。外表面116的轮廓包括可以是非球面或可以是球面的角膜形状。透镜108同时包括向内表面118,其配置为将图像光传输到摄像头系统110。
摄像头系统110定位为接近透镜108以接收来自透镜108的图像光。摄像头系统110配置为将图像光转换成图像数据120。摄像头系统110可以将图像数据120输出到例如处理逻辑104用于分析。摄像头系统110可以定位在外壳114内,安装到外壳114上、由外壳114承载或由外壳114在结构上支撑。
摄像头系统110包括图像传感器122和光学系统124,用于从从透镜108接收的图像光生成图像数据120。图像传感器122包括像素阵列,每个像素响应于通过虹膜结构112从透镜108接收的光子。
在一个实施例中,图像传感器122具有像素间距为1微米或更小的图像传感器像素。图像传感器122的像素分辨率可以根据应用而变化。图像传感器122的处理逻辑使得图像传感器122能够接收、捕获和/或将图像光转换为例如图像数据120。
光学系统124光学耦合到图像传感器122,并且位于图像传感器122和透镜108之间。光学系统124可以包括一个或多个透镜,所述透镜对准并配置成从透镜108接收图像光并将图像光聚焦到图像传感器122。
根据一个实施例,人造眼系统102包括位于透镜108和摄像头系统110之间的虹膜结构112,以限定用于图像光通过的光瞳129。虹膜结构112至少部分地形成在外壳114内,并且在外壳114中为圆形或环形。
虹膜结构112模仿人眼的虹膜。虹膜结构112的瞳孔129是虹膜结构112内的开口或孔径,其允许图像光从透镜108的内表面118传递到摄像头系统110。瞳孔129限定摄像头系统110的入口开口。
虹膜结构112包括复制人眼特征的饰面。虹膜结构112的饰面是半反射哑光饰面,其可以具有灰色、黑色、棕色、蓝色、绿色、红色或模仿或类似人眼的其他颜色。根据一个实施例,通过将虹膜结构112制造成半反射的并且具有人眼的颜色,人造眼系统102有助于测试和校准眼动追踪系统和其他头戴式显示器特征。
人造眼系统102使用外壳114来承载、对准和/或定向人造眼系统100的各种元件。根据一个实施例,外壳114制造成接近人眼的尺寸。外壳114至少部分地以人眼的形状和尺寸制造,以使人造眼系统102能够模拟人眼与显示器106和光学校准系统100内的其他系统交互的功能。
外壳114包括角膜区域128和巩膜区域130。角膜区域128容纳和/或承载透镜108。
根据各种实施方式,外壳114的角膜区域128可以用粘合剂耦合到透镜108,可以熔接到透镜108(例如,加热),或者可以被制造为包括透镜108的单个不间断单元。
外壳114的角膜区域128制成角膜的形状,并且具有至少部分为人眼角膜形状的轮廓。角膜区域128是非球面,并且根据人类角膜的非球面形状来制造。由于人类角膜的高度和直径可以单独变化,角膜区域128可以根据不同的规格来制造,以模拟各种类型的眼睛(例如,儿童、老年人、中年成年人、患病等)。
巩膜区域130可以制造成球形,并且可以制造为具有人类眼睛的平均直径。巩膜区域130可以制造成具有24mm的直径或被制造成在22mm至27mm范围内的直径。在其他实施例中,巩膜区域130制造成与角膜区域128的尺寸对齐的直径。
根据一个实施例,角膜区域128和巩膜区域130被制造成半透明的并且由光学质量玻璃制造。在一个实施例中,角膜区域128由光学质量的玻璃制成,而巩膜区域130的一部分由玻璃制成。巩膜区域130的一部分可以由塑料制造,可以是不透明,或者可以被制造成便于摄像头系统110的插入和移除。
外壳114包括限定角膜区域128和巩膜区域130之间的边界的过渡区域132。过渡区域132包括从角膜区域128的非球面形状平滑过渡到巩膜区域130的球面形状的曲率。过渡区域132是围绕角膜区域128的环形或椭圆形。过渡区域132的平滑度被制造成模拟人眼的角膜区域和巩膜区域之间的过渡,并且过渡区域132有助于光学校准系统100的眼动追踪系统的校准。
根据一个实施例,光学校准系统100配置为以各种取向定位人造眼系统102,以模拟与头戴式显示系统142交互的用户的眼睛定位和眼睛运动。
光学校准系统100包括定向台154和定向控制器156,以旋转和定向人造眼系统102。定向台154安装到人造眼系统102。定向台154可以携带或悬挂人造眼系统102。定向台154可以使用透明或不透明支架或至少部分形状类似巩膜区域130的结构来制造,以与外壳114的至少一部分配合。
定向台154可以胶合、拧入、熔合、粘附或以其他方式联接到外壳114。定向台154可以包括电机、齿轮和控制器,以向上、向下、向左和向右旋转人造眼系统102,以使人造眼系统104能够接收来自多个不同定向的显示图像光134或组合图像光140。
定向控制器156物理耦合在定向级154和处理逻辑104之间,以从处理逻辑104接收指令并定位定向级154。
根据一个实施例,定向控制器156通过通信信道126C通信耦合到定向级154,并且定向控制器156经由通信信道126D通信耦合到处理逻辑104。根据一个实施例,定向控制器156包括使定向控制器156能够将来自处理逻辑104的命令转换成由定向级154使用的电信号,以旋转或定向人造眼系统102的逻辑。
处理逻辑104与光学校准系统100的各种组件通信,以便于校准摄像头系统110、人造眼系统102、显示器106和/或头戴式显示系统142。处理逻辑104可以通信地耦合以分别通过通信信道126A、126E、126F、126G和126D向图像传感器122、光学引擎136、显示器106、眼动追踪系统150和/或定向控制器156提供指令并从其接收信息。通信信道126A-G可以被统称为通信信道126。
图2包括根据实施例的用于操作光学校准系统100的过程200的流程图。
在操作202,处理逻辑104可以配置为通过定位定向阶段154来设置人造眼系统102的定向。处理逻辑104可以通过向定向控制器156发送一个或多个命令来设置人造眼系统102的定向。由处理逻辑104设置的初始取向可以是被认为是摄像头系统110可以从其接收来自显示器106的组合图像光140的原点、原点或原点位置的取向。根据一个实施例,操作202进行到操作204。
在操作204,处理逻辑104可以配置为将显示器106设置为输出显示数据作为图像光。最初,显示数据可以生成图像的校准图像光,图像包括在显示器106的原点和/或角落处的多个形状。诸如菱形、矩形和圆形的预定形状可以位于所显示的图像内的特定位置,从而可以将所输出的形状的位置与图像传感器122接收的形状位置进行比较。然后,将预定数据与捕获的数据进行比较可用于帮助对准和校准摄像头系统110和显示器106。根据一个实施例,操作204进行到操作206。
在操作206,处理逻辑104可以配置为接收图像光并使用图像传感器122从图像光生成图像数据120。根据一个实施例,操作206进行到操作208。
在操作208,处理逻辑104可以配置为将显示数据与图像数据进行比较。处理逻辑104可以将显示数据与图像数据进行比较,以确定摄像头系统110与显示器106的对准程度。处理逻辑104可以配置为执行显示数据与图像数据的逐像素比较。处理逻辑104可以配置为执行显示数据的对象(的位置与图像数据中捕获的对象的相对比较。根据一个实施例,操作208进行到操作210。
在操作210,处理逻辑104可以配置为确定数据差异。如果检测到显示数据和图像数据之间的差异,则操作210可以进行到操作212。根据一个实施例,如果处理逻辑104没有检测到显示数据和图像数据之间的显著差异,则操作210可以进行到操作214。
在操作212,处理逻辑104可以配置为校准显示器106或调整人造眼系统102的取向。校准显示器106或调整人造眼系统102的方位可以包括向上、向下、向左或向右重新定位人造眼系统,以便使显示数据中的对象与接收到的图像数据中的对象对齐。根据一个实施例,在对显示器106或人造眼系统102进行调整之后,操作212返回到操作206。
在操作214,处理逻辑104可以被配置为改变人造眼系统102的取向,改变显示器106显示的显示数据,或者改变取向和显示数据两者。根据各种实施例,处理逻辑104可以被配置为调整光学校准系统100内的取向或显示数据,以从例如显示器106或头戴式显示系统142的左上角、右上角、左下角、右下角捕获附加图像。
除了确定显示器106和图像传感器122之间的对准之外,过程200可以包括用于测试和/或校准眼动追踪系统150的操作。例如,处理逻辑104可以设置人造眼系统102的方位,可以从眼动追踪系统150读取眼睛方位,并且可以将人造眼系统100的预期方位与眼动追踪系统100捕获或确定的方位进行比较。
如结合图1和图2所讨论的,光学校准系统100可以使用透镜108(具有角膜形状)和人造眼系统102来测试头戴式显示系统142的各种特征并与之交互。一旦确定或确认了人造眼系统102的对准,就可以在头戴式显示系统142显示和测试各种用户界面。
在生产环境中,可以在附加的头戴式显示器上运行数个预定的测试图像、用户界面和/或程序,并且可以使用人造眼系统102来确保诸如头显透镜、显示器和追踪系统之类的组件的质量。
名为“Artificial eye system”的Meta专利申请最初在2021年8月提交,并在日前由美国专利商标局公布。