2022年01月28日美国专利局新申请AR/VR专利摘选

　　近期美国专利及商标局公布了一批全新的AR/VR专利，以下是映维网的整理(详情请点击专利标题)，一共36篇。更多专利披露请访问映维网专利板块https://patent.nweon.com/进行检索，你同时可以加入映维网AR/VR专利交流微信群(详见文末)。

　　1. 《Magic Leap Patent | Image Correction Due To Deformation Of Components Of A Viewing Device(针对浏览装置的组件变形的图像校正)》

　　显示组件在选择位置显示虚拟对象，其中浏览虚拟对象的眼睛具有预期的注视方向。检测显示组件的变形。变形导致虚拟对象在变通的位置可见，其中眼睛改变了注视方向。虚拟对象可以显示在校正位置中，令注视方向比改变的注视方向更接近于预期的注视方向。

　　2. 《Magic Leap Patent | Multi-depth plane display system with reduced switching between depth planes(可以减少深度平面之间切换的多深度平面显示系统)》

　　专利描述的显示系统可以是增强现实显示系统，其配置为使用不同的波前发散在多个深度平面提供虚拟内容。所述系统可以基于用户的眼睛注视来监视注视点，其中每个注视点是用户视场中的三维位置。获取要呈现给用户的虚拟对象的位置信息，其中每个虚拟对象与深度平面相关联。在一个实施例中，基于用户眼睛的注视点修改要呈现虚拟对象的深度平面。例如，当用户切换聚焦两个不同深度平面的虚拟对象时，显示系统可配置为修改其中一个对象的呈现，使得两个对象放置在相同的深度平面。

　　3. 《Magic Leap Patent | Systems and methods for performing self-improving visual odometry(执行自我改进视觉里程计的系统和方法)》

　　在一个示例中，训练用于执行视觉里程计的神经网络。其中，神经网络接收环境的多个图像，为每个图像确定各自的兴趣点集和各自的描述符，并确定多个图像之间的对应关系。确定对应包括确定兴趣点集之间的一个或多个点对应，以及基于一个或多个点对应确定一组候选兴趣点，每个候选兴趣点指示三维空间中环境中的相应特征。神经网络为每个候选兴趣点确定各自的稳定性度量和稳定性度量。根据一个或多个候选兴趣点修改神经网络。

　　4. 《Magic Leap Patent | Insert For Augmented Reality Viewing Device(用于增强现实感知设备的插入件)》

　　专利描述了一种视觉感知设备。视觉感知设备具有用于感知虚拟现实世界和现实世界内容的校正光学组件。专利同时描述了可用于校正光学组件的插入件，其包括磁性组件，销和/或鼻架。鼻架可调节高度并适应不同的用户。

　　5. 《Magic Leap Patent | Ghost image mitigation in see-through displays with pixel arrays(包含像素阵列的透明显示器的拖影缓解)》

　　专利描述的头戴式装置包括目镜;目镜包括可变调光组件和框架;框架使得目镜的用户侧朝向用户，且世界侧远离用户。动态调光组件在操作期间选择性地调制从世界侧传输到用户侧的光的强度。动态调光组件包括具有多个像素的可变双折射单元;布置在可变双折射单元的用户侧的第一线性偏振器，第一线性偏振器配置成传输平行于光轴传播的光;布置在可变双折射单元和第一线性偏振器之间的四分之一波片。

　　6. 《Magic Leap Patent | Distributed light manipulation over imaging waveguide(成像波导上的分布式光操作)》

　　在堆叠波导组件中，波导可包括滤色器、分布式滤色器和/或切换材料。切换材料可以设计或调整为衰减不需要的颜色或波长的光。每个波导可与特定设计波长相关联。这意味着与设计波长相关联的波导包括耦入光学元件，其配置为将设计波长处的光偏转到相关联的光分布元件，并且相关联的波长选择区域配置为衰减不在设计波长处的光。

　　7. 《Magic Leap Patent | Augmented Reality Spectroscopy(增强现实光谱)》

　　在一个实施例中，一种系统包括附接到用户头部的头戴式框架;一个或多个耦合到头戴式框架，并且配置为发射具有至少两种不同波长的光线的光源;一个或多个耦合至头戴式框架，并且配置为接收反射光线的电磁辐射检测器;以及可操作地耦合至一个或多个光源和检测器的控制组件。

　　8. 《Apple Patent | Sensor Fusion Eye Tracking(传感器融合眼动追踪)》

　　专利描述的设备包括一个或多个处理器、一个或多个图像传感器和照明源。根据与眼睛第一图像中的不同波长光相关联的像素差来检测眼睛的第一属性。接下来，根据来自深度传感器的深度信息来确定与三维坐标系中的第一属性相关联的第一位置。然后，根据照明源的光从眼睛角膜反射而产生的闪烁来检测眼睛的第二属性。接下来，根据来自深度传感器的深度信息来确定与三维坐标系中的第二属性相关联的第二位置，并且根据第一位置和第二位置确定眼睛在三维坐标系中的注视方向。

　　9. 《Apple Patent | Assisted expressions(辅助表情)》

　　专利描述的方法包括经由显示器显示包括与设备相关联的人员的表示的环境。所述表示包括具有所述人员各自物理面部特征对应的虚拟面部特征的虚拟面部。专利描述的方法包括经由传感器检测与物理面部特征的变化。响应于确定物理面部表情违反标准，修改虚拟面部的一个或多个虚拟面部特征，使得虚拟面部指示满足标准的虚拟面部表情。

　　10. 《Apple Patent | Tunable and foveated lens systems(可调和注视点透镜系统)》

　　专利描述的设备可以包括一个或多个可调节透镜，每个可调节透镜配置成与用户眼睛中的相应一个对准。每个可调节透镜可包括电调制光学材料，例如一个或多个液晶单元。液晶单元可以包括沿一个、两个、三个、四个或四个以上方向延伸的电极阵列。控制电路可以向每个液晶单元中的电极阵列应用控制信号，以产生所需的相位分布。每个透镜可以是注视点透镜系统，使得用户注视的透镜部分显示出与用户注视之外的透镜部分所不同的相位轮廓。控制电路可以调整光学上不同区域的位置，使其与用户的视线保持一致。

　　11. 《Apple Patent | Navigation Using Augmented Reality(利用增强现实进行导航)》

　　专利描述了一种利用增强现实进行导航的方法。其中，包含摄像头和显示屏的设备可固定于车辆仪表板之上，摄像头的位置可以定位为感知前方的道路。系统使用摄像头拍摄前方道路的一系列图像并进行分析，并提供实时视频输入。

　　12. 《Facebook Patent | Equalization based on diffuse field representation of head-related transfer function and transducer-specific data(基于头相关传递函数和传感器特定数据的漫射场表示的音频信号均衡)》

　　专利描述的实施例涉及基于一个或多个漫射场头相关传递函数和设备特定数据执行音频信号均衡的音频系统。用户特定数据和设备特定数据(即传感器特定数据)应用于声学模型，以预测用户的声学响应。然后，使用声学响应和一个或多个漫反射场头相关传递函数来确定均衡滤波器。均衡滤波器应用于音频信号的处理版本，以创建音频信号的修改版本。音频信号的修改版本通过音频系统的传感器阵列呈现给用户。音频系统同时可以包括减少亥姆霍兹共振效应的麦克风组件。

　　13. 《Facebook Patent | Virtual microphone calibration based on displacement of the outer ear(基于外耳位移的虚拟麦克风校准)》

　　音频系统使用用户外耳的位移来校准虚拟麦克风。传感器向用户呈现音频内容。一个或多个传感器监测用户耳廓一部分的位移。音频系统基于耳廓部分的监测位移来估计用户耳道入口处的声压，相应地生成声音滤波器，并使用声音滤波器调整音频内容。传感器将调整后的音频内容呈现给用户。

　　14. 《Facebook Patent | Infrared and non-infrared channel blender for depth mapping using structured light(使用结构光进行深度映射的红外和非红外通道混合器)》

　　专利描述的电子设备包括一个或多个处理器和存储由一个或多个处理器执行的指令的存储器。存储的指令包括：接收三维区域的红外图像信息;接收同一三维区域的非红外图像信息;对接收到的红外图像信息进行非线性强度调整;对接收到的非红外图像信息进行非线性强度调整;混合强度调整后的红外图像信息和强度调整后的非红外图像信息，以获得合并的图像信息;以及提供用于确定深度映射的合并图像信息。

　　15. 《Facebook Patent | Encryption Engine Having Randomized Round Scheduling To Prevent Side Channel Attacks(具有随机循环调度功能以防止Side Channel攻击的加密引擎)》

　　专利描述了描述在解密期间对数据段进行shuffle的加密引擎。通过shuffle数据并使用产生的随机排列进行解密，专利描述的引擎可以混淆攻击者在Side Channel攻击中访问和使用的硬件性能信息。在一个示例中，一种装置包括解密引擎，其配置成对于用于解密加密数据块的多轮的每一轮，从输入的多个排列中选择到解密引擎的输入的置换。输入包括加密数据块的加密数据段和逆密码密钥段，并且输入的选定排列在至少两个回合中是不同的。解密引擎同时配置成基于针对每一轮的输入的各自选择的排列，在多个轮上迭代计算解密数据段。

　　16. 《Facebook Patent | Systems and methods for user interaction with artificial reality environments(用户与人造现实环境交互的系统和方法)》

　　在一个实施例中，一种方法包括生成视觉交互工具，所述工具根据用户的手和手臂运动而在三维人造现实环境中移动和延伸。可以检测到视觉交互工具与AR环境中与第一类型的虚拟项目相关联的预定义区域相交。视觉交互工具可以附加到第一个虚拟项目。可视交互工具的第一操作模式可以基于第一虚拟项目的第一类型来选择。第一操作模式可以从视觉交互工具的多个操作模式中选择。当视觉交互工具附加到第一虚拟项目时，可以接收来自用户的第一输入。可以根据第一操作模式和第一输入来执行具有第一虚拟项的第一操作。

　　17. 《Facebook Patent | 3d conversations in an artificial reality environment(人造现实环境中的3D对话)》

　　3D对话系统可以促进增强现实环境中的3D对话。3D对话系统可以通过一系列数据处理阶段，包括校准、捕获、标记和过滤、压缩、解压缩、重建、渲染和显示阶段。通常，管道可以捕获发送用户的图像，创建中间表示，转换表示以从拍摄图像的方向转换到接收用户的视点，并从接收用户的视点输出发送用户的图像，与发送用户捕获的音频同步。这样的3D对话可以在两个或多个发送方/接收方系统之间进行。在各种配置中，可以根据对话情景定制管道的各个阶段。

　　18. 《Facebook Patent | Multi-channel depth estimation using census transforms(使用census transforms的多通道深度估计)》

　　专利描述了一种能够使用来自两个摄像头的两幅图像来确定深度信息的深度估计系统。第一摄像头捕捉第一图像，第二摄像头捕捉第二图像，其中所述两个图像都包括多个光通道。从多个扫描方向中选择扫描方向。对于所选择的扫描方向，沿着多条扫描线中的每一条，系统将来自第一图像的像素与来自第二图像的像素进行比较。比较基于计算第一图像中每个像素的census transform和第二图像中每个像素的census transform。所述比较用于确定第一图像中的像素与第二图像中的像素之间的立体对应关系。系统根据立体对应关系生成深度映射。

　　19. 《Facebook Patent | Devices and methods for determining confidence in stereo matching using a classifier-based filter(使用基于分类器的滤波器确定立体匹配可信度的设备和方法)》

　　专利描述了一种确定立体匹配置信度的方法。所述方法包括接收左图像信息;接收右图像信息;确定左图像信息和右图像信息之间的立体匹配差分轮廓;以及通过将预定义分类器应用于立体匹配差异分布来确定立体匹配一致性的一个或多个置信值。

　　20. 《Facebook Patent | Depth sensing using temporal coding(使用时态编码的深度感知)》

　　在一个实施例中，系统包括至少一个投影仪，其配置成投射多个投影图案，其中每个投影图案的投影照明特性根据相关联的预定时间照明特性图案在一个时间段内变化。所述系统同时包括摄像头，其配置为在所述时间段内捕获检测到的图案的图像。所述系统同时包括一个或多个处理器，其配置为：基于检测到的图案的检测到的照明特性的变化，为每个检测到的图案确定检测到的时间照明特性图案;通过将至少一个检测到的时间照明特征图案与至少一个时间照明特征图案进行比较;识别与一个投影图案对应的检测到的图案;并基于一个或多个投影图案计算与检测到的图案相关联的深度，检测到的图案，以及摄像头和投影仪之间的相对位置。

　　21. 《Facebook Patent | Porting physical object into virtual reality(将物理对象移植到虚拟现实)》

　　所述方法包括在物理空间中检测输入设备。所述方法包括通过显示设备向用户呈检测到的输入设备的虚拟模型。虚拟模型在虚拟空间中的位置和方向可以对应于输入设备在物理空间中相对于用户的位置和方向。所述方法包括通过虚拟模型可视地提供关于用户与物理输入设备交互的空间反馈。

　　22. 《Facebook Patent | Polarization-Sensitive Components In Optical Systems For Large Pupil Acceptance Angles(用于大光瞳接受角的偏振敏感组件)》

　　近眼显示器包括配置为输出图像光的电子显示器。另外，近眼显示器包括眼动追踪模块和多个光学元件，后者组合形成光学系统并允许改变位置。具有可切换光学状态的光学元件可用于将光束引向用户眼睛。方向可以基于由眼动追踪模块测量的眼动追踪信息。

　　23. 《Facebook Patent | Display Device With Varifocal Optical Assembly(包含变焦组件的显示设备)》

　　专利描述的变焦光学组件包括多个光学元件，其配置为在连续的光学级中透射光。连续光学级中的每个光学级包括多个光学元件中的至少一个光学元件，并且可配置为处于第一状态或第二状态。处于第一状态的各个光学级具有用于第一偏振光的第一相应光学倍率和用于第二偏振光的第二相应光学倍率。处于第二状态的各个光学级具有用于第一偏振光的第三光学倍率和用于第二偏振光的第四光学倍率。可通过改变一个或多个连续光学级的状态来调节变焦光学组件的光学倍率。

　　24. 《Facebook Patent | System and method for automatic lens assembling and testing(自动透镜组装和测试系统和方法)》

　　专利描述的方法包括组装第一透镜和第二透镜，以在第一组装和验证线中形成第一光学组件;在第一组装和验证线测试第一光学组件;如果测试结果满足预定条件，则确保第一透镜和第二透镜之间的耦合;如果测试结果不满足预定条件，则将第一光学组件分解成第一透镜和第二透镜;所述方法同时包括在堆叠第一透镜和第二透镜以形成第二光学组件之前，在第二组装和验证线中调整第一透镜或第二透镜中至少一个的光学中心、倾斜或偏振角中的至少一个;以及堆叠第一透镜和第二透镜以形成第二光学组件。

　　25. 《Microsoft Patent | Computer vision cameras for ir light detection(用于红外检测的计算机视觉摄像头)》

　　专利描述的头戴式设备包括至少一个省略红外滤光片的计算机视觉摄像头。这种计算机视觉传感器能够检测环境中的红外光，包括红外光和激光。头戴式设备配置为使用计算机视觉摄像头生成环境图像。然后将所述图像作为输入输入到机器学习算法中。其中，机器学习算法识别传感器检测到并记录在图像中的红外激光。然后，头戴式设备可视地显示包含与检测到的红外激光相对应的信息的通知。

　　26. 《Microsoft Patent | Systems and methods for continuous image alignment of separate cameras(摄像头连续图像对齐系统和方法)》

　　用于摄像头连续图像对准的系统可以识别基准参考camera姿势和更新的参考camera姿势之间的参考camera变换矩阵;基于参考camera捕获的一个或多个参考帧和匹配camera捕获的一个或多个匹配帧之间的视觉对应关系，识别基本匹配camera姿势和更新的匹配camera姿势之间的匹配camera变换矩阵和对齐矩阵。系统同时基于参考camera变换矩阵、匹配camera变换矩阵和对准矩阵生成运动模型。其中，运动模型配置为便于将参考camera捕捉的参考帧的一组像素映射到匹配camera捕捉的匹配帧的对应像素组。

　　27. 《Microsoft Patent | Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur(用于帮助识别运动模糊图像之间对应关系的系统和方法)》

　　获得由参考camera在参考camera处捕获的参考帧，并获得由匹配camera在匹配camera时间点捕获的匹配帧。系统识别运动属性。其中，所述运动属性包括：在参考camera时间点与参考camera关联的参考camera运动属性;和/或在匹配camera时间点与匹配相机关联的匹配camera运动属性。系统至少使用运动属性、摄像头曝光时间、摄像头视场或摄像头角度分辨率中的一个作为输入来确定下采样分辨率。系统根据下采样分辨率生成下采样参考帧和下采样匹配帧。系统识别下采样参考帧和下采样匹配帧之间的对应关系。

　　28. 《Microsoft Patent | Systems and methods for reducing a search area for identifying correspondences between images(减少识别图像之间对应关系的搜索区域的系统和方法)》

　　识别由匹配camera捕获的第一匹配帧内的重叠区域。重叠区域包括与环境一个或多个相同部分相关联的第一匹配帧的一个或多个点，所述环境与由参考camera捕获的第一参考帧的一个或多个对应点相关联。系统获得由参考camera捕获的第二参考帧和由匹配camera捕获的第二匹配帧。系统识别参考camera变换矩阵和/或匹配camera变换矩阵。系统基于重叠区域和参考camera变换矩阵和/或匹配camera变换矩阵在第二匹配帧内定义搜索区域。

　　29. 《Microsoft Patent | Systems and methods for updating continuous image alignment of separate cameras(更新摄像头连续图像对齐的系统和方法)》

　　识别与参考camera和匹配camera在一个或多个先前时间点捕获的先前帧对相关联的先前对齐矩阵。上一个对齐矩阵基于上一帧对中的视觉对应关系。系统同时识别与参考camera和匹配camera在一个或多个当前时间点捕获的当前帧对相关联的当前矩阵。当前矩阵基于当前帧对中的视觉对应关系。系统同时识别与参考camera或匹配camera相关的差值，其中差值相对于一个或多个先前时间点和一个或多个当前时间点。系统同时使用之前的校准矩阵、当前矩阵和差值作为输入，并生成更新的对齐矩阵。

　　30. 《Microsoft Patent | Virtual-projectile delivery in an expansive environment(在一个广阔环境中交付虚拟发射物)》

　　专利描述的方法包括从第一玩家佩戴的设备接收命中信号;接收设备的位置;接收虚拟射弹发射器的发射轴的方向;接收第二玩家的位置;以及根据接收到的命中信号在确定时输出命中分配。其中，命中信号是指识别对象和第二玩家在虚拟射弹的指定发射点重合。另一种方法包括由第一玩家的虚拟射弹发射器接收虚拟射弹发射的指示，接收与虚拟射弹发射器的发射轴对齐的图像，根据接收到的发射指示，在确定时向服务器输出命中信号，在图像的投射物交付区域中成像识别出的对象，并将设备的位置和发射轴的方向输出到服务器。

　　31. 《Google Patent | Synthetic Stereoscopic Content Capture(合成立体内容捕获)》

　　示例计算设备包括至少一个处理器和存储器。存储器存储使计算设备接收三维场景的指令。这些指令同时可以使计算设备重新定位三维场景的顶点，以补偿定向立体投影中camera位置的变化，并基于重新定位的顶点生成立体图像。一种示例方法包括将三维场景投影到左眼图像立方体和右眼图像立方体，并重新定位三维场景的顶点以调整从单个camera位置进行渲染。所述方法同时包括将立体图像的像素映射到左眼图像立方体和右眼图像立方体的点，并使用映射像素的值生成立体图像。

　　32. 《Google Patent | Learning illumination from diverse portraits(从各种人像中学习照明)》

　　根据人像估计照明的技术包括基于机器学习(ML)系统，使用多个双向反射分布函数(BRDF)作为损失函数，从人脸的单个图像生成照明估计。在一个实现中，ML系统使用由LDR图像计算的HDR照明形成的人脸图像进行训练。所述技术解决方案包括使用人像及其相应的ground truth照明数据集以有监督的方式训练照明估计模型。

　　33. 《Nvidia Patent | Foveation and spatial hashing in layer-based computer-generated holograms(基于层的计算全息图中的注视点方法和空间散列)》

　　首先应用波前记录平面来计算接近点云、多边形网格或要在全息显示器渲染的场景的其他表示的电场。空间散列用于将点云或其他表示形式构造为键值对。键定义了波前记录平面上的单个位置。一个值表示点云或网格多边形的一个点。在另一个实施例中，生成多个波前记录平面。空间散列应用于从点云或其他对象表示中的点到每个波前记录平面的至少一个场的求和。

　　34. 《Sony Patent | Information processing system, information processing method, and computer program(信息处理系统、信息处理方法和计算机程序)》

　　信息处理设备获取通过对真实空间成像而获得的第一图像。信息处理设备通过将第一图像合并为第二图像来生成显示图像，其中第二图像表示要呈现给佩戴头戴式显示器的用户的虚拟空间。信息处理设备在头戴式显示器显示生成的显示图像。

　　35. 《Sony Patent | Information processing apparatus and information processing method(信息处理设备和信息处理方法)》

　　获取内容的数据，并基于内容的数据从内容图像中切出与第一用户的视场相对应的第一视场图像。另外，获取表示观看内容图像的第二用户的视场的视场信息。另外，在显示设备显示第一视场图像，并且基于第二用户的视场信息显示第二用户的视场。

　　36. 《Sony Patent | Information processing apparatus, method for processing information, and program(信息处理设备，处理信息的方法和程序)》

　　专利描述的信息处理设备包括获取单元，其获取由第一传感器输出的第一传感器信息和由第二传感器输出第二传感器信息。专利描述的信息处理设备同时包括计算单元，其在使用第一传感器信息和第二传感器信息计算操作员的位置信息。