微软AR/VR专利探索在多源图像中快速定位获取目标图像

　　如果大家有关注微软的专利探索，这家公司曾多次提出一种集成式摄像头/系统摄像头+分离式摄像头/外部摄像头的系统理念。其中，集成式摄像头/系统摄像头是指物理集成到头显的摄像;分离式摄像头/外部摄像头则是指与头显分离的摄像头。

　　例如在一个场景中，可以将分离式摄像头捆绑或以其他方式放置在用户的胸部。在另一个场景中，分离式摄像头可以不放置在用户的身体上，而是由用户握持的工具上。

　　对于这种配置，系统需要对准来自不同源的图像，并在用户视图中快速获取目标，亦即帮助用户快速精确地定位期望的目标，这样用户就不再需要花费时间进行观察搜索。例如，当用户需要使用枪械瞄准镜时，快速对齐枪械瞄准镜和头显摄像头的图像，并快速定位瞄准镜瞄准的目标。

　　在名为“Smooth and jump-free rapid target acquisition”的专利申请中，微软就介绍了相关的快速获取目标图像。

　　图1示出了头戴式设备100的示例。头显100示为包括扫描传感器105，并且头显100可以使用扫描传感器105来扫描环境、绘制环境地图、捕获环境数据和/或生成环境的任何类型的图像。

　　头显100可以用于生成用户环境的透视可视化。为了生成透视图像，扫描传感器105通常依靠其摄像头来获得环境的一个或多个原始图像除了生成透视图像之外，原始图像同时可以用于确定深度数据。

　　一旦获得了这些原始图像，则可以根据嵌入或包括在原始图像中的深度数据来计算深度图，并且如果需要，可以使用深度图为任何重投影生成透视图像(例如每个瞳孔一个)。

　　通过透视可视化，用户将能够感知他/她的环境中当前存在的内容，而不必移除或重新定位头显100。

　　在前所述，微软提出的配置可以包含系统摄像头和外部摄像头。在图4中，由外部摄像头415生成的图像内容与由系统摄像头405生成的图像属性需要对准，以便用户更好地辨别工具410瞄准的位置。

　　微软提出的技术旨在使用头显400、系统摄像头405和外部摄像头415作为组合瞄准接口来瞄准工具(例如工具410)。

　　图5示出了系统摄像头500，以及包括外部摄像头505的工具(例如抓握枪)。应该注意的是，外部摄像头505的光轴如何与工具的瞄准方向对准。因此，由外部摄像头505生成的图像可以用于确定工具被瞄准的位置。

　　在图5中，系统摄像头500和外部摄像头505都对准目标510。为了说明，系统摄像头500的视场FOV由系统摄像头FOV515(又名HMD摄像头FOV)表示，并且外部摄像头505的FOV由外部摄像头FOV 520表示。

　　图6示出了系统摄像头FOV 600，其代表了图5的系统摄像头FOV515。系统摄像头FOV 600将由系统摄像头以系统摄像头图像的形式捕获，并且可以以透视图像的形式显示。系统摄像头图像具有分辨率605，并且由系统摄像头基于所确定的系统摄像头的刷新率610来捕获。

　　系统摄像头的刷新率610通常在大约30Hz和120Hz之间。通常，刷新率610是大约90Hz或者至少60Hz。通常，系统摄像头FOV 600具有至少55度的水平FOV。系统摄像头FOV 600的水平基线可以延伸到65度，或者甚至超过65度。

　　图7示出了外部摄像头FOV 700，其代表图5的外部摄像头FOV220。请注意，外部摄像头FOV 700小于系统摄像头FOV 600。

　　换句话说，外部摄像头FOV 700的角分辨率高于系统摄像头FOV 600的角分辨率。具有增加的角分辨率令外部摄像头图像的像素密度高于系统摄像头图像的象素密度。

　　例如，外部摄像头图像的像素密度通常是系统摄像头图像的象素密度的2.5到3倍。因此，外部摄像头图像的分辨率705高于分辨率605。

　　外部摄像头同时具有刷新率710。刷新率710通常低于刷新率610。例如，外部摄像头的刷新率710通常在20Hz和60Hz之间。通常，刷新率710是至少大约30Hz。

　　外部摄像头同时包括外部IMU 715或与外部IMU关联。使用所述外部IMU 715，实施例能够检测或确定外部摄像头的方位/姿态以及外部摄像头正受到的任何力。因此，外部IMU 716可以用于确定外部摄像头瞄准器的姿态(例如，6自由度和/或3自由度)。

　　对于微软的发明，需要将从外部摄像头获得的图像与系统摄像头生成的图像重叠并对准，以生成重叠并对准的透视图像。

　　两个图像之间的重叠使得实施例能够生成多个图像，然后将图像内容从一个图像叠加到另一个图像上，以便生成具有增强特征的合成图像或叠加图像，如果仅使用单个图像，则增强特征将不存在。

　　作为一个例子，系统摄像头图像提供宽视场，而外部摄像头图像为聚焦区域(即工具正在瞄准的瞄准区域)提供高分辨率和像素密度。通过组合这两幅图像，得到的图像将具有宽视场和高像素密度的优点。

　　实施例能够将系统摄像头的图像与外部摄像头的图像对准。因为两个摄像头的FOV的至少一部分彼此重叠，所以所得到的图像的至少一个部分包括相应的内容。

　　因此，可以识别对应的内容，然后可以基于类似的对应内容生成合并、融合或叠加的图像。通过生成叠加图像，实施例能够向用户提供增强的图像内容。

　　图8示出了系统摄像头图像805和外部摄像头图像810。通过以上方式，系统可以生成合并、融合或叠加的图像800。提供增强的叠加图像800允许快速的目标获取，如图9中的目标获取900所示。

　　换句话说，可以以快速的方式获取目标，即工具精确地对准期望的目标，这样用户就不再需要花费时间通过工具的瞄准器进行观察。

　　名为“Smooth and jump-free rapid target acquisition”的微软专利申请最初在2021年10月提交，并在日前由美国专利商标局公布。