Meta专利分享Quest MR环境下的双手呈现，改善键鼠输入交互

　　在过去的几十年中，物理键盘已经成为用户与计算设备交互的最普遍设备之一。通常，物理键盘位于显示器前面，而用户一般会将手轻轻地靠在键盘之上。物理键盘的设计，以及用户长年积累的熟悉度，用户甚至看都不用看就能快速地键入文本。总的来说，物理键盘提供了一种相对快速的输入机制，可以满足大多数用户的需求。

　　随着新的虚拟现实和增强现实的发展，键盘概念得以继承，并且大多采用对应的虚拟键盘形式。为了进一步提升用户体验，行业正在尝试一系列的输入解决方案，比如说Meta。

　　实际上，这家公司已经提交过多份专利申请，并在实践中积极铺开应用。日前，美国专利商标局又公布了一份与所述主题相关的发明。名为“Hand presence over keyboard inclusiveness”的专利主要描述了呈现用户的真实双手。

　　具体来说，由于VR头显会遮挡用户的现实世界视图感知，并非所有人都能实现完完全全的盲打。为了准确高效地打字，用户通常依赖于实时查看物理键盘的按键以及手和手指在键盘上方的位置。通过在虚拟键盘之上呈现真实双手，这可以帮助用户更好地完成文本键入。

　　简单概括来说，在基于前置摄像头的透视视图中，即便可以看到双手，双手都会遮挡按键，使得用户难以判断按键标签。同时，由于分辨率低且为黑白像素，这进一步加大了用户识别按键标签。所以，Meta希望调整手部的透明度值，从而允许用户透过透明但可识别的手指来确定按键的标签，从而更好地完成文本键入。

　　对于传统的键盘使用，即使对于不连续观察手和键盘都能下有效键入文本的用户，能够视觉感知手部相对于键盘的初始位置都非常有帮助或必要。在虚拟现实环境中，用户一般看不到他们正在与之交互的物理键盘，而传统的方案一般是基于摄像头信息渲染对应物理手部的虚拟手部。

　　但由于大多数头显都采用低分辨率的广角黑白前置摄像头，所以可用的视觉信息通常充满噪点，并且缺乏关于深度或颜色的重要信息。另外，由于前置摄像头无法提供完全对齐用户双眼，所以前置摄像头捕获的图像无法提供关于用户在正常现实时感知物理环境的准确视图。

　　所以，根据所述信息生成的虚拟手部难以准确表示用户手部的实际形状或相对位置。

　　鉴于挑战，所以Meta希望利用头显的视频透视功能来呈现用户的物理双手，并通过调整透明度来帮助用户更好地识别按键标签，从而顺利完成文本键入。

　　图1示出了用户100与虚拟现实系统交互的示例。虚拟现实系统可以包括物理输入设备120、头显130和一个或多个计算设备140。在特定实施例中，物理输入设备120可以是包括多个按钮的常规键盘。

　　头显130可以完全覆盖用户100的真实世界视图感知，所以头显130的内部显示器成为了用户100的唯一视觉信息源。如上所述，如果没有关于物理输入设备120和用户手部110的任何视觉信息，用户100可能难以或不可能与物理输入设备120有效交互。因此，头显130需要通过内部显示器向用户100提供物理输入设备120和手部110的实时视觉信息。

　　在一个实施例中，头显130可以包括一个或多个前置摄像头135，并配置成用于捕获关于用户100周围的物理环境的信息。一个或多个前置摄像头135可利用低分辨率的广角黑白透镜，并配置成捕捉缺少关于深度或颜色的任何重要信息的噪点图像。

　　图2B举例说明了虚拟现实系统基于前置摄像头生成的透视图像200。尽管透视视频可以帮助用户准确地感知实际情况，但由于前置摄像头135的噪点和低分辨率，透视图像200内的特定视觉细节可能遭到扭曲或不可分辨。

　　针对这个问题，计算机系统可以根据透视图像确定物理输入设备的姿态，生成代表用户物理手部的三维模型，并通过将所述三维模型投影到与用户透视图相关联的图像平面来生成图像掩模。然后，通过将所述图像掩模应用于所述图像来生成在所述图像中描绘用户物理手部的裁剪图像。基于所述用户的透视图和所述物理输入设备的姿态，计算系统可以渲染表示所述物理输入设备的虚拟输入设备。最后，系统可以显示描绘物理手部位于虚拟输入设备之上的裁剪图像。

　　图3示出了由虚拟现实系统生成的示例图像掩模300。如上所述，可以生成图像掩模300，并从用户100的角度裁剪描绘物理环境的透视图像200。为了生成图像掩模300，虚拟现实系统可以首先访问与前置摄像头135捕获的视觉信息。然后，虚拟现实系统可以使用与用户手部110相关联的视觉信息，并通过任何合适的三维建模技术来生成用户手部110的三维模型350。作为一个非限制性示例，三维手部模型350可以检测用户手部110的关键点，然后使用检测到的关键点将通用三维手模型变形为近似用户手部大小和位置的三维手模型350。

　　在一个实施例中，虚拟现实系统可以从用户100的角度将三维手模型350投影到与从用户100角度感知的图像200的平面对应的图像平面。然后，虚拟现实系统可以识别图像平面内投影的三维手模型350的轮廓355。

　　虚拟现实系统可以通过为每个像素存储指示透明度度量的分配的alpha值来生成包括多个像素的图像掩模300。具体地说，图像掩模300中的每个像素可以基于其在图像掩模300中相对于投影三维手模型350的识别轮廓355的位置分配α值，使得位于轮廓355外部的像素305可以分配低透明度值或零透明度值，而位于轮廓355内的像素310可分配高透明度值。产生的图像掩模300可应用于透视图像200，以生成裁剪的透视图像。

　　图4A-4F举例说明了在虚拟环境中显示用户手部图像的过程。在图4A中，可以按照上文介绍生成图像掩模300a。图像掩模300a可以包括位于三维手模型350的投影轮廓355外部的多个像素305和位于轮廓355内的多个像素310。外部像素305可以分配具有低透明度值或零透明度值的alpha值，而内部像素310可以分配具有高透明度值的alpha值。

　　正如上文介绍，由于前置摄像头无法与用户双眼完全对齐，图像掩模300a中的轮廓355可能与透视图像200中的用户手部210不完全对齐。具体地说，由于三维手模型350不太可能反映用户手的确切形状和位置，所以将图像掩模300a应用于透视图像200可能会无意中裁剪出用户手部210。

　　如图4B所示，可以通过修改图像掩模300a以包括与轮廓355相邻的多个缓冲区像素315来解决所述问题。具体地说，缓冲区315可以通过识别最接近轮廓355的多个外部像素305，并调整所述像素的指定alpha值以具有增加的透明度值。

　　在一个实施例中，可以使用alpha混合技术来调整缓冲区315，使其具有基于缓冲区315内的像素位置具有变化透明度值的alpha值的范围。例如，可以调整缓冲区315的alpha值，使得对于轮廓355附近的像素，透明度值可能较高，但透明度值可以基于与轮廓355的距离逐渐降低。

　　在图4C中，在将图像掩模300应用于透视图像200a以生成裁剪的透视图像200b之前，可以对透视图像200a进行一个或多个调整。

　　在特定实施例中，虚拟现实系统可由具有广泛肤色的用户使用，并且由于物理输入设备以各种不同的颜色制成，用户手部210和透视图像200显示的物理输入设备220之间的对比度可能不同。

　　图2B中的示例透视图像200示出了用户手部210和键盘220之间的对比度水平影响。例如，用户手部210a的肤色较浅，与黑色键盘220形成显著对比，而用户手部210b的肤色较深，与黑色键盘220的对比度很小。在图2B所示，与识别手210a相比，识别手210b的视觉细节相对更难。这种相对差异可以至少部分归因于用于生成透视图像200的低分辨率黑白摄像头。

　　为了解决这个问题，在应用图像掩模300b之前，可以通过使用图像处理技术来调整图4C中的透视图像200a，以提高用户手210的阴影和键盘220的阴影之间的对比度。在特定实施例中，可以首先使用统计采样技术对已知与用户手210相关联的像素区域和已知与键盘220相关联的像素区域中的像素阴影值进行采样，以便生成阴影对用户手部210和键盘220的预测。

　　然后，阴影预测用于识别和分离与用户手部210相关联的较大像素集和与键盘220相关联的较大像素集。一旦分离，与阴影和/或强度相关联的值可以针对像素组中的任何一个进行调整，以提高透视图像200a中像素组之间的对比度。

　　在特定实施例中，可将透视图像220a中与键盘220相关联的采样像素阴影值与代表物理键盘120的虚拟键盘420的阴影值进行比较。如果确定与键盘220相关联的采样像素阴影值与虚拟键盘420的阴影值不匹配，则可以调整与键盘220相关联的较大识别像素集合中的一个或多个像素，以与虚拟键盘420的阴影值一致。

　　在将图像掩模300应用于透视图像200a以生成裁剪的透视图像200b之前，可以对透视图像200a进行额外调整。例如，在透视图像200a中检测到的一个或多个基本上为暗的像素可确定为与用户手部210或另一物体造成的阴影相关联。通过为与阴影相关联的一个或多个暗像素调整与阴影相关联的值和/或强度，一旦随后如下面图4F所示的裁剪透视图像200b，则暗像素对于用户100可能不那么明显。

　　图4D示出了由于将修改后的图像掩模300b应用于透视图像200a而产生的裁剪透视图像200b。具体来说，当应用于透视图像200a时，图像掩模300的外部像素305的低透明度值或零透明度值可以有效地裁剪出透视图像200a中的相应像素。由于在修改后的图像掩模300b中添加了缓冲区315，剪切的透视图像300b可以保留与用户手部210对应像素相关联的大部分像素，但同时可以保留透视图像200a中与缓冲区315中的像素对应的用户手部210附近的任何附加像素。

　　作为修改后的结果，剪切的透视图像300b可产生用户手部210的α值的最小变化，尤其是对于距离用户手部210边界更远的像素。

　　图4E示出了表示物理键盘120的虚拟键盘420。具体来说，可以至少部分地基于由一个或多个前置摄像头132捕获的图像数据来确定物理键盘120的姿态。作为一个非限制性示例，可以使用任何合适的对象追踪技术来确定物理键盘120的姿态。虚拟现实系统随后可以访问对应于物理键盘120的虚拟键盘模型420，使得虚拟键盘模型420的布局和图形表示对应于物理键盘120的布局和视觉外观。然后，虚拟键盘420可以在由头显显示器向用户显示。

　　图4F示出了在虚拟现实环境500中呈现虚拟键盘420时的透视图像200b。具体来说，用户手部210可以部分或完全阻挡虚拟键盘420的一部分。如上所述，由于在图像掩码300b中添加了缓冲区315，可以创建出更平滑的视觉过渡，其中物理键盘220的任何部分能够与虚拟键盘420重叠。

　　图5A-5C示出了根据上述方法将用户物理手部显示在虚拟键盘420之上。

　　在一个实施例中，可以对裁剪的透视图像200b进行额外调整，以确保用户100可以视觉上识别虚拟键盘420的虚拟按键425。如5B和5C所示，可以按照上述介绍的方放调整对与裁剪透视图像200b相关联的透明度值，从而允许用户看到虚拟键盘的按键。

　　名为“Hand presence over keyboard inclusiveness”的专利申请最初在2020年10月提交，并在日前由美国专利商标局公布。