索尼专利申请可追踪AR交互外设触控笔等

　　对于AR，双手和诸如触控笔这样的外设都是重要的输入方式。所以，精确地追踪双手/外设十分关键。在名为“Augmented reality (ar) pen/hand tracking”的专利申请中，索尼就描述了一种用于追踪手/外设(例如触控笔)的方法。

　　如图2所示，人200以紧握的第一姿势用手202握住物体204，例如触控笔。在一个实施例中，物体204可以至少跨越普通人的手掌底部到中指指尖的长度，以便通过摄像头进行更准确的识别。

　　可以使用摄像头来生成手202和物体204的图像，并由头戴式显示器的一个或多个处理器处理，从而实现对手202和物体204的追踪，包括手202的姿势。

　　换言之，处理器采用的图像识别/计算机视觉(CV)算法识别手指和手相对于物体204的姿势，从而可以基于手与物体的交互来区分不同的手姿势。例如，处于握笔300姿势(图3)的手202与处于握持餐具400姿势(图4)的手不同。

　　当然，除了摄像头之外，索尼指出可以使用其他传感器，并以任何适当的组合来确定手势和沿着物体204的特定手接触点。例如，位于沿着物体外壳外部的各个点处的压力传感器和电容或电阻触摸传感器可用于确定手姿势/接触点。物体204内的超声波收发器同时可用于测量物体204的表面，以确定手的姿势/接触点。另外，可使用应变传感器来识别物体的外壳在哪里弯曲，从而推断弯曲点的接触点。

　　出于类似目的，指纹读取器可以位于物体204的外壳上，并且在特定实施例中可以专门用于消除人的拇指与人的小指的歧义。例如，通过将拇指压在物体204之上，并使用不同的手指和/或围绕物体204的紧握运动来虚拟制动虚拟摩托车，从而将相关操作识别为虚拟摩托车的虚拟加速。在一个实施例中，指纹读取器甚至可以消除手掌皮肤图案和手背皮肤图案的歧义。

　　图6进一步示出了相关追踪原理。从框600开始，在框602使用摄像头和图像识别/CV技术(和/或使用上述其他传感器)对手进行成像并识别姿势。如果需要，在框604对手所持的物体进行成像，然后在框606识别其类型和姿势/方位。

　　可以在框606使用上述其他传感器来识别物体的姿势/方位。然后，基于手的姿势，并且如果需要，可同时基于物体的类型和物体的姿势/定向，在框608识别触觉反馈。然后在框610，向物体发送信号。其中，信号激活物体中的一个或多个触觉发生器或振动器以在物体实现触觉反馈。

　　因此，当以某种方式保持物理物体时，用户可以体验一个或一组触觉反馈。例如，当手的姿势处于如图3所示的握笔配置中时，系统可以在笔/物体上生成触觉反馈，以模拟在表面书写或擦除的触感。在一个实施例中，可以在笔尖施加额外的阻力。

　　在一个实施例中，当手的姿势处于如图2所示的拳头中时，可以在被握持的物体上生成触觉反馈，以模拟手中物体的触感。触觉反馈可以与手的姿势相关，如果需要，可以与物体类型相关，包括间歇性的嗡嗡声和持续的抖动等等。

　　图8示出了用于训练机器学习(ML)模型的训练步骤，例如包括卷积神经网络(CNN)和/或递归神经网络(RNN)的一个或多个神经网络。在框800，将手/物体姿势图像对的训练集和每个姿势组合的相应触觉反馈输入到ML模型。在框802使用训练集来训练ML模型。

　　ML模型可以根据手的姿势、手对物体的各种位置的已知接触点/抓握、和/或物体自身的姿势/取向，针对沿着物体自身上的各个点随时间的动态动态动态触觉反馈生成进行训练。用于给定物体的触觉反馈的已知物体物理由开发者预编程的或由计算机模拟本身提供。

　　换言之，对于每个对应的手姿势/握持组合，将在沿着物体的各个离散点处经历的某些触觉可以预编程，以产生对应于特定虚拟动作的给定触觉感觉。然后根据实际的类似手姿势，触觉可以实际应用于所识别的接触点本身。

　　另外，可以使用预编程和训练的ML模型本身来推断用于其他姿势/抓握的其他触觉。因此，可以根据手的实际接触点、手的姿势和物体自身的姿势来不同地呈现用于相同计算机模拟效果的触觉反馈，使得所呈现的触觉基于物体是否被握住(而变化。

　　图9示出了另外的原理。从框900开始，使用手和物体的图像来识别手的姿势和物体的类型。移动到框902，当手移动时，可以追踪手中物体的不可见部分以及可以成像的物体部分，并且在框904使用物体的不可视部分和物体的成像部分的合并来在计算机模拟中呈现物体的虚拟化，好像通过透明的手看到一样。

　　在框902处，可以基于手姿势的所见部分、所见接触点和/或所见物体部分使用CV外推未看见的手接触点，以便执行触觉渲染。

　　图10示出了手202的尺寸可以被校准。从框1000开始，对手和物体进行成像。在框1002，通过使用图像识别来识别物体，然后访问将物体ID与大小相关联的数据结构来识别物体的大小。在框1004，使用物体的大小和手的姿势来识别手的大小。这可以使用ML模型来完成。手的大小可以在计算机模拟中的框1006处使用，以呈现手持各种物体的虚拟手的正确大小。

　　注意，关于所持物体的位置、方向和类型的信息可以用于校正手跟踪，而不需要额外的电子设备，如果需要，可以仅依赖于基于CV的系统。因此，即使手或物体的某些部分从摄像头视图中被遮挡，系统都可以采用基于CV的追踪，使用手抓握结合物体定向来消除手的前表面与手的后表面的歧义。

　　另外，抓握姿势和物体姿势同时可用于帮助确定正在执行哪种类型的运动交互，从而区分模拟中与虚拟物体的精细运动交互与粗略运动交互。

　　名为“Augmented reality (ar) pen/hand tracking”的索尼专利申请最初在2021年8月提交，并在日前由美国专利商标局公布。