谷歌专利分享为AR交互研究肌电腕带设备

　　众所周知，Meta一直在集中精力开发用于AR的肌电图腕带设备，从而帮助实现首席执行官马克·扎克伯格的元宇宙愿景。实际上，这家公司曾多次强调腕带是AR交互的未来，而团队希望最终能够构建出拥有足够舒适形状参数，可以穿一整天，并且足够节能，可以长时间使用的肌电图腕带设备。

　　延伸阅读：Meta：超低摩擦输入，“腕带”是AR交互的未来

　　现根据一份名为“Hand gesture recognition based on detected wrist muscular movements”的专利申请，正在积极发力AR增强现实的谷歌同样在研究相关的肌电图腕带。

　　与大多数厂商类似，谷歌同样在探索能够将手腕神经信号转换为数字命令的肌电图腕带，并将其作为AR交互的方式。实际上，拥有Pixel Watch智能手表的谷歌在腕带设备方面已经有了一定的技术积累。

　　对于AR交互，谷歌解决这个技术难题的方案包括使用微米分辨率雷达传感器来检测和分类用户手腕的手腕内肌肉运动。谷歌的构思是：AR系统的用户可以穿戴手腕佩戴相关的肌电图腕带。当用户用手操作AR系统中的虚拟对象时，用户手腕的肌肉和韧带会出现1-3毫米左右的微妙动作。

　　其中，所述腕带包含微米分辨率的雷达传感器，并搭载一个发射器和多个电磁(EM)辐射接收器(例如三个)。作为说明，EM辐射是一种小波长，例如毫米波，所以可以检测到上述1-3毫米的微妙运动。另外，EM辐射以啁FMCW调频连续波的形式发射，每一脉冲约30 chirp，起始频率约为60 GHz，带宽约为4.5 GHz。这种辐射会反射腕部肌肉和韧带，并由腕带芯片的接收器接收。然后，可以将接收到的反射信号或信号样本发送到处理电路进行分类，以将手腕运动识别为手势。AR系统识别出手势后就可以执行虚拟对象操纵操作，从而允许用户通过手势操纵虚拟对象。

　　谷歌指出，上述技术解决方案的一个技术优势有三个：体积小，可以带来舒适的AR或VR体验;可以保护隐私，因为微妙手腕运动产生的信号不包含任何PII;功率非常低，例如1-3毫瓦。

　　图1A是示出了一个示例场景。其中，用户100正在穿戴智能眼镜形式的头戴式显示器102，并使用腕带110和移动设备130与头显102显示的虚拟对象交互。移动设备130可以配合腕带110一起检测用户100的手势120，从而执行与虚拟对象交互的控制。手势示例包括但不限于拇指或其他手指悬空滑动、手在特定方向的移动、手指之间的抓捏压戳操作等等。

　　移动设备130使用腕带生成的信号检测手势120，以响应用户手腕在形成手势120时的移动。为了生成信号，腕带内嵌发射天线114。发射天线114产生并向用户手腕发射电磁辐射脉冲。辐射会反射各种对象，包括皮肤/腕带界面和各种腕部肌肉和韧带，从而形成反射电磁辐射。接收天线112随后接收反射的电磁辐射，并将接收到的辐射样本发送到移动设备130的处理电路。

　　在一个实施例中，处理电路可以嵌入腕带110中，所以不需要涉及智能手机。

　　图1B说明了FMCW雷达160与手腕交互的示例配置15。如图所示，我们可以看到神经152、腕韧带154、腕管156和正中神经158。雷达160对应于图1A中的发射天线和接收天线112和114。

　　FMCW雷达160以指定速率(例如，30 Hz)将脉冲传输到手腕。当用户不移动以形成手势时，从上述手腕器官152、154、156和158反射的信号基本保持在原位，雷达中的接收天线不会接收到反射信号的任何显著变化。

　　然而，当用户开始移动手以形成手势时，手腕器官152、154、156和158会轻微移动。当辐射波长足够小时，反射辐射可以提供足够的运动分辨率，以便通过处理电路进行检测。需要注意的是，接收天线接收的反射信号可以包括皮肤/腕带接口反射的信号或手腕内的多次反射信号。

　　因此在一个实施例中，从发射天线114发射的辐射包括毫米波(mmWave)信号。毫米波辐射的频率约为50 GHz至90 GHz。毫米波辐射的一个优点是雷达相位分辨率与工作中心频率成正比。原因之一是向下混合正弦信号的相位包络会重复每半个波长。换句话，如果信号的空间表示由s(R)给出，其中s是复信号振幅，R是沿传播方向的位置，则以下关系成立：

　　其中A是辐射的波长，arg表示复信号振幅的参数或相位。

　　例如在发射辐射的中心频率为60 GHz的情况下，phase-wrapping位移为2.5 mm。每次辐射突发包括指定数量(例如30)的chirp，亦即辐射频率在开始频率和结束频率之间增加30个周期。对于中等采样方案，每chirp可能有128个采样。在这种情况下，相位分辨距离(即辐射可分辨的腕部肌肉运动的大小)等于phase-wrapping位移与每次chirp的样本数之比，约为0.019 mm。这足以在用户形成手势时检测到微妙的腕部运动。

　　对于使用mmWave辐射检测手势形成过程中的手腕运动，另一个优点是形状参数不具侵入性，亦即足够轻巧。如果有足够的准确度，腕带中的电路不需要变得笨重或发生显著变化。另外，接收天线和发射天线所在的芯片可以隐藏在硅酮或任何传统频带材料中，而不会显著降低信噪比(SNR)。

　　使用毫米波辐射的另一个优点是其功率相对较低。使用发射天线中小于10 mW的功率，可以实现足够的信噪比和手势识别精度。在一个实施例中，发射天线使用1-3 mW的功率。

　　另外，mmWave频域已用于更为通用的无线通信。因此，频带内的接收和发送技术足够稳健和成熟。mmWave技术配置得足够灵敏，可以检测腕部肌肉运动;同时，毫米波的波长足够大，可以避免过多的噪点。不仅只是这样，信号保真度可以保持不变，以便识别与噪点相对的腕部运动。

　　图1C是mmWave雷达示例的示例图。这种片上雷达的示例是Soli C芯片。如图1C所示，芯片190之上的毫米波雷达包括发射(Tx)天线194和三个接收(Rx)天线192(1、2、3)。

　　在一个实施例中，可以有三个以上的Rx天线(例如，四个、五个等)。因为Rx天线192(1-3)布置在芯片190的不同位置，所以Rx天线172(1-3)接收的辐射以不同角度入射。社区已经证明，三根天线在识别手势时具有足够的准确性。

　　在一个实施例中，芯片190嵌入由PPG材料制成的腕带中。这种材料为芯片提供了机械支撑，使其能够有效地固定在手腕附近，但远离手腕。在一个实施例中，进一步的绝缘(如双面胶带)可以确保腕带和手腕之间的低压接触。芯片190的尺寸使得芯片190可以嵌入腕带;在一个实施例中，尺寸可以约为6.5 mm长x 5.0 mm宽x 0.8 mm厚。

　　名为“Hand gesture recognition based on detected wrist muscular movements”的谷歌专利申请最初在2021年3月提交，并在日前由美国专利商标局公布。