苹果专利介绍在AR会话中生成触觉输出序列的方法

　　人类主要是通过五种感官来感知世界。由于目前的大多数AR/VR体验大多是由视觉引导，所以在数字环境中进行交互有时会出现感知差距。针对这个问题，厂商一直在努力补全各种感官反馈。

　　以苹果为例，这家公司正在针对iPhone和iPad等触屏设备的AR交互优化触觉反馈。在名为“Generating tactile output sequences associated with an object”的专利申请中，团队就有介绍一种在AR会话中生成触觉输出序列的方法。

　　具体来说，这种AR会话交互可以包括两个方面：一是模拟虚拟对象，例如通过震动来模拟定时器的滴答作响;二是指示AR平面的相对位置，通过响应于摄像头相对于一个或多个AR平面的朝向和移动来调整触屏设备的振幅，从而反映AR平面的相对位置。

　　图1A示出了耦合到输入/输出子系统106中的触觉反馈控制器161的触觉输出发生器。设备100可选地包括一个或多个触觉输出发生器167。

　　触觉输出发生器167可选地包括一个或多个电声设备，例如扬声器或其他音频组件和/或将能量转换为线性运动的机电设备，例如电机、螺线管、电活性聚合物、压电致动器、静电致动器、或其他触觉输出生成组件(例如将电信号转换为设备触觉输出的组件)。

　　接触强度传感器165从触觉反馈模块133接收触觉反馈生成指令，并在设备100生成能够由设备100用户感测的触觉输出。在一个实施例中，至少一个触觉输出发生器传感器位于设备100的背面，与位于设备100正面的触控屏显示器112相对。在一个实施例中，至少一个触觉输出生成器与触敏表面并置或靠近触敏表面，并且可选地通过垂直移动触敏表面或横向移动来生成触觉输出。

　　接触模块130选择性地检测与触控屏112(与显示控制器156一起)和其他触敏设备的接触。接触模块130从触敏表面接收接触数据。接触模块130包括各种软件组件，并用于执行与接触检测相关的各种操作，例如确定是否发生了接触，确定接触强度，确定触点是否有移动，跟踪触敏表面的移动，并确定触点是否已停止等等。

　　图8R-8S示出了生成触觉输出804的电子设备500a，触觉输出804指示由电子设备500a生成的AR增强现实内容。在图8R中，电子设备500a的摄像头捕获虚拟定时器832位于桌面的图像。响应于呈现虚拟定时器832的图像，电子设备500a生成触觉输出。其中，触觉输出可以是一系列周期性离散触觉脉冲，从而模拟虚拟定时器832的滴答声。

　　在图8S中，放置电子设备500a，以令虚拟定时器的位置不再位于电子设备500a摄像头的视场中。所以在图8S中，电子设备500a生成指示在电子设备500a摄像头视场中捕获的AR平面的触觉输出，而不是指示虚拟计时器的触觉输出。与指示虚拟计时器的触觉输出不同，这一次的触觉输出具有一个或多个特征的连续纹理，以指示在摄像头视场捕获的AR平面。

　　苹果指出，通过触觉反馈增强与设备的交互可以减少用户执行操作所需的时间，从而减少设备的功耗并增加续航。

　　图10A-10B示出了产生触觉输出的电子设备500。其中，触觉输出指示电子设备500的摄像头朝向地板1004，而地板1004是电子设备500生成的AR内容中的一个平面。

　　在图10A中，电子设备500的摄像头朝向地板1004的左侧。响应于电子设备500的摄像头朝向地板1004，电子设备500生成具有指示地板1004的频率的触觉输出1002。触觉输出1002是连续纹理触觉输出。

　　在一个实施例中，电子设备500仅在电子设备500移动时生成触觉输出，而在其他实施例中，无论电子设备500是否移动，电子设备500都生成触觉输出。

　　在图10B中，电子设备500的摄像机朝向地板1004的右侧。响应于电子设备500的摄像头方向，电子设备500减小触觉输出1002的幅度，以指示与图10A中的指向相比，电子设备500这时的指向部分更远离电子设备500。

　　在图10C中，电子设备500的摄像头朝向桌面1006。响应于电子设备500的摄像头方向，电子设备500生成触觉输出1002。触觉输出1002是具有指示桌面1006频率的连续纹理触觉输出。

　　在图10D中，电子设备500的摄像头朝向桌面1006的边缘。响应于电子设备500的摄像头方向，电子设备500生成一个或多个指示桌面1006边缘的离散触觉输出1002。

　　在图10E-10F，由电子设备500生成的触觉输出1002的幅度随着电子设备500摄像头在桌面1006移动的速度变化而变化。

　　在图10E中，电子设备500的摄像头相对于桌面1006以相对较低的速度移动。响应于电子设备500摄像头的方向和速度，电子设备500生成触觉输出序列1002。其中，触觉输出序列1002是具有指示摄像头速度的幅度或强度的连续纹理触觉输出。

　　在图10F中，电子设备500的摄像头相对于桌面1006以相对较高的速度移动。响应于电子设备500的摄像头方向和速度，电子设备500生成触觉输出序列1002。其中，触觉输出序列1002是具有指示摄像头速度的幅度或强度的连续纹理触觉输出，并且幅度高于图10E所示。

　　图10G-10H示出了电子设备500生成触觉输出序列1002，其幅度指示摄像头和桌面1006位置之间的距离。由于摄像头指向位置指示AR平面更远，所以图10H中的触觉输出1002具有小于图10G触觉输出1002的幅度。

　　在图10I中，电子设备500的摄像头朝向位于桌面1006之上的织物1008。电子设备500识别出织物1008具有与桌面1006不同的纹理。作为响应，电子设备500生成触觉更清晰的输出序列1002。

　　图11A-11C是上述实施例生成触觉输出的方法1100流程图。其中，摄像头捕捉摄像头朝向位置的图像。激光发生器在激光发生器朝向的空间位置生成激光点。触觉输出标准可选地包括在电子设备操作触觉输出AR应用时满足的标准。触觉输出标准可选地包括当电子设备在环境中识别出的对象平面。

　　响应于确定满足一个或多个触觉输出标准，根据确定摄像头朝向环境中对象的第一平面1004(例如桌子)，电子设备500在电子设备生第一触觉输出1002(例如振动)，所述第一触觉输出1002具有第一特性(例如强度、纹理和持续时间等)的第一值。

　　在一个实施例中，电子设备将第一触觉输出纹理与第一平面相关联，并根据摄像头朝向第一平面的确定生成具有第一触觉输出纹理的触觉输出。

　　响应于确定满足一个或多个触觉输出标准，根据确定摄像头朝向环境中对象的第二平面1006，电子设备500在电子设备生成具有第一特性的第二值的第二触觉输出1002。例如，当摄像头朝向离摄像头较近的平面时，电子设备产生高频触觉输出，而当摄像头朝向离摄像头较远的平面时，电子设备产生低频触觉输出。

　　苹果指出，响应于电子设备摄像头朝向哪个平面的变化而改变触觉输出特性的方式允许电子设备确认摄像头朝向哪个平面，并使用触觉输出来传递关于所述平面的信息，这简化了用户和电子设备之间的交互，并增强了电子设备的可操作性，例如减少无意中将摄像头朝向与预期平面不同的平面的用户错误。

　　另外，这可以令用户更快、更高效地使用电子设备，而无需使用电子设备的显示设备或用户的触摸屏输入，从而减少了用电量并提高了电子设备的续航。

　　相关专利：Apple Patent | Generating tactile output sequences associated with an object

　　名为“Generating tactile output sequences associated with an object”的苹果专利申请最初在2020年4月提交，并在日前由美国专利商标局公布。