苹果早前曾申请一份可用于AR/VR头显的面部传感器专利。日前,美国专利商标局又公布了一份相关发明。具体来说,未来的苹果头显可以集成一系列的面部传感器阵列。所述的传感器示例包括:深度摄像头、注视点追踪摄像头、激光雷达、Touch ID和一系列健康传感器(如肌电图(EMG)、氧气、心率和血液流量等),甚至是用于检测手势的传感器。
相关专利:新苹果AR/VR头显专利可用面部传感器测量心率、温度、脑活动等
名为“Electronic device with facial sensors”主要介绍了一种包含面部传感器的头显设备。在一个方面,头戴式设备可具有包括显示器的头戴式外壳。显示器配置成当用户的眼睛位于靠近外壳的视窗中时,显示供用户浏览的图像。外壳具有可压缩的不透明光密封带。光密封带可以是环形,并且可以阻挡头戴式外壳周围的杂散光,从而确保杂散光不会干扰用户浏览图像。
在另一个方面,可在光密封带中提供传感器以测量面部表情并收集其他测量数据。可以将关于测量的面部表情信息发送到外部设备,以便外部设备可以更新虚拟化身的对应面部表情,从而反映用户的当前面部表情。
但除了面部表情传感器,苹果提到设备可以进一步包含肌电图传感器(EMG)、电阻传感器、应变计、加速计和其他运动传感器、磁性传感器、电位计和其他传感器。光密封带中的致动器可根据面部传感器测量值和其他测量值进行控制。面部传感器测量和其他传感器的其他测量可用于身份验证、致动器调整、虚拟化身控制、健康监测、传感器校准和其他活动。
苹果可以使用的传感器选项种类非常多。专利说明提到了一系列可以嵌入至设备的传感器类型,但当然,文件只是单纯列出了传感器名称,没有进行详细说明。
输入-输出设备中的传感器可包括力传感器(例如应变计、电容式力传感器、电阻式力传感器等)、音频传感器(例如麦克风)、触控和/或接近传感器(例如集成到显示器中的二维电容式触摸传感器,二维电容式触控传感器重叠显示器,和/或形成按钮、触控板或其他与显示器无关的输入设备的触控传感器)和其他传感器。
如果需要,传感器可包括光学传感器,例如发射和检测光的光学传感器、超声波传感器、光学触摸传感器、光学接近传感器和/或其他触控传感器和/或接近传感器、单色和彩色环境光传感器、图像传感器、指纹传感器、虹膜扫描传感器、视网膜扫描传感器和其他生物传感器、温度传感器、用于测量三维非接触手势的传感器、压力传感器、用于检测位置、方向和/或运动的传感器、健康传感器,如血氧传感器、心率传感器、血流传感器和/或其他健康传感器、射频传感器、深度传感器、自混合传感器和光检测与测距(激光雷达)等飞行时间传感器、湿度传感器、注视点追踪传感器、感应肌肉激活的肌电图传感器、面部传感器和/或其他传感器。
如图1所示,在一个实现中,设备10可使用传感器16和/或其他输入输出设备收集用户输入。例如,按钮可用于收集用户之于按钮的按下输入;触控传感器重叠显示器可用于收集用户之于触控屏的输入;触控板可用于收集触控输入;麦克风可用于收集音频输入;加速度计可用于监测手指接触输入表面时的情况,并可用于收集手指按下输入等等。
上面的苹果专利图9是带有肌电图传感器的设备横截面示意图;图11是具有光学传感器的设备横截面示意图;专利图12和13是带有运动传感器(如惯性测量单元或加速计)的设备横截面示意图,其中图13同时示出了摄像头。
专利图23是示例性设别的操作流程图。苹果指出,面部传感器阵列可以沿着密封带延伸。不同的传感器测量用户面部的不同部分并收集信息,例如面部压力、面部运动、面部形状(从沿其长度位置处测量的密封厚度)和/或其他面部信息(肤色、肌肉活动、温度、心率、血流、血氧水平等)。
在一个实施例中,可以将关于测量的面部表情信息发送到外部设备,以便外部设备可以更新虚拟化身的对应面部表情,从而反映用户的当前面部表情。
相关专利:Apple Patent | Electronic device with facial sensors
名为“ Electronic device with facial sensors(带有面部传感器的电子设备)”的苹果专利申请最初在2021年1月提交,并在日前由美国专利商标局公布。