近年来,越来越多VR头显开始尝试结合眼球追踪、手势追踪等生物识别技术,甚至在一些VR社交场景,也在探索将Avatar与面部识别功能结合。可以想象,未来生物识别与AR/VR等穿戴技术的关系将越来越紧密,尽管现阶段相关硬件在体积和集成方面还不够成熟,但未来随着传感技术升级,将有望与AR/VR更好的结合。
在VR领域,已经采用了几种主流的生物传感技术,比如手势和眼球追踪摄像头、心率监测模块,或是用EMG识别手势、EOG识别注视点等等。而对于AR来讲,由于眼镜形态并不是像VR那样贴合人脸,因此不适合基于接触式传感的方案。
近期一家名为Emteq的英国公司,公布了一种非接触式的可穿戴情绪捕捉眼镜:OCOsense。据悉,Emteq成立于2015年,一直专注于AR/VR、可穿戴设备的情绪捕捉研究方案。
现有方案:emteqPRO(适用VR)、OCOsense(适用AR)
比如,几年前青亭网就曾报道该公司的VR头显面部识别方案Faceteq(现升级为emteqPRO方案),特点是:利用EMG、PPG、IMU、眼球追踪(可选)等设备,识别包括:心率、心率变异性和呼吸频率、面部动作/表情、瞳距,然后利用机器学习技术来分析用户的注意力、情绪等。
emteqPRO包括一套集成7个电极触点的面罩(上图中间),可以单独使用。也有可以集成到PICO Neo3 Pro、HTC Vive Pro Eye设备上版本,来与VR搭配使用。
emteqPRO
这7个电极位于特定的面部肌肉位置,通过捕捉面部肌肉激活来识别表情,如:额肌、眼轮匝肌、颧肌、皱眉肌等等。很显然,这是一套适合于VR设备的接触式识别方案。
OCOsense眼镜
最新公布的OCOsense方案,特点是过眼肌力图传感器、压力传感器来识别面部肌肉变化,来识别面部表情和情绪。最大的变化是无接触式传感器方案,这对未来轻量化AR眼镜应用有重要意义。
Emteq宣称,OCOsense是世界上首款可穿戴的面部表情和情绪分析眼镜,它的主要功能是识别用户的表情变化,并转化为控制移动设备的信号。其优势是使用简单、一体化设计,可实时追踪、识别并标记用户对AR或现实场景的反馈。
细节方面,OCOsense采用了自研的OCO传感器阵列,基于非接触式眼肌力识别原理,英文全称为non-contact optomyographic(OMG),指的是一种用于监测肌肉活动的技术。OMG的基本原理是利用主动式近红外光学传感器向皮肤表面发射信号,并测量信号反射回的变化。
另外,OCO传感器是光学非接触式传感器,可以读取3个维度的面部运动,提供比一般基于相机的解决方案更高分辨率的信号。另外,EMG电极需要与皮肤牢固且持续接触,以达到可接受的信噪比,这在眼镜形式中是不切实际的。相比之下OCO传感器基于光学原理,不需要接触皮肤,可在人脸4毫米到30毫米距离内工作。
硬件方面,OCOsense搭载了9轴IMU,可添加相机模块,搭载Arm Cortex处理器,支持蓝牙低功耗5.0,配备RGB LED指示灯,以及体感振动马达。除了硬件外,Emteq还设计了情感人工智能引擎,来从表情识别情绪。
Emteq科研人员指出,如今AR/VR等穿戴设备可集成多种传感器,比如加速度计、环境光传感器、温度传感器、湿度传感器、气压计、陀螺仪、磁力计、距离传感器等等。此外,也在探索与生物传感器结合的可能,比如ECG、EEG、EMG、EGO、心电图等等。
通常,人脸通过面部肌肉激活和结构变化来传递情绪、精神状态和行为意图,进而构成表情。人的表情隐藏了丰富的信息,因此从1872年以来,面部表情行为研究一直是一个活跃的课题。
对于OCOsense来讲,除了识别表情和情绪反应外,它还有多种用途。比如在技术验证过程中,科研人员展示了三种应用场景:控制视频(放大、缩小、截屏、改变播放速度、前进和后退)、接打电话、玩游戏,未来还预计用于远程心理健康监测、情商培训、改善情绪障碍、康复治疗,以及控制义肢等人机交互场景。
总之,OCOsense这种非接触式面部追踪方案比基于摄像头的方案更好的保护隐私,不会直接对人脸拍照,而只是分析面部肌肉变化。而且,摄像头方案依赖于光源,需要在光线良好的环境下使用,而OCOsense则不用。而且在剧烈运动时,摄像头方案的准确性可能无法保证。参考:Emteq