Facebook分享AR眼镜研究项目Project Aria进展

　　在2020年的Connect中，已改名为Meta的Facebook分享了AR增强现实的未来愿景。随着时间的推移，公司认为AR将帮助我们收起手持式设备，并通过一个特别的AR界面来与数字世界和现实世界进行自然互动。

　　团队同时分享了在音频、肌电图输入方面的研究成果，以及一种眼镜形式的研究设备Project Aria。Project Aria眼镜不是消费品，也不是原型品。它们不会在镜片显示任何信息，研究被试无法查看或收听设备捕捉到的原始数据。作为一种研究设备，所述的眼镜设备将使用传感器从佩戴者角度捕捉视频和音频，以及眼球运动和位置数据，从而帮助工程师和程序员理解AR在实践中的运作。眼镜将加密、压缩和存储数据，并上传到指定的后端存储系统。

　　现在一年已经过去，团队今天分享了关于所述项目的进展。

　　1. 3D映射和情境化AI的进展

　　在这段来自雷德蒙研究实验室的视频中，你可以看到未来AR眼镜中的数字助理不仅可以感知你周围房间中的对象，同时可以预测你对相关对象执行的命令，比如打开电视或打开电灯。它甚至可以帮助你找到丢失的钥匙。尽管研究人员目前是用手持式点击设备来与人工智能系统进行通信，但终有一天，团队相信穿戴与手腕的肌电输入设备将能用于所述目的。另外，研究团队正在探索语音接口。

　　这个未来尚十分遥远，但Meta的研究工作使得我们越发接近。

　　2. 现实世界中的数据收集：原则优先

　　为了继续打造AR的未来，我们需要更多来自现实生活场景的第一人称数据，从而帮助训练数字助理。

　　为了收集所述数据，Meta一直坚持负责任的创新原则。除了“不要吓到别人”和“提供重要的控制”之外，团队同时提出了“考虑每个人”的观点。团队贯彻了“以人为本”的原则，在成为负责任的数据管理者同时，优先考虑对社区提供最佳的服务。

　　正如首次宣布Project Aria时所描述的一样，团队对收集数据的时间和地点进行了限制。例如，在洗手间、祈祷室、更衣室等敏感区域，或在敏感会议和其他私人场合绝不允许录音，而且只有在征得所有家庭成员同意的情况下才允许在佩戴者的家中录音。所有设备都会发出显著的白光以说明设备运行。

　　一旦上传，捕获的数据将隔离三天(研究人员无法获得)。在这一期间，对于在公共场所收集的任何数据集，系统会自动模糊人脸和车牌。另外，任何人都可以要求立即或在隔离期内删除记录数据。

　　为了支持AR眼镜能够在不同的环境和文化背景下工作，Meta于上个月宣布，将设备覆盖范围从美国扩展到新加坡。另外，部分员工在英国、欧盟、瑞士、新加坡、加拿大和以色列的家中捕获了数据，并已得到所有家庭成员的同意。

　　根据公司对多样性、公平性和包容性的承诺，团队需要从不同性别、身高、体型、种族和能力的人群中获取不同的数据集。从11月开始，Meta将在已收集数据的国家向更多的Facebook员工，以及外部付费研究参与者开放参与，从而将实验设备总数增加至3000台左右。

　　当然，每位参与者在使用设备之前都必须遵守一整规则并参与培训。在公共场所收集数据时，用户必须穿着特定服饰并系上标签，以确认自己是Project Aria的研究参与者。同时，参与者无法直接查看或收听设备捕获的原始数据。

　　3. 向研究社区提供第一人称数据

　　构建情境感知的自我中心(第一人称)人工智能是一个长达数十年的过程。人工智能的学术领域在过去二十年里取得了巨大的进步，但是，人工智能尚未能真正理解我们人类是如何看待世界。

　　这正是Facebook AI发布Ego4D的原因。Ego4D是一个长期项目，旨在向研究社区公开自我中心数据，同时为未来的AI助手提供一系列以第一人称视觉体验为中心的基准挑战。

　　延伸阅读：Facebook发布AR/VR研究项目Ego4D，训练AI以第一人称理解感知世界

　　Facebook Reality Labs正在扩大Project Aria的试点。团队从去年开始已经与卡内基梅隆大学，新加坡国立大学和其他大学合作，并计划进一步增加合作伙伴。这将有助于推进自我中心的认知研究。Facebook Reality Labs将通过赞助合同资助相关大学的研究，但后者不需要与Meta共享他们收集的数据。

　　与Meta合作的每一所大学都将负责遵守机构研究伦理委员会或审查委员会的标准，以及Project Aria研究社区项目指南。

　　4. 宝马

　　除了我们不断增长的学术合作伙伴关系外，Meta同时宣布与宝马的第一个行业合作伙伴关系。团队认为，AR眼镜最终可以帮助驾驶员导航周围环境。在实现这个未来之前，像宝马这样的合作伙伴对探索AR技术如何集成到未来汽车中非常感兴趣。

　　这种合作关系同时能够帮助Meta的研究人员探索AR眼镜是如何在移动的汽车中实现定位，因为AR眼镜主要是依靠视觉线索来识别其位置。

　　与学术合作伙伴一样，宝马和任何未来的行业合作伙伴都必须遵守Project Aria研究社区指南。

　　对参与Project Aria感兴趣的学术和工业研究机构可以点击这个页面进行联系。

　　5. 负责任地实验

　　在展望未来扩大Project Aria的实验覆盖范围时，团队需要责任负责地收集和使用数据。举个例子，上个月在新加坡，团队和来自新加坡国立大学、南洋理工大学和Element XR等的28位隐私专家和学者举办了一场研讨会。

　　更广泛地说，Meta将与伦理学家合作，帮助思考更多有关Project Aria的隐私影响和社会可接受性问题。

　　团队表示：“所有这一切只是开始。在AR眼镜完全实现之前，我们尚有很长的一段路要走。我们正在与学者、工程师、其他公司和隐私专家合作，以确保我们认知这项技术及其对使用它的人和对使用它的人的影响。所述措施有助于确保每个人的隐私和安全得到保护。”

　　6. Project Nazare

　　值得一提的是，在今天的Connect大会中，扎克伯格稍微提到了第一款消费者AR眼镜：Project Nazare。扎克伯格将所述设备描述为公司“第一款完整的AR眼镜”，但强调它尚需“多年时间”。

　　这位首席执行官表示：“要正确实现形状参数和体验，我们尚需投入大量的技术工作。我们需要将全息显示器，投影仪，电池，无线电，定制芯片，摄像头，扬声器，以及映射周遭世界的传感器整合至大约5mm厚的眼镜形态之中。所以我们离Nazare尚有一段距离，但我们目前的进展不错。”