科技魔方

Meta与宝马合作,开发AR/VR车载娱乐体验和车内定位系统

AR/VR

2023年05月18日

  现阶段,AR/VR在汽车行业已经得到应用,除了用来设计车型外,还可以用AR HUD导航、为乘客提供娱乐交互界面,或是用车载VR方案来玩游戏等等。与此同时,硬件厂商也在尝试将AR/VR头显与汽车结合,比如Magic Leap与奥迪合作开发基于AR眼镜的交互式虚拟UI,允许乘客、司机用空中手势操作车内功能。

  而近期,Meta与宝马合作,则展示了一种适用于移动行车场景的AR/VR定位系统,允许乘客使用Quest Pro体验MR游戏。据悉,该合作项目于2021年公布,目的是将AR/VR与智能车辆结合,颠覆传统的车内屏幕界面。本次合作的亮点如下:1,结合车载传感器数据,研发在移动车辆中可使用的AR/VR定位系统; 2,方案可用于各种类型的交通工具,比如汽车、火车、飞机等等; 3,用途方面,除了游戏娱乐外,还可以用于免提社交、视觉导航等等; 4,现阶段适用于Quest Pro,未来有望扩展至AR眼镜。

  据青亭网了解,Meta Quest的Insight定位系统基于摄像头和IMU定位,由于移动环境是一种非惯性参考系,摄像头(观察车内运动)和IMU(追踪车辆与真实世界的相对加速度和转速)测量数据冲突,因此Insight在车辆转弯、加速时不能稳定追踪。

  于是,Meta将宝马汽车传感阵列捕捉的IMU数据与Project Aria眼镜的定位系统整合,开发了一种车内定位系统,可实时定位头显/眼镜与车的相对位置,以及车在真实世界中的位置。接着,将该定位系统移植到Quest Pro上,便能实现在移动车辆内定位MR内容。

  不过,目前只能在车内渲染MR内容,接下来通过与宝马深入合作,Meta将访问汽车的准确6DoF定位数据,来实现在车外渲染虚拟内容,标记车外的地标等兴趣点。未来,该功能还有望与AR眼镜、个性化AI助手结合。

  参考:Meta

+1

来源:青亭网

延展资讯