为虚拟现实、增强现实和混合现实应用程序创建音频体验可能是一项挑战。流行游戏引擎中的内置音频系统主要是为在主机和PC等设备而设计,所以当转换为VR等XR设备时,这或许会带来显著的缺点,例如用户无法确定声音是来自何方。
为帮助开发人员克服上述挑战,Meta在Presence Platform中推出了沉浸式音频功能。全新的Audio SDK包含为XR应用创建音频体验所需的一切,例如在3D空间中正确定位声音来源,并在虚拟环境中创建空间感,以帮助用户完全沉浸在听觉场景之中。另外,SDK包含的空间音频渲染和室内声学功能改进并扩展了legacyOculusSpatializer。
Meta指出,Audio SDK是专门为解决XR音频开发的挑战而设计,甚至是没有音频经验的开发人员都能迅速开启在XR体验中创建沉浸感和临场感的核心功能。利用Audio SDK构建的应用程序可以支持几乎任何的移动VR设备,以及PCVR(SteamVR等)和其他制造商的设备。
值得一提的是,Meta曾在Connect大会提供了关于空间音频和室内声学的概述,并解释了为什么它们对于在VR、MR和AR中构建沉浸式音频体验如此重要。
空间音频源
通过附加来自Audio SDK的相应组件,场景中的音频源可以使用基于HRTF的空间音频进行渲染。除了游戏引擎默认应用的基本左/右之分,它同时允许用户定位和区分来自上方、下方、后方和前方的声音。Audio SDK支持点源和双声源。
室内声学模拟
音频SDK中的室内声学功能可创建早期反射和后期混响,从而根据房间的大小、形状和表面材料准确地模拟房间。当在XR应用程序中使用时,这允许用户了解他们所处的环境,并有助于使对象听起来都属于同一空间。
Oculus Spatializer
现有的Oculus Spatializer SDK将继续受到支持,并将提供给Unreal、FMOD、Wwise的开发人员,或希望获得本地API解决方案的开发人员。对于新的Unity项目,开发者应该使用新的Auio SDK。从v49开始,任何引入的新功能都将仅包含在新的Audio SDK之中。
开始使用Audio SDK
Audio SDK今天已经支持Unity,并在未来计划支持Unreal、Wwise和FMOD。更多信息请访问这个文档。需要注意的是,Meta不建议升级到Audio SDK,除非你正在新建一个新的Unity项目。