Meta专利AR/VR音频内放、外放播放生成空间音频和消除串扰的方法

　　对于XR，音频是关于沉浸感的一个关键因素。所以，厂商都在积极探索提供最佳的空间音频效果。在名为“Generating spatial audio and cross-talk cancellation for high-frequency glasses playback and low-frequency external playback”的专利申请中，Meta介绍了一种为高频眼镜播放和低频外部播放生成空间音频和消除串扰的方法。

　　专利主要描述了一个空间音频扩展系统。其中，所述系统使用外部扬声器灵活地扩展为可穿戴音频设备提供的空间音频，以进行精确的低频空间音频播放。例如，空间音频扩展系统确定可穿戴音频设备的用户如何接收音频信号，然后可以利用与头相关传递函数和/或耳间时差为用户生成空间音频。

　　同时，空间音频扩展系统进一步为空间音频的低频产生串扰抵消滤波器。空间音频扩展系统可以利用外部扬声器呈现空间音频的低频，而可穿戴音频设备可以呈现高频。

　　空间音频扩展系统确定与可穿戴音频设备的用户相关联的一个或多个听觉特征。空间音频扩展系统利用所述一个或多个听觉特征，为所述可穿戴音频设备的用户生成一对与头相关传递函数。

　　另外，空间音频扩展系统使用与头相关传递函数对产生空间音频。特别地，空间音频包括具有满足或超过频率阈值的音频的高频音频component和具有低于频率阈值的音频的低频音频component。

　　空间音频扩展系统提供用于通过可穿戴音频设备的扬声器呈现的空间音频的高频音频component和用于通过可穿戴音频设备外部的扬声器呈现的空间音频的低频音频component。

　　在一个或多个实施例中，空间音频扩展系统为可穿戴音频设备的用户确定耳间时差模型。特别是，空间音频扩展系统为用户确定个性化的耳间时间延迟模型。例如，空间音频扩展系统可以根据用户佩戴时可穿戴音频设备两侧的麦克风如何接收音频信号来确定耳间时间延迟模型。

　　在一个实施例中，空间音频扩展系统为空间音频生成串音消除滤波器。特别地，空间音频扩展系统为低于频率阈值的空间音频部分生成串扰抵消滤波器。空间音频扩展系统利用头相关传递函数和/或耳间时差模型来生成串扰抵消滤波器。

　　在一个实施例中，空间音频扩展系统对通过扬声器呈现的音频内容增加时间延迟。因此，空间音频扩展系统可以对通过可穿戴音频设备呈现的音频和通过外部扬声器呈现的音频进行时间对齐。

　　图2示出了空间音频扩展系统106的概述图，空间音频扩展系统106确定与可穿戴音频设备204的用户202相关联的听觉特征208。空间音频扩展系统106确定外部音频设备206处的听觉特征208。

　　听觉特征208包括与头相关传递函数210和与可穿戴音频设备204的用户202相对应的耳间时差模型212。，空间音频扩展系统106利用听觉特征208来生成空间音频214，以呈现给可穿戴音频设备204的用户202。如图所示，空间音频214包括低频音频component216和高频音频component218。

　　如图2所示，空间音频扩展系统106利用听觉特征208来产生串音消除滤波器220。具体地，空间音频扩展系统106为空间音频214的低频音频component216生成串扰抵消滤波器。

　　空间音频扩展系统106提供空间音频214的高频音频组件218，以便通过可穿戴音频设备204进行呈现。另外，空间音频扩展系统106提供用于通过外部音频设备206呈现空间音频214的低频音频component216。所述空间音频扩展系统106同时提供所述串扰消除滤波器220以及所述空间音频214的低频音频component216。

　　换句话说，空间音频扩展系统106利用串音抵消滤波器220，并通过外部音频设备206呈现空间音频214的低频音频component216。例如，在通过外部音频设备206的扬声器播放低频音频component216之前，空间音频扩展系统106使用与串音消除滤波器220相对应的交叉网络处理低频音频component216。

　　图3A示出根据一个或多个实施例确定用于用户304的耳间时差模型。可穿戴音频设备302包括位于用户304的太阳穴中部区域附近的麦克风306。所述可穿戴音频设备302同时包括位于后部的麦克风308。另外，可穿戴音频设备302包括位于靠近前面的麦克风310。

　　尽管在图3A中未示出，可穿戴音频设备302进一步包括位于用户另一侧的相应麦克风。因此，可穿戴音频设备302包括中左右麦克风对、后左右麦克风对和前左右麦克风对，并通过它们来接收音频信号312。

　　利用所述音频信号312的接收，所述空间音频扩展系统106为所述用户304确定耳间时差模型316。特别是，空间音频扩展系统106可以根据相应麦克风之间的时间流逝来确定耳间时差模型316。

　　图3B示出了将各种耳间时差模型与从高耳间相干性模型导出的刚好可注意差异度量进行比较的图表。特别是，每个图都显示了使用可穿戴音频设备的麦克风为用户确定的耳间时差与用户耳朵的耳间时差间的绝对差值。

　　图320表示使用可穿戴音频设备的前左右对麦克风为用户确定的耳间时差。图322表示使用可穿戴音频设备的中左右对麦克风为用户确定的耳间时差。图324表示使用可穿戴音频设备的后左右对麦克风为用户确定的耳间时差。图326表示使用使用中左右对和后左右对麦克风确定的耳间时差的平均值。

　　如图3B所示，空间音频扩展系统106可以使用可穿戴音频设备的各种麦克风确定用户耳间时差的感知有效模型。例如，对于大多数方位角，图326中绘制的绝对差值远远低于绘制的JTD线。因此，图326表明，中左右对麦克风和后左右对麦克风的组合近似于用户的真实耳间时差。

　　所以，空间音频扩展系统106可以利用所述用户的上述耳间时差模型为所述用户提供空间音频。

　　图4示出使用头部尺寸来确定用户的头相关传递函数。空间音频扩展系统106确定与可穿戴音频设备406的用户404相关联的头部尺寸402。例如，空间音频扩展系统106确定用户404头部的直径或用户耳朵之间的距离。

　　如图4所示，空间音频扩展系统106利用外部音频设备408来确定与用户404相关联的头部尺寸402。例如，空间音频扩展系统106使用集成或连接到外部音频设备408的传感器或摄像头来确定用户404的头部尺寸402。

　　空间音频扩展系统106利用头部尺寸402来确定可穿戴音频设备406的用户404的与头相关传递函数410，并利用头相关传递函数410来生成空间音频412以呈现给用户404。

　　另外，空间音频扩展系统106产生串音消除滤波器414。为了产生串音消除滤波器414，空间音频扩展系统106利用对应于用户404的球形头模型。

　　在一个实施例中，空间音频扩展系统106同时使用为用户404确定的耳间时差模型来生成空间音频412和/或串音消除滤波器414。

　　空间音频扩展系统106可以实时更新串音消除滤波器414。例如，空间音频扩展系统106可以确定对可穿戴音频设备406的用户的头部尺寸的变化、对用户头部方向的变化和/或可穿戴音频设备406与外部音频设备408之间距离的变化。

　　因此，空间音频扩展系统106可以基于所确定的变化更新所述串扰消除滤波器414。

　　因此，空间音频扩展系统106可以提供空间音频412的高频音频component，以便通过可穿戴音频设备406呈现。另外，空间音频扩展系统106可以提供空间音频412的低频音频component，以便使用串音抵消滤波器414通过外部音频设备408进行呈现。

　　例如，在外部音频设备408运行的空间音频扩展系统106可以将空间音频412的高频音频component传输到可穿戴音频设备406，并使用串扰抵消滤波器414向外部音频设备408的换能器/扬声器提供低频音频component。

　　通过以这种方式提供空间音频，空间音频扩展系统106可以比一系列常规系统实现更精确的操作。例如，通过利用外部音频设备提供低频音频回放，空间音频扩展系统106利用更大扬声器的增加功率来提供改进的低频音频。因此，空间音频扩展系统106可以通过低频重放提供更准确的空间线索。

　　另外，Meta表示空间音频扩展系统106比许多传统系统更灵活。实际上，通过利用外部音频设备，空间音频扩展系统106可以更灵活地将可穿戴音频设备合并到空间音频表示中。特别是，空间音频扩展系统106通过利用外部设备的相对更强大的扬声器，避免了可穿戴音频设备固有的低质量低频播放。

　　因此，空间音频扩展系统106可以通过使可穿戴音频设备专注于高频率的回放，灵活地将可穿戴音频设备纳入空间音频呈现。

　　图5示出根据一个或多个实施例在用户耳处使用音频时间延迟对空间音频component进行时间对齐。

　　实际上，由于所述可穿戴音频设备是由用户佩戴，而外部音频设备比所述可穿戴音频设备离用户更远，从而导致外部音频设备发出的声音传播较远的距离。因此，空间音频扩展系统106利用音频时间延迟同时两者。

　　如图5所示，空间音频扩展系统106可以确定外部音频设备502与可穿戴音频设备506的用户504之间的距离508。例如，空间音频扩展系统106可以利用可穿戴音频设备506的摄像头或传感器来确定距离508。

　　空间音频扩展系统106可以基于距离508确定音频时间延迟510。特别地，空间音频扩展系统106确定要呈现给用户504的空间音频的高频音频component512的音频时间延迟510。

　　如图5所示，空间音频扩展系统106可以提供高频音频component512，以便通过可穿戴音频设备506与音频时间延迟510一起呈现给用户504。

　　可穿戴音频设备506处的空间音频扩展系统106可将音频时间延迟510应用于高频音频component512，从而允许来自高频音频component 512的音频信号与外部音频设备502发出的相应音频信号同时到达用户504的耳朵。

　　在一个实施例中，空间音频扩展系统106生成要在可穿戴音频设备506处呈现给用户504的空间音频。因此，空间音频扩展系统106可以确定与将空间音频的低频音频component传输到可穿戴音频设备506所需的时间相对应的额外时间延迟。

　　空间音频扩展系统106可将附加音频时间延迟应用于高频音频component512，以进一步对音频信号进行时间对齐。

　　空间音频扩展系统106使用进一步的音频处理来同步从外部音频设备502发出的低频音频component和从可穿戴音频设备506发出的高频音频component。

　　名为“Generating spatial audio and cross-talk cancellation for high-frequency glasses playback and low-frequency external playback”的Meta专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。