苹果AR/VR专利提出分开传输眼动追踪应用场景的采集数据

　　对于VR，眼动追踪可以支持一系列的应用。特别是，结合眼动追踪的虚拟现实可以用于市场研究、科学研究和人员培训等。以市场研究为例，可以利用眼动信息来分析超市商品对用户的吸引力。

　　这种情景需要向第三方共享虚拟现实用户体验，亦即需要将呈现给用户的每个虚拟场景图像的场景数据连同每个虚拟场景的相关注视数据一起从第一设备传输到与分析人员关联的第二设备。

　　问题在于与虚拟现实场景相关联的大量数据，这将需要大量带宽和/或大量时间。特别是由于受限的可用带宽，与分析人员实时共享虚拟现实会话将完全不可能。

　　所以，苹果在名为“Minimized bandwidth requirements for transmitting mobile hmd gaze data”的专利申请中提出了一种解决方案。概括来说，用户的注视点和其他用户特征的用户行为数据可以相对于显示的虚拟场景图像进行捕获，并且可以相对于定义的公共参考坐标系进行定义。这允许诸如用户注视点的用户行为数据和相应的参考数据正确匹配。

　　然后，可以独立于参考数据将用户行为数据发送到第二设备。第二设备可以基于由第二设备包括的并且基于相同的参考坐标系描述的3D虚拟场景参考数据，精确地重建用户在3D虚拟场景内的注视点。

　　换句话说，当相对于至少一个对象捕获用户行为特征时，用户行为数据可以隐式或显式地包括描述了所捕获用户行为特征与至少一个目标之间的关系的参考，从而有利地用于重新创建用户行为数据和至少一个对象的参考数据之间的正确关系。

　　以这种方式，参考数据不必与用户行为数据一起从第一设备传输到第二设备，至少不必同时传输，而是例如事先或事后传输，或者甚至可以从不同于第一设备的数据源导出。所以后面只需传输诸如用户注视点这样的用户行为数据即可，从而可以大大减少传输的数据量。

　　在图1中，系统10a用于经由网络12从第一设备14向第二设备16提供关于至少一个参考对象的用户行为信息。

　　由于这种虚拟现实场景与大量数据相关联，现有技术系统不能以令人满意的方式与第三方共享虚拟现实体验，特别是移动式头显，其处理能力限制甚至避免与第三方共享虚拟现实场景。另外，无线网络的可用带宽限制了场景数据的高分辨率传输。

　　所以，可以利用苹果提出的方法来将必要的带宽减少到最小，同时允许完全再现用户体验。

　　为了这个目的，系统10a包括第一设备14和第二设备16，每个设备包括描述作为至少一个对象的虚拟场景VRS的场景模型的参考数据VRD。另外，第一设备14和第二设备16可以经由网络12通信耦合，第一设备和第二装置16包括各自的网络接口17a和17b。

　　在一个示例中，第一设备14配置为包括两个立体显示器的头戴式显示器，使得第一设备14能够基于描述虚拟场景VRS的参考数据来显示虚拟场景VRS。特别是在第一设备14中，配置为通过显示设备18向用户显示3D场景形式的虚拟场景VRS。

　　另外，为了捕获关于虚拟场景VRS的用户行为，第一设备14可以包括捕获装置，例如眼动追踪设备20a、20b。

　　基于所捕获的用户行为特征，可以确定用户正在相对于所显示的虚拟场景VRS看向哪里，或者用户当前正在从哪个虚拟视点或视角查看所显示的虚场景VRS。这种用户行为特征现在可以有利地以用户行为数据UD的形式发送到第二设备16，并与先验地存在于第二设备的参考数据相组合。

　　换句话说，与虚拟场景VRS相关的数据(即参考数据)不必与用户行为数据UD一起经由网络12从第一设备14发送到第二设备16，并且因此可以将要发送的数据减少到最小，同时允许关于用户行为的完全再现。

　　所以，当与第一设备14相关联的用户移动并与已知虚拟环境交互时，只需关于用户当前状态的信息在第二设备16可用，第二设备16就可重新创建用户体验。因此，只捕获关于虚拟环境的用户行为特征捕获并将其从第一设备14发送到第二设备16，而由于第二设备16已经拥有描述虚拟场景VRS的数据，即参考数据VRD，所以第二设备可以有利地将参考数据VRD与所发送的用户行为数据UD组合，从而重建关于虚拟场景VRS的用户行为。

　　为了组合和再现用户行为，第二设备16可以包括具有数据存储器的处理单元。第二设备16同时可以包括显示设备26，以显示关于虚拟场景VRS的用户行为的再现结果。例如，可以从与第一设备14相关联的用户看到由第一设备14显示的虚拟场景VRS的相同视角。

　　图2示出了另一实施例的系统10b。系统10b包括第一设备14，该第一设备14可以配置为已经参照图1解释的第一设备14。然而，在这种情况下，第二设备16不是如关于图1所解释的客户端PC，而是云服务器。因此，用户行为数据UD，如捕获的用户姿态、眼动追踪数据和事件将经由网络12流式传输到云服务器16，云服务器16将所发送的用户行为数据UDP与所存储的参考数据VRD相结合，以重新创建用户行为。

　　因此，基于云的系统使用数据(即用户行为数据UD)和由参考数据VRD提供的场景模型来呈现与第一设备14相关联的用户一样的视图。然后，聚合的用户数据可以提供给第三方。

　　图3示出了经由网络12从第一设备14向第二设备16提供关于用户行为的信息的流程图。根据一个实施例，在步骤S10中，在第一设备14的显示设备18上向与第一设备14相关联的第一用户显示虚拟场景VRS的第一图像。

　　在步骤S12中，第一设备14的第一设备20a、20b捕捉用户关于所显示的虚拟场景VRS的至少一个用户行为特征。

　　在步骤S14，以用户行为数据UD的形式将至少一个捕获的用户行为特征发送到第二设备16，第二设备将所发送的用户行为数据UD与描述在步骤S10中呈现的虚拟场景VRS的参考数据VRD相组合，其中参考数据VRD先验地存储在第二设备上。通过这种组合，第二设备16重构关于虚拟场景VRS的用户行为。

　　在步骤S18，由第二设备的显示设备显示重构后的结果。

　　在这一示例中，虚拟场景VRS的显示、对应用户行为特征的捕获、用户行为数据UD的发送以及第二设备16的用户行为重建和显示以实时直播的形式连续执行。

　　图4示出了根据本发明另一实施例的流程图，描述了经由网络12从第一设备14向第二设备16提供用户行为的信息的方法。根据一个实施例，在步骤S20，向与第一设备14相关联的用户呈现虚拟场景VRS的图像流显示，并且在图像流的显示期间，在步骤S22中捕获用户的用户行为特征。

　　相关特征在步骤S24中存储在第一设备14。在图像流的显示已经终止之后，在步骤S26中将存储的用户行为数据UD经由网络12发送到第二设备16，从而重建用户关于虚拟场景VRS的行为。在步骤S30中，由第二设备16本身或由从第二设备17检索到重建结果的第三设备28显示重建结果。

　　苹果表示，这种解决方案存在多种有利的应用，特别是在市场研究、科学研究、用户行为训练等等，特别是监视参与者的集体行为方面。同时，本发明或其实施例可以实现巨大的优点，因为在用户会话期间要传输的必要数据可以简化为用户的姿势、用户的动作、用户的当前状态，可便于记录、分析、流式传输或共享用户会话。

　　名为”Minimized bandwidth requirements for transmitting mobile hmd gaze data“的苹果专利申请最初在2022年8月提交，并在日前由美国专利商标局公布。