Meta专利探索为手机端投屏用户提供可交互的VR互动体验

　　电竞直播为观众欣赏精彩比赛的一种途径。对于神奇的虚拟现实体验，行业同样有在探索类似的方式，比如说基于混合现实录制的投屏。这种方式可允许第三方设备用户查看VR用户的混合现实渲染体验。

　　然而，移动计算设备的用户可能受限于可以查看的MR渲染内容，以及与VR环境的交互方式。为了优化这一体验，Meta在名为“Dynamic mixed reality content in virtual reality”的专利申请中提出了自己的构思。

　　概括来说，团队的解决方案是允许移动计算设备用户与MR渲染内容和VR环境动态交互，例如允许移动计算设备用户独立于VR头显用户，并与MR和VR内容交互。例如，这可以允许手机用户与VR头显用户在相同的VR体验中进行有趣的多人游戏。

　　在一个实施例中，移动计算设备可以在VR环境中呈现第一用户的MR图像，并且VR系统可以实时动态更新MR渲染，而不需要额外的设置和重新定位过程。

　　计算系统可以通过移动设备的一个或多个摄像头来捕捉在VR头显第一用户在现实世界中的一个或者多个图像。然后，计算系统可以从移动计算设备向VR头显发送移动设备的姿势。移动设备可以从VR头显接收VR环境的VR渲染，而计算系统可以从一个或多个图像中分割第一用户。

　　接下来，计算系统可以在移动设备实时响应于捕获一个或多个图像来生成VR用户的MR渲染。第一用户的MR渲染可以基于第一用户的分割图像和VR渲染的合成。

　　Meta表示，在VR环境中生成动态MR内容存在技术挑战。一个技术挑战是允许移动设备的动态移动，同时将沉浸在VR环境中的用户的图像保持在移动设备的图像的框架内。专利描述的技术主要是利用专门开发的分割算法来分割用户的轮廓或身体，并将沉浸在VR用户的MR渲染叠加或覆盖在VR环境之上。同时，可以利用VR系统的渲染和空间映射能力，允许移动设备的用户通过移动设备与生成的MR和VR内容交互。

　　图3示出了显示Cast投屏菜单屏幕210的移动计算设备200。Cast投屏菜单屏210可以显示示出哪个设备正在Cast投屏(例如VR显示设备135a)以及哪个设备正在接收Cast投屏的信息(例如，移动计算设备200a)。Cast投屏菜单屏幕210可以显示开始Cast投屏的开始按钮215，以及用于对Cast投屏进行故障排除的帮助菜单220。

　　光标205可以用于导航移动计算设备200。例如，光标205可以用来导航Cast投屏菜单屏幕210。光标205可以指示移动计算设备100的用户触摸移动计算设备的屏幕的位置。

　　图4示出了移动计算设备200显示投屏模式菜单225的示例。投屏模式菜单224可以显示示出不同模式的选择信息。例如，用户可以选择观看模式226，在观看模式226中，移动计算设备200可以从VR显示设备135的角度显示头显用户视图。换句话说，移动计算设备200的用户可以看到佩戴VR显示设备的用户102的第一人称视图。

　　作为另一示例，用户可以选择演示模式227，从而向移动计算设备200的用户传授如何使用相关的功能。例如，演示模式227可以用于指示用户如何使用移动计算设备200在VR环境235周围导航。

　　作为另一示例，用户可以选择MR模式228，并观看真人头显用户在数字世界中的动作，亦即常见的MR录制效果。MR模式228可以允许用户102访问相关MR应用和功能的MR库231。

　　作为另一示例，用户可以选择游戏模式229，其中移动计算设备200的用户可以与佩戴VR显示设备135的第一用户交互。移动计算设备100的用户可以和第一用户开玩多人游戏，或者与VR角色和/或VR环境235交互。游戏模式229可以允许用户102访问相关联的多人或交互式VR应用和功能的游戏模式库232。

　　图6示出了移动计算设备200显示应用程序库的示例。这里，应用程序库是显示一个或多个应用程序270的MR库231。例如，可以有动作游戏、赛车游戏和视频流式应用等等。

　　图7示出了移动计算设备200显示VR环境235的示例。当在VR环境235中时，移动计算设备的用户可以使用快照275功能来拍摄VR环境235。作为另一示例，用户可以使用录制280功能来录制VR环境235。

　　VR显示设备135的用户和/或移动计算设备200的用户可以向移动计算设备、网络浏览器或其他终端用户的其他交互设备Cast投屏捕获的视图，并且其他终端用户可以与VR显示设备125的用户和或移动计算装置200的用户交互。

　　图8示出了移动计算设备200在VR环境235中显示Avatar290的示例。Avatar 290可以代表佩戴VR显示设备135的第一用户。移动计算设备235的用户可以使用缩放295功能在VR环境中放大和缩小Avatar 290。移动计算设备200的用户同时可以通过在移动计算设备100的显示器拖动、点击、捏住或滑动来在VR环境235周围移动，以在VR环境234周围移动。

　　在特定实施例中，移动计算设备200的一个或多个摄像头可以捕获在真实世界环境150中佩戴VR显示设备135的第一用户。VR系统100可以指示移动计算设备200的摄像头捕捉包括VR头显用户的真实世界环境的一个或多个图像。

　　移动计算设备200可以从VR系统100接收从一个或多个图像识别的真实世界环境150中的一个或更多个锚点。锚点可以对应于任何真实世界对象145或真实世界环境150的区别特征，例如门口、窗户、家具等。

　　锚点可用于确定移动计算设备200相对于VR显示设备135的姿态，并可用于通过相对于所识别的锚点定位移动计算设备100和VR显示设备130，从而校准移动计算设备300和/或VR显示设备140的姿态。VR系统100可以自动执行初始定位过程，以相对于真实世界环境和/或相对于彼此定位移动计算设备200和VR显示设备135。

　　确定移动计算设备200的姿势可以包括检测移动计算设备100已经移动。然后，可以基于一个或多个锚点来确定移动计算设备200相对于VR显示设备135的更新姿势。

　　VR系统可以响应于检测到移动计算设备200已经移动，并实时生成VR环境235中第一用户的更新MR渲染。例如，如果移动计算设备向左移动，MR渲染将相应地显示移动计算设备200已经移动到VR头显用户102的左侧。因此，可以相对于彼此以及相对于真实世界环境150来确定移动计算设备100和VR显示设备的姿势。

　　锚点可用于追踪移动计算设备200和VR显示设备135的相对位置，从而连续或周期性地更新移动计算设备100和VR显示装置135的相应姿势。由VR系统100生成的真实世界环境150的特征图可用于确定与特征图内的特征相对应的一个或多个锚点。特征图和锚点可以由VR显示设备135的VR系统100制作并持续更新。

　　Meta表示，这一实施例的技术优点是允许移动计算设备200的用户将移动计算设备100移动到其他姿势，而不需要移动计算设备200的额外设置和重新定位过程。换句话说，VR系统100只需要参考特征图来重新定位移动计算设备100，而不是相对于VR显示设备135重新定位。因此，这可以减少移动计算设备200所需的计算和处理能力。

　　移动计算设备200可以向VR显示设备135的VR系统100发送移动计算设备100的姿态。

　　图14示出了移动计算设备200在VR环境235中显示用户102的MR视图的示例。VR头显用户102可以在VR环境235中开玩VR游戏应用程序集。移动计算设备100的用户可以使用光标205在VR环境235中查看用户102，并探索VR环境235。移动计算设备200的用户可以使用快照275功能来在VR环境235中拍摄用户102的照片，使用录制280功能来在虚拟现实环境235中录制用户102，或者使用gif 285功能来制作虚拟现实环境235中用户102的gif动图。

　　在特定实施例中，移动计算设备200可以从VR系统100接收VR环境235的VR渲染。VR渲染可以是从移动计算设备100相对于VR显示设备135的角度进行。可以根据移动计算设备200相对于VR显示设备135的姿势来确定移动计算设备100的透视图。

　　基于移动计算设备200相对于VR显示设备135具有姿势，移动计算设备100可以从移动计算设备的角度显示VR环境235的VR渲染。移动计算设备200和VR显示设备135可以是时间同步，以便移动计算设备200和VR显示设备135可以无缝地查看相同的VR环境235。

　　移动计算设备200可以从VR系统接收第一用户102已经激活了VR系统100的特定VR应用的指示。作为示例而非限制，VR头显第一用户可以选择VR游戏应用。响应于接收到第一用户已经激活特定VR应用的指示，移动计算设备200可以呈现第一用户已经启动特定VR应用程序的通知。

　　然后，移动计算设备200的用户可以选择在VR游戏应用的VR环境235中查看第一用户的MR视图的选项。

　　图15、16和17分别示出了移动计算设备200从第一、第二和第三姿态在VR环境235中显示第一用户102的MR视图的示例。

　　移动计算设备200显示从一个或多个图像分割并在VR环境235中呈现的第一用户。移动计算设备100的用户可以使用移动计算设备300来查看在真实世界环境150中佩戴VR显示设备135的用户。移动计算设备200显示的VR环境235可以对应于VR显示设备135显示的虚拟现实环境235，移动计算设备200的显示器更新用户102的位置以及移动计算设备100在VR环境235内的姿势。VR环境235中的第一用户102的MR渲染实时自动更新，以相对于并根据MR计算设备200的更新姿势在VR环境235上显示第一用户102。

　　在一个实施例中，可以从一个或多个图像分割第一用户，以覆盖或叠加到移动计算设备200显示的VR环境235。可以使用分割算法或图像处理算法来识别和确定真实世界环境150中的用户102的轮廓或身体，从而从一个或多个图像中仅分割第一用户。

　　换句话说，VR系统100可以独占地分割第一用户，并且从一个或多个图像中忽略其他用户。VR系统100可以分割佩戴VR显示设备135的用户。例如，VR系统200使用深度估计来创建VR显示设备135周围的边界体积，以确定要分割哪个用户。

　　Meta指出，分割第一用户解决了允许移动计算设备200的动态移动，以及将第一用户的图像保持在移动计算设备图像帧内的VR环境235中的技术挑战。移动计算设备200的用户可以在VR环境235中保持第一用户的MR渲染，而不需要固定在第一用户上的静态camera。

　　第一用户的分割可以被存储为分割数据。分割数据可以在VR系统100处保留或维护。分割数据的保留可以允许MR或AR效果应用于第一用户的分割。例如，如果第一用户处于VR运动游戏环境中，MR或AR效果可以应用于分割的第一用户所穿的衣服，使得第一用户看起来穿着运动队球衣。

　　名为“Dynamic mixed reality content in virtual reality”的Meta专利最初在2021年6月提交，并在日前由美国专利商标局公布。