Meta VR专利探索根据肢体动作来启动调用体育App应用

　　在XR沉浸式现实中，允许用户轻松方便地启动生成相关应用程序是一个问题，比如说体育领域。在名为“Motion-based generation of applications in virtual reality and augmented reality systems”的专利申请中，Meta就介绍了一种根据动作来生成体育应用的方法。例如，当用户摆出拳击动作时，系统可以生成与拳击相关的最近的新闻或游戏，最近的业余或职业拳击比赛。

　　图1示出了一个人工现实系统10。头显112包括用于追踪头显112的运动的一个或多个传感器(例如加速度计)，并且可以包括一个或更多个图像捕获设备138和图像捕获设备139。

　　图像捕获设备138配置为捕获用户110的视场中的对象。图像捕获设备139被配置为在图像捕获设备139的视场中捕获用户110的身体111，并用于将用户110的动作199识别为基于运动的动作191。

　　在一个实施例中，当用户110正在查看显示在头显112中的人工现实内容122时，在头显112中生成基于运动的应用181。用户110提供基于运动的启动指示符179作为头显112的输入，以启动基于运动的应用生成过程。在一个实施例中，例如，基于运动的启动指示器179可以是手势，例如闭合的拳头、食指和拇指的敲击、和平手势等，从而启动基于运动的应用程序生成过程。

　　在用户110已经使用基于运动的指示符179启动了基于运动的应用过程之后，图像捕获设备139获取表示用户110的身体111的运动199的运动数据。

　　头显112接收运动数据并评估运动数据以确定运动199是否代表基于运动的运动191。在一个实施例中，响应于将用户110的动作199识别为基于运动的动作191，基于运动的应用程序生成器生成特定的动作应用程序181。

　　例如，运动应用生成器生成基于运动的应用181，例如，基于运动的新闻181A和/或基于运动的购买选项181B叠加在呈现给用户110的底层人工现实内容122之上。

　　图2示出的头显配置为使用基于运动的应用生成器来生成基于运动的应用181。

　　头显112包括一个或多个运动传感器206，例如输出指示头显112的当前加速度的数据的一个或更多个加速度计、输出指示头显112的位置的数据的GPS传感器、或提供头显112或物理环境内的其他物体的位置或方位指示的其他传感器。

　　在一个实施例中，基于从与用户110的身体111相对应的图像捕获设备138和图像捕获设备139接收的运动数据，控制单元210配置为识别用户110的基于运动的运动，并且作为响应，生成基于运动的应用程序181。

　　在一个实施例中，例如，响应于识别基于运动的运动，控制单元210可以生成叠加在人工现实内容上用于在电子显示器203上显示的基于运动的新闻内容181A和/或基于运动的购买内容181B。

　　图3示出了根据头显112的框图。基于运动的姿势检测器324配置为检测由头显112的图像捕获设备138和图像捕获设备139和/或传感器90或外部摄像头102捕获的图像数据和运动数据中识别的对象，以识别用户110的身体111。

　　在一个实施例中，图像数据和运动数据用于追踪身体111相对于头显112的运动，以识别用户110执行的基于运动的姿势或运动。基于运动的姿势检测器324将图像捕获设备的视场中的对象的运动向量与基于运动的姿势库330中的一个或多个条目进行比较，以识别用户110是否执行了基于运动的动作。

　　在一个实施例中，基于运动的应用程序生成器339包括基于运动的运动条件。基于运动的动作条件应用于存储在基于运动的姿势库330中的基于运动的移动，以触发基于运动的应用程序181的生成。

　　基于运动的应用程序生成器339配置为使用例如基于运动的姿势检测器324的识别输出来生成基于运动的程序181。在一个实施例中，基于运动的应用181叠加在要在头显112上向用户110显示的人工现实内容之上。

　　在操作中，图像捕获设备139捕获由头戴式显示设备301的用户110执行的动作199。动作199可以是运动动作，例如舞蹈动作、网球动作、排球动作、游泳动作、攀岩动作、滑雪动作、射击动作、射箭动作等。在捕获与运动199相对应的运动数据之后，图像捕获设备370将运动数据提供给处理器302。

　　处理器302接收表示用户110的动作199的动作数据，并且利用基于运动的姿势检测器324和基于运动的姿势库330来确定(或识别)用户110执行的动作199是否是基于运动的动作311。

　　通过使用存储在基于运动的姿势库310中的基于运动的信息341，基于运动的姿势检测器324识别用户110执行的动作199是否是基于运动的动作311。

　　基于运动的信息341包括基于运动的运动311和基于运动的动作指示符317。基于运动的运动指示符317是指示用户110进行的运动的指示符。例如，基于运动的运动指示符317可以是与用户110执行基于运动的动作311的视频剪辑相对应的移动数据。

　　视频剪辑可以是，用户110执行由图4中的示例描绘的舞蹈动作、网球动作、排球动作等。基于运动的姿势检测器324利用存储在姿势库330中的信息341，或在其上执行的分类算法或机器学习技术来将动作199识别为基于运动的动作311。

　　在一个实施例中，基于存储在基于运动的姿势库330中的预定义的基于运动的运动，将运动199识别为基于运动的动作311。

　　在确定运动199是否是基于运动的运动311之后，基于运动的应用生成器339基于将运动识别为基于运动的动作311，从而生成头显112中的运动199特有的基于运动的移动应用391。

　　为了在头显112的显示器上生成基于运动的应用程序，基于运动的程序生成器339搜索网络104以寻找与所识别的运动相关的基于运动内容。基于运动的运动应用391是与基于运动的动作311相关的内容，例如，基于运动互联网应用、基于运动的视频应用或基于运动的新闻应用。

　　例如，如果用户110执行的基于运动的运动311是拳击运动，则处理器302可以在头显112的显示器上显示与拳击运动相对应的新闻剪辑。在一个实施例中，一旦基于运动的应用程序生成器339已经找到与基于运动的运动相关的内容，则运动应用程序生成器337将基于运动的内容叠加到人工现实内容之上。

　　在基于运动的应用181被显示为提供给用户110的人工现实内容的一部分之后，用户110然后能够查看和导航在头显112的电子显示器203提供的基于运动的内容。因此，用户110能够容易地在头显112中查看由基于运动的动作311指定的基于运动的内容，同时浏览人工现实内容。

　　图5示出了生成基于运动的内容的方法500。

　　在框510，头显112的图像捕获设备139捕获由头显112用户110执行的动作199。

　　在框520，处理器302使用基于运动的姿势检测器324和基于运动的姿势库330来识别运动199是否是基于运动的运动311。

　　在框530，基于将运动199识别为基于运动的运动311，基于运动的应用生成器339在头显112生成特定于动作311的应用181。例如，当由基于运动的姿势检测器324检测到的基于运动的动作311是拳击动作时，基于运动的应用生成器339生成与拳击相关的最近的新闻或游戏，最近的业余或职业拳击比赛。

　　在框540处，基于对运动199的识别为基于运动的运动311，基于运动的应用生成器339生成基于运动的购买选项181B，从而允许用户购买运动商品、运动纪念品等。

　　在框540，基于运动的应用程序生成器339基于用户110的身体111上的运动标识符198的标识，例如，用户110所穿的衬衫上的运动队标志，生成允许用户110购买运动商品、运动纪念品等的购买选项。

　　在一个实施例中，例如，当用户110穿着具有表示“La Union Lions”的运动标识符198的t恤时(如图1所示)，基于运动的应用程序生成器339将购买类似运动纪念品的选项叠加人工现实内容或之上。

　　名为“Motion-based generation of applications in virtual reality and augmented reality systems”的Meta专利申请最初在2021年10月提交，并在日前由美国专利商标局公布。