苹果专利基于AR/VR眼动追踪提出用于控制工作流程的系统和方法

　　AR/VR设备搭载眼动追踪仪正在成为趋势，而眼动追踪信息存在一系列的用例。例如，可以根据眼动信息来触发各种事件，比方说触发与维修冰箱相关的全息步骤说明。又例如，可以根据眼动信息来判断用户的状态，例如用户在执行任务时是否有集中注意力。

　　在名为“Method and system to control a workflow and method and system for providing a set of task-specific control parameters”的专利申请中，苹果就介绍了这样一种利用眼动追踪信息的方法。具体来说，这项发明涉及一种用于控制工作流程的系统和方法。

　　在一个实施例中，工作流程包括要由人执行的至少一个任务，并提供关于至少一个特定对象的信息。

　　在一个实施例中，可以捕获这名用户的至少一只眼睛的眼动数据，并根据眼动数据触发事件。例如，如果用户注视预定义对象，则会触发特定操作。

　　在一个实施例中，依赖于眼动数据和关于至少一个特定对象的信息，可以检查是否满足包括是否已执行任务和/或是否允许执行任务的至少一个任务条件。可以使用这名人员的眼动数据，尤其是关于至少一个特定对象的眼动数据来检查和监控工作流程的单个任务是否已经执行，尤其是正确执行。所以，苹果指出这种控制机制可以提高工作流程结果的质量，甚至降低危险情况的风险。

　　例如，如果这名人员已经看到并确认显示的关键信息，则所述任务只能由这名人员执行。其中，关键信息可以从对捕获的眼动数据的分析中得出确认。根据另一个例子，如果这名人员是直升机飞行员，而他执行的任务包括在特定时间间隔内定期扫描所有仪器。这时，可以根据捕获的眼动数据确定他是否已经完成特定任务。

　　在另一个实施例中，根据捕获的眼动数据确定人员的状态，特别是情绪状态和/或注意力状态和/或精神状态和/或适合工作状态。其中，依赖于所确定的状态执行所述检查是否满足所述至少一个任务条件。基于与眼睛或眼睛部分(如瞳孔或眼睑)的运动相关的运动模式，可以确定用户的当前状态，并确定用户在执行任务时是否注意力集中。有利的是，这项技术可以用于检查这名人员是否正确执行任务，例如积极且集中地注视与任务相关的对象，或者人员不疲劳、不紧张、不害怕或不分心。

　　根据发明的另一个有利实施例，可以从眼动数据导出位置信息，并将其与关于至少一个特定对象的位置信息进行比较。在这种比较的基础上，可以导出关于执行任务的人员的众多信息，例如，这名人员是否查看了执行任务的相关对象;这名人员看到了执行任务的相关信息，是否允许这名任务执行任务;这名人员是否按预定义顺序或在特定时间间隔内检查了相关对象等等。所以，可以从中获得大量的信息，例如这名人员是否正确执行任务，或者是否允许这名人员执行任务。

　　图1是实施例的系统10a。根据所述方法，系统控制将由用户执行的至少一个任务的工作流程。系统10a可以包括一个或多个头戴式设备12，每个头戴式设备12包括场景摄像头12a和眼动摄像头12b。另外，系统10a包括处理单元14，处理单元14可配备有用于计算控制参数CP的神经网络14a，而控制参数CP可存储在系统10a的存储设备16中。

　　为了提供一组特定于任务的控制参数CP，一个或多个测试人员P1、P2可以在执行工作流的特定任务期间佩戴头戴式设备12。当测试人员正在执行任务时，各个场景摄像头拍摄多个场景图像。基于捕获的场景图像，可以提供关于测试人员P1、P2的环境中的对象的信息。然后，可以将捕获的场景图像以场景数据S1、S2的形式提供给处理单元。同时，当测试人员P1、P2正在执行任务时，眼动摄像头12b捕获测试人员P1、P2的各自眼动数据，尤其是以眼睛图像的形式。眼动追踪器可以基于眼睛图像计算测试人员P1、P2的各自注视方向。通常，注视方向或眼动数据E1、E2可以提供给处理单元14。捕获的眼动数据E1、E2可以相对于相应的场景数据S1、S2进行设置，以导出例如关于测试人员P1、P2在特定时间在关注环境的哪个位置。

　　这种方法的目的可以是：环境中的哪个对象是执行特定任务的相关对象;是否存在特定任务的单个步骤的相关时间顺序;或者是否必须在特定时间间隔内执行任务的单个步骤;是否必须重复某些步骤，尤其是比其他步骤更频繁等等。所述信息都可以有利地从场景数据S1、S2和眼动数据E1、E2导出。

　　为了验证结果，可以相互比较结果。例如，如果根据P1的场景和眼动数据E1将对象识别为相关对象，并且根据所有其他测试人P2的场景和眼动数据E2，可以将相同的对象识别为相关对象，然后将所述对象分类为具有高可靠性的相关对象。

　　在确定控制参数CP时，可以使用其他信息，例如关于各个测试人员P1、P2的技能水平SL的信息，以及任务结果或结果的质量水平RQ。各测试人员P1、P2和/或结果质量RQ的技能水平SL可手动评定，并输入系统10a，或由系统10a自身评定。例如，通过这种方式，可以根据各自的技能水平SL对各自测试人员P1、P2的输入数据进行加权。

　　另外，可以根据结果质量RQ应用各自的权重。然后，可以导出关于特定任务的进一步信息，如观察对象的持续时间与更好的结果之间是否存在相关性，或者更频繁地观察某个对象与更好的结果之间是否存在相关性。类似地，可以确定在时间限制内执行任务的某些步骤是否相关，或者时间限制或时间间隔是否重要。

　　通过分析所述数据，即场景数据S1、S2、眼睛数据E1、E2和可选的各自技能水平SL和结果质量RQ，可以导出特定任务的控制参数CP，并将其存储在存储设备16中。

　　然后，这些特定于任务的控制参数CP可以有利地用于控制包含特定任务的工作流程，并随后由任何其他用户执行。另外，处理单元14可以使用除神经网络14a之外的其他方法。

　　图2是示例性方法的一个流程图。相关对象可以按时间顺序分配给任务的单个步骤。例如，工人必须按照预定义的顺序拧紧工件的一定数量螺钉。另一个例子是，一个人必须用咖啡机煮咖啡，并且必须在按下按钮启动咖啡机之前将水注入水箱。

　　在S12中，可以在任何类型的显示设备向这名人员显示信息，并通知他/她必须执行单个步骤的及时顺序。之后，在S14中，可检查这名人员是否已阅读信息。这可以例如通过将注视点与对象位置进行比较来实现。

　　如果没有阅读信息，则可以在S16中显示警告信息。另外，若没有阅读信息，有关注意步骤顺序的信息可以持续显示，并不允许这名人员执行后续的操作。

　　然而，如果在S26中确定这名人员已按预定顺序查看了所有相关对象，则在S29中认为任务已完成。如果工作流程包含多个任务，则可以对工作流程的每个任务再次执行所述过程。此外，如果认为上一个任务已完成，则可能只允许工作流程的下一个任务。因此，在这种情况下，要么在S30中允许执行下一个任务，要么输出任务或工作流的结果。

　　名为“Method and system to control a workflow and method and system for providing a set of task-specific control parameters”的苹果专利申请最初在2021年7月提交，并在日前由美国专利商标局公布。