微软专利为MR办公提出智能代理，在不同会话场景传输会议内容

　　目前，一系列的生产率应用都提供了用于显示和操作文件内容的专用工具，以及一个共享的工作区，从而允许多名用户可以在其中同时查看和编辑文件的内容。

　　然而，尽管可以提供共享和操作内容的专门功能，但当用户希望从一个或多个共享工作区检索数据或内容以准备视觉预览或合成信息时，不少现有应用都无法提供令人满意的用户体验。例如，当需要团队达成共识时，用户必须手动准备专门的内容，以允许其他用户可视化每个想法。

　　对每个提议进行视觉预览有助于参与者理解。不过，手动准备每个预览的过程可能非常耗时且效率低下。

　　另外，当用户在一个会话中进行协作，然后切换到另一个会话时，并非所有编辑的内容都可以在不同类型的会话之间传输。由于用户每次在不同类型的通信会话之间转换时，系统需要检索、传输甚至重新创建内容，从而造成过程的低效。

　　针对这个问题，微软在名为“Intelligent agents for managing data associated with three-dimensional objects”的专利申请中提出了一种智能代理。无需用户手动操作，所述智能代理能够智能地完成上述繁琐的操作。

　　图1示出了一个用户界面100。用户102可以通过使用语音命令、移动手势或其他类型的与各种输入设备的交互来创建和编辑虚拟对象104。第一虚拟对象104A(风扇)和第二虚拟对象104B(紧固装置)定位在相对于真实世界对象103的特定位置。

　　用户102可以移动虚拟对象104并调整其大小。另外，用户102可以使用一个或多个手势来将虚拟对象104与一个或多个真实世界对象相关联。在这个示例中，第一虚拟对象104A和第二虚拟对象104B与发动机的轴对齐，以说明对象之间的关联，比方说如何组装零件。

　　用户102同时可以使用多种不同媒介在协作环境中相互通信。在所述示例中，第一用户102A、第二用户102B、第三用户102C和第四用户102D都彼此通信，并且在用户界面100内呈现每个用户102的视频流。

　　响应于识别在协作环境中显示的真实世界对象和虚拟对象，计算设备101可以生成与每个单独对象关联的单独代理。每个代理201(如图2所示)可以配置为收集和管理与每个对象相关联的数据的自主计算单元。

　　每个代理可以持久地存储，所以即便在与协作环境相关联的通信会话终止之后，数据存储都能维护与每个代理201相关联的所有数据。在一个实施例中，每个代理可以是虚拟机的形式，虚拟机可以存储在单个计算设备并在不同计算设备之间通信。

　　在一个实施例中，计算设备101可以为特定对象生成代理。可以根据对象的物理属性或用户活动选择目标对象。在另一个示例中，基于对用户讨论或偏好数据的分析，将特定对象视为目标对象。

　　图2示出了一个代理示例实现。与真实世界对象103关联生成第一代理201A，第二代理201B与第一虚拟对象104A关联，第三代理201C与第二虚拟对象104B关联。

　　每个代理201管理数据库202，用于存储定义关于各个对象的关键字、描述、参数或其他数据的数据记录(203-205)。如图2所示，计算设备101可以生成和修改与每个对象相关联的数据记录(203-205)。可以基于多个因素生成数据记录(203-205)。

　　在一个实施例中，可以基于真实世界对象或虚拟对象的形状、大小或其他物理特性来生成描述每个对象的方面的数据记录(203-205)。在本示例中，可以基于对发动机图像的分析来生成描述发动机驱动轴直径的数据记录203A。这种数据可以通过分析深度映射数据和由计算设备捕获的图像数据来生成。

　　通过使用从深度映射数据和图像数据获得的测量值，计算设备可以确定真实世界对象的几何图形和形状。这种测量可以记录在数据记录203中。

　　计算设备101同时可以分析文本或其他标志，以生成或修改与每个对象相关联的数据记录(203-205)。例如，计算设备可以确定并记录对象的型号、产品品牌或其他相关特征。在本示例中，可以基于刻在发动机的文本或发动机的大小或形状生成描述发动机马力的数据记录203B。

　　计算设备101同时可以分析定义虚拟对象的模型数据，并且可以用于生成或修改描述每个对象的方面的数据记录(203-205)。例如，在本示例中，可以分析定义第一虚拟对象104A的模型数据，以确定所述对象由特定材料制成，比如说钢。一个或多个记录(例如记录204A)可由关联代理(例如第二代理201B)生成以存储信息。

　　代理201同时可以在多用户通信会话期间监视一系列不同类型的用户活动，以生成或修改数据记录(203-205)。被监视的用户活动可以包括与计算机的任何类型的用户交互或任何类型的通信，例如轮询、编辑、文本聊天和语音对话。

　　如图3所示，每个代理可以分析在第一用户102A和第二用户102B之间发送的电子邮件字符串，以确定电子邮件与第二虚拟对象104B相关。另外，可以分析和解析每种其他形式的通信，例如视频广播、@或私人通话，以识别与每个对象相关的参数、首选项或其他信息。

　　各个代理201可以收集和存储定义与各自对象相关联的各个数据库202中的被监视活动的活动数据。如图4所示，基于用户之间被监视的通信，每个代理201存储关于每个对象的收集的信息。

　　在一个实施例中，通过与每个代理201通信的API接收收集的信息。每个通信实例可以解析并存储在特定数据库202中。从每个通信实例解析的数据可以存储在记录中(203-205)。

　　如果用户活动的特定实例引用对象，则计算设备101可以将定义用户活动的特定实例的活动数据与对象相关联。例如，关键字、短语、图像、音频数据或对特定对象具有定义的相关阈值级别的任何其他信息可以致使计算设备101将用户活动的特定实例与对象相关联。

　　一旦与对象建立了关联，定义用户活动特定实例的活动数据就可以存储在关联的数据库中。

　　例如，可以分析广播的数据，以确定风扇有规格要求，例如，风扇要求每分钟200 CFM的性能。这种通信的分析可以存储在数据库记录中，例如记录204B。

　　可以分析电子邮件以确定紧固装置的各个方面，例如螺母需要具有特定强度，并且可以分析回复电子邮件以确定所需强度的参数，例如发动机可以产生60英尺磅的扭矩。

　　这种通信的分析可以存储在相关对象的数据库记录中。例如，可以生成第一个数据库202A的记录203C以指示发动机扭矩规格，并且可以生成第三个数据库202C的记录205B以指示风扇的扭矩要求。另外，可以分析@提及以确定第一虚拟对象104A的方面，例如风扇。作为响应，可以生成记录，例如记录204C，以指示风扇需要由碳纤维制成。

　　现在转到图5，每个代理201可以从外部资源502检索补充数据501。补充数据501可以包括关于与每个对象相关联的数据记录的任何信息。例如，可以从现有数据记录生成查询(203-205)，并且每个查询可以发送到各种资源502，例如但不限于库存数据库502A、公司目录502B和搜索引擎502C。每个资源502可以返回补充数据501以响应查询。

　　如图6所示，计算设备101可以基于存储的信息生成针对各个对象的建议。所述建议可以建议对对象进行修改，为获取或修改对象提供资源，并提供可操作的信息，从而允许用户就对象达成共识。建议的形式可以是：(1)修改现有虚拟对象;(2)定位在真实世界对象的新虚拟对象;或(3)建议修改真实世界对象的注释。定义与每个对象相关联的建议的数据同样可以持久存储在数据记录中(203-205)。

　　例如，建议可以是新虚拟对象601的形式。这样的建议可以自动呈现为三维或二维虚拟对象，并作为真实世界对象或其他虚拟对象的叠加而提供。通过在真实对象提供叠加图像，用户可以轻松地可视化提案，无需用户手动操作内容。

　　建议同时可以包括基于通信数据和补充数据的代理分析的计算机生成设计修改。如图6所示，可以将新的虚拟组件602(例如垫圈)添加到示意性布局中。新虚拟组件602的位置和大小可以基于补充数据501中提供的信息。

　　代理建议同时可以包括提供与对象相关的其他情景信息603或指令604的图形元素。如图6所示，可以与特定对象关联地显示图形元素。情景信息603或指令604可以从补充数据501或与对象相关联的任何其他数据记录生成。在图6所示的示例中，建议表明钢制风机应更换为碳纤维风机，并确定供应商等。

　　计算设备101可以基于数据记录的内容对各种建议进行优先级排序和排序。在一个实施例中，计算设备101可以存储定义可以显示的建议的最大数量的数据。计算设备101可以显示任意数量的建议。在一个实施例中，可以根据每个建议的定义优先级来安排建议的显示，例如，建议可以从最高优先级到最低优先级排序。

　　所以，可以基于任何类型的情景信息对建议进行优先级排序。例如，可以基于每个用户的投票或偏好对建议进行优先级排序和排名。在其他示例中，每个建议的优先级可以基于各种用户对特定对象所做的大量评论、引用建议的大量交互或其他类型用户活动的组合，例如用户查看特定对象或建议的次数。

　　如上所述，代理201可以通过不同的通信会话保持，以增强用户参与度并提高生产率。例如，如果第一组用户正在举行关于汽车发动机设计的会议，则可以为发动机的每个部分实例化一个智能代理。

　　智能代理可以在多用户通信会话期间监视所有类型的用户活动，例如轮询、编辑、文本聊天和语音对话。可与每个对象(例如每个发动机零件)关联显示和存储来自监控活动的数据。代理和相关数据库的配置应确保，当会议结束时，代理和存储的数据在通信会话之后仍然存在。因此，当创建新的通信信道时，代理允许用户访问代理和存储的数据。

　　在一个实施例中，可以使用机器学习技术来检查数据记录以生成建议。在其他示例中，可利用统计机制来确定是否应显示特定代理建议，或是否将特定对象选择为目标对象。

　　图10示出了一个流程图。流程1000开始于操作1002，其中计算设备101接收定义真实世界环境的三维表示的传感器数据。传感器数据可由深度图传感器捕获。传感器数据可以定义真实世界环境中的一个对象或多个真实世界对象的物理特性。

　　传感器数据同时指示环境中一个或多个对象的地理位置。因此，可以通过分析传感器数据来进行对象测量或环境测量。传感器数据中定义的一个或多个对象与参与协作环境的用户数量共享。协作环境可以包括通信会话，该会话允许用户发送、接收和查看在显示设备上呈现的传感器数据的各个方面。

　　在1004，计算设备101接收定义将在协作环境的视图中显示的一个或多个虚拟对象的模型数据。模型数据可以定义将虚拟对象放置在协作环境用户界面中的特定位置。

　　在1006，计算设备可以识别目标虚拟对象和真实世界对象。如前所述，可以基于多个因素将对象视为目标对象，这包括但不限于用户与特定对象交互的阈值水平、关于特定对象的通信的阈值水平、特定对象的移动的阈值水平等。

　　在操作1008，计算设备可以生成与目标虚拟对象相关联的一个或多个代理和相关数据库。在操作1010，计算设备监控用户活动，以识别与每个对象相关联的信息。在操作1012，计算设备可以使用所识别的信息更新各个数据库。

　　在操作1014，计算设备可以生成与单个对象相关联的一个或多个建议。在操作1016，计算设备可以出于机器学习目的存储和处理建议。如前文所述，任何收集的信息(例如通信数据或补充数据)或任何生成的信息(例如建议)都可以作为机器学习算法的输入提供，以改进未来建议的生成。

　　微软表示，通过智能代理检索和显示情景相关的信息，这可以减少用户的手动操作，从而改善用户与计算设备之间的交互。另外，这种功能可以减少无意的输入，提高个人的生产率，同时可以减少执行手动操作所需的计算资源的使用。

　　名为“Intelligent agents for managing data associated with three-dimensional objects”的微软专利申请最初在2022年2月提交，并在日前由美国专利商标局公布。