Meta专利提出模糊数据流来改善AR/VR共享中的隐私问题

　　科技的发展加快了世界的互联互通。例如，传统的仅语音通话已演变成音视频通话，甚至是现在的XR沉浸式通话。然而，这带来了新的挑战，比如隐私问题和共享控制问题。Meta认为，在这个日益互联的环境中，传统的系统无法解决用户对共享和隐私的担忧。

　　所以在名为“Obscuring objects in data streams using machine learning”的专利申请中，这家公司提出了一种利用机器学习来模糊数据流中的对象，从而帮助解决共享和隐私问题。

　　概括来说，发明描述的数据流处理系统提供对重要用户价值的对象的共享控制粒度控制。例如，传统选项让用户要么在视场中几乎不共享任何对象，要么在视场中共享每个对象。

　　对象模糊系统的实现为用户提供low level访问，以定义在共享数据会话中如何显示单个对象、对象类别或对象位置。

　　这种控制允许用户在数据流中共享特定个人方面，同时维护和确保隐私。这种个性化可以鼓励共享数据流会话中的用户之间的连接，并提供更准确和自然的通信。

　　在一个实施例中，系统定义数据流中共享对象的用户首选项，以便用户可以主动控制共享的方面。在视频流示例中，可以为与其他用户共享的视图域中的对象定义用户首选项。用户首选项可以包括来自用户的显式定义，例如对象类别和用于这些对象类别和/或对象位置的共享规则以及用于所述对象位置的共享规则。

　　在另一个例子中，可以为用户学习和/或建议一组对象共享规则，用户可以选择或编辑对象共享规则。

　　实现基于用户首选项中的定义模糊了数据流中可识别的对象。例如，机器学习模型可用于识别和分类客户端数据流中的对象，例如视频会议的用户视频流中包含的对象。

　　可以部署机器学习模型来识别对象并将对象分类为多个预定对象类别中的一个或多个，例如服装、食品、饮料、房屋装饰或品牌或标识等。

　　定义的用户首选项包括用于共享对象类别的规则。例如，规则可以定义不应该展示食品和饮料，而应该展示服装。

　　给定视频会议示例，用户设备的摄像头视场可以捕获食品和饮料对象，然而，当用户的视频流显示给视频会议上的其他用户时，所述对象可以基于用户的对象共享规则进行模糊，例如变黑、模糊或以其他方式过滤。

　　在一个实施例中，用户首选项可以包含针对不同用户的不同对象共享规则。例如，当向第一组用户显示用户的视频流时，食品和饮料对象可以模糊，但当向第二组用户显示用户的视频流时，食品和饮料对象不模糊。

　　在一个实施例中，可以定义或学习会话类型，例如视频会议或人工现实会话类型，并且可以使用特定于会话类型的用户首选项和定义的对象共享规则。例如，商业视频会议可能具有比个人视频会议模糊更多对象的共享规则。

　　图4示出系统中组件400。中介420可以包括在硬件410和专用组件430之间进行资源中介的组件。例如，中介420可以包括操作系统、服务、驱动程序、基本输入输出系统、控制器电路或其他硬件或软件系统。

　　专用组件430可以包括配置为使用机器学习执行用于模糊数据流中的对象的操作的软件或硬件。专用组件430可包括流处理引擎434、用户偏好和配置文件436、机器学习模型438和流管理器440等。

　　流处理引擎434可以处理数据流，例如由一个或多个摄像头捕获的视频流。流处理引擎434可以使用训练用于对象识别的一个或多个机器学习模型438识别数据流中的对象。

　　可以将识别的对象与用户偏好和配置文件436进行比较，以确定是否应该隐藏一个或多个对象。例如，用户首选项和配置文件436可以包括用于定义数据流中的对象是否应该在共享数据流中显示的用户的对象共享规则。当一个或多个对象共享规则定义不应在共享数据流中显示已识别的对象时，流处理引擎434可以模糊所述对象。

　　流处理引擎434可以使用配置为追踪对象的一个或多个机器学习模型438追踪一个或多个所识别的对象。如果对象共享规则定义跟踪对象不应显示在共享数据流中，则流处理引擎434可以通过各种手段来模糊追踪对象。

　　随着数据流的继续，流处理引擎434可以继续追踪和模糊使用其位置的对象。

　　用户首选项和配置文件436可以存储用户首选项，包括用于在数据流和对象共享规则或配置文件组中共享对象的规则。对象类别可包括服装、食品、饮料、家庭用品、人、宠物、个人文件、家具、品牌或任何其他合适的对象类别。

　　另一个示例对象共享规则可以定义一个区域，以及位于所述区域内或所述区域外的对象的显示状态。例如，位于区域内的对象可以显示，而位于区域外的对象则模糊。

　　用户首选项和配置文件436可以为不同的用户和/或流会话类型存储不同的对象共享规则。例如，流数据会话可以在第一、第二和第三用户之间共享，其中第一规则定义第一用户和第二用户之间的对象共享，第二规则定义第一用户和第三用户之间的对象共享。

　　第一规则可以定义特定对象类别不用于向第二用户显示，而第二规则可以允许向第三用户显示该对象类别。在本例中，当第一用户的流数据会话包括特定对象类别的对象时，向第二用户显示第一用户的流数据会话将具有模糊对象，而向第三用户显示第一用户的流数据会话不模糊对象。

　　机器学习模型438可以是适合处理数据流(的任何模型，或者可以是适合从历史数据中学习趋势并推荐对象共享规则的任何模型。例如，一个或多个机器学习模型438可以配置或训练用于对象识别、对象分类、对象追踪或其组合。

　　关于过去流数据会话、用户和对象共享规则的历史数据可以存储并用于训练机器学习模型438。例如，主体用户可以为给定的一组参与者用户选择或定义给定流会话的共享规则。历史流数据会话的存储数据可以包括以下一个或多个:主要用户的特征、参与者用户的特征、实现的对象共享规则、会话类型、会话的时间、以及任何其他合适的上下文会话信息。

　　可以使用此历史数据训练一个或多个机器学习模型438，并且训练的机器学习模型可以学习趋势，例如主要用户特征、参与者用户特征、会话类型和实现的对象共享规则之间的关系。

　　经过训练的机器学习模型可以配置为使用一组输入特征为给定用户的当前或未来流数据会话生成预测的对象共享规则。可以向主体用户建议生成的概要文件，当接受时，在流式传输会话期间为主体用户实现的对象共享规则将是生成的概要文件的对象共享规则。

　　流管理器440可以管理具有多个变体的流数据会话，例如针对不同参与者用户具有不同对象共享规则的流数据会话。在本例中，不同的用户参与者显示主体用户的流数据会话的不同版本，因为特定用户参与者可能显示主体用户的流数据会话，同时给定对象模糊，而其他用户参与则不模糊特定对象。

　　流管理器440可以管理流数据会话的不同版本，从而实现主要用户的对象共享规则。

　　流数据会话可以由位于客户端系统的一个或多个图像捕获设备捕获。图5示出数据捕获设备视场的概念图。图500包括视图502、用户504、对象506、508和510以及复合对象512和514。例如，可以将一个或多个图像捕获设备指向用户504，使得在图像捕获设备的视图502中捕获对象506、508、510和复合对象512和514。

　　在一个实施例中，用户504可以提供表示共享流数据会话的用户对象共享规则的输入。例如，可以为用户504显示具有由一个或多个图像捕获设备捕获的流数据的处理版本的用户界面。流数据的处理版本可以包括对象506、508、510和复合对象512和514周围的指示符，指示所述项目是视图502中的识别对象。

　　用户504可以选择单个对象以提供输入。例如，用户504可以选择对象508并提供所述对象不应在共享流数据会话中显示的输入。结果，对象508可以模糊。

　　复合对象512和514可以是分层对象。例如，复合对象512可分类为服装对象，而复合对象514可分类为字母数字对象。在本例中，用户504可以穿着带有文字的衬衫，衬衫可以识别为服装对象，而文本可以识别为字母数字对象。

　　用户504可以选择复合对象512并定义用于服装对象的对象共享规则和/或选择复合对象514并定义用于字母数字对象的对象共享规则。例如，用户504可以提供定义字母数字对象不应该在共享流数据会话中显示，但允许显示服装对象的输入。

　　在这里，复合对象512不模糊，而复合对象514模糊。

　　在另一个示例中，用户504可以提供定义不应在共享数据流会话中显示服装对象但允许显示字母数字对象的输入。在这里，复合对象512将在会话中模糊，并且由于复合对象514在复合对象512上分层，所以复合对象514将有效模糊。

　　在一个实施例中，用户504可以提供将对象506、508、510以及复合对象512和514中的一个或多个添加到白名单，或允许在共享流数据会话中显示的对象列表的输入。在本例中，允许显示特定的对象，并且对象列表中的每个对象都可以使用特定的对象定义存储。

　　因此，在共享流数据会话期间，只有用户504允许列表中的对象显示，其他对象将遮蔽。

　　例如，一个或多个机器学习模型可以处理数据流以识别流中存在的对象，并且流处理引擎可以将识别的类别，位置和/或识别对象的物理特征与存储在允许列表中的特定对象定义进行比较。

　　在列表中找到的已识别对象可以不模糊地显示，而在列表中未找到的已识别对象可以模糊，从而可以维护用户的隐私。

　　图6是用于接收定义如何在数据流中显示对象的用户首选项的流程图。

　　在602，进程600可以接收用户对象选择。

　　在604，进程600接收定义共享所选对象的规则的输入。

　　在606，进程600可以将定义的对象共享规则存储为用户首选项。

　　图7是使用机器学习在数据流中模糊对象的流程图。

　　在702，进程700可以接收一个数据流。

　　在704，进程700可以识别和分类数据流中的对象。

　　在706，进程700可以访问包含对象共享规则的用户首选项。

　　在708，进程700可以根据对象共享规则在视觉上模糊对象。

　　在710，进程700可以导致共享数据流与模糊对象一起显示。

　　名为“Obscuring objects in data streams using machine learning”的专利申请最初在2022年2月提交，并在日前由美国专利商标局公布。