微软专利介绍通过HoloLens全息交互远程操纵物理设备的方法和系统

　　混合现实环境通常为用户提供物理控制设备的视图，允许用户直接操作物理控制设备的控制。例如，穿戴HoloLens的你依然可以看到物理微波炉，并用手点击微波炉控制面板的物理按钮。但对于混合现实，一个富有前景的用例是直接在用户视场显示与物理控件相关的虚拟控制面板，从而允许用户通过操作虚拟控制面板来远程操纵物理设备。

　　在名为“Holographicdevice control”的专利申请中，微软就介绍了这样一种通过全息控制面板来远程操纵物理设备的方法和系统。 简单来说，发明描述的技术是允许用户在混合现实环境中使用虚拟控件对物理用户空间中的物理控制设备进行远程控制。通过编程物理设备的物理控件以使其与虚拟控件相对应，同时增加物理设备的通信能力，以允许其与混合现实设备通信。然后，可以在穿戴混合现实设备的用户的视场显示相对应的虚拟控制面板，以便其远程控制物理设备。

　　在一个实施例中，混合现实设备的远程控制组件可以在用户的可视体积内检测虚拟控件的第一用户激活，并生成表示用户操纵虚拟控件的第一用户激活的远程控制指令。然后将远程控制器指令发送到物理设备。物理设备接收远程控制指令，并致使物理控制组件执行对应于第一用户激活的物理控制。

　　图1是用于全息控制的示例性混合现实环境100。佩戴头戴式显示器设备104的用户102位于物理用户空间内，并尝试以全息控制的方式来远程操作物理设备。如图所示，她的感知视场介于在虚线106和虚线108之间，相关覆盖范围属于这位用户的可视体积。当用户的头部和/或头戴式设备104改变位置和方向时，视场将相应地改变。 在其图示的视场内，用户102可以查看物理用户空间内的物理对象。物理对象以实线显示，包括灯110、微波炉112、微波炉112所在的立方体平台(如桌面)、以及房间的边界(如地板、墙壁、天花板)。

　　灯110和微波炉112包括用于支持远程全息控制的存储能力、处理能力和通信能力。在一个实施例中，灯110和微波炉112是可以具有或不具有物理控制的物理控制设备，换句话说，灯和微波炉可以节省设计物理按钮的空间及相关成本，并且相关操作可以完全是基于全息控制。 例如，常见的微波炉在前表面具有物理控制面板，但对于支持全息控制的微波炉，它可以节省这一控制面板，并因而节省相关的空间及成本。简单来说，物理控制可以完全用全息设备控制解决方案的虚拟控制进行代替。

　　在一个实施例中，微波炉112可以配备有具有定向天线114的通信组件。通信组件为微波炉112配备存储、处理和通信能力，以支持全息设备控制。通信组件可以经由无线或有线方式支持微波炉112控制微波炉112的功能，并提供与混合现实设备104的无线通信。

　　当打开时，灯110和微波炉112周期性地将可定位信标(例如基于蓝牙5.1或其他定位技术)发送到物理用户空间。通常，这种可定位信标的范围有限，但足以填满大多数房间。 响应于接收到这样的信标，头显设备104可以向用户102提供可由全息设备操作控制的指示，所述指示包括但不限于音频、视觉和/或触觉效果。例如，头显设备104可以显示虚拟图像的形式来在用户视场显示一一对应于物理控件的虚拟控件，比如“微波1分钟”的虚拟按钮对应于“微波1分钟”的物理按钮。

　　在一个实施例中，灯306可以周期性地广播可定位信标，用户穿戴头显设备接收可定位信标并确定位置。当用户有意控制并把视线转向灯306时，头显可以在用户视场304内，且在灯306的附近显示一个仅包含开和关两个动作的虚拟按钮300。

　　然后，用户可以开始如同操作物理开关一样操作虚拟开关。在同一时间，头显可以检测用户的实际操作，并将相关指令发送到具备通信功能的灯306。这时，灯306就可以相应地执行“开”或“关”的动作。

　　名为“Holographic device control”的微软专利申请最初在2020年5月提交，并在日前由美国专利商标局公布。