如何用HoloLens 2+Azure Percept DK实现MR遥测管理解决方案

　　微软日前与Kagool合作演示了一个端到端的现场服务管理解决方案。通过结合Azure Percept DK、人工智能、物联网、Cognitive Services认知服务和混合现实，团队数字化了一个物理乐高挖掘机。

　　所述解决方案结合了实时遥测，并集成了完整的端到端现场服务管理解决方案。其中，实时性能监控可以从一个中心位置进行全球分析，从而减少停机时间和维护成本，优化性能，降低TCO并延长asset的寿命。同时，趋势分析可以带来智能维修和预测性维护，并在故障发生之前采取预防措施。

　　开发人员在下文介绍了如何使用Azure Percept DK集成端到端现场服务管理解决方案，并利用混合现实将遥测叠加到数字孪生。

　　1. 解决方案概述

　　下面的架构图涵盖了用于实施现场服务管理解决方案的所有服务。Azure Percept DK正在收集的数据发送到物联网中心，随后自动触发Azure Function以更新Azure Digital Twins(ADT)中的属性。在ADT中，团队在一个数字副本中重建了全球乐高asset部署，精确显示了每个asset的部署位置。Unity将根据使用REST API发送给ADT的自定义查询检索属性，并在3D模型覆盖遥测数据。

　　下面这个视频是关于数字孪生如何响应实时Azure IoT接收遥测：

　　2. 解决方案的实现

　　对于所述解决方案的实现，你首先需要设置Azure Percept DK，创建并配置物联网中心资源，使用Custom Vision训练人工智能模型，以及设置你的Function应用实例，以便在服务之间移动数据。若在入门时需要任何帮助，请查看以下资源：

　　Set up the Azure Percept DK

　　IoT Hub instance

　　Custom Vision instance

　　Function app instance

　　Azure digital twin instance

　　Unity project configured using Mixed Reality Toolkit

　　下面是具体的实现步骤：

　　将Azure Percept DK接到物联网中心。IoT Hub通过相应地收集和分发数据来充当IoT设备的网关。团队使用提供的向导将Azure Percept DK接到IoT Hub：

　　使用Custom Vision创建和训练AI模型，并使用Azure Percept Studio将其部署到设备。例如，团队训练了一个AI对象分类模型来检测不同大理石的颜色，如下图所示：

　　创建Azure Digital Twin实例并定义端点。团队采用分层方法，根据每个设备的位置对其进行分组(大陆-地区-城市-乐高asset)：

　　配置基于事件网格的Azure Function。这将通过IoT Hub接收的遥测自动更新Azure Digital Twin属性。

　　将你的function部署到Function App实例。团队使用Visual Studio编写了function运行所需的代码，并使用发布功能进行部署了：

　　返回到IoT hub，导航到事件选项卡，创建新的事件网格模式订阅，并选择之前创建的Azure Function作为端点。这是为了确保所有传入消息都路由到正确的端点。创建活动路线后，主页应如下图所示：

　　将Unity项目配置为自动更新三维模型的数据。使用Azure Signal R，你可以检测Azure Digital Twins中的属性于何时更新。另外，团队同时使用了强大的Azure Digital Twins API从ADT发送查询和检索元数据。

　　配置Unity项目以显示ADT值。为了增强用户体验，团队展示了乐高CAD模型以及一定的GUI元素：

　　左面板：列出所有全球部署的asset及其状态

　　中面板：来自Azure Digital Twins的实时物联网遥测

　　右面板：向SAP(ERP系统)发回工单以更换故障部件

　　3. 最后的想法

　　上面的示例展示了将Azure Percept DK与HoloLens集成有多么容易。利用这个现场服务管理解决方案，你可以轻松地从世界各地远程监控相关的asset，并预测部件是否即将出现缺陷，以防止任何潜在的停机或损失。这种解决方案可以在人类无法实际到达asset位置的情况下实现。

　　这个解决方案的好处众多，例如：

　　通过与ERP系统的无缝连接，远程诊断世界各地的性能问题，创建检查订单，部署维护人员，并订购更换部件

　　预测可能发生的故障，以及智能地设置维护间隔，减少停机时间并节约成本

　　通过持续吸收存储和高速转换大数据，开发基于按使用付费的新商业模式

　　根据预设的公差集中监控性能，以识别问题，采取预防措施并减少停机时间