微软专利介绍在HoloLens上创作呈现3D PPT的解决方案

　　诸如微软PPT等传统的2D演示软件允许用户通过撰写和交付2D演示文稿来呈现信息。例如，用户可以使用多张幻灯片生成二维演示文稿。但微软认为，传统的2D信息呈现方法存在数个缺点。

　　通常，人们通常在3D中感知事物，所以2D中的通信对于现实世界而言是一个不完美的模型。换句话说，在2D中呈现信息会限制表达和感知的效率，从而阻碍交流。另外，根据通信媒介的不同，人类的感知可能存在较大差异，多个受众成员之间的认知可能缺乏一致性。最后，2D演示可能会限制观众的参与。

　　针对这个问题，微软希望通过创作和呈现3D演示文稿来改善沟通，而名为“Authoring and presenting 3d presentations in augmented reality”就介绍了用于创作和呈现三维PPT的方法和系统。

　　在一个实施例中，可以生成三维表示文件，其中包括三维房间模型、三维asset，以及3D asset的行为。3D演示文稿将资源行为编排为3D演示文稿的场景和节拍。通常，每个场景或节拍表示3D asset的特定排列和相应的asset行为。所以在创作模式期间，一个或多个作者可以将asset行为设置为在演示模式期间触发。

　　可以将3D呈现文件加载到作者设备、呈现者设备和/或观众设备中，并且可以在各种用户设备之间以协调的方式呈现3D asset的3D图像和相应的asset行为。因此，作者或演示者可以使用各种导航命令导航场景和3D演示文稿。

　　空间创作是指作者为3D asset设置asset行为的过程。例如，通过在3D环境中安排3D asset的位置和方向，创作者可以为asset行为设置其他行为参数，添加模板行为等。3D演示环境支持多个共同作者同时创作，涵盖同一房间和远程用户(例如使用Avatar来模拟远程用户的存在)。

　　因此，可以执行空间创作来设置由给定场景触发的asset行为的行为参数。

　　在一个实施例中，每个作者穿戴头戴式显示器，而头显可以以协调的方式呈现3D asset的3D图像和相应行为，以便作者基本上同时看到相同的asset行为。同样，3D演示环境支持多个共同演示者向多个观众成员提供3D演示。

　　在一个实施例中，每个演示者和观众成员穿戴头戴式显示器，后者可以以协调的方式呈现3D asset的3D虚拟图像和相应行为，以便演示者和观众成员基本上同时看到相同的asset行为。

　　每个用户设备都可以生成一个虚拟3D环境，并作为用户设备的参考框架，例如坐标系和原点。为了将3D asset的虚拟图像与将要交付演示文稿的房间或空间对齐，设置3D演示文件的作者可以生成或以其他方式访问演示室的3D模型，例如通过扫描房间、自动检测预映射房间、手动输入房间设置等等。

　　3D房间模型可以合并到用户设备的虚拟三维环境中，或以其他方式与用户设备的虚拟3D环境相关联，例如，使用虚拟房间锚定来设置相对于用户设备的虚拟3D环境的位置和方向。3D表达的3D asset可以栓系到虚拟三维环境中的固定位置，比如使用虚拟对象锚定。

　　3D房间模型、虚拟房间定位点、3D asset和虚拟对象定位点可由每个用户设备访问或分发。因此，可以向每个用户设备提供对房间中的表面和3D表示的3D asset感知。

　　在一个或多个用户设备是增强现实头显的实施例中，用户可以看到编写或呈现演示文稿的实际物理房间或空间，不需要为头显渲染相应的3D房间模型。不过，AR头显的虚拟3D环境可以与物理房间或空间对齐，比如通过调整一个或多个房间设置。

　　这可以使用3D界面手动完成，例如使用一个或多个手势来调整虚拟房间定位点的位置、调整3D模型的方向、调整可移动墙壁和/或可移动桌面的虚拟定位点的位置等等等。这同时也可以使用2D界面手动完成，或者自动完成。

　　在一个实施例中，一旦作者执行了房间对齐，则可以将特定的或所有相应的房间设置分发给一个或多个后续用户设备。在一个实施例中，只向需要房间对齐的用户设备提供有相关的房间设置。因此，用户设备可以访问房间设置，以将设备的虚拟3D环境与物理房间或空间对齐。

　　多个用户设备可以参与创作和演示模式。为此，系统可以为多个用户提供了一个大厅。通常，大厅是一个虚拟暂存区，并允许多个用户设备在其中进行通信，以促进3D演示的协调渲染。在一个实施例中，一个设备用作主机，其余设备用作客户端。主机设备将3D演示文件分发给客户端设备，每个客户端设备渲染3D演示以同时查看基本相同的asset行为。

　　在创作模式下，主机和客户端共同作者可以与3D asset交互并设置asset行为。在演示模式下，指定用户可以与指定的3D asset交互。例如，客户端可以从主机请求或自动授予3D asset的临时所有权。作为非限制性示例，可以使用一个或多个检测到的输入来启动签入和签出请求。如果获得批准，用户可以获得3D asset的临时所有权并进行授权更改。

　　作者在创作模式下设置的asset行为可以进行分发和存储，例如在更新的3D演示文件中。对当前渲染的asset行为的更改都可以实时分布，以便每个主机和客户端可以在基本相同的时间渲染相同的asset行为。

　　在演示模式下，特定功能可以对部分或所有用户进行限制(例如记录asset行为)，而其他功能则可以有选择地启用，例如允许观众成员拖动指定的3D动画。因此，可以设置不同的配置文件或权限来区分不同的用户组，并为每个组提供不同的权限。。

　　可以使用各种可视化工具来生成3D asset、asset行为和/或虚拟图像。可视化工具可以包括模拟器工具、演示助手工具、交互模式和模板asset行为。可以在创作模式期间切换诸如透视图模拟器之类的模拟器，以模拟观众透视图。

　　在一个实施例中，演示助手工具(如仅演示者可见的虚拟提词器)可以添加到3D演示中。感官编排线索可以添加到3D场景中，以向演示者提供提醒。感官触发器可以嵌入到3D演示中，以触发各种效果，例如场景过渡和动画等。

　　可以在创作或演示模式下切换具有照明模式的交互式图形。可以切换交互式3D拖动模式，以允许观众成员拖动3D动画。可以切换其他交互式动画，其中不同用户的位置可以影响数据可视化。模板行为可以应用于3D asset。例如，木偶制作允许一个或多个作者记录3D asset在动画期间移动的3D路径，并为给定的asset状态指定asset行为，例如音频、粒子效果、路径可视化和过渡等。

　　在一个实施例中，可以使用数据可视化模板将3D体积生成器动画添加到3D演示文稿中，以演示数字量或比较。数据可视化模板可以使用各种asset行为来生成静态和/或动态可视化。

　　考图1示出了适用于实施本发明实施例的示例性环境100框图。环境100适用于增强现实，并有助于创作和交付3D演示文稿。环境100包括主机设备和一个或多个客户端设备。每个主机和客户端设备都能够合成增强现实图像。

　　环境100的组件通过网络150彼此通信，网络150可以包括但不限于任何有线和/或无线协议。另外和/或可选地，网络150可以包括一个或多个局域网(lan)和/或广域网。

　　当用户(例如，作者或演示者)使用主机设备200启动3D演示文稿时，3D环境生成器205访问3D房间模型(或物理空间的其他3D模型)，使用3D房间模型生成虚拟3D环境，并在必要时将虚拟3D环境与物理房间或空间对齐。3D房间模型通常是房间或空间中曲面的数学表示。

　　在一个实施例中，可以使用各种类型的房间模型、建模技术和建模工具。在一个实施例中，可以自动生成新的3D房间模型，例如通过使用3D扫描仪扫描房间。

　　另外和/或可选地，3D环境生成器205可以提供一个界面，并允许用户使用所述界面手动设置或调整房间设置，例如定义墙壁位置和尺寸、桌子位置和尺寸、观众人数等。在这种情况下，可以在一个房间中执行创作，并自动适应不同的房间。例如，用户可以相对于一个3D房间模型的特定曲面为3D asset安排虚拟对象定位。以这种方式，如果在生成演示文稿后需要调整建模曲面，则内容会随之移动。

　　3D环境生成器205可以包括或激活对齐组件207以调整房间设置，以将虚拟3D环境与主机设备200所在的物理房间或空间对齐。

　　对齐组件207可以为3D房间模型生成或访问虚拟房间定位。虚拟房间定位点通常是与3D房间模型相关联的参考点，并且可以包括3D房间模型的默认方向。虚拟房间定位可以以将房间或空间的虚拟表示与相应的物理房间或空间对齐的方式放置在虚拟3D环境中。

　　在某些情况下，3D房间模型可能无法与物理房间或空间完全对齐。因此，对齐组件207提供的接口还可以允许手动调整3D房间模型。例如，可以通过渲染房间表面的虚拟图像和相应的虚拟表面定位，并允许调整虚拟表面定位来调整3D房间模型，从而调整房间表面。

　　一旦为3D演示文稿执行了房间对齐，对3D房间模型和/或相应房间设置的更改将有利地进行保存，以便可以将其分发给加入3D演示文稿的每个用户设备。在一个实施例中，一旦主机设备启动了3D呈现并执行了房间对齐，则自动执行客户端设备的对齐。因此，想要加入3D演示文稿的客户只需加入托管大厅即可。

　　在创作模式期间，可以提供创作面板。创作面板可以在任何形状或位置的2D或3D中渲染。在一个实施例中，创作面板渲染为复合增强现实图像中的虚拟曲面。“创作”面板包括各种创作工具，以帮助用户创作3D演示文稿。例如，创作面板可以包括3D演示的导航控件、导入工具、编辑工具、模拟器工具)，演示助手工具、交互式工具等等。根据用户的角色，可以启用或禁用部分或全部创作工具。

　　在演示模式期间，可以使用存储在3D演示文件中的3D asset和asset行为渲染3D asset的虚拟图像。在切换的交互模式期间，具有适当权限的用户可以请求指定3D asset的临时所有权，以更改asset的当前渲染状态、生成或激活3D asset等。

　　在交互模式中，交互式3D asset的改变状态有利地基本实时地分布到大厅中的每个用户设备，以便每个用户设备可以更新3D asset的渲染。因此，每个用户设备可以在基本相同的时间呈现相同的asset状态。

　　图3A-B说明了使用3D界面移动3D asset进行空间创作的示例性技术。共同创作者310和340在同一个房间，每个人都有AR头显。Avatar330表示佩戴VR头显并位于远程未知的远程用户。

　　在图3A中，共同创作者310通过相对于虚拟图像320定位她的手312，并启动捏指手势来拾取虚拟图像320。在捏指的同时，她将手312移动到图3B中的位置314，释放捏指手势，以将虚拟图像320放到桌面。这个操作可以实时反应至共同创作者340和Avtar330的感知视图。

　　以这种方式，作者可以高效地生成3D演示文稿，编排3D asset的行为，而演示者可以高效地交付3D演示文稿，以便每个用户在基本相同的时间看到相同的asset行为。

　　名为“Authoring and presenting 3d presentations in augmented reality”的微软专利申请最初在2021年7月提交，并在日前由美国专利商标局公布。