索尼STEF 2022汇总：AR/VR趋势和挑战，数字孪生平台和气味模拟器

　　近期，索尼举办了STEF 2022技术交流会，据悉这是索尼的第50届STEF活动，本次的主题是“用技术分享感动”。会上，索尼展示了多项与3D、AR/VR相关的技术，还有一场关于3D-3R技术挑战的研讨会，探讨了对于实时3D渲染、AR/VR光学、云计算等技术的愿景。

　　我们知道，索尼因其不断创新的技术而广受业界关注，那么本届技术交流会上都展示了哪些创新内容呢?感兴趣就一起来看一下吧。3D-3R技术挑战研讨会

　　据青亭网了解，3R指的是Reality、Real-time和Remote，也就是现实、实时和远程，而构建3D-3R体验主要有三大要素：存在感、沉浸感和交互性。内容形式方面，3D-3R主要通过实时模拟、现实场景捕捉两方面来创建内容，接着通过视觉处理、音频处理技术，输出到AR/VR等3D设备中，供用户体验。

　　索尼表示：3D娱乐内容是PlayStation诞生的初衷，从初代PS到PS5的迭代过程，也见证了索尼实时模拟技术的发展，而实时模拟实际上就是根据物理原理去计算逼真的运动。为此，索尼还开发了物理模拟模型，可渲染逼真的物理碰撞等效果。此外，还研发了光追技术(Ray Tracing)来模拟环境光的物理变化。

　　不过，运行实时模拟成本高且耗时，因此索尼计划将模拟模型与AI结合，将部分模拟任务交给AI去推算。

　　1)现实场景捕捉

　　在3D场景捕捉业务上，索尼的目标是将世界数字化。此前，索尼只是将数字化的场景在2D平台上运行，以2D视频的形式记录，而不是创建可交互的3D虚拟世界。而随着3D CG渲染越来越逼真、细致，索尼也开始关注3D场景的实时交互，以及数据在数字空间的交换和传输。

　　除了3D CG技术发展外，现实场景捕捉还依赖于传感设备(深度测量)，以及信号处理(摄影测量法)、云计算、AI等技术发展。索尼指出，受益于这些技术突破，3D传感技术从科研领域走进了企业和消费级场景。

　　目前，索尼的3D捕捉技术主要有三类，一种是基于容积视频的人像捕捉，另外则是基于3D建模和渲染的数字人，以及虚拟拍摄场景(电影领域)。现阶段，索尼只能创建逼真的3D虚拟化身模型，但自然的控制虚拟化身动作还很难，因此未来可能会尝试用AI来模拟人的行为。

　　2)视觉处理技术

　　索尼指出，在2D成像领域，索尼的技术已经达到了8K HDR的高水准(电视、投影仪等等)。而近年来，该公司的业务已经从电子产品发展至娱乐行业，包括为虚拟制作、游戏、XR等场景制作动画或电影。如今，索尼开发的内容正在从2D向3D形式升级，因此也开始致力于提升3D内容的实时分辨率。

　　另外，由于3D内容从制作、传输到观看的过程会存在一定延迟，索尼将研发全新的视频解码技术，通过压缩3D视频信号来加速数据传输。此外，还将研发降低3D信号延迟的技术，减少信号压缩程度，并结合超分辨率渲染技术，进一步提升3D图像质量。

　　3)AR/VR趋势

　　在研讨会中，索尼半导体解决方案(SSS)的武川洋(Hiroshi Mukawa)阐释了索尼对于AR/VR的愿景。有传闻称索尼将向苹果AR/VR头显提供显示技术，因此该公司对于AR/VR的预测不仅体现出其自己的愿景，可能也会侧面反映出行业的趋势。

　　对于索尼来讲，AR/VR的关键是从视觉、听觉、触觉、嗅觉、味觉五个方面来增强现实体验和沉浸感。在视觉方面，AR/VR的关键是3D渲染、大FOV、高分辨率、高刷新率、HDR等等。此外，稳定的实时定位、低延迟也很关键。

　　在一张路线图中，武川洋描绘了对于AR/VR显示技术发展的预测。其认为，AR眼镜最初会采用LCoS+平面玻璃材质光波导方案，后期会使用Micro LED替代LCoS，接着还会采用曲面塑料材质光波导，实现更接近眼镜的外观。

　　尽管索尼并未大力推广AR眼镜产品，但其在2008年、2012年、2015年均曾发布早期的AR眼镜产品，并且在2019年曾在线下AR体验《捉鬼敢死队新人训练》中使用AR眼镜原型，该AR原型采用了MicroLED+平面光波导。

　　而在VR显示方面，则认为前期将采用LCD+菲涅尔透镜方案，随后将改为OLED屏+Pancake透镜(曲面)，并逐渐迭代为OLED+平面液晶透镜方案。

　　4)AR/VR挑战

　　现阶段，AR/VR显示技术还面临一系列挑战，比如：通常人眼可感知120°横向视场角，60PPD(单色)，因此120°(横)x80°(纵)视场角的AR/VR显示方案，将需要具备单目7000万像素，而这几乎是8K视频分辨率的二倍。此外，短期内没有任何移动芯片可以稳定的将AR固定在场景中，这意味着图像延迟(理想延迟是小于几毫秒)、漂移等问题难以解决。

　　因此，索尼利用人眼视觉认知特性，去优化AR/VR对渲染像素数量的需求，也就是注视点渲染，而这将需要低延迟成像技术，来弥补眼球追踪和注视点计算的延迟。

　　此外，为了优化AR/VR的舒适性，索尼将致力于缩小显示模组的体积和重量，并且优化SoC、图像处理单元和光源的散热量，从而减少对于风扇等大体积散热系统的依赖。当然，更重要的则是降低耗电，减少对电池容量的需求。

　　武川洋指出，提升AR/VR视觉舒适性也很重要，比如通过动态变焦来缓解肉眼和图像对焦不匹配的问题，潜在的解决方案包括液晶透镜、视网膜扫描等等。目前市面上有多种方案，不过这些技术需要一些时间才能商品化。

　　5)关于未来

　　未来，云渲染和边缘渲染技术将有望进一步提升AR/VR头显的画质，不过云AR/VR还存在延迟，在毫秒级速度渲染图像很难，尤其是对光学AR来讲。目前，索尼已经在探索云VR技术，可能会通过预渲染来弥补数据传输的延迟，或是用来优化注视点渲染技术。

　　AR/VR还有望与隐形眼镜集成，实现更小巧的体积、更大的视场角。武川洋预测，虽然已经有AR眼镜通过FDA认证，但接下来这项技术至少需要经过十年去测试。

　　此外索尼还透露，正在在容积捕捉工作室尝试实时重建全尺寸3D全息技术，未来可能用于远程社交等场景。 体育运动数据3D可视化

　　在STEF 2022上，索尼讨论了将3D可视化体育比赛视频和裸眼3D显示屏Spatial Reality Display结合的可能性，允许观众从更多角度分析比赛，并体验更多交互式娱乐内容，从而增强传统的体育直播体验。

　　索尼表示：3D体育比赛直播系统基于Hawk-Eye的两个功能：SkeleTRACK和HawkVISION。其中，SkeleTRACK是一种高精度追踪系统，可实时定位运动员的骨骼信息和球的运动，还可以预测球员的3D姿态。这项功能的潜在应用场景包括训练、技术分析、增强观赛体验等等。看上去和2022世界杯上的AR/VR效果类似，可以清楚的看清越位情况。

　　而HawkVISION则是一种数据可视化功能，该功能基于SkeleTRACK，可从多个角度播放体育比赛，不受摄像头角度限制。这项技术实际上就是在体育场边缘布置多个摄像头，用于追踪球员的3D姿态和球的运动，并基于这些追踪数据来重建3D虚拟球赛。由于容积数据很大，所以索尼仅使用了3D姿态数据。此前，曼城足球俱乐部在超级联赛上就使用了Hawk-Eye技术。

　　除了裸眼3D显示屏外，索尼还构想了一种在AR/VR头显中和好友一起观看比赛的场景。 3D数字孪生平台Mapray

　　索尼还公布了一款3D数字孪生平台：Mapray Digital Twin Platform，该平台的特点是结合AI算法，可利用地形、天气、城市数据等开源信息，重建真实场景的3D数字模型，其特点是可动态模拟城市变化，比如天空中太阳的位置等等，就像是将整个地球进行数字重建。

　　相比于市面上的其他数字孪生方案，Mapray的优势在于更加灵活，而且更容易在3D空间中处理复杂的物理数据，可快速、高质量重建大量的3D数据，并支持清晰、流畅的查看可视化数据(基于浏览器的实时渲染技术)。你可以通过Mapray在云端管理地形、3D城市模型、卫星、航空成像等开放的静态和动态数据。 ToF AR SDK

　　在今年6月，索尼半导体解决方案(SSS)就公布了ToF AR开发套件，这个套件的功能是可为移动应用添加自然的手势交互或手指动作，应用场景包括AR、游戏、VTuber等等。

　　在STEF 2022上，索尼展示了ToF AR的应用效果，比如不受环境光、背景颜色等因素影响，不管是在明亮还是昏暗的场景，都可以捕捉手势运动。此外，它所需的数据量也比传统图像传感器更少，因此更省电、散热更少，适用于更广泛的手机规格。

　　ToF AR SDK理论上可以在任何配备深度传感器的手机上运行，并捕捉用户手部的位置、轮廓，将手部模型与背景分割，并在虚拟场景中重现手部的流畅运动。

　　未来，索尼计划继续扩展ToF AR的功能，比如3D空间识别等等。未来的潜在应用场景包括游戏、AR、通信社交、医疗、教育等等。 Tensor Valve气味模拟系统

　　索尼还公布了一种特殊的气味控制方案：Tensor Valve，其特点是可控制房间内的气味，比如净化空气或是作为香薰来使用。此外，还可以结合电影、音乐等内容，在娱乐、通信、医疗/健康等领域使用。

　　索尼指出，Tensor Valve可对气味进行数字化改造，通过气味来传递情感体验。 低延迟3D图像传输

　　在STEF 2022期间，索尼展示了利用裸眼3D屏幕来进行交流的应用场景。想要进行实时的3D通话，将需要高质量的3D显示、低延迟传输和信号处理、实时渲染技术，索尼称其已经具备这些技术。

　　除了社交场景外，3D通话还可以用于医疗、金融、咨询、远程协作等多个场景。此前，索尼银行已经在金融咨询业务中使用2D远程沟通系统，接下来将采用裸眼3D方案来增强远程交流效果。

　　参考：索尼