显示技术专家Karl：Vision Pro的硬件问题分析探讨

　　近眼显示技术专家卡尔·古塔格(Karl Guttag)正继续分享他对苹果Vision Pro的分析。本文主要针对硬件方面的问题。

　　简介

　　本文将主要介绍Apple Vision Pro(AVP)的硬件，以及相关的人体物理和视觉问题。在大多数情况下，我不能说AVP一定会给大多数人带来问题，但我可以发现并解释会造成问题的一系列功能和实现。

　　需要注意的是，人类在对视觉问题的敏感度和不适感方面存在巨大差异。所有的显示技术都是基于一种幻觉，而不同人对幻觉中的各种不完善的感知不同。有人能够适应，而其他人则不能或不愿意。这篇文章将指出我在硬件方面看到的问题，但它们可能在视频演示中不容易看出来。我是基于40多年来的图形和显示经验判断得出。我不能说一定会有问题，但确实存在令我担心的地方。

　　苹果的演示是一次“魔术表演”和“杂锦特辑”

　　我经常告诉大家，“Demo演示只是一次魔术表演”，你看到的一切都是精心挑选，不会显示任何问题，你看到的都是他们想让你看到的画面。另外，你不可能在大约30分钟的体验环节中找到所有物理和光学问题。每一个小节各种潜在应用的简短“杂锦特辑”。

　　回顾历史，我们已经看到过3D电影如何重新出现，并迁移到家庭电视，但随着新鲜感消失，在人们发现了长期使用的局限性和缺点后，3D电影就黯然消失。

　　这将需要对大量人群进行数月的研究，因为众所周知，人类对显示技术的视觉感知问题因人而异。或许苹果已经进行了这样的研究，但他们没有公布。从人类和视觉因素的角度来看，苹果有的地方看起来做错了(没有什么是完美的)，但对人类的影响有多严重将因人而异。我将尝试指出我认为会导致问题的地方。

　　低处理延迟时间和高帧率有必要，但不是解决视觉问题的充分条件

　　苹果巧妙地让大家关注问题的一个众所周知且他们认为自己有做好的方面。他们在WWDC 2023中表示：“在其他头戴式系统中，传感器和显示器之间的延迟是不适感的一个原因。R1几乎消除了延迟，它能够在12毫秒内将新图像传输至显示器。这比眨一次眼的时间快八倍。”

　　我会表扬苹果说延迟是不适感的一个原因，而不是说它就是唯一原因。但他们对“在12毫秒内将新图像传输至显示器”的措施非常具有选择性，因为这只是“运动到光子”延迟问题的一部分。他们没有讨论摄像头或显示器的延迟问题。假设摄像头和显示器都是90Hz的帧率，并且一次一帧，这会令总延迟增加三倍，而且可能存在其他未提及的缓冲延迟。

　　“这比眨一次眼的时间快八倍”这句话纯粹是营销巧语，因为苹果并没有告诉你这个数字是否足够快。

　　对于特定应用，即便是12毫秒都可能只是杯水车薪。延迟极低的系统可以以接近零的延迟处理从摄像头到显示器的扫描线。但当你添加虚拟内容时，这种扫描线处理会变得更加困难，需要特殊的摄像头和显示器逐行同步工作。

　　另外，这样的系统对于密集型应用可能同样不够快。具体来说，这个问题在夜视领域众所周知。美国和其他国家的军队依然喜欢在增强型夜视镜中使用单色(绿色或黑白)光电倍增管，而不是半导体摄像头，因为军方发现，即便是最轻微的延迟都会造成巨大问题。

　　诚然，这可能是一个极端的情况，但至少在这个用例中，它表明即便是最轻微的延迟都会导致问题。但我们无法确定的是，什么人、什么用例、什么活动可能会出现与AVP相关延迟和追踪误差水平的问题。

　　军方使用光电倍增管的另一个原因是，它们依然能够支持更少的光线(星光)。但夜视专家告诉我，延迟是最大的问题。

　　由于Eyesight Display的原因，主摄像头相对于用户眼睛的定位不佳

　　摄像头的正确位置应该是与用户的两只眼睛同轴。但如上图所示，主摄像头和其他所有的摄像头和传感器都在远低于眼睛的固定位置。这与其他透视头显非常不同，其他透视头显的摄像头大致位于眼睛的前面。

　　对于苹果这样设计的原因，看起来是因为它们碍着了Eyesight Display。这个用于显示眼周表情的显示器包含一个玻璃罩，并给头显增加了很大的重量。我听说这个玻璃罩同时给各种摄像头和传感器带来了校准问题，因为玻璃之间不尽相同。玻璃罩同时抑制了显示屏本身的散热。

　　看来苹果非常看重Eyesight Display，以至于他们愿意牺牲其他设计方面。

　　为人类视觉系统正确定中心

　　混合现实(光学和透视)头显用户和倡导者史蒂夫·曼(Steve Mann)在2013年3月的IEEE Spectrum文章中提到，将(实际或 虚拟)camera放在用户眼睛中心以获得长期舒适非常重要。他写道：“轻微的错位在当时似乎并不重要，但它会产生奇怪和不愉快的结果。而且这种令人不适的结果在摘下装备后的很长时间里依然会持续。这是因为大脑已经适应了不自然的视场，所以需要一段时间来重新适应正常的视场。”

　　我不知道苹果是否或如何用“虚拟camera”来纠正错位(转换图像以匹配眼睛应该看到的画面)。

　　视觉协调和深度知觉

　　把摄像头和传感器放在非最优位置会令视觉深度感知和协调变得更加困难和不准确，特别是在短距离内。当一个人的手靠近眼睛时，任何误差都会相对放大。在极端情况下，如果用户的手靠到眼睛上方，我不认为它还能继续工作。

　　我没有听到任何强调手与真实对象协调运动的演示。虚拟camera位置的任何偏移误差都可能导致协调问题。由于提供的体验时间较短，可能没有人知道是否会有任何问题，特别是如果他们没有尝试任何近距离动作，但我非常好奇长时间的使用会发生什么。

　　视觉辐辏调节冲突或可变焦点

　　关于视觉辐辏调节冲突问题的文章和论文肯定有成千上百。AR/VR和3D电影行业的每个人都知道这个问题。对于AR/VR和3D电影，你一直都是盯着屏幕，亦即看着相同的距离。换句话说，视觉调节(弯曲眼睛晶状体以聚焦不同距离的对象)永远不会改变，但视觉辐辏(眼睛向内旋转以将每只眼睛的视图重叠成一个对齐图像)却会出现，所以会导致视觉辐辏调节冲突。

　　像大多数其他VR头显一样，AVP很可能有一个固定的焦点，大约在2米(+/-0.5米)。从多个开发者报告来看，苹果似乎在告诉开发者把内容放在离眼睛更远的地方。对于在墙壁或更远地方的游戏而言，两米是一个很好的折中距离。当进入1米以内时，视觉辐辏调节冲突的问题就会变得更严重，比如当用户需要用到双手的时候，因为手的距离可能是0.5米或更小。

　　当存在一个众所周知的问题，并且出现了大量关于它的研究论文，但又没有产品可以解决，这通常意味着就是没有合适的解决方案。Magic Leap1尝试了双焦点波导解决方案，但以牺牲图像质量和成本为代价，而Magic Leap 2已经放弃了这个方案。Meta定期发表论文和视频来介绍他们解决视觉辐辏调节冲突的尝试，包括Half Dome 1、2、3。

　　解决视觉辐辏调节冲突的方法主要有两种;一种是尝试提供全焦点，包括光场、计算全息图或同步焦点平面(如CREAL3D、VividQ和Lightspace3D)，另一种是使用眼球追踪来控制变焦光学。每一种都需要更多的处理，复杂的硬件，以及绝对图像质量的损失。但是，这个问题很难，并不能使它完全消失。

　　现实世界显示器的距离通常小于0.5米

　　想象一个放置在2米以外的虚拟电脑显示器，而你可以把显示器自由放大。当你靠过去的时候，文字和其他内容的大小不会有同样的变化。对于物理显示器的诸多微妙事情，它在虚拟的、远距离的放大显示器而言行不通。如果虚拟显示器的表现如同真实世界显示器一样，视觉辐辏调节问题就会出现。

　　我知道有人建议用放在更远的大电视作为电脑显示器来放松眼睛，但我在实践中没有看到这种情况。我怀疑它的效果不是很好。我同时见过有人戴着VR头显一周或一个月，但我没有看到有人在实验结束后表示可以不再需要物理显示器。

　　诚然，与其他VR头显相比，AVP拥有更高的分辨率和更好的运动感应和追踪，但它们可能都只是必要项，而非充分项。与使用一台或多台显示器相比，我不认为虚拟工作空间在商业应用中行之有效(我愿意看到有研究能证明这一点)。

　　我在下一篇博文中详细讨论的一个相关问题是，在过去的30年里，已经有了用于电视(和电脑的近眼“眼镜”。但这么多年来，我从未在飞机、火车或办公室中看到过这样的眼镜。这并不是说它们不能用，同时不是说对航空旅客而言太贵了(他们会花350美元买降噪耳机)，或者分辨率不足够。这里面一定有原因。

　　无限的对焦距离和眼睛扫视

　　视觉辐辏调节冲突只是众多图像生成问题中的一个。现实世界同样“诸多不便”，因为它有无限的对焦距离，而且对象可以位于用户的任何距离。

　　人眼的工作方式与照相机或显示设备非常不同。眼睛在扫视中跳来跳去。眼睛所看是自愿和非自愿运动的结合，并且根据情况而有所不同。只有视觉中心才有明显的分辨率和颜色区分，而且在每一次扫射时都会“拍摄”可变分辨率“快照”。然后，人类的视觉系统会将人类从每次扫视运动捕获到的客观事物和主观信息拼凑起来。有时候，人类的视觉系统没有拼凑对，并令你看到伪影。

　　即便是搭载了优秀的眼动追踪，而计算机系统可以知道眼睛看向哪里，但它不知道人类视觉系统“看到什么”。在这里，我们有人类的眼睛在拍摄“快照”，而呈现的虚拟图像并不像真实世界那样变化。人类视觉系统有可能在意识层面(例如看到伪影)或无意识层面(随着时间的推移，你会感到头痛)知道存在什么问题。需要再次强调的是，每个人在特定视觉问题的感知影响不尽相同。

　　安全和外围视觉

　　当你穿戴VR头显时，你在一开始都会看到一堆安全提示信息，以确保周围是一个安全的区域。大多数头显都提供某种形式的电子边界，并会在你偏离安全区域时发出警告。

　　我应该补充的是，VR头显的警告和虚拟边界更像是“法务相关”，只是用于表明厂商已经向你发出提醒。人类的视觉和解剖学(脖子曲)都偏向于向下看。俗话说，地上的危险要比空中多得多。

　　研究人类视觉因素中的人会说，“你的外围视觉是为了防止你被老虎吃掉”，翻译成白话就是，它可以防止你被汽车撞。外围视觉的分辨率很低，几乎没有色彩感，但它对运动和闪烁非常敏感，可以帮助你感知并警惕快速进入视场的运动对象。

　　上面两张图说明了一般人对Hololens 2和AVP的视场视觉。最浅的灰色区域是单独的右眼和左眼;中间的圆角三角形中灰区域是眼睛有双眼重叠的地方。接近黑色的区域是头显的视觉遮挡。绿色区域则显示显示器的视场。

　　电池电线

　　从安全的角度来看，令人担忧的是，AVP基本上会令你所有的外围视觉消失。所以苹果在WWDC大会为社区的体验区提供了工作人员来全程指导。要知道，允许人们在真正的房子或工作场所里自由使用设备可是另一回事。

　　另一个安全问题是，AVP通过电线外接到电池。根据相关报告，AVP没有在头显中内置一个安全备用电源来防止电池意外断电的情况。所以，如果不小心扯开电线，用户就会完全失明。你显然希望这不会在错误的时间发生。

　　机械人机工学

　　说到头显的物理设计，似乎苹果非常偏爱美学而不是功能。即使是大体上称赞设备的评论者，他们都有许多关于身体舒适度问题的抱怨。

　　比如说糟糕的配重。AVP大约90%的重量似乎都在眼睛前面，所以你会感觉设备的前坠感很强。苹果的解决方案是用Light Seal面部适配器将头显夹在脸上，对面部施加压力。许多半小时的体验者都讨论了设备的重量和对面部的压力。《华尔街日报》记者乔安·斯特恩(Joanne Stern)讨论了这个问题，甚至展示了留下的红印。苹果的借口是他们只有有限的面部适配器，而更好的适配器会解决或改善这个问题。更好的Light Seal不可能解决这个问题，因为太多的重量集中在眼睛前面，而且没有任何过顶头带支撑。

　　试戴过AVP的用户报告说，他们认为AVP头显至少有450克重，甚至有人认为可能超过500克。根据电池线的尺寸，我认为它非对称地给头显增加了大约60克的拉力。根据类似尺寸但形状略有不同的电池，猜测AVP的电池约为200克。

　　许多体验者都有提到过顶头带，甚至有在视频中显示一条过顶头带(见上图右下方)。但是，上图这种左右走向的过顶头带设备位于设备的重心后面很远处，对减轻前面的重量没有太大作用。这是基本的物理学知识。

　　我看到有报道说未来会提供数种头表类型，包括采用皮革制成。我预计苹果会提供前后走向的过顶头顶，从而减轻对用户面部的压力。

　　我原本以为他们可以用较短的电线将电池背夹在后脑勺的位置，类似于MetaQuestPro和Hololens 2。但这似乎行不通，因为后头带是柔性材质，不会传递力来帮助平衡前面的压力。或许苹果或第三方将开发一种不同的后头带，并通过背夹电池来帮助平衡前面的压力。当然，对于特定发行，前后走向或左右走向的过顶头带都不能发挥作用。

　　Meta Quest Pro是722克(包括一个~20Wh的电池)，Hololens 2是566克(包括一个~62Wh的电池)。它们都有前额垫，而Hololens 2有一条前后走向的过顶头带(上图没有显示)。如果长时间佩戴，Meta Quest Pro同样需要这样一条过顶头带(有多种后市场产品选项)。甚至大多数比AVP更轻的VR头显都有过顶头带。

　　如果苹果将电池集成到后头带中，他们将只增加约200克或净重140克(减去电线的重量)。届时AVP的重量应该介于Meta Quest Pro和Hololens 2之间。

　　总结

　　我看到AVP的组多问题，因为做好透视式AR非常困难，而且因为他们在功能和美学之间做出了权衡和妥协。我认为苹果为支持Eyesight功能做了巨大的妥协，甚至许多技术粉都认为Eyesight会产生不正常的恐怖谷效应。

　　正如我前面说过，AVP要优于Meta Quest Pro(MQP)，并且透视体验大大提升。相比之下，MQP已经过时。不过，我依然不相信它足够好，可以长期使用。另外，它存在很多基本的安全问题。

　　附录

　　所有大会前和大会后的传言都表明，AVP使用Pancake光学元件。我从WWDC 2023的视频中得出了一个错误的结论，亦即它看起来像是采用了非球面折射。在阅读蜂拥出现的报道时，我没有及时回过头来复查这个假设。事实证明，苹果6月5日的官方新闻稿指出：“此技术突破与定制反射折射镜片实现令人惊艳的锐度和清晰度……”

　　反射折射是指折射光学元件和反射光学元件的组合，其中包括Pancake光学元件。苹果最近收购了Limbak，而他们拥有所谓的“超级Pancake”设计。苹果避免使用其他公司使用的任何措辞，就像他们避免说MR、XR、AR、VR和元宇宙一样，而我们现在可以在这个名单中加上 “Pancake”。