显示技术专家Karl：从FOV分析Vision Pro的观影体验效果

　　近眼显示技术专家卡尔·古塔格(Karl Guttag)正继续介绍他对苹果VisionPro的分析。本文主要针对体验方面的问题，比如说看电影。

　　简介

　　Apple Vision Pro(AVP)系列博文的Part 1和Part 2主要涉及硬件。在接下来的博文中，我计划讨论苹果(和其他公司)为AVP提出的应用体验。我将尝试展示与人体工学有关的问题，并在可能的情况下提供数据。

　　我在1998年开始涉足头显方面的工作，我们当时购买了一台索尼Glasstron进行研究。它搭载一个800×600(SVGA)的显示屏，与当年大多数笔记本电脑的分辨率差不多，但比美国当年大多数人的电视都要高(高清电视在1998年首次上市)。Glasstron甚至提供了(有点)透明的LCD和LCD快门以支持透视操作。

　　在过去25年里，一系列的公司带来了显示效果越来越好的头显。有报告指出，2023年VR头显的用户数量将达到2500万。然而，我从未见过有人在飞机或火车里佩戴头显。我第一次写这个问题是2012年一篇关于谷歌眼镜的博文中，而我将其称之为“飞机测试”。

　　当看到苹果展示在飞机里看电影的应用体验时，我不能说我感到非常惊讶，因为我在过去的25年里已经一次又一次地看到相关的用例。但我想知道苹果的概念验证情况。

　　既然通过头显看视频的技术已经存在数十年的时间，如果没有人在飞机里这样做，这一定有其原因。我同时意识到，有VR爱好者会通过头显看电影，但这和VR本身一样，有人这样做并不意味着人人都是这样做。

　　AVP的总像素角(每度像素)分辨率并不特别适合看电影。但是，分辨率并不是阻碍人们在飞机里使用VR的原因，关键在于人体工学。所以，问题变成了：“AVP是否解决了阻碍人们在飞机里使用头显看电影的人体工学问题?”

　　与看电影相关的人体工学信息

　　在2019年的视场 Obsession活动中，我讨论了乔治亚理工学院及AR长期布道者和使用者的萨德·斯特纳(Thad Starner)在Photonics West’s AR/VR/MR大会中的精彩演讲。

　　首先，眼睛只在眼窝位置有高分辨率，而眼窝只覆盖了大约2度。眼睛会经历扫视运动，而你的眼睛所见是由人类视觉系统在每次移位时拼凑出一系列“快照”的结果。另外，当眼睛在移动时，视觉只是部分而不是完全空白。

　　斯塔纳展示了2017年论文的结果，其中包括一项关于视场和眼睛不适的研究。论文指出(303页的第8页)：

　　“因此，眼睛生理学为潜在的头戴式显示设备设计提供了一定的基本参数。根据眼球运动的机械限制，显示器与正常视线的水平距离不能超过55度。然而，有效的眼球运动范围将事实上的限制放在45度。另外，COMR和扫视精度表明，视觉舒适的显示位置可能不超过主要注视位置(正负)10度-20度。”

　　光学架构专家伯纳德·克雷斯(Bernard Kress)在《Optical Architectures for Augmented-, Virtual-, and Mixed-Reality Headsets/用于增强现实，虚拟现实和混合现实头显的光学架构》一书中写道：“固定焦点区域约为40度-50度。但在现实中，眼睛不可能以高分辨率看40度-50度数分钟而不感到疲劳。”

　　总之，在看电影时，人眼会希望保持在大约20度的中心范围内。一般来说，如果用户想要查看的内容距离视觉中心超过约30度，他们就会转头，而不是移动眼睛。在看电影或使用PC显示器办公时同样如此。

　　看电影的最佳视场约为30度-40度

　　这可能会让许多想要120度以上视场的VR游戏玩家感到震惊，但为电影院制定标准的SMTPE表示，高清电视的最佳视角只有30度。THX规定为40度。这种最佳的座位位置角度同样适用于普通的电影院。

　　一个“正常”电影院的前排大约是60度。大多数人不愿意坐在电影院的前排，因为看一部宽约60度的电影需要你经常左右转头。

　　尽管30度-40度看起来很小，但它适合人体工学和生成内容出色配合典型电影院设置的反馈回路。在大多数时间里，电影院观众只会看到屏幕中心~30度内发生的事情。

　　~30度以外产生的图像内容有助于提供沉浸感，但这需要花钱投入，而且用户在99.999%的时间里都不会注意到任何相关细节。如果把假设标称为30度到40度视角产生的内容，放大到充满90度，你会导致用户眼睛和头部的不适。

　　AVP的每度像素低于“视网膜分辨率”

　　另一个因素是角度分辨率。上图的条带显示了在你看不到像素之前，距离给定尺寸、给定分辨率的电视要有多远。他们使用的“benificial/受益”衡量标准是60ppd或以上。白色虚线是SMTPE 30度和THX 40度建议。

　　苹果没有给出确切的分辨率，但宣称2300万(双眼像素)。假设是一个正方形的显示器，这就意味着每个方向都有大约3400个像素。视频中的图像看起来是7:6的长宽比，大约是3680乘3150。另外，光学元件阻断了一定的显示像素，但厂商通常会计算所有的显示像素。

　　苹果没有说明视场。关于视场的一个很大的混淆点是，VR头显通常是为双眼报数。视场同时因人而异。有报道指出，AVP的视场与MetaQuestPro“相似”，而后者的双眼视场约为106度，单眼视场约为90度。

　　综合各种来源的信息，结果是每度约35至42像素(ppd)。人类20/20视力据说是~60ppd。史蒂夫·乔布斯将iPhone 6的阅读距离称为每英寸300个像素，这相当于~60ppd。顺便说一下，视力非常优秀的人可以看到80ppd。

　　体验过AVP的人评论道，他们可以看到与35-40ppd一致的纱窗效应。关键的一点是AVP低于60，所以锯齿状的线条效果会十分明显。

　　使用THX 40度水平视场标准，并假设AVP大约是水平90度(单眼，双眼110度)，水平约3680像素，同时几乎没有像素裁剪，这使得3680×(40/90)=水平约1635像素。若使用STMPE 30度，则可以得到3680 x (30/60) = 约1226像素。

　　如果将AVP用于看电影，图像将低于全高清(1920×1080)分辨率，并且由于有~40ppd，锯齿将变得可见。

　　尽管AVP拥有“比4K电视更多的像素”，但无法将它们都提供给最佳显示电影的40度或30度水平视场。使用完整的视场会令你比电影院前排更接近屏幕，而不是大多数人想坐的电影院位置。

　　尽管如此，如果单单只是分辨率和锯齿，情况并不是那么糟糕，因为它们不会，同时没有阻止人们使用VR头显看电影。

　　前庭眼反射(VOR)

　　前庭眼反射在头部移动时稳定人的视线。内耳检测到旋转，并且如果一个人正在凝视，它会致使眼睛旋转以保持固定在人所注视的地方。通过这种方式，一个人可以在头部移动的情况下阅读一份文件。有前庭眼反射缺陷的人在阅读方面会存在问题。

　　当前庭眼反射起反作用时，人类视觉会自动抑制前庭眼反射。例如，如果一个人用头部和眼睛的联合运动来追踪一个物体，前庭眼反射就会被抑制。关键的一点是，显示系统必须考虑到头部和眼睛的联合运动而不会造成内耳与眼睛不一致的前庭(晕动症)问题。

　　下面引用苹果WWDC 2023视频中的内容：

　　“并行运行的是一个名为R1的全新芯片。这枚专用芯片是专门为实时传感器处理的挑战性任务而设计。它处理来自12个摄像头、5个传感器和6个麦克风的输入。”

　　“在其他头戴式系统中，传感器和显示器之间的延迟会导致运动不适。R1几乎消除了延迟，它可以在12毫秒内将新图像流式传输到显示器。这比眨眼的时间快八倍。”

　　苹果没有说解释“12个摄像头”是否包括眼动追踪摄像头，但很可能包括。使问题进一步复杂化的是眼睛的扫视运动。眼动追踪可以知道眼睛的注视位置，但不知道用户在看什么。众所周知，AVP在从菜单导航方面显示出卓越的眼动追踪性能。但我们不知道眼动追踪加上头部追踪是否能处理前庭眼反射。如果是，它又是否足够准确和快速，不带来与前庭眼反射相关的问题。

　　用AVP(和VR)看电影：选择你的折中方案

　　苹果已经展示了将虚拟屏幕锁定在三维空间中的体验。对于所述演示，他们似乎是采用一个非常大的(有角度的)虚拟屏幕来达到演示效果。但如下面所述，对于更正常的电影和视频来说，制作一个非常大的虚拟屏幕并不是最好的办法。无论下面选择哪种方案，由于AVP的角度分辨率(pdd)，有时你会看到锯齿伪影。现在，请考虑以下在头显中显示虚拟屏幕的方法：

　　简单的选项： 将图像放大到全屏最大尺寸，让屏幕随头显移动(不锁定在虚拟三维空间)。这个选项通常是为具有较小视场的头显选择，但对于具有大视场的头显而言，它是一个糟糕的选择。这就像坐在电影院的前排(或更糟)。

　　锁定虚拟屏幕，但几乎填满视场： 这就是我所说的 “仅用于演示的头部锁定模式”。如果虚拟屏幕几乎填满了视场，小小的头部运动都将导致屏幕切断，反过来会触发外围视觉感知，并造成一定的分心。为了避免分心，用户必须限制头部运动和眼睛移动。或许在一个简短的演示中可以做到，但不是看电影的舒适方式。

　　将屏幕锁定在3D空间，屏幕在STMPE 30度到THX 40度之间： 在约40度的视场下，有空间让头部转动，不会切断屏幕或迫使用户将其头部僵硬地保持在一个位置。

　　这将测试系统追踪头部运动而不引起晕动的能力。总会有一定的运动到光子延迟和测量误差。同时，会出现前面讨论的前庭眼反射问题以及它是否可以解决。

　　当平面或3D电影重新取样到虚拟空间时，会有额外的分辨率损失和潜在的运动/时间伪影。

　　添加运动模糊来处理头部和眼睛的运动(不太可能，因为这将非常复杂)。

　　AVP以96Hz的频率重新显示24fps电影四次，每一帧都以96Hz的频率进行校正，这样做时的视觉伪影如何?

　　30fps和60fps视频又如何?

　　如果用户的头转得太远，屏幕依然会不自然地切断。

　　根据简短的《阿凡达》演示(上图)，苹果展示了图像可能填充约70至90度的视场。这对演示可行，但正如上面第2条所讨论的一样，你不会想用这样的方式来看长电影。

　　你在坐飞机，戴着沉重的头显，重量都压在你的脸上，而且电源线会卡住

　　在所有其他问题之上，头显和传感器必须解决因在移动平台中显示图像而引起的前庭相关晕动病问题。

　　然后对于飞机，你同时需要解决人体工学问题，亦即在飞机中连续数小时佩戴一个有点重、密封盖住面部、没有空气流通的头显面罩。然后，你还有卡线的危险。

　　会有空姐或其他人拍打你以引起你的注意。当然，你不希望每次有人在过道中行走，并从你身边走过时开启透明模式。

　　一个更基本的实际问题是，与智能手机、平板电脑或甚至中等大小的笔记本电脑相比，头显因其形状而需要占用更多空间/体积。

　　结论

　　需要指出的是，人类理解“真实” vs 虚拟。AVP依然会切断了一个人的大部分外围视场。像前庭眼反射和视觉辐辏调节冲突等是众所周知的VR问题，但许多更微妙的问题会导致人类感觉到有什么地方不对劲。

　　在视觉方面，我喜欢提出90/90法则，即“用90%的努力来达到90%的目标，然后用另外90%的努力来解决最后的10%”。有时，这一规则必须递归应用，需要你付出“90%”努力的数倍。苹果可以在头部和眼睛追踪方面做得更好，响应时间可以更快，但人们依然喜欢在2D显示器看电影和视频。

　　当然，在一个简短的华丽演示中，没有人会注意到这一点。问题是，在飞机中用头显看电影对大多数人而言是否可行。如果可行，苹果将打破这一用例长达25年以上的连败纪录。