显示技术专家Karl谈Vision Pro：用虚拟屏替代物理屏是荒谬想法-Part B

　　近眼显示技术专家卡尔·古塔格(Karl Guttag)正继续介绍他对苹果VisionPro的分析。如同大多数AR/VR头显一样，苹果Vision Pro演示的一个重要用例是显示多个虚拟屏幕。对于这一点，近眼显示技术专家卡尔·古塔格在上一篇文章中对其进行了分析，并认为目前用虚拟屏替代物理屏是荒谬的想法。

　　本文继续是针对“用虚拟屏替代物理屏”的分析，属于Part B。

　　摘要

　　和上次一样，由于我没有Apple Vision Pro(AVP)，所以我使用了MetaQuestPro (MQP)，并将结果外推至AVP的分辨率。我将展示一个将MQP的文本质量与现有计算机显示器的比较。然后我将以各种评论和我自己的结论来收尾。

　　我同时从斯坦福计算成像实验室的研究找来了关于注视-跟随视差(Gaze-Contingent Ocular Parallax)的讨论。视频和论文表明，除了视觉辐辏 (双眼视差)和视觉调节(焦距)外，每只眼睛的运动同时会传达出一定程度的深度感知。

　　是的，苹果声称AVP是显示器的替代品，并且适合高分辨率文本

　　在Part A中，我尝试为说明“AVP和普通VR头显为什么不能很好地替代物理显示器”打下基础。我认为这是显而易见，但根据我得到的反馈，实际情况显然不是。

　　所以具体来说，直接引用苹果的WWDC 2023文稿(YouTube文本)，加上时间戳(点击时间戳即可通向视频具体位置):

　　1:22 . 33：Vision Pro是一种新型计算机，它可以通过无缝地将现实世界与数字世界融合在一起来增强现实。

　　1:31:42：它可以通过虚拟键盘或听写进行输入。有了Vision Pro，你就有足够的空间来完成这一切。Vision Pro同时可以与我们熟悉的蓝牙配件缝配合，如Magic Trackpad和Magic Keyboard。当你在撰写长邮件或处理电子表格时，它们将非常好用。

　　“Seamless无缝”是常用的高科技营销词汇。营销人员似乎非常喜欢它，因为它既不精确，而且不可证伪(你如何衡量“无缝”?)。在WWDC 2023大会中，苹果用了八次“无缝”来描述AVP。在2022年的Meta Connect大会中，这家公司则用例两次“无缝”来描述MQP。Meta同样有用“无缝”来描述MQP的MR透视效果:

　　苹果声称，AVP适用于文本密集的长邮件或数字电子表格处理。

　　1:32:10：把你的Mac屏幕放在任何你想要的位置，并扩展它，这可以带给你一个巨大的，私密的，便携的4K显示器。Vision Pro旨在允许你于理想的工作空间中无缝地使用Mac。因此，你可以切换白沙环境，同时在Vision Pro中并排使用其他应用程序和Mac。这种强大的环境和功能使得Apple Vision Pro非常适合办公室或远程工作。

　　除了它不是4K宽的事实之外，它会将像素拉伸到大约80度，所以每度只有大约40个像素(ppd)，比通常的电视或电影院要低得多。在Part A中讨论的问题是，如果要令显示器在3D中固定，虚拟显示器必须嵌入物理显示器的可见区域，并为头部运动留出一定的空间，同时必须对内容进行重新采样，而这会导致分辨率损失。电影通常是宽格式，而AVP的视场更接近正方形。正如之前讨论，AVP的水平视场为80度，而电影的设计视场为45度左右。

　　在这里，苹果声称AVP非常适合办公室或远程工作。

　　1:48:06：当然，显示技术同样有所突破。眼睛看到的世界具有难以置信的分辨率和色彩保真度。为了满足眼睛所需，我们必须发明一种具有大量像素，但尺寸需要足够小的显示系统。一种像素消失，可以产生平滑连续的图像的显示器。

　　AVP的预期平均值为40ppd，远低于“像素会消失”的角分辨率。它低于苹果的“视网膜分辨率”。如果AVP具有与MQP相似的径向畸变，则图像的中心将具有大约60ppd或几乎“视网膜”。但大多数图像会有典型眼睛可以看到的锯齿，特别是当它们移动引起闪烁时。

　　1:48:56：我们设计了一款具有令人难以置信的清晰度的定制三晶透镜。其结果是，目之所及的显示器提供了其他任何设备都无法实现的令人瞠目结舌的体验。它使得视频能够以真正的4K分辨率呈现，并且具有宽颜色和高动态范围。从任何角度看，精美的文字看起来都非常清晰。这对于浏览网页、阅读信息和写电子邮件至关重要。

　　如上所述，视频不会是真正的4K分辨率。苹果指出：“从任何角度看，精美的文本看起来都非常清晰”。然而，这对于在40ppd显示器重新采样的文本而言是不可能的事情。

　　1:56:08：像Excel, Word和Teams这样的微软应用程序充分利用了Vision Pro的广阔画布和清晰的文本渲染。

　　苹果这里再次强调，像Excel和Word这样的文本密集型应用程序中可以呈现“清晰的文本”。

　　对于AVP是不是一个合理的物理显示器替代品，我不确定苹果说得够不够清楚。显然，他们非常清楚地表明，AVP将非常适合大量基于文本的应用程序。

　　Meta Quest Pro(可能包括AVP)的针垫形畸变及其对每度像素的影响

　　正如之前讨论，就像几乎所有的VR光学一样，MVP存在一个显著的针垫形畸变，而且没有量化失真的数量及其对角分辨率的影响，亦即ppd。在下图中，左侧是视频捕获，中间是透过光学元件看到的画面，而右侧则是相机视图。

　　特别留意左书柜左边的白墙，你可以看到左图之于中图有多小。

　　对于解释VR头显如何将源像素映射到光学元件(以及其他概念)，我推荐一个好(但旧)视频：How Barrel Distortion Works on the Oculus Rift。

　　上图显示了在光学元件出现严重的针垫形畸变后，大小相等的环是如何映射成不断增加的宽度环。

　　映射每度映射像素(ppd)

　　我透过MQP光学元件拍摄了一张40500万像素的相机图片，而我可以看到大部分视场并放大看到单个像素。然后，我在图像中选择了一系列区域进行评估。由于显示设备中的像素具有均匀的尺寸，所以其尺寸/间距的任何尺寸变化都必须归因于光学器件。

　　RF16f2.8相机镜头有一个已知的光学桶形畸变，并由相机进行了数字校正，所以相机像素大致为线性。相机和镜头组合具有98度的水平视场和24576像素或~250.8ppd。

　　MQP的显示处理预先补偿了光学器件，并为虚拟显示器增加了柱形曲率效果。所述修正会改变图像中的对象形状，但不会改变物理像素。

　　下面的裁剪演示了这个过程。每个区域用网格标记8 × 8像素。8个像素的水平和垂直宽度是根据相机像素计算。MQP显示器旋转了大约20度，因此旋转了矩形网格。除了尺寸上的光学畸变外，色差和焦点同样会随着半径的增加而恶化。

　　下图显示了数个选定半径的ppd。与Oculus Rift视频中显示的相等环不同，下图中的圆环之间的步长不相等。半径是根据到光心的角距离给出。

　　下图显示了MQP的ppd vs 半径(左)。有趣的是，这种关系接近于线性。右图假设AVP具有类似的畸变和视场，但像素是三倍。值得注意的是，ppd不是影响分辨率的唯一因素。其他因素包括焦点、色差和对比度，它们随着半径的增加而恶化。

　　MQP的显示器为1920×1800像素，视场约为每只眼睛对角线90度，大致为圆形图像，计算结果约为22至22.5 ppd。对于针垫形畸变光学元件，光学中心的ppd提高了约1/3。对于所示的MPQ Horizon Desktop应用程序，中心显示器大部分位于25度圆内，这里的ppd等于或高于平均水平。

　　注视-跟随视差(Gaze-Contingent Ocular Parallax)

　　注视-跟随视差(Gaze-Contingent Ocular Parallax)另一个可能引起问题的环节。有一位读者兼VR用户声称观察到注视-跟随视差，而这令我注意到斯坦福计算成像实验室在这方面的研究。斯坦福计算成像实验室发布了一系列的论文和视频，包括“Eye Tracking Revisited”和《Gaze-Contingent Ocular Parallax Rendering for Virtual Reality》。我非常喜欢戈登·韦茨斯坦(Gordon Wetzstein)的演讲。如同他一贯的水平，他的视频很好地解释了相关的概念和问题。

　　基本概念是，由于投影中心和眼睛的旋转中心不同，人类视觉系统可以在每只眼睛中检测到一定程度的3D深度。当眼睛移动时，会出现视差和遮挡差异。由于眼睛不断移动和注视(扫视)，因此可以探测到深度。

　　注视-跟随视差可能没有视觉辐辏和视觉调节那么重要。我把它归类为会令人们觉得自己没有看到真实的世界，并可能导致问题的诸多因素之一。

　　结论

　　关于VR光学元件的营销宣传是“固定焦点光学元件”，在显示器的中心有一个更高的分辨率。确实，针垫形光学元件畸变提高了中心的像素密度，但它会令显示器的其余区域变得一团糟。

　　尽管MQP的光学系统有更大的最佳视点，光学质量下降的速度比Quest 2的菲涅耳光学系统慢，但按照相机标准来看，它们依然非常糟糕。由于空间和成本，以及为了支持非常宽的视场，VR光学元件必须进行妥协。

　　对于物理显示器时，眼睛和显示设备之间只有空气，不会损失图像质量，而且当用户移动头部时都不需要重新采样显示器的图像。

　　因为MQP和其他头显存在严重的针垫形畸变，我完全相信AVP同样会这样。然而，不管ppd如何，MQP虚拟显示器的最左端和最右端由于其他光学问题而变得难以阅读。如果AVP的像素是3倍，线性ppd大约是1.75倍，则光学器件必须远好于MQP，这样才能提供与物理显示器相同的小可读文本。