Karl Guttag：Quest Pro透视效果差 并不适合商用

　　AR/VR光学专家Karl Guttag曾指出，基于VST透视的AR虽然绕开了光学透视AR的一些局限，但VST透视依然存在运动延迟、余光视觉透视效果、分辨率、IPD不匹配等多种问题。的确，VST透视AR的结构、原理比光学透视AR更简单，但它同样需要解决许多问题(搭配低延迟光场相机、光场显示屏来实现高动态变焦)，才能实现理想的视觉体验，因此Guttag认为这将需要很长一段时间，可能超过50年。

　　那么对于Meta的VST透视混合现实头显Quest Pro，Guttag又怎么看呢?

　　近期，他在博客中发布了Quest Pro报告，并表示：Quest Pro的VST透视效果糟糕，令人难以置信。Quest Pro官方宣称用于企业、办公场景，但它的视觉体验并不能满足这些场景的需求。接下来我们就详细看看Guttag的观点。

　　首先，Guttag强调Quest Pro依然是一款为VR游戏而生的产品，认为它没有达到企业级水平。他表示：ML1、ML2也是这样，硬件规格和体验不适合企业级应用，但定位却指向B端，这更像是营销策略转变。实际上，对于超过1000美元价位的产品，营销人员很难将它们当游戏设备来卖，所以不得不定位企业级产品。VST透视不理想

　　在Connect 2022活动上，Meta宣布Quest Pro是首款全彩色混合现实设备，它将实现物理和虚拟世界之间的无缝(Seamless)融合。对此Guttag指出，按照字典定义Seamless指的是没有尴尬的过渡、终端或差异等迹象，而Quest Pro的混合现实体验似乎并未达到“无缝”的定义。

　　如果说，基于手机的移动端AR算是某种VST混合现实，那么至少手机屏幕分辨率更高，体验感还是比清晰度、流畅度略低的VST透视VR要好得多。

　　实际上，已经有很多人在Quest Pro测评中提到其VST透视质量不佳，Guttag测评的不同之处在于，他从计算图形、显示、人类视觉界面等多方面出发，将VST透视的问题进行量化。

　　注意：​照片和视频为摄像头实拍，采用佳能R5微单，镜头16mm、FOV 106°、80ppi、以4K分辨率拍摄，解析能力接近理想的人眼视觉。可以明显发现，Quest Pro的纱窗效应肉眼可见。

　　Quest Pro支持动态调光功能，这在AR/VR中是​比较新的技术，此前的LCD屏是将LED整行的以短周期进行滚动照明。Guttag发现，Quest Pro的屏幕存在闪烁，在运行《Horizon Workrooms》时刷新率可能降到70Hz，而人眼与光视觉对闪烁又很敏感，很多低频闪烁对人眼是有害的。Guttag指出，大多数VR应用刷新率为90Hz，对于Quest Pro 106°的FOV来讲还是有点低。此外，在一些光线环境中，还发现Quest Pro透视图像和房间灯光因工作频率导致闪烁的情况。 Quest Pro屏幕和透镜畸变

　　Quest Pro采用了两块倾斜安装的LCD屏幕(向外旋转21°左右)，以及Pancake透镜和数字畸变校正算法。屏幕倾斜安装可能有两种原因，一是为了提升垂直FOV，另外则是因为Pancake透镜更薄，显示屏更靠近人脸，倾斜安装后可为用户鼻子留出位置。

　　Quest Pro的另一个问题是，LCD屏幕结合Pancake透镜后图像发生明显的枕形畸变，因此需要预先对图像进行桶形扭曲(四边向外弯曲)，这意味着屏幕外围像素经历了光学拉伸，因此分辨率较低。

　　但由于VST透视摄像头没有旋转，因此其捕捉的每帧视频都要通过数字校正算法来预旋转。Guttag猜测，旋转透视图像也会影响分辨率，不过考虑到这些旋转和畸变同时运行，因此图像质量变差可能是多因素造成的。

　　Guttag对比了Quest Pro摄像头捕捉的透视图像，以及相机实拍的头显内透视画面和摄像头实拍的场景图，其中头显摄像头捕捉的图像为Quest Developer HUB工具录屏，由于软件错误等因素限制，只能使用该软件录制30fps，视频已经过旋转和缩放，但未应用桶形失真校正。而从Quest Pro捕捉的图像和相机直拍头显内图像中，都可以看到图像边缘因光学畸变被拉伸了2倍或更多(又通过预补偿过程而被压缩)。 AR透视不清晰、颜色不理想

　　为了测试Quest Pro透视模式的清晰度，了解它能否接近人眼看世界的视觉效果，Guttag透过Quest Pro去拍摄视力表。结果发现，连第一行都拍不清楚。而在同样的焦距，佳能相机的拍摄效果要清晰得多。Guttag表示：在美国，如果看不清视力表第一行，那么你属于法定盲人，而Quest Pro拍摄视力表的清晰度，大概介于法定盲人和视障者之间。

　　Guttag还测试了Quest Pro摄像头的色彩表现，如图可见佳能相机拍摄的视力表背景有橘黄色木柜，这个颜色与肉眼看起来差不多，但通过Quest Pro透视后，木柜颜色的饱和度偏低。Guttag表示：Quest Pro透视图像的色彩部分有很多问题，时而过饱和，时而低饱和，色调还存在颜色偏移现象。

　　另外，Guttag还用Quest Pro摄像头、佳能R5分别拍摄了一张复杂的彩色迪士尼地图，这张地图印刷了多层次的细节。为了更公平，让微单拍摄的像素更接近Quest Pro(Quest Pro为6PPD，而佳能R5为70PPD)，他将相机拍摄的图像缩放，确保细节水平(LOD)与Quest Pro大致匹配，然后进行放大，确保图像尺寸与Quest Pro拍摄的匹配。

　　结果显示，Quest Pro透视的色彩表现依然存在差距，仔细看会发现绿色、蓝色显得比较暗淡，俄日企鹅颜色之间的分界线模糊。因此Guttag猜测，Quest Pro最佳中心视觉约为人类良好视力的1/10。 低动态范围、高失真

　　Quest Pro的视频透视效果的动态范围很低，其搭载的定位摄像头对红外光敏感，因此环境中任何明亮或发光的物体经过透视会变成白色。而在环境光线不佳的场景，透视图像的噪点也很大。

　　Guttag表示：Quest Pro捕捉近距离物体的视觉效果更糟，而较远的物体则会产生奇怪的扭曲。

　　在另一个测试中，Guttag利用Quest Pro去拍摄更复杂的房间场景，房间中有一个计时的笔记本电脑，还有一个摆动的视力表，背景则是木柜、书柜、白墙。Guttag表示：尽管视频中电脑屏幕看起来足够亮，但实际上我将电脑亮度设置为最低，才能让Quest Pro看清屏幕上的计时器。

　　另外还发现，摆动的视力表在经过背景的木柜时，有明显的扭曲和失真，并且还有混色效果，以及图像运动延迟。

　　整体来看，Quest Pro VST透视录屏的颜色表现足够准确，但经过透镜实拍的效果还是存在颜色过饱和。Guttag表示：相比于Quest Pro VR模式出色的颜色效果，VST透视的色彩效果很差，也许未来可以得到修复。 刷新率不同步

　　Guttag还指出，Quest Pro显示屏、透视摄像头(通过Meta Developer应用捕捉视频)的刷新率均为90Hz左右，但实际上略有不同，因此捕捉到的透视视频每3帧会出现至少一处撕裂或帧滚动。

　　不过，上述现象仅在Quest Pro录屏中出现，通过透镜实拍的视频中这种现象不明显。这说明，Quest Pro透视模式的录屏与进入显示屏的视频源不同步。另一方面，透镜实拍视频以更高的刷新率拍摄，而录屏中则存在重复帧。

　　尽管Quest Pro录屏只有30fps，但视觉效果还是优于直接在Quest Pro看到的透视效果。Guttag猜测，Quest Pro系统会优先处理运动到光子延迟(Motion to Photon Latency)而不是图像质量，而录屏则相反。

　　据Guttag测量，Quest Pro将IR定位数据和RGB VST结合来生成透视图像，运动到光子延迟约在40到50毫秒之间。

　　值得注意的是，Quest Pro的透视模式更侧重于3D空间捕捉，而非图像质量，这是为了更好的将MR内容固定在空间中。Guttag表示：Meta工程师一定知道，将单个彩色相机与两个低分辨率定位相机结合使用，会严重损害图像质量。那为什么会这么设计Quest Pro呢?也许，是为了试图避免比这更糟糕的问题，即使牺牲吐下那个质量，也要确保虚拟图像与物理空间的位置匹配。但这意味着Quest Pro的图像失真程度糟糕，尤其是透视近距离物体的视觉效果很差。

　　Guttag认为，这实际上是得不偿失的选择，未来即使加入额外的彩色透视相机，也还是需要解决算力、功耗的问题，很难想象要多少算力才能实现理想的透视质量。 VST透视并不安全

　　此前Guttag就曾吐槽ML2透光度不好，用户余光视觉被遮挡，因此有安全风险。对于Quest Pro他也有同样的看法，尽管该头显可通过视频透视看到周围环境，但还是会遮挡大部分视线。而且，VST透视分辨率低、有高度失真，尤其是动态范围差，现实场景中明亮的东西无法清晰显示。

　　因此，在使用Quest Pro透视模式时，还是要划定边界，而且Meta建议用户在房间内使用，尽量清空周围的障碍物。也就是说，你不能把它像眼镜那样戴出门。

　　Guttag指出，如果长时间使用Quest Pro的透视模式，还可能发现VAC、闪烁等问题。 总结：还不够成熟

　　作为Meta首款支持彩色VST透视的VR头显，Quest Pro不只是为了让玩家在VR中也能查看周围环境，它还想要推动某种MR内容生态。但从实际效果来看，Guttag认为这项技术还不够成熟，还不能让VR实现AR/MR效果。它有点像是Reality Lab还在开发的实验性技术，除了展示创新技术外，也可能是希望通过Quest平台在大规模用户群中进行验证。

　　而对于Meta来讲，彩色VST和混合现实可能是Quest Pro的营销手段，目的是突出它与传统VR的不同。也有人猜测，Meta是想赶在苹果之前率先定义MR头显。

　　尽管如此，Quest Pro搭载的定位摄像头分辨率很低，仅1280x1024，尽管结合了1600万彩色相机，透视效果比Quest 2有所改进，但整体透视清晰度还是有限。

　　Guttag认为现阶段VST透视技术仅适合查看现实空间中的大型物体，或是为VR设定边界，与光学透视AR还差得远。从视觉角度来看，Quest Pro犯了很多错，但相比之下Lynx R1的透视效果似乎还好不少。参考：KG