MR系统可以使用不同类型的摄像头来向用户显示内容。通常,使用具有不同模态的摄像头可以帮助用户更好地感知环境。例如,可以使用微光摄像头在微光环境中查看内容。
另外,MR系统可用于各种各样的场景中,例如彩弹游戏。其中,你通常需要悄悄地跟踪对手并适时袭击对方。所以,有必须改进MR系统的使用方式,以便在实现特定性能的同时避免其他MR系统的检测。
在名为“External illumination with reduced detectability”的专利申请中,微软就介绍了一种相关的方法。概括来说,发明描述了提供一个照明系统,它可以向环境提供照明,同时可以降低被其他系统检测到的可能性。
在一个实施例中,可以纳入一个单光子雪崩二极管(SPAD)低光(LL)检测装置和一个发光装置。发光装置提供波长至少为950纳米的照明。照明的强度设置为令照明在一个确定的距离内无法被检测到的水平。在发光装置提供照明的同时,SPAD LL检测装置产生一个提供照明的环境的图像。
在一个实施例中,系统配置为动态修改由照明源产生的照明量,以达到或满足特定的性能水平,同时不被特定类型和/或超过一定距离的外部光检测系统检测到。为了做到这一点,检测环境中的环境光量。
系统同时选择一个照明光将无法被外部光检测系统检测到的距离。基于反馈回路,系统逐步增加、减少或可能维持照明光的数量,直到达到阈值水平。阈值水平是基于照明光的衰减率/roll off rate 和所选距离的组合。
图3显示了一个头显300的例子。头显300包括发光装置305,其显示为发射照明310。发光装置305配置成发射具有特定波长325或波长范围内的光。
图4显示了一个图形400,其中有两个图形。其中一张图绘制了用于传统弱光探测设备的传统图像增强管405的量子效率曲线。另一个图绘制了SPAD LL检测装置410的量子效率曲线。
注意,传统的图像增强管405在900纳米左右的量子效率曲线明显下降。这意味着传统的图像增强管无法检测波长超过900纳米的光。
相比之下,SPAD LL探测器件410的量子效率曲线直到波长达到约1100 nm时才下降。这意味着SPAD LL检测设备可以检测到传统图像增强管无法检测到的波长的光,例如波长在900 nm到1100 nm之间的光。
如前所述,微软希望提供一种其他类型的系统无法检测到的系统。因此,可以将SPAD LL检测装置与发光装置组合使用。
发光装置配置为发射具有传统图像增强管无法检测到的波长的光,并在特定情境中建立缓冲。例如,由于传统的图像增强管可能能够检测约900 nm的光,因此可以实施约50 nm的缓冲,以便发光装置发射波长高于约950 nm但不低于950 nm的光。
MR系统可以配备带通滤波器415,以帮助滤除接近约950 nm阈值水平的光。即,所述带通滤波器415可配置为滤除波长低于约950 nm的光。通过使用带通滤波器415,实施例能够在传统图像增强管可检测的波长和SPAD LL检测设备将检测的波长之间维持或保留所需的缓冲。
如前所述,光具有特定的滚转率。图5提供了关于roll off rate的说明。
具体地,图5示出由头显505发射的光的滚出率500,如照明510所示。即,头显505代表图3中的头显300,照明510代表照明310。
所述照明510具有特定的强度515,并且照明510的强度水平520可基于提供给所述发光装置的功率进行修改。图5所示的roll off rate500说明,随着距离头显505的增加,照明510以1 / R2的速率衰减或roll off。
例如,在距离头显505 1m处,照明面积为1平方米,照度为1/1,即100%。在距头显505 2 m处,照明面积为4平方米,照度为¼或25%。在距离头显505 3 m处,照明面积为9平方米,照度为⅑,照度为11.1%。
我们可以观察到光线是如何快速衰减或roll off。如果距离头显505足够远,到达该距离的光量将非常小,以至于基本上无法检测到光,如图6所示。
图6示出发射照明605的头显600。图6同时示出外部光检测系统610,以及距离线615。距离线一般反映了照明605的roll off rate。在距离620处或从距离620处看,光线似乎很暗,几乎难以察觉。
注意,外部光探测系统610位于距离625处,它距离头显600甚至比距离620还要远。因为距离625是如此之大,由头显600发射的光子已经分散得如此之多,以至于这些光子基本上无法被检测到,正如外部光探测系统610在黑色或黑暗区域所示。
所以,通过动态控制光的波长和光的强度,可以设计一个满足特定性能要求/目标,同时又不被外部光检测系统检测到的系统。
具体地说,所述实施例能够发射具有所选波长的光,从而不能被传统的图像增强管检测到。发射的光量可以根据考虑多个不同标准的反馈回路进行动态调整。实施例能够动态控制发射光的强度,以便特定距离外的外部光检测系统无法检测到发射的光。
图7显示了一个示例头显700,其中包括SPAD LL检测设备705。这里,SPAD LL检测设备705用于捕获环境的图像,如图像扫描710所示。
图8显示了头显800。头显800包括用于捕获环境图像的SPAD LL检测装置805和用于向环境发射照明820的发光装置815。发光装置815以前面讨论的方式配置,其发射波长高于约900 nm的光。
在大多数情况下,照明820具有约950纳米以上的波长。在特定情况下,照明820具有高于约1,000 nm的波长。如前所述,带通滤波器可用于过滤波长低于约950 nm的光。
发光装置815将光投射到环境中,而SPAD LL检测装置805正在捕获发射光的环境的图像。即SPAD LL检测装置805与发光装置815一般对准同一方向。
水平线825是指从头显800直接向外投射的线,类似于摄像头的光轴。图例同时显示了一个向下的角度830,它可以设置为1度到89度之间的任何向下的角度。所述发光装置815旨在跟随向下的角度830。
有了上述配置,头显800现在可以在极低光的情况下使用。发光装置815配置为发射刚好足够的光光子,以使SPAD LL检测设备805能够观察环境中的内容,同时配置为避免发射过多的光光子,以免外部光检测系统检测头显800。
图9示出了包含彩弹场900的环境,而环境是低光环境的示例。注意,有一名彩弹手905,其佩戴以上述方式配置的头显。所述头显发射具有上述波长特征的照明910。头显同时包括一个SPAD LL检测装置,以用于生成环境的低光图像。彩弹场900同时包括第二彩弹手915,其当前站在由照明灯具910照亮的区域内。
在这个场景中,彩弹手905将能够看到彩弹手915,因为彩弹手915在照明910的范围内。如果彩弹手915没有头显,或者如果头显包括传统的图像增强管,那么彩弹手915将无法看到彩弹手905,因为照明910具有不可检测的波长。
图10显示了图9中每个彩弹玩家都能看到的图像。具体而言,图10显示了彩弹手1000,其代表彩弹手905。图10显示了图像1005,其可以是提供给彩弹手1000的透视图像的示例。注意,图1005显示了代表图9中的参考点920的参考点1010,以及代表彩弹手915观察到的对手1015。
图10同时显示了彩弹手1020,其代表图9中的彩弹手915。图10进一步示出图像1025,其可以是彩弹手1020正在观看的穿透图像。注意,图像1025显示了参考点1030,但彩弹手1000不可检测,因为没有观察到对手1035。
在这个示例场景中,彩弹手1020使用依赖于传统图像增强管的头显,并且系统不足以检测图9中的照明910。另外,彩弹手905离彩弹手915太远,使得图像1025不显示彩弹手905。
名为“External illumination with reduced detectability”的微软专利申请最初在2023年2月提交,并在日前由美国专利商标局公布。