苹果AR/VR专利针对物理环境光干扰提出颜色校正解决方案

　　对于AR，来自物理环境的光的亮度或色度会干扰计算机生成内容，从而减损用户体验。苹果认为，传统的颜色校正方法不能有效地解释来自物理环境的光。所以在名为“Color correction pipeline”的专利申请中，这家公司提出了一种颜色校正管道。

　　图2是示例性颜色校正管道200。颜色校正管道200可以集成在包括透明显示器270的电子设备中，例如AR设备。

　　颜色校正管道200包括用于感测环境光202并输出相应的传感器数据的感器子系统206。传感器子系统206包括环境传感器的组合，并包括具有深度传感器的单色或彩色摄像头。

　　颜色校正管道200包括光叠加特征值发生器208，以基于相应的传感器数据确定多个光叠加特征值。多个光叠加特征值与来自物理环境的环境光202相关联。所述多个光叠加特征值量化所述环境光202。例如，多个光叠加特征值包括表征环境光202的亮度值和色度值的组合。

　　颜色校正管道200包括图像数据修正器240，图像数据修正器240基于多个光叠加特征值和参考感知色域的函数修改图像数据以生成修改的图像数据。

　　修改后的图像数据满足相对于多个光叠加特征值的颜色对比度阈值。作为一个示例，图像数据表示白色幽灵，并且多个光叠加特征值包括与环境光202相关联的绿色色度值。

　　当电子设备的透明显示器指向森林中的树木时，图像数据修改器240修改白色幽灵，使得白色幽灵在透明显示器270显示时呈现白色并且基本上没有绿色色调。

　　相应地，图像数据修改器240改变白色幽灵的颜色，以抵消与环境光202相关联的绿色色度。在一个实施例中，图像数据修饰器240包括色调映射器245，其相对于图像数据执行色调映射操作。

　　在一个实施例中，修改后的图像数据满足相对于多个光叠加特征值的亮度对比度阈值。例如，图像数据表示白色幽灵，并且多个光叠加特征值包括相对较高的亮度水平。

　　当电子设备指向太阳时，图像数据修改器240修改白幽灵，使得代表白色幽灵的图像数据的一部分变暗或着色，以抵消相对较高的太阳亮度。

　　颜色校正管道200包括第一色域映射器220，第一色域映射器220将参考物理色域映射到参考感知色域。参考物理色域与透明显示器270相关联。

　　例如，参考物理色域指示可由透明显示器270显示的亮度范围或颜色范围。作为另一示例，参考物理色域将透明显示器270表征为进入透明显示器270的标称量的环境光202。第一色域映射器220基于参考物理色域和颜色外观模型的函数确定参考感知色域。

　　颜色校正管道200进一步包括第二色域映射器260。第二色域映射器260从图像数据修改器240接收修改后的图像数据。第二色域映射器260基于多个光叠加特征值的一部分和参考物理色域的函数将修改后的图像数据转换为显示数据。

　　例如，第二色域映射器260基于所修改的图像数据的颜色特征函数和所述多个光叠加特征值中所包括的色度值和亮度值的组合对所修改的图像数据进行变换。因此，第二色域映射器260在四个或更多维度中执行色域映射。第二色域映射器260可提供用于在透明显示器270显示的显示数据。

　　图3是颜色校正管道300的框图的另一示例。颜色校正管道300类似于并改编自图2所示的颜色校正管道200。

　　颜色校正管道300包括基于多个光叠加特征值的一个或多个修改部分修改图像数据的图像数据修改器320。为此，颜色校正管道300包括光叠加特征值标识符302，而标识符基于图像数据的相应部分，并识别跨透明显示器270的多个光叠加特征值的相应部分。

　　光叠加特征值标识符302从光叠加特征值发生器208获得多个光叠加特征值。例如，所述光叠加特征值标识符302标识与所述透明显示器270第一区域相关联的多个光叠加特征值的第一部分。

　　在一个实施例中，颜色校正管道300包括深度传感器150，并且光叠加特征值标识符302使用来自深度传感器150的深度传感器数据，以便识别多个光叠加特征值的相应部分。例如，如深度传感器数据所示，所述光叠加特征值标识符302识别与物理环境的前景相关联的多个光叠加特征值的第二部分。

　　颜色校正管道300包括光叠加特征值修饰器310，其从光叠加特征值标识符302获得多个光叠加特征值的部分。所述光叠加特征值修改器310基于与所述图像数据相关联的预定显示特征的函数修改所述多个光叠加特征值的一个或多个相应部分，以生成所述多个光叠加特征值的一个或多个修改部分。例如，预定的显示特性包括与所述图像数据相关联的优选色度和亮度值的组合。

　　所述光叠加特征值修饰器310将均匀亮度函数312应用于所述多个光叠加特征值的一个或多个相应部分。例如，当图像数据的一部分表示人脸时，将以基本均匀的肤色再现相应的区域。

　　所述光叠加特征值修饰器310将亮度平滑函数314应用于所述多个光叠加特征值的一个或多个相应部分。例如，亮度平滑函数314实现高斯平滑、均匀移动平均平滑等。所述光叠加特征值修饰器310将所述多个光叠加特征值的一个或多个修饰部分提供给图像数据修饰器320。

　　图像数据修改器320基于多个光叠加特征值和参考感知色域的一个或多个修改部分的函数修改图像数据，如参照图2中的图像数据修改器240所述。图像数据修改器320向第二色域映射器260提供修改后的图像数据。第二色域映射器260将修改后的图像数据转换为显示数据，以便在透明显示器270显示。

　　图4是基于语义的颜色校正管道400。基于语义的颜色校正管道400根据相应语义值的函数选择性地修改图像数据。

　　例如，基于语义的颜色校正管道400修改与满足标准的第一语义值相关联的图像数据的第一部分。为此，基于语义的颜色校正管道400包括语义值生成器410，而语义值生成器410获取或生成分别与图像数据的多个部分相关联的多个语义值。

　　在一个实施例中，语义值生成器410从另一系统获取多个语义值。作为另一示例，语义值生成器410通过相对于图像数据执行语义分割来生成多个语义值。语义值生成器410借助集成在基于语义的颜色校正管道400内的神经网络生成多个语义值。

　　另外，基于语义的颜色校正管道400包括语义值标识符420，标识符420从语义值生成器410获得多个语义值。基于语义的颜色校正管道400从多个语义值中识别出满足准则的第一个语义值。语义值标识符420向图像数据修饰器430提供第一语义值。

　　所述图像数据修改器430修改所述图像数据以生成修改后的图像数据，类似于图2或图3所述。在一个实施例中，图像数据修饰器430将场景对象修饰器432应用于图像数据的第一部分，以便强调所识别的感兴趣对象，比如增加图像数据的第一部分与多个光叠加特征值之间的颜色对比度或亮度对比度。

　　图5是颜色校正的图形表示500。图形表示500表示亮度504(在x轴)和亮度502(在y轴)之间的关系。亮度504与来自物理环境的环境光相关联。亮度502和与用户对光的感知相关联的感知空间相关联。图形表示500对应于说明物理亮度值(x轴)和感知亮度值(y轴)之间的感知颜色空间映射的对数曲线506。

　　换句话说，图形表示500表示颜色校正作为与物理环境相关的亮度值的函数。颜色校正可以是与图像数据相关联的色度的函数，并且色度值包括在与环境光相关联的多个光叠加特征值中。

　　为了恢复最初预期的对比度关系，发明描述的实施例提供颜色校正520。颜色校正520从图像数据生成基于光叠加特性的显示数据，即参考感知色域和参考物理色域。

　　根据各种实施例，颜色校正520由图2中的颜色校正管道200、图3中的颜色校正管道300或图4中基于语义的颜色校正管道400中的一种来实现。

　　在一个实施例中，颜色校正520包括基于与来自物理环境的环境光相关联的确定的光叠加特征值，相对于图像数据执行对比度恢复色调映射。为此，颜色校正520恢复参考感知色域和参考物理色域之间的动态损失。

　　在一个实施例中，颜色校正520包括4+维色域变换。例如，颜色校正520包括7维色域映射，包括与映射图像数据到透明显示器相关联的三维、与环境光相关联的色度值相关联的三维，以及与环境光相关联的亮度值相关联的另一个维度。

　　基于颜色校正520，将亮度值从第一范围510扩展到第二范围512，如图5所示。相应地，x轴上的亮度值从初始范围(0 – lref,Max 508)扩展到扩展范围(Lb 514- Lt,Max 516)。例如，Lb 514对应于由亮度值表示的背景亮度。Lt,Max 516对应于与颜色校正520产生的物理色域相关的最大亮度。相应地，颜色校正520将最大亮度范围从LRef,Max 508增加到Lt,Max 516。

　　图6是基于光叠加特征值和参考色域修改图像数据的方法600。