提高图像动态范围 【相关申请的交叉引用】
本申请要求于2007年7月30日提交的题为提高图像动态范围的美国专利申请60/962708的优先权。对美国来说，本申请：
·根据美国专利法35U.S.C第119条，要求于2007年7月30日提交的题为提高图像动态范围的美国专利申请60/962708的权益，该美国专利申请通过引用而合并到本申请中；
·是2008年7月29日提交的题为提高图像动态范围的美国专利申请12/182121的部分继续申请；并
·根据美国专利法35U.S.C第120条，要求于2008年7月29日提交的题为提高图像动态范围的美国专利申请12/182121的权益。
【技术领域】
本发明涉及数字成像。本发明尤其涉及提高图像(包括静态和/或视频图像)动态范围的装置和方法。本发明可不受限制地实施于电子显示器中、媒体播放器(例如DVD播放器)中、用于电子显示器和/或媒体播放器的图像处理子系统中以及在介质上提供的可由数据处理器读取并随后执行的计算机软件中。
背景技术
人眼对相当宽的强度范围的光线敏感。图像需要具有高动态范围来准确再现真实场景。高性能图像传感器，例如高性能CCD阵列，能够获取具有高动态范围的图像。新一代的显示设备允许对传统显示技术提供显著改进的动态范围。
大多数现有电影、视频和静态图像被记录为以下格式：该格式提供的动态范围显著低于这些新一代显示设备可产生的动态范围。将来，不断演变的照相机技术和文件格式将提供用于这些显示设备的高保真的内容。近期，则需提供提高低动态范围媒体(例如，低动态范围(LDR)格式的图像数据)的动态范围的方法。这允许观众在欣赏现存媒体时享受到高动态范围显示器的至少部分优点。
剧场成像系统(投影仪)以及家庭影院系统的观众的眼光已经极具水准。因此，在这些和其他应用中，也需提供基本上无明显缺陷的图像。
在一些应用中，需要提高实时图像的动态范围(例如，产生提高的图像信号)。
【发明内容】
本发明具有多个方面。一个方面提供以下方法：所述方法将低动态范围(LDR)格式的图像数据作为输入并产生增强的图像数据作为输出，所述增强的图像数据的动态范围大于该输入图像数据的动态范围。在某些实施例中，所述方法应用于视频数据并实时进行(即，至少平均来说以视频信号的帧速率完成对视频帧的处理，从而提高所述视频帧的动态范围)。
以下描述本发明的其他方面以及具体实施例的特征。
【附图说明】
附图图示了本发明的非限定性实施例。
图1是根据本发明的一个实施例的用于提高图像动态范围的方法的流程图。
图1A是根据一个示例实施例的用于将所输入的图像数据线性化的方法的流程图。
图2是用于生成亮度提高函数并将该亮度提高函数应用到图像数据的示例方法的流程图。
图2A是图示用于生成构成边缘停止函数的掩模的示例方法的流程图。
图2B是图示像素邻域以及用于确定像素处的梯度的示例性方法的示意图。
图3A、3B、3C和3D分别示出：示例低动态范围输入图像、相应的平滑部分、相应的亮度提高函数以及高动态范围(HDR)输出图像，其中所述相应地亮度提高函数已通过边缘停止部分进行了改变。应当注意，发明附图的介质不再现所述输入和输出图像的动态范围。
图4A是图示用于生成亮度提高函数的平滑部分的示例方法的流程图。
图4B是图示用于生成亮度提高函数的边缘停止部分的示例方法的流程图。
图4C图示可用于通过例如图4A和4B的方法来生成亮度提高函数的图像金字塔。
图4D进一步图示了图4B的概念、尤其是与生成边缘停止部分相关的那些概念。
图5图示了根据本发明实施例的装置。
图6和6A是根据特定实施例的方法，该方法用于提高图像数据的动态范围，并生成双调节器型显示器的调节器的驱动值以显示经提高的图像数据。
【具体实施方式】
通过以下描述，阐释具体细节以便提供对本发明更为透彻的理解。但是，本发明可在无需这些细节的情况下实施。在其他情况中，未具体示出或描述公知的部件从而避免使本发明不必要地难以理解。因此，本说明书和附图应当被视为说明性的而非限制性的。
图1为根据本发明的一个实施例的用于提高由图像数据21限定的数字图像动态范围的方法20的流程图。图像数据21可为低动态范围(LDR)图像数据。在块22中，将来自所输入的图像数据21的像素值线性化。在所输入的图像数据21中的像素值已经表现在亮度随像素值线性变化的空间中的情况下，无需块22。在某些实施例中，凭借附加的下游处理可不必进行块22的线性化。来自块22的输出为经线性化的图像数据23。经线性化的图像数据23中的每个像素都具有与该像素的亮度至少大概成比例的一个或多个值。
在块22的线性化中进行的特定处理取决于所输入的图像数据21中的图像的编码。例如，通常的图像和电视数据是使用具有2.2左右的伽玛值的伽玛曲线(gamma curve)进行编码的。该伽玛曲线旨在补偿传统显示技术诸如阴极射线管(CRT)等中的非线性。可通过使伽玛曲线反转的函数来实现此类数据的线性化。使伽玛曲线反转可提供与原始场景中的亮度大概成比例的像素值。
块22的线性化函数可使用查找表(LUT)实现。例如，块22的线性化过程可以涉及查找所输入的图像数据21的像素值，从查找表中获取相应的线性化的像素值以及将该相应的线性化的像素值输出给经线性化的图像数据23。在其他实施例中，块22的线性化功能可通过硬件或在适当的数据处理器上执行的软件来实现，将来自所输入的图像数据21的像素值作为输入并生成经线性化的图像数据23的相应线性化像素值作为输出。
在某些实施例中，块22的线性化过程包括选择多个线性化函数中的最适合于将所输入的图像数据21线性化的一个函数。某些数据格式包括显式或隐式标识像素值和亮度之间的非线性关系的信息。例如，这样的信息可在与所输入的图像数据21相关的头部中发现。
图1A图示了根据特定实施例的用于实施块22的线性化的方法，其中所输入的图像数据21包括编码信息，所述编码信息显式或隐式地标识所输入的图像数据21的像素值和预期亮度之间的非线性关系。参照图1A，块22的线性化过程可包括：读取编码信息(块20A)；选择多个线性化函数25(分别标识为25A、25B、25C......)中与编码信息相匹配的一个(块20B)；以及将所选择的线性化25应用于所输入的图像数据21从而生成经线性化的图像数据23(块20C)。
在某些实施例中，经线性化的图像数据23中的像素值包括相应像素的要在显示器上显示的绝对输出强度。
返回参照图1，在块30中，对经线性化的图像数据23的对比度进行拉伸以生成经拉伸的图像数据31。块30的对比度拉伸可以以多种方式进行。在一个特定实施例中，根据下式来执行块30的拉伸：
HDRij＝α+β×LDRij (1)
其中LDRij为来自经线性化的图像数据23的像素值(由标记i和j指示)，HDRij为来自经拉伸的图像数据31的相应的像素值(由标记i和j指示)；α可设置为与显示图像的显示器的黑色电平相等的参数；β为一个比例因子。在某些实施例中，α小于1cd/m2。在一个示例实施例中，α在0.05cd/m2到0.6cd/m2的范围内。在特定示例实施例中，α为0.3cd/m2，该数值提供在正常观看条件下的深黑色。比例因子β可选择为产生不会太高以致所产生的图像具有不自然表现(例如，人为产物)的期望的对比度。已经发现在类型广泛的图像上可执行将对比度拉伸至大概5000∶1(即，β达到5000)而不会引入不可接受的人为产物。此阈值是保守的。对于很多图像，可使用更大的比例因子β来生成显著的结果。但是，超过此阈值，一些图像可能经受视觉质量恶化。
比例因子β可参考显示图像的显示器的白色电平来设置。例如，β可选取为使得经线性化的图像数据23中的饱和像素值被映射到与白点(白场，white point)相对应的强度值。例如，白点可大于1000cd/m2。在典型实施例中，白点被选择约为1200cd/m2。可选取适合任何目标显示器的α和β值。α和β的值可与由经线性化的图像数据23表示的任何图像特性独立地设置。
在可选块40(图1)中，对经拉伸的图像数据31应用图像滤波器以提供经滤波/拉伸的图像数据41。可选块40的滤波可降低噪音以及量子化人为产物。像素值的非线性映射(块22)和对比度拉伸(块30)可放大量子化人为产物和噪音。低动态范围(LDR)的输入图像通常被量化为256个像素值，而在恰可识别差异(Just Noticeable Difference，JND)步骤的精度中通常使用超过1000个不同的值来覆盖高动态范围(HDR)显示器的动态范围。有损视频压缩可进一步降低本地图像区域中可用强度电平的数量。可选块40的滤波过程可利用未使用的强度电平对人为产物进行平滑处理，否则该人为产物将可能通过量化人为产物的放大过程产生。
在某些实施例中，块40包括对经拉伸的图像数据31应用双边滤波器。在Tomasi和Manduchi于1998年ICCV(国际计算机视觉会议)上发表的“Bilateral Filtering for Gray and Color Images”中，描述了适当的双边滤波器。总而言之，双边滤波器可具有以下形式：
h(x)＝A(x)∫ξ∈N(x)f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ (2)
其中h(x)是针对位置x处的像素而言滤波器的输出；A(x)为归一化系数；f(x)为位置x处的像素值；c(ξ-x)为随位置ξ处的像素和x处的像素之间的距离而下降的加权函数(c可称为“接近”函数)；以及s(f(ξ)-f(x))为随f(x)和f(ξ)之间的差异而降低的加权函数(s可称为“相似性”函数)。可在位置x的邻域N(x)上对等式(2)的积分进行求值。
在该双边滤波器由等式(2)表示的情况下，归一化函数A(x)可由下式给出：
A(x)=1∫ξ∈Nc(ξ-x)s(f(ξ)-f(x))dξ---(3)]]>
在某些实施例中，接近函数(c)和相似性函数(s)为其各自参数的高斯函数。例如，c可由下式给出：
c(ξ-x)=e-12(d(ξ-x)σd)---(4)]]>
其中d(ξ-x)是ξ和x之间的欧几里德距离而σd是限定该变量(即，c随ξ和x之间的距离增加而下降的速度)的参数。相似性函数(s)可由下式给出：
s(f(ξ)-f(x))=e-12(δ(f(ξ)-f(x))σr)---(5)]]>
其中δ为位置ξ处和x处的像素值之间在强度空间中的距离的适当测量而σr为限定该变量(即，S随f(ξ)和f(x)之间的距离增加而下降的速度)的参数。
在某些实施例中，将改进的函数用于相似性函数(s)，使得相似性函数(s)的变量σr随f(x)的值增加。在这样的实施例中，可能需要在块30中与由局部像素值的非线性强度映射引入的拉伸成比例地拉伸变量σr，使得，在块30的拉伸后，光度测定变量σr等于固定数量(优选为两个)的量化等级。
如上所述的使σr随f(x)变化的效果类似于在块30的拉伸之前用固定变量进行双边滤波。但是，在块30的拉伸之后进行块40的双边滤波器是有利的，这是因为在块30的拉伸之后，可用固定点算法进行块40的双边滤波。由于执行双边滤波可能计算量很大，所以在计算资源有限的情况下需要仅对各个像素相对较小的邻域N(x)上进行双边滤波。例如，在某些实施例中，块40的双边滤波器可执行于仅包括处于当前像素的大约四个像素空间内的像素的邻域。
在图像的低动态范围表现中，通常在图像最亮区域中的像素是截短的(clipped)(例如，在低动态范围图像中的像素值为0到255(对应于八比特表示)范围中的整数的情况下，在该图像的最亮区域中的像素可具有在255处截短的像素值)。由于255为最大可能的像素值，所以低动态范围图像缺少与原始场景比用于产生像素值255的最低阈值更亮的程度有关的信息。在提高图像的动态范围时，可能需要将截短的像素值提升至超过块30中进行的对比度拉伸。
此外，为了基于低动态范围图像获取最佳的高动态范围图像，即使在那些像素值未被截短时也可能需要提升最亮像素的值。例如，可能需要提升具有达到或超过低动态范围图像的白色电平的像素值的像素的值。在这些区域中，信息可能已经丢失，这是因为场景强度超过了照相机、记录介质或图像数据格式的能力。
参照图1，块50生成亮度提高函数并将该亮度提高函数应用于经滤波的图像数据41(或如果在块30和50之间没有提供滤波，则应用于经拉伸的图像数据31)。作为应用块50的亮度提高函数的结果生成了输出图像51。块50的亮度提高函数增加(尤其在经滤波的图片数据41中至少一个颜色信道的像素值超过阈值的区域)输出图像51的亮度。此处将这样的区域称为“增强区域”。
块50的亮度提高函数试图改变经滤波的图像数据41以提供输出图像51，该输出图像51将为观看者提供接近于观看原始图景的内心反应。这是可能的，虽然说不可能准确替代在生成所输入的图像数据21时从原始场景损失的信息。
图2描述了根据本发明的特别实施例的用于实施块50的亮度提高函数的方法。如图2所示，块50可包括在块50A中计算亮度提高函数53，该亮度提高函数53可应用于经滤波的图像数据41以产生输出图像数据51。如下所述，亮度提高函数53应具有以下特性：避免引入会显著使输出图像数据51恶化的可察觉的空间或时间上的人为产物。输出图像数据51中所需的保真度将根据输出图像数据51的应用而变化。在以下示例中，亮度提高函数53生成以下值：该值用于与经滤波的图像数据41中的像素值相乘以产生输出图像数据51。在其他实施例中，可使用除相乘之外的其他技术将亮度提高函数53应用于经滤波的图像数据41。
亮度提高函数53基本平滑变化并具有延伸超过经滤波的图像数据41中的任何增强区域边缘的影响。这导致不仅对具有超过阈值(或满足增强区域内包含物的标准的其他亮度测量值)的颜色通道的经滤波的图像数据41中的像素在亮度方面的提高，而且对包围此类像素的区域在亮度方面的提高。如下所述，亮度提高函数53可在经滤波的图像数据41中的强图像梯度区域中包含锐利边缘。在某些实施例中，通过将平滑变化部分53A和边缘停止部分53B组合来生成亮度提高函数53。如以下详细说明的那样，边缘停止部分53B可以识别经滤波的图像数据41中的锐利梯度的位置。
基于识别经滤波的数据41中像素值超过阈值(或者否则满足增强区域中包含物的标准)的像素的映射，可确定亮度提高函数53的平滑变化部分53A。创建以下二元掩模是方便的：其中，至少一个颜色通道超过阈值的像素(或其他某些亮度测量值满足增强区域中包含物的标准的像素)具有一个值(例如“1”)而其他所有像素具有另一个值(例如“0”)。在图像数据为提供单一亮度值的表现形式或等价形式的情况下，可通过将亮度超过阈值的像素设置为一个值(例如“1”)而将其他像素设置为另一值(例如“0”)来制成该二元掩模55。
总而言之，需将增强区域中的像素包含物的阈值设置为略低于所述截短值(即，在所输入的图像数据21中允许的最大值)。某些视频格式通常使用为235的白色电平，意味着在每个颜色通道中全白反射对象对应于为235的像素值。典型的视频流还包括更大的“超饱和”的对应于反射高亮或光源的像素值。总之有损视频压缩可通过几个步骤改变像素值。已经发现，当处理RGB格式(每个颜色通道具有0到255的范围内的像素值)的所输入的图像数据21时，使用为230的阈值适于在有损视频压缩的情况下将增强区域与其他区域分离。阈值需要等于或低于所关心图像的白点(白场，white point)。对于典型的照片而言，已经发现，存在由有损压缩引入的人为产物的情况下，254的阈值是足够的。
此处描述的方法对被选择以在仅仅是亮或饱和的像素和在高动态范围图像中应被提升的像素之间进行区分的特定阈值并不非常敏感。在不显著降低输出图像的外观的情况下，该阈值可略微改变。不是一定要应用锐利或固定的阈值。
在像素值被指定为RGB格式或类似格式(其中分别针对多个颜色通道指定亮度信息)的情况下，对每个颜色通道应用相同的阈值是方便实用的，但不是必须的。通过将一个阈值(例如，229)应用于一个颜色通道而将另一阈值(例如，231)应用于一个或更多颜色通道，可以获得可接受的结果。
可根据二元掩模55通过用大型高斯核或接近高斯形状的核使掩模55模糊来生成亮度提高函数53的平滑变化部分53A。该结果为具有用于各个像素的值的灰度图像57。灰度图像57的值在与经滤波的图像数据41的增强区域的中央部分相对应的区域中最大，且所述值在远离该增强区域的中央部分时平滑降低。灰度图像57中的值可随后映射到范围1至α内，其中α为可用于产生平滑变化的亮度提高部分53A的倍增因子。灰度图像57的值到范围1至α的映射可以是线性的。
优选地，用于生成灰度图像57的模糊核足够大，从而在期望观看条件下，用于模糊二元掩模55的模糊滤波器的空间频谱主要包括小得不引起人类视觉系统注意的角频率。例如，该角频率可以是1周/度或更小，优选为0.5周/度或更小。人类视觉系统对发生在如此低空间频率下的亮度变化并不非常敏感。
模糊滤波器在像素之间间隔方面的标准偏差可取决于显示器尺度以及观看距离的预期范围。例如，在具有1920＊1080像素分辨率的37英寸(对角线)显示器上，典型实施例应用具有150像素标准偏差的模糊滤波器。这在3米观看距离处相当于1.2度。模糊滤波器的标准偏差可相当于至少0.75度，优选地至少为1度，更有选地至少为1.1度。因此，模糊滤波器的空间频谱将主要包括低角频率但不包括可能导致视觉干扰的人为产物的高角频率。
大多数计算机显示器要在大概0.5米的距离处被观看。30厘米宽的此类显示器覆盖大概30度的观看角度。家庭影院系统中的电视屏幕的推荐观看角度也通常为30到36度范围内。在所需观看角度为30度的情况下，等于显示器的水平分辨率的0.025的标准偏差将覆盖约0.75度而等于显示器的水平分辨率的0.05的标准偏差将覆盖约1.5度。
在此介绍的方法用于生成要在电视机上显示的图像的情况下，模糊滤波器的标准偏差需要至少是显示器的水平分辨率的0.025倍左右且优选地至少是显示器的水平分辨率的0.033倍左右(左右是指±15％)。例如，对于具有1920像素的水平分辨率的显示器，模糊滤波器的标准偏差优选地至少为50像素左右，更优选地至少为65像素左右。如上所述，通过150像素的标准偏差实现了在该水平分辨率的显示器上的良好效果。
可基于目标显示器的能力来选择亮度倍增因子α的值。亮度倍增因子α不应太大使得其产生的输出值显著大于显示器能输出的输出值。在典型实施例中，发现与4＊1200＝4800cd/m2的峰值强度相对应的α＝4的值在BrightsideTM DR37型显示器上产生了良好效果。由于较大的模糊半径，仅在较大增强区域中达到峰值强度。也可使用亮度倍增因子α的高或低的值。对于某些图像，可应用低于32左右的α值而不会引入明显的人为产物。在不经调整地将该方法应用于较宽范围图像的情况下，优选更加保守的α值，例如2到9或10范围内的值。在某些实施例中，α可在3到12的范围内。
亮度提高函数53的平滑部分53A在应用于经滤波的图像数据41的情况下本身拉伸整体对比度，并当在HDR显示器上观看时生成比经拉伸的图像数据31显得更为清晰的图像。但是，平滑部分53A不提高锐利边缘周围的局部对比度。为了进一步提高在此条件下的外观，亮度提高函数53可具有边缘停止部分53B。亮度提高函数53的边缘停止部分53B限制平滑部分53A在通过锐利边缘与增强区域分隔开的图像区域中的影响。
边缘停止部分53B可包括二元掩模，该二元掩模的像素值指示是否应将平滑部分53A应用于像素。通过识别平滑部分53A的以下像素可将边缘停止部分53B和平滑部分53A结合起来：所述像素对应于边缘停止函数53B的具有指示不应使用平滑部分53A的值的像素。如此识别出的平滑部分53A中的像素的值可设置为1(从而所述像素的值不影响经滤波的图像41中的对应值)。
图2A示出了用于基于掩模55和梯度图像59生成构成边缘停止函数53B的掩模的方法。梯度图像59可根据经滤波的图像数据41生成并可以是二元掩模的形式，该二元掩模的像素值指示在经滤波的数据41的每个像素处的梯度是否超出阈值。
随后可通过用二元掩模55作为种子的满水填充法(Flood FillAlgorithm)并允许从增强区域向外进行满水填充直至满水填充达到梯度图像59中的与具有较大梯度幅度(例如，超过阈值)的像素相对应的像素，或达到平滑部分53A的影响区域的边缘，来生成边缘停止函数53B。
可使用均差法来求解梯度图像59的梯度。例如，图2B中像素200处的梯度可通过计算垂直相邻像素201A和201B以及水平相邻像素202A和202B之间的差来确定。在示例实施例中，该梯度由下式计算：
G＝|A-B|2+|C-D|2 (6)
其中，G为梯度，A为像素201A的像素值，B为像素201B的像素值，C为像素202A的像素值而D为像素202B的像素值。为了稳健性，需使用广泛基础的少数像素(即，201A和201B为分开的少数像素而202A和202B为分开的少数像素)。在如图2B所示的实施例中，基础为5个像素。已经发现这有助于提供梯度图像59中的显著边缘，该显著边缘可靠地防止满水填充法漏过边缘。
在某些实施例中，可能需要使用形态(morphological)“开”(OPEN)算子(通常由“°”标示)进一步处理边缘停止部分53B并将结果轻微模糊化以抑制混叠。“开”算子(图2A未示出)可平滑轮廓并断开狭窄的峡部。开算子可通过将全部边缘侵蚀一个像素并随后将邻近任意边缘的像素加入所得到的图像中来进行运算。经进一步处理的边缘停止部分53B可如上所述那样与平滑部分53A结合来产生亮度提高函数53。所得到的亮度提高函数53可与经滤波的图像数据41相乘来产生输出图像数据51。
图3A、3B和3C分别示出：示例性LDR输入图像60；相应的平滑部分53A；以及相应的通过结合边缘停止部分53B与平滑部分53A来改进了的亮度提高函数53。
用来生成平滑部分53A和边缘停止部分53B的计算上有效的方法包括如图4A和4B所示的对图像数据进行下采样(down-sampling)和上采样(up-sampling)，图4A和4B分别描绘了用于根据本发明的特定实施例来生成平滑部分53A的方法70和生成亮度提高函数53的边缘停止部分53B的方法71。平滑部分53A可由图4A的方法70生成。方法70以掩模55开始。掩模55可类似于上述掩模55(图2)并在与上述类似处理中获得。在块72中，掩模被下采样N次以获得下采样掩模73。块72的N次下采样步骤中的每次都可在每个维度中将像素的数量减小适当倍数。在某些实施例中，方便进行下采样使得：在块72的N次下采样步骤的每次都使每个维度中的像素数量减小两倍(像素的总量减小四倍)。
在所示实施例中，随后通过循环74从下采样掩模73中获得平滑部分53A。循环74包括N次迭代，各次迭代都包括：在块74A中应用模糊滤波器(可包括应用具有小核的高斯模糊，例如，应用于每个像素的3＊3像素邻域的高斯模糊)；以及随后在块74B中对结果进行上采样(可涉及最近邻域内插法)。此技术可称为图像金字塔技术。图像金字塔的使用在，Burt P.和Adelson E.，1983年在IEEE通信学报31，4，532-540上发表的题为The Laplacian pyramid as a compact image code的文章中有所介绍。
在某些实施例中，可通过以表示经滤波的图像41的梯度的梯度图像75开始使用如图4B所示的方法71来生成边缘停止部分53B。在块76中，梯度图像75被下采样N次以产生下采样梯度图像77。随后，可在循环79中根据下采样掩模73进行N次通过使用最近邻域内插法对下采样掩模进行上采样(块78A)并对结果应用形态“膨胀(DILATION)”运算(块78B)，来获得边缘停止函数53B。膨胀(DILATION)运算(通常由标示)在较小(例如，3＊3像素)块上进行(即，使用3＊3方形结构元素)并被改变以在对应于边缘(例如，标示为在相应分辨率的边缘图像中具有高梯度)的像素处停止。
图4D进一步图示了这些概念特别是与生成边缘停止部分53B相关的概念。如图所示，方法71以表示经滤波的图像41的梯度的梯度图像75开始。可使用与上面针对梯度图像数据59描述的处理相类似的处理(例如，均差)，来确定梯度图像数据75的梯度。方法71也以可通过与上述相似的方式来获得的下采样掩模73(图4A)开始。在块76中，梯度图像75被下采样N次以产生一组N个下采样梯度图像77，N个下采样梯度图像77中每个都具有相应的分辨率。随后将下采样掩模73和下采样梯度图像77之一提供给形态膨胀运算(块78A)。块78A膨胀运算(通常由标示)在下采样掩模73的较小(例如，3＊3像素)块上进行(即，使用3＊3方形结构元素)。块78A的膨胀运算可配有下采样梯度图像77中的具有与下采样掩模73相同或相类似的分辨率的一个下采样梯度图像。块78A的膨胀运算可被改变以在对应于边缘(例如，确定为要不然标示为在下采样梯度图像77中的相应等价分辨率的一个梯度图像中具有高梯度的像素)的像素处停止。
向用于获得边缘停止函数53B的循环79提供块78A膨胀运算的结果。循环79包括N个迭代，每个迭代都包括：对前一循环79迭代的结果(或在初始循环79迭代的情况下，对块78A膨胀运算的结果)进行上采样(在块78B中)；并对块78B的上采样结果应用形态“膨胀”运算(在块78C中)。块78B上采样过程可包括最近邻域内插法。块78C膨胀运算可与上述的块78A膨胀运算相似，除了以下之外：块78C膨胀运算可将下采样梯度图像77中的具有与块78B上采样过程的输出的分辨率相同或相类似的分辨率的一个下采样梯度图像77作为输入，且块78C膨胀运算可被改变以在对应于边缘(例如，确定为要不然标示为在下采样梯度图像77中的相应等价分辨率的一个梯度图像中具有高梯度的像素)的像素处停止。在所示实施例中，循环79结束处将有N次上采样运算以及N+1次膨胀运算。在其他实施例中，初始的块78A膨胀运算并不必要，即可能有N次上采样运算和N+1次膨胀运算。循环79的输出为边缘停止部分53B。
优选地，进行膨胀运算(块78A、78C)的半径(块大小)可与进行块74A模糊运算(图4A)的半径相同。这使得受模糊算子(块74A)和膨胀算子(块78A、78C)影响的区域的边界按与顺序的上采样迭代相同的速率向外传播。
图4C示出可在执行图4A和4B的方法70和71的过程中应用的提供图像金字塔的梯度图像和下采样图像。特别地：图4C的栏(1)示出块72的下采样运算(图4A)；图4C的栏(2)示出循环74(图4A)的块74A模糊化运算和块74A上采样运算；图4C的栏(3)示出梯度图像75的块76下采样以获得下采样梯度图像77的集合(图4B)；以及图4C的栏(4)示出循环79(图4B)的块78A、78C膨胀运算和块78B上采样运算。
可通过提供可包括以下一个或多个优点的有利特征的方式来实施此处介绍的示例方法：
·所述方法可实施为由图形处理器单元(“GPU”)执行的算法；
·所述方法可实施为可由位于显示器、媒体播放器等中的信号处理器、专用集成电路(ASIC)或现场可编程门阵列(FPGA)执行的算法。
·所述方法足够有效率地在动态高清晰度电视(HDTV)分辨率视频流中实时执行。
·无需用户输入。全部参数可基于在上面显示图像的显示器的硬件特性预先选择。
·在避免产生干扰性人为产物的意义上，所述方法可以是稳健的。HDR输出图像的视觉质量可以至少对于非常广泛的内容而言与输入图像的视觉质量相同。
·输出视频流可以是时间上连贯的(因此，除非色彩和强度在输入图像中突然改变，否则色彩和强度不会突然改变)。
图5示出根据本发明的示例性实施例的设备80。设备80包括接收所输入的图像数据21(图1)的输入端82。图像数据依次经过线性化电路84、对比度拉伸电路86以及可选的滤波器88。滤波器88的输出传至阈值比较系统90和空间滤波器92以产生限定平滑部分53A的数据。空间滤波器92可执行例如方法70的运算(图4A)。滤波器88的输出还依次经过梯度计算机93、滤波器94以及阈值比较系统96以生成边缘停止部分53B。向生成亮度提高函数53的亮度提高生成器部分98提供限定平滑部分53A以及边缘停止部分53B的数据。将亮度提高函数53和滤波器88的输出提供给乘法器99，在所图示的实施例中，乘法器99将滤波器88的输出和亮度提高函数53相乘(例如，逐像素相乘)。在所图示的实施例中，来自乘法器99的输出被提供给输出端95。在其他实施例中，乘法器99可执行某些其他形式的映射或函数(即，不同于逐像素相乘)，将滤波器88的输出和亮度提高函数53作为输入并输出最终数据95。在某些实施例中，输出端95处的输出数据可存储在数据存储器中或在显示输出数据的显示器的数据路径上继续。设备80可实时处理输入端82处接收到的数据。
图5所示的部件可以以任何合适的方式实施。例如，这些部件可包括在合适的数据处理器、固定硬件电路、可配置硬件(例如FPGA或其经配置以运行所需函数等的部分)上运行的软件。
某些HDR显示器是具有两个调节器的类型，其可称为双调节器HDR显示器。第一调节器产生光模式而第二调节器调节由第一调节器产生的光模式以生成图像。第一调节器被驱动以产生图像的相对低分辨率表示。该低分辨率表示被第二调节器调节以提供可供观察者观看的高分辨率图像。第一调节器可包括主动调节光源(例如发光二极管等)的矩阵或阵列，或者，包括调节由功能上与调节器分离的光源发射的光线的调节器。第一调节器可称为发光层或光源层。根据在发光层上的位置而发射的光线的量可被控制。在某些实施例中，第二调节器为液晶显示器。这样的双调节器HDR显示器为第一和第二调节器生成分离的驱动信号。
为双调节器显示器中的第一和第二调节器生成驱动信号的一些方法被描述在于2005年5月27日提交的题为RAPID IMAGE RENDERINGON DUAL-MODULATOR DISPLAYS的国际申请No.PCT/CA2005/000807中。此申请公开为WO 2006/010244并通过引用结合于此。
在上述用于提高动态范围的方法和可用于为双调节器显示器的调节器生成驱动信号的方法之间存在配合。特别地，某些中间结果(例如，经下采样/上采样的图像数据的各个级别)可用于两种方法。在某些实施例中，此处描述的用于提高动态范围的方法和设备与用于为双调节器显示器生成驱动信号的方法和设备相结合。优选地，在此类实施例中，两种方法之间可分享数据。这节省硬件和/或计算资源。一种特定节省导致在某些实施例中：某些下采样图像数据既用于提高图像的动态范围也用于生成合适的驱动信号(例如，调节器之一的驱动信号)以使双调节器显示器显示提高的图像。在某些实施例中，根据本发明的设备被结合到用于显示器中的视频处理器芯片中或用于显示器中的显示器驱动芯片中。
图6和6A示出根据示例实施例的用于提高并显示图像的方法100。例如，方法100可在双调节器显示器的电路中实施。在块602中，在强度空间中将初始LDR图像101A线性化以提供经线性化的图像101B。在初始LDR图像101A已通过伽玛曲线编码的情况下，块102可包括伽玛校正LDR图像101A的亮度值以获得经线性化的图像数据101B。
在块104中，对经线性化的图像101B进行下采样(例如，下采样至与要被用来显示图像的双调节器显示器的光源层(即，第一调节器)的元素的分辨率相匹配的分辨率)以产生下采样图像数据105。块104下采样可在一个或更多阶段执行。光源层可包括，例如，光源(诸如发光二极管(LED)等)矩阵，反射型或透射型调节器中的可控像素的阵列，所述透射型调节器调节来自普通光源或普通组光源的光线的传输。下采样图像105的分辨率通常大于下采样梯度图像77(参见图4B)的分辨率或大于用于动态范围提高的低分辨率图像107。
下采样图像105可被保存(例如，保存在合适的存储器等中)。在块106中，对下采样图像105进一步下采样从而产生最低分辨率图像107。最低分辨率图像107可具有用于生成亮度提高函数53(例如，用于执行图4A和4B的方法70和71)所需的分辨率。块106下采样可在一系列下采样步骤中执行。
在块108中制备标识增强区域的掩模109。如上所述，例如，块108可包括将最低分辨率图像107中的像素值与一个或更多阈值进行比较并生成二元掩模109。掩模109(图6)可对应于如上所述的下采样掩模73(图4A和4B)并且掩模109是使用类似于上述过程的过程在块108中生成的。在某些实施例中，全分辨率二元掩模(类似于图2、4A的掩模55)可直接根据经线性化的图像数据101B生成，然后可对全分辨率二元掩模自身进行下采样以获得掩模109。
在块110中，根据经线性化的图像数据101B来计算梯度图像111。梯度图像111(图6)可对应于梯度图像75(图4B)并可以与上述方式类似的方式在块110中计算梯度图像111。在块112中，对梯度图像111进行下采样至与最低分辨率图像107和掩模109相同的分辨率。在所示实施例中，在一系列下采样步骤进行块112下采样以产生一组不同分辨率的下采样梯度图像113。这组下采样梯度图像113(图6)可对应于一组下采样梯度图像77(图4B)并且以与上述方式类似的方式在块112中生成。
在块114中，掩模109被多次上采样以达到经线性化的图像101B的分辨率。如上面在循环74(图4A)中所述，可在每个块114上采样步骤前应用高斯模糊(图4A的块74A)。块114上采样的结果为灰度图像115。灰度图像115可对应于灰度图像57(图2)和/或对应于亮度提高函数的平滑部分53A(图2，图4A)。
在块116中，将掩模109上采样至与下采样图像105相同的分辨率。块106上采样运算的结果被保存(例如，保存在合适的存储器等中)作为经上采样的图像117。如上面在方法71(图4B)中所述，可在每个块116上采样步骤中应用膨胀运算(图4B的块78A和78C)。如上面结合块78A和78C的膨胀运算所讨论的那样，在每个块116上采样步骤中，相应分辨率的梯度图像113可用作边缘停止(例如，以限制膨胀运算的程度和/或亮度提高函数的相应程度)。例如，可将与相应梯度图像113中的高梯度像素相对应的像素设置为导致亮度提高函数较少影响或根本不影响所述像素的值。
在块118中，将经上采样的图像117进一步上采样至经线性化的图像101B的分辨率。块118上采样的结果为经上采样的图像119。虽然在图6中未明确示出，但是块118上采样过程也可包括与块78A和78C(图4B)的膨胀运算类似的膨胀运算。再次地，在每个块118上采样步骤中，相应分辨率的梯度图像113可用作边缘停止(例如，以限制膨胀运算的程度和/或亮度提高函数的相应程度)。经上采样的图像119可对应于亮度提高函数的边缘停止部分53B(图4B)。
在块120中，将灰度图像115与经上采样的图像119相乘(例如，逐像素相乘)以产生提高图像121。在其他实施例中，块120可包括某些其他映射，所述其他映射将灰度图像115和经上采样的图像119作为输入并输出提高图像121。在块122中，将防混叠滤波器应用于提高图像121以产生饱和度扩展图像123。在其他实施例中，块122可包括其他防混叠技术或从加强图像121中删除或降低混叠以产生扩展图像123。扩展图像123可对应于上述亮度提高函数53(图2)。
在块124(图6A)中，将饱和度扩展图像123与经线性化的图像数据101B相乘(例如，逐像素相乘)以产生HDR图像125。在某些实施例中，块124可包括在进行乘法之前的映射(例如，映射到值1到α)。在其他实施例中，块124可包括将饱和度扩展图像123和经线性化的图像数据101B作为输入并输出HDR图像125的某些其他映射。
在上述方法100的实施例中，通过130在块126中生成了用于发光层(例如，双调节器显示器的第一调节器)的控制信号131。在块126中，将下采样图像105的亮度固定，因此亮度不超过阈值(例如，该阈值可与发光层的LED能够发射的最大亮度相关)。块126产生固定图像127。
在块128中，对固定图像127进行亮度收集步骤以产生经收集的LED图像129。在某些实施例中，块128可包括将模糊滤波器应用于固定图像127。在第一调节器的光源元素被布置成与用于图像处理的网格不同的模式的情况下，块128是有用的。例如，显示设备中的第一调节器的LED或其他光源可被布置成六边形网格，但是方法100的图像处理步骤可在方形或长方形网格(方便图像处理算法和/或硬件)上进行。在此情况下，某些长方形网格元素可以不对应于第一调节器的LED或其他发光元素。模糊滤波运算可在块128中进行从而将强度扩展至不对应于第一调节器的LED或其他发光元素的邻域元素。
在块130中，对经收集的LED图像129进行交换以产生第一调节器驱动值131。块130交换运算可提高由第一调节器发送至第二调节器的与增强区域相对应的区域的光强。共同地，块130交换运算和块132光场仿真可尝试补偿第一调节器中的多个LED的潜在重叠效应。块130交换运算可接收经上采样的图像117作为输入。通过提高第一调节器的光源(所述光源包围与第二调节器上的位置相对应的光源)的输出可提高第二调节器上的该位置上光强。如下所述，第二调节器的像素值是基于光场仿真(块132)来设置的。块132光场仿真考虑了当第一调节器被驱动值131驱动时由第一调节器产生的光。在此方式中，块132光场仿真避免以下区域在观看者观看的图像中不适当地明亮：该区域包围由第一调节器产生的光模式的强度已经增加的位置。
在所示实施例中，使用第一调节器驱动值131作为输入来执行块132光场仿真。由交换运算130生成的第一调节器驱动值131考虑经收集的LED图像129和经上采样的图像117。在其他实施例中，块32光场仿真可以可选地接收经收集的LED图像和/或经上采样的图像117。经上采样的图像117可提供与要被应用于光源层的元素的动态范围提高有关的信息。块132光场仿真产生亮度映射133。亮度映射133估计：当应用与被经上采样的图像117改变的经收集的LED图像129相对应的驱动值131来驱动光源层(第一调节器)时，所导致的入射到第二调节器的像素处的光的亮度。
在块134中，HDR图像125除以亮度映射133以产生第二调节器元素的驱动值135。在某些实施例中，块134除法运算可包括逐像素除法。在其他实施例中，块134可包括将HDR图像数据125和亮度映射133作为输入并从中生成第二调节器驱动值135的某些其他形式的映射。块134也可包括调整用于第二调节器的响应函数(伽玛)的图像值。
当根据驱动值131驱动第一调节器并根据驱动值135驱动第二调节器时，显示器将显示HDR图像125的渲染。
在某些实施例中，第一调节器驱动值131被向下游发送至包含第二调节器驱动值135的图像格式的“空闲”扫描线中的显示驱动电路。该驱动电路从空闲扫描线中提取第一调节器驱动值131并应用第一调节器驱动值131来驱动第一调节器。因为第一调节器通常比第二调节器具有少得多的元素并且数据格式可具有承载第二调节器不需要的一个或多个扫描线的容量，所以这常常是可行的。例如，第一调节器可由多个LED制成，而所述LED的数量少于第二调节器的一条扫描线上的像素的数量。在此情况下，用于LED的所有的第一调节器驱动值131都可包括在数据格式的单一扫描线中，单一扫描线无需承载第二调节器的像素的驱动值135。
可设置显示器或显示器内组件对输入的图像数据执行图6和6A的方法100。在某些实施例中，该方法包括确定输入的图像数据是否需要动态范围提高。如果无需动态范围提高(例如，在输入的图像数据限定以合适HDR数据格式的高动态范围图像的情况下)，则该显示器切换至关断动态范围提高的模式。方法100(图6和6A)的步骤可例如在一个或多个数据处理器(诸如图形处理器、数字信号处理器或微处理器等)中执行，和/或通过硬件子系统(诸如适当配置的专用集成电路、现场可编程门阵列、逻辑电路等)执行。在某些实施例中，方法100(图6和6A)的步骤可以对一系列视频帧的帧实时(即，至少平均而言在视频信号的帧速率)执行。
本发明的某些实施包括执行软件指令的计算机处理器，该软件指令使该处理器执行本发明的方法。例如，显示器中的一个或多个处理器或显示器控制器或媒体播放器可通过执行在处理器可存取的程序存储器中的软件指令来实施图1、1A、2、2A、4A、6和/或6A的方法。本发明也可被提供为程序产品的形式。程序产品可包括承载包括指令的计算机可读数据集合的任何介质，所述指令当被数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可为广泛形式中的任何形式。该程序产品可例如包括：诸如磁数据存储介质(包括软盘、硬盘驱动)的物理介质，包括CD ROM和DVD的光数据存储介质，以及包括ROM和快闪RAM的电数据存储介质等。程序产品上的计算机可读数据可被可选地压缩或加密。
在上面提及组件(例如，软件模块、处理器、装配、装置、电路等)的情况下，除非特别指出，需将对该组件的引用(包括对“手段”的引用)解释为包括执行所述组件功能的作为该组件等价物的任何组件(即，功能上等价)，包括与所公开的执行在本发明所示的示例实施例中的功能的结构在结构上不等同的组件。
本领域技术人员应当清楚，鉴于上述公开，在实施本发明时可以在不脱离本发明精神或范围的情况下有很多改变和修改。例如：
·在上述的示例方法中，在拉伸了对比度(例如，在块30中)之后应用亮度提高函数53(例如，在块50中)。该顺序并非强制性的。在替代实施例中，可在拉伸对比度之前应用亮度提高函数。
·通过在像素值随亮度线性变化的表示中进行操作来便于此处描述的方法。这是方便的但并非强制性的。此处描述的方法经适合的改进可在非线性空间中执行。
·在某些应用中，可行的是提供选项以允许人类用户微调一个或多个影响动态范围提高的参数，从而获得具有期望外观的HDR图像。此类应用的实施例可包括提供访问所述参数的用户接口。随后，用户可选择所述参数的期望值并观看通过应用此处描述的使用所述参数的方法从源图像创建的图像。可使任何参数成为用户可调的。可以作为用户可调参数的某些非限制性示例如下：限定线性化函数的参数；用于识别增强区域的阈值；指定黑点和白点的参数；指定要被全局应用的对比度拉伸的量的参数；与被亮度提高函数影响的区域的尺寸相关的参数；与亮度提高函数的最大值相关的参数等。
·此应用和所附权利要求可引用低动态范围或LDR图像数据和高动态范围(HDR)图像数据。应该理解这些引用是彼此相对而言的。也就是说，应该理解低动态范围数据的动态范围小于高动态范围数据的动态范围，反之亦然。但是，除非另行指出，低动态范围或高动态范围数据的绝对动态范围没有任何限制。
因此，根据所附权利要求限定的实质内容来解释本发明的范围。