图像增强方法和设备.pdf

本发明涉及基于输入图像(100)计算输出图像(145)的设备和方法。该方法包括步骤：将输入图像(100)分为(105)多个子图像，每个子图像包括来自于输入图像(100)的各频带的信息；计算(110)像素上限储备信号，该像素上限储备信号定量可用于增强输入图像(100)中像素的像素值的余量；根据像素上限储备信号为要改变的子图像内的像素计算(115)像素增强系数，从而使由像素上限储备信号定量的余量在要改变的各子图像间分摊；通过使用像素增强系数以及来自各子图像的相应的像素值来改变(120)各子图像；以及通过使用已改变的子图像来生成(135)输出图像(145)。本发明还涉及一种图像信号，该图像信号包括形成图像(100)的像素值以及一组能够实现图像增强的像素增强系数。

1.  一种基于输入图像(100)计算输出图像(145)的方法，该方法包括以下步骤：
将输入图像(100)分为(105)多个子图像，多个子图像中的每个子图像包括来自于输入图像(100)的相应频带的信息；
计算(110)像素上限储备信号，该像素上限储备信号定量可用于增强输入图像(100)中的像素的像素值的余量，该像素上限储备信号至少部分基于输入图像(100)；
根据像素上限储备信号为要改变的各子图像内的像素计算(115)像素增强系数，从而使由像素上限储备信号定量的余量在要改变的各子图像间分摊；
通过使用像素增强系数以及来自各子图像的相应的像素值来改变(120)所要改变的各子图像；以及
通过使用已改变的子图像来生成(135)输出图像(145)。

2.  根据权利要求1所述的方法，其中计算像素上限储备信号以便允许具有预定削峰量的输入图像(100)的增强。

3.  根据权利要求1所述的方法，其中要改变的子图像是按顺序进行改变的，并且其中在考虑了多个子图像的先前已改变的子图像所消耗的余量的情况下，为要改变的每个子图像计算像素上限储备信号。

4.  根据权利要求1所述的方法，其中子图像处理的顺序是通过计算像素上限储备信号并且将所述信号与各子图像相关联而建立的，从而建立各子图像中增强的潜力，以便决定子图像的处理顺序。

5.  根据权利要求1所述的方法，其中通过开始于包括输入图像(100)的最高频率范围内的信息的子图像到包括输入图像(100)的最低频率范围内的信息的子图像来对多个子图像进行处理。

6.  根据权利要求1所述的方法，其中：
像素上限储备信号将输入图像(100)的各像素的像素值的余量定量为最大值；
通过将输入图像(100)的各像素的像素值的余量定量为最小值来计算另一个像素上限储备信号；以及
如果子图像的像素的像素值为正值则像素增强系数基于像素上限储备信号，如果子图像的像素的像素值为负值则像素增强系数基于另一个像素上限储备信号。

7.  根据权利要求1所述的方法，其中像素上限储备信号通过计算定量围绕着各像素的区域中的最小像素上限储备的像素上限储备信号来考虑各像素附近的像素上限储备的空间分布。

8.  根据权利要求1所述的方法，其中使用不同的过滤器来过滤要改变的各子图像的像素上限储备信号，以便计算包括与各子图像的频率范围相同的频率范围内的频率分量的像素增强系数。

9.  根据权利要求1所述的方法，其中对于所有子图像，像素增强系数受到单个最大像素增强系数值的限制。

10.  根据权利要求1所述的方法，其中像素增强系数基于没有进行削峰的子图像中的像素的最大线性增益而由范围在0到1内的缩放系数α进行衰减。

11.  根据权利要求10所述的方法，其中当像素周围的预定区域内的子图像的像素的最大像素值和最小像素值之间的差值低于阈值时，将像素增强系数设置用以衰减像素。

12.  根据权利要求1所述的方法，其中输入图像(230)由彩色图像(200)的亮度分量构成，以及输出图像(145)表示彩色图像(200)的增强亮度分量，并且其中使用增强亮度分量与原始亮度分量的比值来缩放彩色图像(200)的RGB分量。

13.  一种基于输入图像(100)计算输出图像(145)的设备(600)，该设备(600)包括：
分离装置(610)，其被配置成将图像分为多个子图像，多个子图像中的每个子图像包括来自于输入图像(100)的相应频带的信息；
第一计算装置(620)，其被配置成计算像素上限储备信号，该像素上限储备信号定量可用于增强输入图像(100)中像素的像素值的余量，该像素上限储备信号至少部分基于输入图像(100)；
第二计算装置(630)，其被配置成根据像素上限储备信号为要改变的各子图像内的像素计算像素增强系数，从而使由像素上限储备信号定量的余量在要改变的各子图像间分摊；
改变装置(640)，其被配置成通过使用像素增强系数以及来自各子图像的相应的像素值来改变所要改变的各子图像；以及
生成装置(650)，其被配置成通过使用已改变的子图像来生成输出图像(145)。

14.  一种有形地收录在记录载体(675)中的计算机程序产品，该计算机程序产品包括指令，在执行这些指令时，使处理器执行权利要求1到12的方法中的任何一个的步骤。

15.  一种图像信号(685)，包括：
形成图像(100)的像素值；以及
一组能够实现图像(100)的增强的像素增强系数，这些像素增强系数是使用权利要求1到12的方法中的任何一种方法生成的。

图像增强方法和设备
技术领域
本发明总体上涉及基于输入图像计算输出图像，其中输入图像可以是例如静止图像或视频序列的一部分。
背景技术
可以用多种多样的图像增强技术来改善由静止图像和视频序列二者的观看者察觉到的图像质量。
一类重要的增强技术是由对比度增强功能构成的。在US 5,717,789中公开了实现对比度增强功能的被称为Burt-pyramid算法的一种算法的实例。这一算法能够实现从组分子频谱图像合成出原始的高分辨率图像，而不会因为重叠的缘故而引入虚假的空间频率。根据Burt-pyramid算法，按照分离组分图像的层次，将原始图像分为多个子图像。每个子图像可以是由原始图像的不同空间频率范围构成的拉普拉斯图像加上残余高斯图像。
图像增强通常导致改变相应频率范围内的像素值。可以将原始图像G₀增强为增强图象G₀’：
G₀’＝g₀D₀+g₁D₁+g₂D₂+...+g_n-1D_n-1+G_n，(1)
其中g_n≥1，g是像素增强系数，并且D_n是在原始图像的相应频谱频率范围内的子图像或导出的子图像。可以将D_n理解为从“原生”子图像G_n导出的一组子图像。在本公开文本中，可以将D_n和G_n二者都理解为子图像，其中D_n是通过下采样从G_n导出的。增强除了最低频率范围之外的所有频率范围内的像素值，能够增强对比度很小的平滑图像区域内的锐度和对比度。
然而，不考虑图像内容而改变像素值可能会造成过调(overshoot)，将具有边缘的区域中的像素值增强到高于期望值，以及需要削峰或其它措施来防止图像失真，失真通常会导致图像质量变差。
发明内容
本发明的目的是提供一种用于增强输入图像对比度的解决方案，该解决方案减轻了上述问题并且防止或限制了过调量以及由此的削峰量。
该目的是由权利要求1中定义的方法以及权利要求13中定义的设备而实现的。
本发明提出在多尺度法中使用来自输入图像的像素值来改变输入图像中的像素。在根据本发明的方法中，将输入图像分成多个子图像，每个子图像对应于输入图像的一个频带。虽然典型地将会处理所有的子图像，但是本发明并不局限于此。
通过定量(quantify)可用于增强输入图像中的像素的像素值的余量来计算像素上限储备(headroom)信号。虽然像素上限储备信号可以单独基于输入图像，但是下面将会介绍包括使用其它信息的其它变体。
使用像素上限储备信号来为所要改变的多个子图像的各个子图像内的像素计算像素增强系数。典型地，将会针对各子图像中的每个像素来计算这些像素增强系数。像素增强系数是以这样一种方式计算的：在所要改变的各子图像间分摊像素上限储备信号所定量的余量。之后，通过使用相应的像素增强系数来增强子图像中的像素值，使像素增强系数用于改变所要改变的各子图像。随后使用改变过的子图像来生成输出图像。
通过使用多尺度法并且在像素增强系数计算中通过利用像素上限储备信号在子图像间分摊可用像素上限储备来明确地考虑可用于输入图像中的像素的像素上限储备，可以增强各子图像以及输出图像，而没有或仅有有限数量过调，从而不需要或者仅需要有限数量的削峰。因此本发明提供了精确的削峰控制。
通过使用多尺度法进行增强，可以使用可用上限储备来增强特定子图像内的特征。可以通过为单独的子图像分配较大比例的上限储备来优待这些子图像，从而能够实现在维持同样的控制水平的同时允许在受到优待的子图像内使用较大的像素增强系数。
在优选实施例中，子图像是按顺序改变的并且为所要改变的每个子图像计算像素上限储备信号。而且，为正在改变的各子图像计算的像素上限储备信号考虑了此前已改变的子图像所消耗的像素上限储备(余量)。结果，在生成已改变的子图像时所消耗的余量将不可再用于改变其它子图像。按照这种方式，可以通过子图像上的像素上限储备的分配以及子图像处理的优先排序来分配像素上限储备。同时，保持了防止或限制过调量的能力。此外，在增强此前已改变的子图像时没有消耗的上限储备可以用于增强其它子图像。
在另一种优选实施例中，子图像处理的顺序是通过将所计算的像素上限储备信号与各子图像中的像素值相关联而确定的。按照这种方式，确定了各子图像中增强的潜力，以便决定子图像处理的顺序。基于像素上限储备信号，可以选择各种各样的处理顺序，比如首先增强具有最大增强潜力的子图像的贪心(greedy)增强算法。可选择地，可以想象出更为巧妙的增强算法，其首先增强可能仅仅进行较小增强的子图像，从而保证了增强的进行并且与贪心增强算法相比，导致了对子图像更为均衡的增强。
在另一个实施例中，子图像处理的顺序是固定的，从包括输入图像的最高频率范围中的信息的子图像到包括输入图像的最低频率范围内的信息的子图像。结果，高频带受到优待，这导致增强图像的锐化。
在又一个实施例中，计算两个像素上限储备信号，一个像素上限储备信号将输入图像的各像素的像素值的余量定量为最大像素值，以及另一个像素上限储备信号将输入图像的各像素的像素值的余量定量为最小像素值。随后，当子图像像素的像素值为正值时，像素增强系数基于像素上限储备信号，以及当子图像像素的像素值为负值时，像素增强系数基于另一个像素上限储备信号。这一特定特征允许在非常黑暗的区域内增强明亮细节(比如高亮)，或者按照另外一种可选方案，增强非常明亮的区域内的黑暗细节。
当没有预防措施改变个别子图像中的像素值时，所谓的晕环人工假象可能会在高对比度对象边缘周围以伪发光的形式或以伪阴影的形式出现。
在优选实施例中，通过计算定量围绕着各像素的区域中的最小像素上限储备的像素上限储备信号，像素上限储备信号考虑了各像素周围区域中像素上限储备的空间分布。结果，可以使用该像素上限储备信号来确定不会造成区域内削峰的区域最大线性增益。结果，区域内的增强将会更加连续。
在再一个优选实施例中，通过对要改变的每个各子图像使用不同的过滤器来过滤像素上限储备信号，以便计算像素增强系数，其包括与子图像的频率范围相同的频率范围内的频率分量。与前面的考虑了子图像像素的区域内的像素上限储备的实施例相组合，可以获得频谱非常平滑的像素增强系数。这样降低了在子图像内引入晕环的可能性。
在另一个实施例中，对于所有子图像，像素增强系数以单个最大像素增强系数值为上限。当可以使用充足的带宽时，将通过使用该最大像素增强系数来增强所有已改变的子图像，从而导致类似于全局线性直方图拉伸的增强。结果，防止了由于过度增强已具有足够对比度的区域而造成的“发光”的人工假象。
在另一种实施例中，像素增强系数基于没有进行削峰的子图像中的像素的最大线性增益，由范围在0到1的缩放系数α来进行衰减。结果，仅有α份额的可用上限储备将用于当前子图像，并且(1-α)份额的可用上限储备可用于增强剩余的子图像。这样“发光”的人工假象也得到了衰减。
在优选实施例中，当像素周围的预定区域内子图像像素的最大像素值和最小像素值之间的差低于阈值时，将用于子图像像素的像素增强系数设定为衰减像素的像素值。在这种情况下，可以降低由例如DCT量化而造成的噪声。
在另一种优选实施例中，本方法用于增强彩色图像。为了增强彩色图像，使用彩色图像的亮度分量作为输入图像并且将其分为子图像。在处理之后，输出图像是彩色图像的增强的亮度分量。随后，使用由增强亮度分量与亮度分量的比值所确定的缩放系数，通过缩放彩色图像的RGB分量来形成增强的彩色图像。使用这种特殊方法，提供了充分保留原始彩色图像的色饱和度的可能。
此外，本发明还涉及一种有形地收录在记录载体中的计算机程序产品，该计算机程序产品包括指令，在执行这些指令时，处理器能够进行权利要求1到12所述方法中的任何一个的步骤。
另外，本发明还涉及一种图像信号，该图像信号包括形成输入图像的像素值和一组像素增强系数，该组像素增强系数能够实现按照权利要求1到12所述方法中的任何一种方法的输入图像处理。
附图说明
将参照附图进一步阐述和介绍本发明的这些和其它方面，其中：
图1是改变像素值的方法的流程图；
图2是改变彩色图像中的像素值的优选方法的流程图；
图3是说明激进均匀直方图拉伸(aggressive uniform histogramstretching)的示意图；
图4是说明在缺乏用于激进均匀直方图拉伸的足够的上限储备的情况下的增强的示意图；以及
图5是根据本发明的设备在可能的应用之内的框图。
在所有这些附图中，相同的附图标记指示相同的元件或者执行同样功能的元件。
具体实施方式
图1是根据本发明的方法的流程图。它描绘的是用于增强由像素值表示的亮度输入图像100的程序流程。在步骤105中，将输入图像100分成多个子图像。多个子图像中的每个子图像包括来自于输入图像100的对应频带的信息。典型地，将会对每个子图像进行处理，以便生成已改变的子图像。随后将这些已改变的子图像组合起来，以便在步骤135中生成增强亮度图像145。
生成已改变的子图像需要三个步骤：
-计算像素上限储备信号的步骤110；
-计算像素增强系数的步骤115；以及
-基于像素增强系数改变各子图像的步骤120。
本发明涉及计算像素上限储备信号的步骤110。像素上限储备信号定量可用于图像中像素的像素值增强的余量。可用余量是以这样一种方式在子图像间进行分摊：当在各子图像中的像素在它们各自的像素上限储备的部分内被改变时，已改变的子图像的组合像素值将不会发生过调。结果，不需要进行削峰或饱和来防止输出图像中的图像失真。按照另外一种可选方案，可以允许进行少量的削峰来改善所感觉到的增强。在第一种变型方案中，为图像计算单个像素上限储备信号并且随后在不同的子图像之间分布可用的上限储备，例如，通过分配整个像素上限储备的预定部分来增强各子图像。这种工作模式的缺点是，损失了在增强某一子图像中没有消耗掉的上限储备。
在第二个变型方案中，这种变形方案在按顺序处理子图像时特别有效，在处理每个要改变的子图像之前计算像素上限储备信号，并且各个像素上限储备信号说明了之前已改变的子图像中所消耗的像素上限储备。结果，在增强一个或多个子图像中没有消耗掉的上限储备可以用于增强其它后续的子图像。
在第三个变型方案中，在处理之前计算出来的像素上限储备信号随后被用作确定增强各个子图像的潜力的基础。结果，可以使用像素上限储备信号以依赖于图像的方式来确定子图像改变的优选顺序。虽然第三个变型方案的计算繁重得多，但是它能够实现各子图像增强的优先排序。
图1中所示的实施例使用了前面介绍的第二种变型方案，其中在考虑了改变先前的子图像所消耗的上限储备情况下，为所要改变的每个子图像计算像素上限储备信号。
这种变型方案中的像素上限储备信号定量可用于增强每个相应子图像中像素的像素值的余量。如图1中所示的图像中像素值的改变是一个迭代处理。在每次迭代期间，确定剩余的像素上限储备。以这样一种方式在所有子图像间迭代地分摊原始图像中可用的像素上限储备：在由各子图像的像素上限储备信号所表示的余量内改变各子图像中的像素。为了在不同的子图像间分摊像素上限储备，需要根据可用像素上限储备来计算用于增强子图像中的像素的像素增强系数。结果，输出图像中相应像素的像素值的增强将不会引起过调。
为了这个目的，本发明必须要防止或者限制过调量，从而降低削峰的必要性或者使削峰的必要性最小化。在改变第一子图像时所消耗的像素上限储备的量将会影响用于增强其它子图像的可用的上限储备量。应当注意的是，图1中的流程图仅仅表示单一的实现方式并且可以设想有各种不同的备选方式。
下一个步骤115包括计算像素增强系数，对于子图像内的像素，像素增强系数的计算基于为该子图像计算出来的像素上限储备信号。在该实施例中，像素增强系数取决于为该图像计算出来的像素上限储备信号以及先前在其它子图像的增强中使用的像素上限储备。虽然在该实施例中要增强所有的像素，但是在不偏离本发明的范围的情况下也可以使用遮罩(mask)并且仅仅增强子图像的某些区域或片段。
在该实施例中，使用像素上限储备信号来为子图像的像素确定不会导致削峰的最大线性增益。基于这一信息，可以为子图像的某一像素计算像素增强系数。像素增强系数可以是通过使用该像素的像素上限储备信号以及子图像的对应像素值来计算。如果可以接受特定量的过调，则可以选择比基于像素上限储备信号所允许的像素增强系数更高的像素增强系数。对于本领域的技术人员而言，显然将需要其它的手段，比如(软)削峰，以便限制可视的图像失真。
第三个步骤120包括通过使用计算出来的像素增强系数来改变多个子图像中的子图像。在实践中，这涉及子图像中各像素的像素增强系数的使用，以及通过使用相应的像素增强系数来乘以各像素值来得到各像素的像素值的增强。
一旦生成了已改变的子图像，在步骤125中可以重复进行改变子图像的处理，直到在步骤125中处理和/或改变了所有的子图像。最后，通过合并这些已改变的子图像来生成输出图像145。在一个实施例中，这可以通过对所有已改变的子图像进行相加而完成。
虽然图1中的流程图描绘的是在子图像改变循环之外生成输出图像，但是也可以将生成步骤135并入到子图像改变循环中。在这种情况下，每次循环迭代都会得到中间输出图像，在该中间输出图像中合并了至此为止已改变的所有子图像。可以使用中间输出图像来帮助为随后的子图像建立像素上限储备信号，因为中间输出图像已经考虑了所有此前已改变的子图像。
当迭代地处理各子图像并且在每次迭代中计算像素上限储备信号时，子图像处理的顺序是至关重要的。改变子图像期间所消耗的像素上限储备将不能再用于其它子图像的改变。因此排列子图像处理的优先次序是很重要的。
在第一种变型方案中，优先次序与图像无关。子图像是按照从高频子图像到低频子图像的顺序进行处理的。结果，最大上限储备量可用于增强高频子图像，并且剩余上限储备可用于低频子图像。结果，高频子图像的转变可能增强得更甚，从而造成锐化效应。
在图1中所示的实施例的另一种变型方案中，像素上限储备信号是在开始进行子图像的改变之前计算的。而且，随后使用各像素上限储备信号来排列子图像处理的优先次序。第一种策略应该是优待能够实现最大增强的子图像，得出一种贪心子图像优先排序策略。按照另外一种可选方案，可以设想一种更加巧妙的子图像优先排序策略，比如在允许较强增强的子图像的处理之前，选择允许最小增强的子图像并且实现这些增强。按照这种方式，使用可用像素上限储备来增强贪心算法中不能增强的区域。因此，这种更加巧妙的办法通常会导致对子图像更加均匀的增强。
图2是改变彩色图像200中像素值的优选方法的流程图。虽然这一实施例中的原始彩色图像具有YUV格式，但是本发明并不局限于此。使用YUV输入的优点在于，它已经包括了独立的亮度分量。然而，虽然可以在保持该彩色图像的色度信息(U/V)不变的情况下，使用图1中给出的办法来增强彩色YUV图像的亮度(Y)分量，但是这种办法可能会导致在明亮区域中发生不希望有的色饱和度损失，并且可能会引起黑暗区域中发生不希望有的色饱和度的增加。
为了保持彩色图像的色饱和度不变，最好通过基于图像中的亮度信息确定缩放系数以及相应地缩放图像的各RGB分量来增强彩色图像。结果，基本上保持了色饱和度。
图2显示了改变彩色图像200中的像素值的优选方法。阴影区域215包括前述算法的核心。从彩色图像200开始，在步骤205中将亮度分量230分离出来并且用作输入图像230来在步骤135中生成输出图像145，该输出图像145是增强亮度图像。倘若彩色图像235不是RGB表示，则在步骤220中将彩色图像200转换为RGB表示。随后在步骤220中，使用基于增强亮度图像(输出图像145)的各像素值与原始亮度图像(以及输入图像230)的各像素值的比值的缩放系数，在每个像素的基础上对RGB分量进行缩放。在缩放了RGB分量之后，输出所获得的增强的彩色图像225。
本发明的另一个优选实施例的目的在于提供对比度增强并且同时防止削峰，以及减少可能由增强具有高对比度边缘的区域而造成的“发光”的人工假象。为此，倘若可利用的上限储备充足的话，该实施例就着手于对所有的频带都增强相同的量。结果，当一个区域具有充足的上限储备时，这将会导致均值不变的全局线性直方图拉伸，这是一个不会造成“发光”人工假象的操作。
在没有充足上限储备的区域中，该实施例提出从最细尺度(最高空间频率)到最粗尺度(最低空间频率)针对所有空间尺度进行迭代处理，最粗尺度表示图像的平均亮度(DC分量)，因此优待高频子图像。不需要将所有的子图像都包括在处理操作中，以及在一种变型方案中，以不变的形式保留DC分量。而且，下文将会更加详细地介绍，像素增强系数是以这样一种方式生成的：像素增强系数的变化在子图像中表现出平滑性态，从而有效地减少了子图像内的“发光”的人工假象。
首先，在步骤105中将公式中由V表示的输入图像100分成n个子图像Bⁱ。在这一特定实施例中，各个子图像是使用尺度i所对应的空间低通过滤器Fⁱ_LP经过连续的低通过滤来获得的。
V LP i = F LP i ⊗ V - - - ( 1 ) ]]>
其中表示空间卷积。在低通过滤以后，随后通过减去视频的低通过滤版本而提取出频带Bⁱ。
B i = V LP i - V LP i - 1 - - - ( 2 ) ]]>
在该特定实施例中，子图像的处理顺序被预定为从高到低，并且首先为最高频率的子图像计算第一像素上限储备信号。在该特定实施例中，将为每个子图像计算两个像素上限储备信号和为了建立这两个像素上限储备信号，首先要计算两个中间信号：和见公式(4)和(5)。表示在图像中的位置(x，y)处的像素朝向最大像素值P_max的上限储备，表示在位置(x，y)处的像素朝向最小像素值P_min的上限储备。各个上限储备信号用于为当前子图像的正像素值和负像素值计算不同的像素增强系数。因此，该实施例能够强调非常明亮区域内的黑暗细节，并且强调非常黑暗区域内的明亮细节。如果使用的是单个总像素上限储备信号，这是不可能的，因为缺少一侧的上限储备。
为了计算像素上限储备信号，本实施例使用中间信号V^i-1_ENH，其表示对比度增强达到尺度i的中间结果。V^i-1_ENH包括先前已改变的子图像以及仍然未改变的子图像，并且可以将其看作处理i个子图像之后的中间输出图像。将V⁰_ENH初始化为原始图像V。
H up i ( x , y ) = ABS ( P max - V ENH i - 1 ( x , y ) ) - - - ( 4 ) ]]>
H do i ( x , y ) = ABS ( P min - V ENH i - 1 ( x , y ) ) - - - ( 5 ) ]]>
随后，计算像素上限储备信号和在该特定实施例中，像素上限储备信号是考虑了各个像素(x，y)周围的空间区域S的区域像素上限储备信号。为了生成用于像素(x，y)的和为区域S建立的区域最小值和的区域最大值。随后，对像素上限储备信号进行过滤，以确保基于各个像素上限储备过滤器的像素增强系数落在各子图像中的像素值的频率范围之内。
H ^ up i ( x , y ) = F LP i ⊗ ( MIN ( H up i ( S ) ) ) - - - ( 6 ) ]]>
H ^ do i ( x , y ) = F LP i ⊗ ( MIN ( H do i ( S ) ) ) - - - ( 7 ) ]]>
对于最佳结果，孔径S应当等于或大于Fⁱ_LP的过滤孔径。在该特定实施例中，用于将图像分成子图像的空间低通过滤器还用于形成像素上限储备信号。
随后使用计算出来的像素上限储备信号来为子图像内的各个像素计算像素增强系数gⁱ(x，y)。在该实施例中，像素增强系数是根据子图像中的各个像素的像素值通过使用或计算出来的。
g i ( x , y ) = CLIP ( 0 , α ( H ^ do i ( x , y ) / B i ( x , y ) ) , g max ) for B i ( x , y ) < 0 - - - ( 8 ) ]]>
g i ( x , y ) = CLIP ( 0 , α ( H ^ up i ( x , y ) / B i ( x , y ) ) , g max ) for B i ( x , y ) &GreaterEqual; 0 - - - ( 9 ) ]]>
从公式(8)和(9)可以看出，像素增强系数受到对所有频带都相同的最大总像素增益g_max的约束。倘若可以使用充足的上限储备，则对于所有子图像中的所有像素来说增益都是g_max，这样会导致均值不变的全局直方图拉伸。然而，如果上限储备不足，则像素增强系数将会基于(p，1)/Bⁱ(p，1)或者它们可以在区域中定量出不会导致削峰的最大线性增益。
用户定义的具有介于0和1之间的值的参数α能够实现可用像素上限储备在不同的子图像间的分布。仅仅可用上限储备的α份额将用于要改变的每个子图像中的增强。通过使用像素上限储备的部分分配，在所有子图像间逐步分配上限储备。在该特定实施例中，可以使用最大线性增益的α份额来增强B¹，可以使用α(1-α)份额来增强B²(即如果α份额用于增强B¹)。如果分配给B¹的上限储备没有被全部使用，则B¹增强之后剩余的最大线性增益的α份额将用于增强B²。
上述机制限制了子图像内的像素增强系数。此外，通过使用区域像素上限储备信号(其被额外地过滤以匹配子图像频带)，像素增强系数在频域内表现出了平滑状态。而这些防止了可能表现为高对比度边缘周围的伪光发射和伪阴影的晕环人造假象的产生。虽然这并不会减少输入图像中已经存在的晕环人造假象，但是却可以降低引入额外晕环人造假象的可能性。
一旦计算出了像素增强系数，就可以对子图像进行改变，得出已改变的子图像
B ^ i = g i B i - - - ( 10 ) ]]>
当已改变的子图像可用时，可以计算处理后续子图像时所使用的增强图像Vⁱ_ENH，或者按照另外一种可选方案，已经处理过所有子图像来获得增强的亮度图像。
V ENH i = Σ l i B ^ i + Σ i + 1 n B i - - - ( 11 ) ]]>
虽然可以使用上述用于处理YUV彩色图像的亮度分量并且将U和V分量保持的实施例，但是这可能会导致在明亮区域中发生不希望的降饱和(de-saturation)，以及在黑暗区域中发生过饱和。为了保持饱和度，最好使用增强的亮度分量与原始亮度分量的比值，以便沿着恒定饱和的方向缩放图像，例如，通过将YUV表示法转换为RGB表示法并且缩放各个RGB分量。
R_ENH＝(V_ENH/V)R               (12a)
G_ENH＝(V_ENH/V)G               (12b)
B_ENH＝(V_ENH/V)B               (12c)
由于上述实施例优待包括高频分量的子图像，因此还可能锐化噪声。这些噪声可能部分是由DCT量化而引入的。DCT量化人工假象经常会导致子图像的区域内的最小像素值和最大像素值之间的小差值。
为了防止增强这些人工假象，可以检测这些量化噪声的出现并且随后废弃像素增强系数的计算。为了检测DCT量化噪声，可以确定像素周围的区域S内的最小和最大像素值并且确定最小值和最大值之间的绝对差是否低于阈值。如果该值低于阈值，则将像素增强系数设置为低于1的值，以便衰减该效应；并且如果该值高于阈值，则基于可用的像素上限储备信号来替换该像素增强系数。
对于本领域技术人员而言可以明了，作为使用单个阈值的替换，可以实施使用多个阈值的更加渐进的方案，或者按照另外一种可选方案，使用最小值和最大值的差值来实现从增强到衰减的更加渐进的过渡。
图3是说明激进均匀直方图拉伸的示意图。第一条曲线405表示在激进均匀直方图拉伸之前的线上像素的亮度值，并且第二条曲线410表示在激进均匀直方图拉伸之后的线上像素的亮度值。如果像素增强系数以最大值为上界并且有充足的可用上限储备的话，图3中的增强类似于本发明的增强。
图4是说明在缺乏用于激进均匀直方图拉伸的足够的上限储备的情况下理论性增强的示意图。第一条曲线505表示理论性增强之前的亮度值，第二条曲线510表示理论性增强之后的亮度值。图4说明了由于在曲线505的右上部分缺乏上限储备，从而没有足够的上限储备用于进行均值不变的全局直方图拉伸。第二条曲线510说明的是，尽管缺乏上限储备，但在没有该图右上部中的过调和/或削峰的情况下，也可以增强高频正弦曲线。它还说明了，通过应用局部增强，比如通过使用多尺度增强，左下部的正弦曲线可以得到比右上部的正弦曲线更大的增强。最后，第二条曲线510还表明如何首先使用像素上限储备来增强高频分量，从而增强有益于低频分量的正弦幅度。
上述的实施例的目的在于，通过按照高频到低频的顺序来处理子图像；通过为各个子图像分配一部分(剩余)上限储备；以及通过独立地确定向上的和向下的像素增强系数，可以实现与图4中给出的结果类似的结果。
虽然可以将输入图像分成相等尺寸的频带的子图像，但是本发明并不局限于此。显然，改变频带尺寸将会影响频率范围内可用上限储备的比值，并且因此可能需要用于增强的可用余量的份额在不同的子图像间的自适应。而且，分离出图像的DC分量，将此作为单独的子图像来对待并且根据情况强行将DC分量的像素增强系数设置为1也在本发明的范围之内。
如前面所提到的，处理子图像的顺序还会影响用于各子图像的增强的余量。当要增强第一个子图像时，所有像素上限储备依然是可用的，并且可以使用可用于增强第一个子图像的整个像素上限储备份额。通过降低分配给第一个子图像的上限储备份额，可以使该算法的＂贪心＂本性得到缓和。
如上所述，可以使用本发明来改变静止图像和/或视频序列二者内的像素值。可以将其具体实现在独立的图像增强装置中，或者将其集成在其它视频处理装置中。这些装置包括那些被设置成用于处理视频的装置，并且不局限于用于表现的装置，但是还可以包括用于采集、存储和/或分配图像和视频序列的装置。
本发明可以很容易地集成在多种多样的装置中，比如显示器、视频显示器、数字静态相机、视频摄像机、视频录像机、硬盘记录器、电视机、用于个人计算机的视频卡、LCD显示器、等离子显示器、电泳显示器、移动电话、个人数字助理(PDA)、手持视频呈现装置或手持游戏机。
图5显示了根据本发明的用于改变图像内的像素值的设备600。数据库605为设备600提供包括表示图像亮度的像素值的输入图像100。
设备600包括分离装置610，其被配置成将图像分为多个子图像，多个子图像中的每个子图像包括来自于输入图像100的各频带的信息。
此外，设备600还包括第一计算装置620，其被配置成计算像素上限储备信号，该像素上限储备信号定量可用于增强输入图像100中的像素的像素值的余量，该像素上限储备信号至少部分基于输入图像。
另外，设备600还包括：第二计算装置630，其被配置成根据像素上限储备信号为要改变的各子图像内的像素计算像素增强系数，从而在要改变的各子图像间分摊由像素上限储备信号定量的余量；以及改变装置640，其被配置成通过使用像素增强系数和来自各子图像的相应的像素值来改变所要改变的各子图像。此外，设备600还包括生成装置650，其被配置成通过使用已改变的子图像来生成输出图像145。将输出图像145同时发送给另一个数据库665和用于显示输出图像145的显示装置695。
可选地，根据本发明设备600可以为图像信号685提供一个输入端，其中该图像信号包括形成图像的像素值以及一组能够实现图像增强的像素增强系数，并且像素增强系数是使用根据本发明的方法而生成的。使用该信号，随后设备600可以通过直接使用像素增强系数来增强该信号中包含的图像。这些像素增强系数可以通过使用例如公式(12a)、(12b)和(12c)来获得。
图5中的图像信号685是通过网络660接收的并且是由执行根据本发明的方法的个人计算机670生成的。个人计算机670执行该方法所需的指令可以是由诸如光盘、固态存储卡或其它可选用的包含所述信息的机器可读存储装置之类的记录载体675提供给个人计算机670的。
对于本领域技术人员而言，显然根据本发明的改变像素值的方法可以在诸如专用集成电路(ASIC)之类的专用硬件平台上实现，或者在个人计算机(PC)中的通用微处理器上实现。事实上，该方法可以部分在专用硬件上实现并且部分在可程控处理器上运行的软件中实现。
应当注意，前面提到的实施例是说明本发明而不是对本发明加以限制，并且本领域技术人员将能够设计出很多可供选用的实施例，而不会超出由所附权利要求定义的本发明的范围。
在权利要求中，位于圆括号之间的任何附图标记都不应看作是对权利要求的限定。动词“包括”及其变换形式的使用并不排除除了权利要求中所列出的那些元件或步骤之外还存在其它的元件或步骤的可能。在元件前面使用的冠词“一”并不排除存在多个这种元件的可能性。
本发明可以借助包括多个分立的元件的硬件来实现，并且可以借助适当程控的计算机来实现。在列举出多个装置的装置权利要求中，这些装置中的若干个可以是由同一硬件项来具体实现的。在相互不同的从属权利要求中叙述特定方法的事实并不表明使用这些手段的组合没有有益效果。