图像处理设备和图像处理设备的控制方法.pdf

《图像处理设备和图像处理设备的控制方法.pdf》由会员分享，可在线阅读，更多相关《图像处理设备和图像处理设备的控制方法.pdf（19页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 102629976 A (43)申请公布日 2012.08.08 C N 1 0 2 6 2 9 9 7 6 A *CN102629976A* (21)申请号 201210026605.9 (22)申请日 2012.02.07 2011-024435 2011.02.07 JP H04N 5/225(2006.01) H04N 5/232(2006.01) H04N 5/243(2006.01) (71)申请人佳能株式会社 地址日本东京都大田区下丸子3丁目30番 2号 (72)发明人松冈正明 (74)专利代理机构北京魏启学律师事务所 11398 代理人魏启学 (54)。

2、 发明名称 图像处理设备和图像处理设备的控制方法 (57) 摘要 本发明涉及图像处理设备和图像处理设备的 控制方法。获得使用第一曝光拍摄的第一图像和 使用高于所述第一曝光的第二曝光拍摄的第二图 像。根据所述第一图像创建作为合成处理的基准 使用的第三图像。通过使用预先与所述第三图像 的像素值相关联的加法系数对所述第一图像和所 述第二图像进行加权合成来创建动态范围被扩展 的图像。 (30)优先权数据 (51)Int.Cl. 权利要求书2页 说明书9页 附图7页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 9 页 附图 7 页 1/2页 2 1.一种图像处。

3、理设备，包括： 获得部件，用于获得使用第一曝光拍摄的第一图像和使用不同于所述第一曝光的第二 曝光拍摄的第二图像； 创建部件，用于根据所述第一图像创建作为合成处理的基准的第三图像；以及 合成部件，用于使用与所述第三图像的像素值相关联的加法系数，对所述第一图像和 所述第二图像的各个像素进行加权合成， 其中，创建所述第三图像包括：将以所述第一图像的各像素为中心的预设范围内的像 素的最大像素值设置作为选择作为中心的像素的像素值。 2.根据权利要求1所述的图像处理设备，其特征在于，所述创建部件对所述第一图像 应用低通滤波处理，并且根据经过了所述低通滤波处理的第一图像创建所述第三图像。 3.根据权利要求2。

4、所述的图像处理设备，其特征在于，所述低通滤波处理是缩小处理； 以及 所述创建部件通过将经过了所述缩小处理的第一图像放大成具有拍摄时的第一图像 的像素数量来创建所述第三图像。 4.根据权利要求1所述的图像处理设备，其特征在于，所述第二曝光高于所述第一曝 光。 5.一种图像处理设备，包括： 获得部件，用于获得使用第一曝光拍摄的第一图像和使用不同于所述第一曝光的第二 曝光拍摄的第二图像； 创建部件，用于根据所述第一图像创建作为合成处理的基准的第三图像；以及 合成部件，用于使用与所述第三图像的像素值相关联的加法系数，对所述第一图像和 所述第二图像的各个像素进行加权合成， 其中，创建所述第三图像包括：将。

5、以所述第一图像的各像素为中心的预设范围内的像 素的最小像素值设置作为选择作为中心的像素的像素值。 6.根据权利要求15中任一项所述的图像处理设备，其特征在于，所述预设范围采用 根据在由所述获得部件获得的所述第一图像和所述第二图像之间生成的被摄体的偏移所 容许的像素数量所确定的值。 7.根据权利要求6所述的图像处理设备，其特征在于，所述预设范围采用基于通过将 所述被摄体的偏移所容许的像素数量乘以缩小所述第一图像使用的缩小比率所获得的值 而确定的值。 8.根据权利要求15中任一项所述的图像处理设备，其特征在于，还包括检测部件， 所述检测部件用于检测表示由所述获得部件获得的所述第一图像和所述第二图像。

6、之间的 被摄体的偏移量的像素数量， 其中，所述创建部件根据由所述检测部件所检测到的表示所述被摄体的偏移量的像素 数量确定所述预设范围。 9.根据权利要求8所述的图像处理设备，其特征在于，所述预设范围采用基于通过将 表示所述被摄体的偏移量的像素数量乘以缩小所述第一图像使用的缩小比率所获得的值 而确定的值。 10.一种图像处理设备的控制方法，所述控制方法包括以下步骤： 权 利 要 求 书CN 102629976 A 2/2页 3 获得步骤，用于获得使用第一曝光拍摄的第一图像和使用不同于所述第一曝光的第二 曝光拍摄的第二图像； 创建步骤，用于根据所述第一图像创建作为合成处理的基准的第三图像；以及 合。

7、成步骤，用于使用与所述第三图像的像素值相关联的加法系数，对所述第一图像和 所述第二图像的各个像素进行加权合成， 其中，所述创建步骤包括：将以所述第一图像的各像素为中心的预设范围内的像素的 最大像素值设置作为选择作为中心的像素的像素值。 11.一种图像处理设备的控制方法，所述控制方法包括以下步骤： 获得步骤，用于获得使用第一曝光拍摄的第一图像和使用不同于所述第一曝光的第二 曝光拍摄的第二图像； 创建步骤，用于根据所述第一图像创建作为合成处理的基准的第三图像；以及 合成步骤，用于使用与所述第三图像的像素值相关联的加法系数，对所述第一图像和 所述第二图像的各个像素进行加权合成， 其中，所述创建步骤包。

8、括：将以所述第一图像的各像素为中心的预设范围内的像素的 最小像素值设置作为选择作为中心的像素的像素值。 权 利 要 求 书CN 102629976 A 1/9页 4 图像处理设备和图像处理设备的控制方法 技术领域 0001 本发明涉及一种图像处理设备和图像处理设备的控制方法，尤其涉及一种用于生 成动态范围被扩展的图像的技术。 背景技术 0002 近年来，已知一种用于生成与通过诸如数字照相机等的摄像设备中的正常摄像所 获得的图像相比、动态范围被扩展了的图像的所谓的HDR(高动态范围)技术。更具体地， 使用HDR技术的图像处理方法可以通过合成所拍摄的具有不同曝光的多个图像来创建动 态范围被扩展的图。

9、像(HDR图像)。 0003 然而，在这样创建的HDR图像中，由于合成了多个图像，因而由于图像模糊和作用 于摄像设备的抖动的影响，在所获得的图像边缘部分可能出现多个边缘。尤其在高亮度部 分和低亮度部分之间的边界部分处，所创建的HDR图像中的这一多边缘现象尤为明显。 0004 下面将使用附图说明HDR图像中的多边缘现象。注意，为了简化，将说明用于通过 合成具有不同曝光的两个图像来创建HDR图像的例子。 0005 例如，下面将说明如图4A所示、作为主被摄体的人相对于具有高亮度值的背景图 像处于背光关系的取景。在此时拍摄的图像中，由于绘制主被摄体的区域是低亮度区域，因 而当主被摄体移动时或者当摄像设。

10、备抖动时，在HDR图像中的主被摄体和背景之间的边缘 部分处出现多个边缘。 0006 此时，当选择图4A所示的图像的水平线401作为感兴趣的线时，在要合成的低曝 光拍摄图像和高曝光拍摄图像中，该水平线的x坐标的像素值D L 和D H 示出图5A所示的状 态。在图5A中，由于主被摄体的运动或者摄像设备的抖动，这两个图像的像素值具有不同 的像素值减小处的坐标。注意，高曝光拍摄图像的曝光是低曝光拍摄图像的曝光的四倍，并 且在图5A5F所示的例子中，在高亮度背景区域中，高曝光拍摄图像的像素值饱和。 0007 为了合成具有不同曝光的两个图像，这两个图像经过伽马转换或变换。由于这些 图像具有不同曝光条件，因。

11、而如图5B所示，对于各个图像使用不同的转换特性曲线进行伽 马转换。这样，以此方式转换后的伽马转换输出G L 和G H 示出图5C所示的状态。 0008 通过这两个具有不同曝光的图像的伽马转换输出可知，背景区域饱和的高曝光拍 摄图像在背景区域中呈现不同于低曝光拍摄图像的伽马转换输出。另外，在低曝光拍摄图 像中，通常在低亮度区域中趋于发生暗饱和，并且在该区域中不能清晰地表现被摄体。也 就是说，对于高亮度区域，要创建的HDR图像优选使用低曝光拍摄图像，并且对于低亮度区 域，优选使用高曝光拍摄图像。 0009 为此，作为具有创建HDR图像所需的基准曝光的图像，选择没有任何饱和区域的 低曝光拍摄图像，并。

12、且根据该图像的伽马转换输出G L 确定图5D示出的加法系数K。加法系 数K是为确定要创建的HDR图像中的低曝光拍摄图像和高曝光拍摄图像的合成方法所预先 确定的系数，并且可以如下表示HDR图像的伽马输出G O ： 0010 G O KG L +KKG H (1) 说 明 书CN 102629976 A 2/9页 5 0011 加法系数K在预定伽马转换输出范围内从0改变成1，例如，如图5D所示。另外， 通过(1-K)给出加法系数KK。更具体地，在范围0K1内合成这两个图像，即低曝光拍 摄图像和高曝光拍摄图像，在范围K1内在创建中仅使用低曝光拍摄图像，并且在范围K 0内在创建中仅使用高曝光拍摄图像。。

13、 0012 这样创建的HDR图像的伽马转换输出示出图5E所示的状态。通过图5E可知，当 创建HDR图像所使用的具有不同曝光的图像在它们的拍摄时刻遭受图像模糊或摄像设备 的抖动时，在低亮度区域中合成高曝光拍摄图像的高亮度区域的图像。在这种情况下，在所 创建的HDR图像中的低亮度区域和高亮度区域之间的边界处发生被称为伪边缘的多边缘 现象。 0013 如上所述，当要合成的图像在它们的拍摄时刻遭受任何图像模糊或摄像设备的抖 动时，多边缘通常出现在低亮度区域和高亮度区域之间的边界处，结果导致HDR图像的图 像质量下降和用户感觉不自然。 0014 日本特开2009-010566号公报公开了一种技术，该技术。

14、通过将具有不同曝光的多 个图像中的一个设置为具有基准曝光的图像、并且对所选择的图像应用平均化滤波来消除 合成图像中的多边缘，从而平均不同亮度的边界附近的浓度值。 0015 另外，日本特开2005-223769号公报公开了一种技术，该技术用于检测特定区域 中要合成的具有不同曝光的两个图像的伽马校正输出之间的差，并且当该差大于阈值时 通过选择低曝光拍摄图像、或者当该差小于另一阈值时通过选择高曝光拍摄图像来创建图 像。 0016 然而，利用上述日本特开2009-010566号公报的技术，由于在不同明暗度边界附 近应用平均化处理，因而当在该边界附近进行图像的合成处理时，可能并非希望地进行下 面的不自然。

15、的合成处理。也就是说，由于在边界附近应用平均化处理，因而在高亮度区域中 合成亮饱和的高曝光拍摄图像，或者在低亮度区域中合成暗饱和的低曝光拍摄图像。为此， 由于在高亮度区域中合成白色区域，并且在夹着边界的低亮度区域中合成黑色区域，因而 可能创建不自然的HDR图像。 0017 对于日本特开2005-223769号公报的技术，在表现陡峭亮度梯度的区域中，在伽 马转换输出的差值小的区域中生成细小的伪边缘。 发明内容 0018 考虑到相关技术的上述问题做出了本发明。本发明即使在产生了图像模糊或摄像 设备抖动时，也提供一种动态范围被扩展的自然合成图像。 0019 在本发明的第一方面，提供一种图像处理设备，。

16、所述图像处理设备包括：获得部 件，用于获得使用第一曝光拍摄的第一图像和使用不同于所述第一曝光的第二曝光拍摄的 第二图像；创建部件，用于根据所述第一图像创建作为合成处理的基准的第三图像；以及 合成部件，用于使用与所述第三图像的像素值相关联的加法系数，对所述第一图像和所述 第二图像的各个像素进行加权合成，其中，创建所述第三图像包括：将以所述第一图像的各 像素为中心的预设范围内的像素的最大像素值设置作为选择作为中心的像素的像素值。 0020 在本发明的第二方面，提供一种图像处理设备，所述图像处理设备包括：获得部 件，用于获得使用第一曝光拍摄的第一图像和使用不同于所述第一曝光的第二曝光拍摄的 说 明 。

17、书CN 102629976 A 3/9页 6 第二图像；创建部件，用于根据所述第一图像创建作为合成处理的基准的第三图像；以及 合成部件，用于使用与所述第三图像的像素值相关联的加法系数，对所述第一图像和所述 第二图像的各个像素进行加权合成，其中，创建所述第三图像包括：将以所述第一图像的各 像素为中心的预设范围内的像素的最小像素值设置作为选择作为中心的像素的像素值。 0021 在本发明的第三方面，提供一种图像处理设备的控制方法，所述控制方法包括以 下步骤：获得步骤，用于获得使用第一曝光拍摄的第一图像和使用不同于所述第一曝光的 第二曝光拍摄的第二图像；创建步骤，用于根据所述第一图像创建作为合成处理的。

18、基准的 第三图像；以及合成步骤，用于使用与所述第三图像的像素值相关联的加法系数，对所述第 一图像和所述第二图像的各个像素进行加权合成，其中，所述创建步骤包括：将以所述第一 图像的各像素为中心的预设范围内的像素的最大像素值设置作为选择作为中心的像素的 像素值。 0022 在本发明的第四方面，提供一种图像处理设备的控制方法，所述控制方法包括以 下步骤：获得步骤，用于获得使用第一曝光拍摄的第一图像和使用不同于所述第一曝光的 第二曝光拍摄的第二图像；创建步骤，用于根据所述第一图像创建作为合成处理的基准的 第三图像；以及合成步骤，用于使用与所述第三图像的像素值相关联的加法系数，对所述第 一图像和所述第二。

19、图像的各个像素进行加权合成，其中，所述创建步骤包括：将以所述第一 图像的各像素为中心的预设范围内的像素的最小像素值设置作为选择作为中心的像素的 像素值。 0023 通过以下(参考附图)对典型实施例的说明，本发明的其它特征将显而易见。 附图说明 0024 图1是示出根据本发明实施例的数字照相机的功能结构的框图； 0025 图2是用于说明根据本发明实施例创建HDR图像所需的处理的框图； 0026 图3是示出根据本发明第一和第二实施例的基准明暗度创建单元的电路结构的 电路图； 0027 图4A和4B是示出根据本发明实施例在创建HDR图像时的场景例子的图； 0028 图5A、5B、5C、5D、5E和5。

20、F是用于说明在相关技术中创建HDR图像时的问题的图； 0029 图6A、6B、6C和6D是用于说明根据本发明第一实施例的信号处理器的处理的图； 0030 图7A、7B、7C和7D是用于说明根据本发明第二实施例的信号处理器的处理的图； 0031 图8是示出根据本发明第三实施例的基准明暗度创建单元的电路结构的电路图； 0032 图9A、9B、9C、9D、9E、9F和9G是用于说明根据本发明第三实施例的信号处理器的 处理的图；以及 0033 图10是用于说明根据本发明第三实施例的信号处理器的处理的另一个图。 具体实施方式 0034 第一实施例 0035 下面将参考附图详细说明本发明的优选实施例。注意。

21、，下面所述的实施例说明下 面的例子：将本发明应用于作为图像处理设备的例子的数字照相机，其中，该图像处理设备 可以使用具有不同曝光的多个图像创建扩展了动态范围的一个图像。然而，本发明可应用 说 明 书CN 102629976 A 4/9页 7 于能够使用具有不同曝光的多个图像创建扩展了动态范围的一个图像的任意装置。 0036 图1是示出根据本发明实施例的数字照相机100的功能结构的框图。 0037 控制器101是例如微型计算机，并且控制数字照相机100中包括的各个块的操作。 控制器101通过读出数字照相机100中包括的各个块的操作程序控制各个块的操作，其中， 将各个块的程序存储在例如ROM102。

22、中，并且在RAM103中展开和执行这些程序。ROM102是 例如诸如EEPROM等的电性可重写非易失性存储器，并且除数字照相机100中包括的各个块 的操作程序以外，还存储诸如各个块的操作所需的设置值等的信息。 0038 RAM103是易失性存储器，并且不仅用作数字照相机100中包括的各个块的操作程 序的展开区域，而且还用作用于临时存储在各个块的操作期间输出的中间数据等的区域。 存储器控制器108是控制对RAM103的数据读写访问的块，并且在控制器101的控制下工 作。 0039 注意，在假定通过块的操作程序控制数字照相机100中所包括的各个块的操作的 前提下，对本实施例给出以下说明。然而，本发。

23、明不局限于此，并且可以由执行与相应的操 作程序相同的处理的电路构成各个块。 0040 摄像单元105是例如诸如CCD或CMOS传感器等的摄像元件。摄像单元105对经 由光学系统104在摄像元件所形成的光学图像进行光电转换，并且将所获得的模拟图像信 号输出给A/D转换器106。A/D转换器106对输入的模拟图像信号应用A/D转换处理，从而 输出数字图像信号。 0041 在本实施例中，摄像单元105通过设置不同的曝光时间拍摄具有不同曝光的两 种类型的图像，并且将在A/D转换器106的A/D转换处理之后所获得的两个图像存储在 RAM103中。注意，下面将基于短曝光时间所获得的图像称为“低曝光图像”，。

24、并且将基于长 曝光时间所获得的图像称为“高曝光图像”。 0042 信号处理器107是向拍摄图像应用各种类型的图像处理的块。在本例子中，假定 除用于创建扩展了动态范围的HDR图像的合成处理以外，信号处理器107还可以执行例如 用于检测和校正低曝光图像和高曝光图像之间的被摄体位置偏移的处理等。 0043 HDR图像创建处理 0044 下面将参考图2说明具有上述结构的本实施例的数字照相机100的实际HDR图像 创建处理。图2是示出由信号处理器107执行的处理的框图，用于解释根据存储在RAM103 中的低曝光图像和高曝光图像创建HDR图像的序列。 0045 将由存储器控制器108从RAM103读出的低。

25、曝光图像和高曝光图像输入给信号处 理器107。输入给信号处理器107的低曝光图像和高曝光图像分别在低曝光伽马转换器201 和高曝光伽马转换器202中经过伽马转换处理。注意，如对HDR图像的上述说明一样，本实 施例将说明在图4A所示的摄像场景下的HDR图像的创建。另外，如上述说明一样，假定在 创建HDR图像时由高曝光伽马转换器202应用的伽马转换处理的转换特性使用图5B所示 的转换特性曲线。 0046 将经过了伽马转换处理的低曝光图像从低曝光伽马转换器201输出给创建基准 明暗度图像的基准明暗度创建单元203。基准明暗度图像是作为确定如何合成低曝光图像 和高曝光图像以创建HDR图像所需的基准来使。

26、用的图像，并且使用基准明暗度图像的明暗 度确定上述加法系数K。注意，在假定使用低曝光图像作为具有基准曝光的图像的前提下， 说 明 书CN 102629976 A 5/9页 8 对本实施例给出以下说明。然而，本发明不局限于此，并且可以在其它实施例中使用高曝光 图像。 0047 还使用附图说明本实施例中的基准明暗度图像的创建方法。在本实施例中，为了 避免在HDR图像中出现多边缘，进行控制以减少高曝光区域中的边缘在合成HDR图像中的 低亮度区域中的贡献。更具体地，在低亮度区域中，将从基准明暗度创建单元203输出的基 准明暗度图像的明暗度设置成高。也就是说，设置低曝光图像的高加法系数，以使得在低亮 度。

27、区域和高亮度区域之间的边界附近，减小可能遭受图像模糊或摄像设备的抖动、并且可 能在低亮度区域中被合成的高曝光图像的边缘的加法系数。 0048 这样，基准明暗度创建单元203修改通过伽马转换所获得的低曝光图像的明暗度 的信息，以在要创建的HDR图像中的低亮度区域中、将高曝光图像的边缘的加法系数设置 成低明暗度。下面将参考图3详细说明由根据本实施例的基准明暗度创建单元203所执行 的基准明暗度图像创建处理。 0049 图3是示出要在基准明暗度创建单元203内部执行的处理的电路图。基准明暗度 创建单元203包括执行图像的缩小处理的缩小电路301、执行图像的放大处理的放大电路 302和MAX滤波电路3。

28、03。 0050 在应用预先设置的低通滤波处理以使缩小处理不会引起任何混叠之后，缩小电路 301对输入图像执行缩小处理。 0051 MAX滤波电路303是转换滤波器，其搜索输入图像的各像素的以该像素为中心的 33周边像素，并且以周边像素的最大亮度的像素值作为该像素的新像素值。也就是说，与 输入图像相比，在从MAX滤波电路303输出的图像中，单纯将高亮度区域在上、下、右和左方 向上扩展一个像素；并且相反，将低亮度区域在上、下、右和左方向上缩小一个像素。 0052 在本实施例中，为降低与基准明暗度图像的创建相关联的计算量，将MAX滤波电 路303中的转换处理应用于通过向输入给基准明暗度创建单元20。

29、3的图像应用缩小或放 大处理所获得的图像。例如，下面将检查下面的情况：将MAX滤波电路303中的转换处理 应用于通过在缩小电路301中应用如下缩小处理所获得的图像、即像素的数量是输入图像 的1/16的图像：该缩小处理用于分别在垂直方向和水平方向上两次将像素的数量减少成 1/2。此时，在从MAX滤波电路303输出的图像中，也就是说，在像素的数量为输入给基准明 暗度创建单元203的图像的1/16的图像中，在上、下、右和左方向上将高亮度区域扩展一个 像素。然后，当放大电路302向输出图像应用用于分别在垂直方向和水平方向上两次加倍 像素的数量的放大处理时，可以获得像素的数量与输入给基准明暗度创建单元2。

30、03的图像 相同的图像，并且基准明暗度创建单元203输出该图像。也就是说，与输入给基准明暗度创 建单元203的图像相比，从基准明暗度创建单元203输出的图像的高亮度区域在上、下、右 和左方向上扩展了四个像素。 0053 由于通过这一转换获得具有基准曝光的图像，因而即使在创建HDR图像所使用的 图像由于图像模糊或摄像设备的抖动而具有偏移时，也可以避免在低亮度区域中合成高曝 光图像的边缘。也就是说，基准明暗度创建单元203应用用于扩展高亮度区域并且缩小低 亮度区域的处理，以在低亮度区域中设置低曝光图像的高加法系数，也就是说，在该区域中 设置基准明暗度图像的高明暗度。 0054 也就是说，由于预先设。

31、置由于图像模糊或摄像设备的抖动而在创建HDR图像所使 说 明 书CN 102629976 A 6/9页 9 用的图像之间生成的偏移的容许量(像素数量)，因而由基准明暗度创建单元203所执行的 处理可以具有每次预定的计算量。在上述例子中，允许图像之间的偏移达四个像素。例如， 当允许达四个像素的偏移时，可以执行下面的处理。 0055 1.将MAX滤波电路303的转换处理应用于像素数量是输入给基准明暗度创建单元 203的图像的1/16的图像。 0056 2.放大电路302向转换处理之后的图像应用用于分别在垂直方向和水平方向上 加倍像素数量的放大处理。 0057 3.MAX滤波电路303向放大处理之后。

32、的图像应用转换处理。 0058 4.放大电路302还向第二次转换处理之后的图像应用用于分别在垂直方向和水 平方向上加倍像素的数量的放大处理。 0059 这样，在从基准明暗度创建单元203输出的图像中，可以将高亮度区域扩展任意 数量的像素，并且可以创建能够防止在HDR图像的低亮度区域中合成多边缘的基准明暗度 图像。 0060 图6A示出输入给基准明暗度创建单元203的伽马转换之后的低曝光图像的明暗 度G L 、仅经过了缩小处理和放大处理的图像的明暗度G B 、以及通过MAX滤波器303中的 转换处理所获得的图像的明暗度G B 。在这种情况下，如图6B和6C所示，对于MAX滤波电路 303中的转换。

33、处理之后所获得的基准明暗度图像G B ，即使在高曝光图像中低亮度区域和高 亮度区域之间的边界(边缘)处，加法系数K也是1.0。也就是说，可以避免合成高曝光图 像的边缘，并且可以创建具有图6D所示的明暗度G O 的HDR图像。 0061 在本实施例的说明中，预先设置由于图像模糊或摄像设备的抖动而在创建HDR图 像所需的图像之间生成的偏移的容许量。然而，本发明不局限于此。例如，陀螺仪传感器可 以检测摄像设备的抖动以控制基准明暗度创建单元203根据抖动量执行不同处理，或者可 以检测要合成的图像之间的偏移，以控制基准明暗度创建单元203执行不同处理。当使用 陀螺仪传感器时，例如，可以在制造时预先测量从。

34、陀螺仪传感器输出的摄像设备的转动信 息与表示要合成的图像之间的被摄体偏移量的像素数量之间的关系，并且可以在摄像时应 用该测量结果。例如，通过制造时的测量，当俯仰方向上的转动角度落在范围01内 时，确定被摄体的偏移量为5个像素，当转动角度落在范围12内时，确定被摄体的偏 移量为10个像素，当转动角度为3以上时，确定被摄体的偏移量为20个像素等等。当从 要合成的图像检测表示图像之间的偏移量的像素数量时，可以使用例如诸如模式匹配等的 特定技术在两个图像中搜索同一被摄体图像，并且可以计算被摄体的运动矢量，从而检测 表示偏移量的像素的数量。当可以检测表示要合成的图像之间的被摄体的偏移量的像素数 量时，可。

35、以根据像素数量来控制基准明暗度创建单元203以设置不同的偏移容许量。例如， 考虑到检测误差，将作为所检测到的表示被摄体偏移量的像素数量的两倍的值设置为偏移 容许量。 0062 在本实施例中，作为用于在以对象像素作为中心的33周边像素的范围内进行 搜索的处理，说明在MAX滤波电路303中要应用的转换处理。然而，本发明不局限于此。也 就是说，对于对象像素要搜索的像素范围的设置方法没有特别限制。例如，尽管处理量增 大，但是可以对55周边像素进行搜索。当对55周边像素进行搜索时，可以减小在缩小 电路301中要执行的缩小处理的缩小比率。也就是说，可以将MAX滤波电路303中要搜索 说 明 书CN 102。

36、629976 A 7/9页 10 的以对象像素作为中心的范围设置成具有通过将创建HDR图像所需的图像之间的被摄体 的偏移容许量或所检测到的偏移量乘以在缩小电路301中执行的缩小处理的缩小比率所 获得的像素的数量。 0063 如上所述，即使在产生了图像模糊或摄像设备的抖动时，本实施例的图像处理设 备也提供动态范围扩展了的自然的合成图像。更具体地，图像处理设备获得使用第一曝光 所拍摄的第一图像和使用高于第一曝光的第二曝光所拍摄的第二图像。然后，该设备缩小 经过了伽马转换处理的第一图像，并且对于缩小图像的各个像素，将感兴趣像素的像素值 转换成以感兴趣像素为中心的、具有预先设置的像素数量的范围内的像素。

37、的像素值中的最 大像素值。此外，该设备将通过转换像素值所获得的图像放大至具有经过了伽马转换处理 的第一图像的像素数量，从而创建作为合成处理的基准所使用的第三图像。使用与这样所 创建的第三图像的像素值预先相关联的加法系数，对第一和第二图像进行加权合成，从而 创建动态范围扩展了的图像。 0064 对于上述处理，即使在拍摄具有不同曝光并且被用于创建HDR图像的图像期间生 成了图像模糊或摄像设备的抖动时，也可以避免在低亮度区域中合成由于高曝光图像的亮 度梯度而生成的边缘。也就是说，本实施例的图像处理设备可以创建没有任何多边缘的HDR 图像。 0065 在上述说明中，通过合成具有不同曝光的两个图像创建H。

38、DR图像。另外，本发明可 应用于通过合成具有不同曝光的三个以上的图像来创建HDR图像的情况。例如，下面将说 明使用图10所示的加权加法系数K 1 、K 2 和K 3 合成具有不同曝光的三个图像G 1 、G 2 和G 3 (它 们满足G 1 G 2 G 3 )以创建HDR图像的情况。 0066 在图10中，纵坐标绘制加权加法系数，并且横坐标绘制根据最低曝光图像G 1 所创 建的基准明暗度。也就是说，参考根据最低曝光图像G 1 所创建的基准明暗度确定所有加权 加法系数。 0067 最初，通过HDR合成图像G 1 和G 2 ，即根据公式(1)G 12 K 1 G 1 +K 2 G 2 ，创建中间HD。

39、R 图像G 12 。 0068 接着，通过HDR合成图像G 12 和G 3 ，即根据公式(1)G O 1G 12 +K 3 G 3 创建最终的 HDR图像G O 。使用与创建中间HDR图像G 12 所使用的相同的基准明暗度图像。 0069 根据本实施例，即使合成具有不同曝光的三个以上的图像来创建HDR图像时，由 于使用最低曝光图像作为基准明暗度，因而可以根据一个基准明暗度图像计算用于从低曝 光到高曝光的所有亮度水平的加权加法系数。 0070 第二实施例 0071 上述第一实施例示例性说明了高亮度背景区域包括作为主被摄体的人的低亮度 区域的情况，如图4A所示。本实施例将说明在低亮度区域包括由例如。

40、穿过树叶的日光或聚 光灯所形成的小的高亮度区域时的HDR图像创建处理，如图4B所示。 0072 在图4B所示场景的情况下，如上述实施例一样，通过在MAX滤波电路303中应用 转换处理，扩展小的高亮度区域。然而，即使在这类小的高亮度区域中，在将低曝光图像的 加法系数设置成高时，生成由暗饱和图像所围绕的小的区域，因此给用户图像不自然的感 觉。为此，本实施例将说明在预先设置小的高亮度区域的大小的情况下所执行的处理，其 中，该区域被确定为跳过具有基准曝光的图像的明暗度校正。 说 明 书CN 102629976 A 10 8/9页 11 0073 例如，当将被确定要跳过明暗度校正的小的高亮度区域的大小预。

41、先设置成16个 像素，并且在创建HDR图像所需的图像之间生成的偏移的容许量是4个像素时，基准明暗度 创建单元203如下创建基准明暗度图像。 0074 1.缩小电路301执行用于分别在垂直方向和水平方向上将输入给基准明暗度创 建单元203的图像的像素的数量减少成1/16的缩小处理。 0075 2.放大电路302应用用于将缩小处理之后的图像放大成分别在垂直方向和水平 方向上具有该图像的四倍数量的像素的图像的放大处理。 0076 3.MAX滤波电路303对放大之后的图像应用转换处理。 0077 4.放大电路302还应用用于将转换处理之后的图像放大成分别在垂直方向和水 平方向上具有该图像的四倍数量的像。

42、素的图像的放大处理。 0078 也就是说，由于缩小电路301执行到使得确定为小的高亮度区域不存在或者确定 为该区域的亮度梯度不陡峭的像素数量的缩小处理，因而可以跳过对该区域的明暗度校 正。此外，向输入给基准明暗度创建单元203的图像应用放大处理以分别在垂直方向和水 平方向上将像素的数量增大成四倍。然后，执行MAX滤波电路303中的转换处理，从而创建 可以允许图像之间的偏移达四个像素的基准明暗度图像。 0079 图7A示出在图4B所示图像的水平线402上、输入给基准明暗度创建单元203的伽 马转换之后的低曝光图像的明暗度G L 、在仅缩小处理和放大处理之后所获得的图像的明暗 度G B 、以及通过。

43、MAX滤波电路303的转换处理所获得的图像的明暗度G B 。通过图7A可知， 通过缩小处理将图像转换成使得能够确定为小的高亮度区域的亮度梯度不陡峭的大小。在 这种情况下，在通过执行MAX滤波电路303中的转换处理所获得的基准明暗度图像G B 中，在 高亮度区域中，加法系数K小于1.0，如图7B和7C所示。也就是说，可以防止将低曝光图像 的暗饱和部分合成到小的高亮度区域周围的部分，并且可以创建具有图7D所示的明暗度G O 的HDR图像。 0080 这样，即使在包括小的高亮度区域时，该方法确定跳过具有基准曝光的图像的明 暗度校正，并且可以创建不会给用户任何不自然感觉的HDR图像。 0081 第三实。

44、施例 0082 上述第一和第二实施例说明了用于通过转换伽马转换后的低曝光图像的明暗度 确定创建HDR图像所使用的各个图像的加法系数的方法。本实施例将说明用于通过以不同 缩小比率缩小表示低曝光图像和高曝光图像的各个像素的加法系数的加法系数图像来确 定具有不同空间频率特性的加法系数图像的加法系数方法。注意，本实施例假定如第一实 施例一样，在图4A所示场景下创建HDR图像。 0083 图8是示出根据本实施例在基准明暗度创建单元203内部所执行的处理的电路 图。除执行图像的缩小处理的缩小电路301、放大电路302和MAX滤波电路303以外，基准 明暗度创建单元203还包括缩小电路801、放大电路802。

45、、MIN滤波电路803和合成系数确 定电路804。缩小电路801和放大电路802与缩小电路301和放大电路302相同。 0084 合成系数确定电路804将伽马转换输出的像素值转换成低曝光图像和高曝光图 像的加法系数图像G K0 和G KK0 。例如，当输入的低曝光图像的伽马转换输出G L 如图9A所示 时，使用图9B所示的转换特性创建图9C和9D所示的加法系数图像G K0 和G KK0 。 0085 MIN滤波电路803是转换滤波器，其搜索输入图像的各像素的以该像素为中心的 说 明 书CN 102629976 A 11 9/9页 12 33周边像素，并且与MAX滤波电路303相反，以周边像素的。

46、最小像素值作为该像素的新 像素值。也就是说，与输入图像相比，在从MIN滤波电路802输出的图像中，单纯将具有小 像素值的区域、即高亮度区域在上、下、右和左方向上扩展一个像素，相反，将低亮度区域在 上、下、右和左方向上缩小一个像素。 0086 通过与第一和第二实施例的图3所述的相同方法，加法系数图像G K0 经过缩小、MAX 滤波和放大处理，从而创建加法系数图像G K 。通过与第一和第二实施例相同的方法确定要 应用MAX滤波的图像大小。例如，当允许确定为在低曝光图像中跳过明暗度校正的小的低 亮度区域的大小是8个像素时，加法系数图像G K0 的缩小比率为1/8。 0087 另外，通过相同方法，加法。

47、系数图像G KK0 经过缩小、MIN滤波和放大处理，从而创建 加法系数图像G KK 。例如，当允许确定为在高曝光图像中跳过明暗度校正的小的高亮度区域 的大小是16个像素时，加法系数图像G KK0 的缩小比率为1/16。 0088 将创建的加法系数图像G K 和G KK 输出给合成系数确定电路204作为低曝光图像和 高曝光图像的基准明暗度图像，并且使用图9E和9F所示的转换特性将其转换成加法系数 K和KK。在合成单元205中，将低曝光图像G L 和高曝光图像G H 乘以作为公式(1)中的K和 KK的加法系数K和KK，从而创建作为加法结果的HDR图像G O 。 0089 由于通过MAX滤波处理创建。

48、加法系数图像G K ，因而加法系数图像G K 包括宽的大像 素值区域，并且即使在高曝光图像中的低亮度区域和高亮度区域之间边界(边缘)处，像素 值也取大的值。为此，在该区域中，相应的加法系数K为1.0。 0090 另一方面，由于通过MIN滤波处理创建加法系数图像G KK ，因而加法系数图像G KK 包括宽的小像素值区域，并且即使在高曝光图像中的低亮度区域和高亮度区域之间的边界 (边缘)处，像素值也取小的值。为此，在该区域中，相应的加法系数KK为0.0。 0091 也就是说，可以避免合成高曝光图像的边缘，并且可以创建具有图9G所示的明暗 度G O 的HDR图像。也就是说，在加法系数图像G K 中，。

49、如第一实施例一样，通过MAX滤波电路 303中的转换处理扩展高亮度区域。在加法系数图像G KK 中，通过MIN滤波电路803中的转 换处理扩展高亮度区域。因此，通过低曝光图像和高曝光图像的加权合成所形成的区域对 应于低亮度的人区域。为此，即使在由于图像模糊和摄像设备的抖动而在创建HDR图像所 需的图像之间生成偏移时，也可以避免在低亮度区域中合成高曝光图像的边缘。 0092 如上所述，通过改变用于低曝光图像和高曝光图像的加法系数图像的空间频率特 性，即使在图像包括小的低亮度区域和小的高亮度区域两者时，也可以在低曝光图像和高 曝光区域中独立控制是否校正明暗度。 0093 其它实施例 0094 还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的 系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的各方面， 其中，利用。