图像合成装置和图像合成方法.pdf

1、10申请公布号CN102348056A43申请公布日20120208CN102348056ACN102348056A21申请号201110205268522申请日20110721201016596820100723JP201018267720100818JPH04N5/232200601H04N5/235200601H04N9/0420060171申请人卡西欧计算机株式会社地址日本国东京都72发明人真锅佳嗣74专利代理机构中科专利商标代理有限责任公司11021代理人樊建中54发明名称图像合成装置和图像合成方法57摘要本发明提供一种图像合成装置、图像合成方法。控制部9如果检测出快门键41被按下，

2、则指示驱动控制部2执行N次连拍，生成连拍图像并保存到RAM8中步骤S103。接着，从这些连拍图像中选择基准图像步骤S104，将选择的基准图像的图像数据和全部连拍图像的合成图像的YUV图像数据暂时保存到RAM8中步骤S106、S108。之后，按每个像素求出基准图像的YUV图像数据和各连拍图像的YUV图像数据的差值绝对值，对除基准图像外的各连拍图像的最大差值进行平均化，生成运动物体判定映射M，将其用作映射来合成基准图像的YUV图像数据和噪声降低处理后的合成图像的YUV图像数据。30优先权数据51INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书9页附图11页CN1023

3、48075A1/2页21一种图像合成装置，其特征在于具备图像获取单元，获取在时间上连续的多个图像；图像生成单元，对由该图像获取单元获取的多个图像进行像素相加合成从而生成一个图像；第一差值获取单元，在由所述图像生成单元进行像素相加合成时，按多个图像的每一个图像获取合成前的所述多个图像的每个像素的差值；和混合单元，将由该第一差值获取单元获取的信息作为透过强度的信息混合在由所述图像生成单元生成的图像中。2根据权利要求1所述的图像合成装置，其特征在于，所述图像合成装置还具备选择单元，该选择单元从由所述图像获取单元获取的多个图像中选择成为合成基准的基准图像，并且，所述第一差值获取单元，对于由所述选择单元

4、选择出的基准图像和由所述图像获取单元获取的其他图像之间的每个像素的差值，按所述其他图像的每一个图像获取其最大值。3根据权利要求1所述的图像合成装置，其特征在于，图像获取单元获取的多个图像是摄影视场角大致相同且曝光条件各不相同的图像，并且所述图像合成装置还具备增益控制单元，该增益控制单元实施控制以提高由所述图像获取单元获取的多个图像中的曝光量低的图像的明亮度的增益，使得曝光条件与所述多个图像中的其他曝光条件的图像相同，并且所述第一差值获取单元获取由所述增益控制单元提高了增益的图像和曝光条件与提高了增益的图像相同的图像之间的每个像素的差值。4根据权利要求3所述的图像合成装置，其特征在于，所述图像合

5、成装置还具备运动物体区域检测单元，将由所述第一差值获取单元获取的差值作为运动物体区域进行检测；置换单元，将曝光条件与提高了所述增益的图像相同的图像中的由所述运动物体区域检测单元检测出的运动物体区域的图像置换成提高了所述增益的图像中的相同区域的图像；和第二差值获取单元，对于由所述运动物体区域检测单元检测出的运动物体区域，获取提高了所述增益的图像和曝光条件与提高了所述增益的图像相同的图像之间的每个像素的差值的最大值，并且，所述混合单元代替由所述第一差值获取单元获取的信息，对由所述第二差值获取单元获取的信息进行平均化，并将其作为透过强度的信息混合在由所述置换单元置换后的图像中。5根据权利要求4所述的

6、图像合成装置，其特征在于，所述图像合成装置还具备生成单元，该生成单元生成由所述混合单元混合后的图像和所述曝光量低的图像的像素相加合成图像。6根据权利要求1所述的图像合成装置，其特征在于，所述混合单元对由所述差值获取单元获取的信息进行平均化，并基于该平均化后的信权利要求书CN102348056ACN102348075A2/2页3息进一步执行提高对比度的处理。7根据权利要求1所述的图像合成装置，其特征在于，所述混合单元对由所述差值获取单元获取的信息进行平均化，并基于该平均化后的信息进一步执行平滑化处理。8根据权利要求1所述的图像合成装置，其特征在于，所述图像获取单元包括摄像单元。9根据权利要求1所

7、述的图像合成装置，其特征在于，所述图像是以大致相同的摄像视场角获取的。10一种图像合成方法，其特征在于包括图像获取步骤，获取在时间上连续的多个图像；图像生成步骤，对由该图像获取步骤获取的多个图像进行像素相加合成从而生成一个图像；差值获取步骤，在由所述图像生成步骤进行像素相加合成时，按多个图像的每一个图像获取合成前的所述多个图像的每个像素的差值；和混合步骤，将由该差值获取步骤获取到的信息作为透过强度的信息混合在由所述图像生成步骤生成的图像中。权利要求书CN102348056ACN102348075A1/9页4图像合成装置和图像合成方法技术领域0001本发明涉及对通过连续拍摄等得到的多个图像进行合

8、成的图像合成装置、图像合成方法及程序产品。背景技术0002以往，已知一种如下技术通过对连拍得到的图像进行像素相加合成，生成即便在夜景等光量少的摄影环境下也具有记录所需的充分的明亮度的图像。0003另外，如JP特开2006148550号公报记载那样，已知在用户手持相机进行拍摄的手持摄影时对摄像视场角的摇动进行修正合成的图像合成技术。0004可是，在上述的图像合成技术的情况下，在摄像视场角内存在运动物体时，即便利用上述图像合成技术也将获得残留运动物体余像的图像。发明内容0005本发明鉴于上述现有技术问题提出的，其目的在于即便在摄影视场角内存在运动物体时也能获得运动物体余像的影响较少的合成图像。00

9、06为了达成上述目的，本发明的第1方面的图像合成装置包括0007图像获取单元，获取在时间上连续的多个图像；0008图像生成单元，对由该图像获取单元获取到的多个图像进行像素相加合成从而生成一个图像；0009第一差值获取单元，在由所述图像生成单元进行像素相加合成时，按多个图像的每一个图像获取合成前的所述多个图像的每个像素的差值；和0010混合BLENDING单元，将由该第一差值获取单元获取到的信息作为透过强度的信息混合在由所述图像生成单元生成的图像中。0011另外，为了达成上述目的，本发明的第2方面的图像合成方法包括0012图像获取步骤，获取在时间上连续的多个图像；0013图像生成步骤，对由该图像

10、获取步骤获取到的多个图像进行像素相加合成从而生成一个图像；0014差值获取步骤，在由所述图像生成步骤进行像素相加合成时，按多个图像的每一个图像获取合成前的所述多个图像的每个像素的差值；和0015混合步骤，将由该差值获取步骤获取到的信息作为透过强度的信息混合在由所述图像生成步骤生成的图像中。0016此外，为了达成上述目的，本发明的第3方面的程序产品存储了计算机可读取的程序，所述程序产品使计算机执行以下功能0017图像获取单元，获取在时间上连续的多个图像；0018图像生成单元，对由该图像获取单元获取到的多个图像进行像素相加合成从而生成一个图像；说明书CN102348056ACN102348075A

11、2/9页50019差值获取单元，在由所述图像生成单元进行像素相加合成时，按多个图像的每一个图像获取合成前的所述多个图像的每个像素的差值；和0020混合单元，将由该差值获取单元获取到的信息作为透过强度的信息混合在由所述图像生成单元生成的图像中。附图说明0021图1是应用了本发明第一实施方式的摄像装置的电路框图。0022图2是表示该摄像装置中的处理顺序的流程图。0023图3是表示运动物体判定混合处理的处理顺序的流程图。0024图4是表示连拍到的图像的一例的图。0025图5A是表示平滑化处理的处理结果的图；图5B是表示强调处理的处理结果的图。0026图6A是表示相加合成的合成图像；图6B是表示本实施

12、方式的合成图像。0027图7是应用了本发明第二实施方式的摄像装置的电路框图。0028图8是表示第二实施方式的该摄像装置中的处理顺序的流程图。0029图9A是表示在第二实施方式中一边改变曝光条件一边连拍得到的图像中的曝光不足图像的图。0030图9B是表示在第二实施方式中一边改变曝光条件一边连拍得到的图像中的曝光过度图像的图。0031图10A是表示平滑化处理的处理结果的图。0032图10B是表示强调处理的处理结果的图。0033图11是表示本发明第二实施方式的变形例中的处理顺序的流程图。具体实施方式0034下面，参照附图对本发明的一实施方式进行说明。0035第一实施方式0036图1是具备本发明第一实

13、施方式所涉及的图像处理装置的摄像装置的电路结构图。该摄像装置具有摄像部1、驱动控制部2、CDS/ADC3、键输入部4、显示部5、图像记录部6、程序存储器7、RAM8、控制部9、图像处理部10。这些部件经由总线进行连接。键输入部4具备用于检测摄影者的记录指示的快门键41，图像处理部10具备合成部11。0037在该图中，摄像部1内置CMOS等图像传感器、设置在该图像传感器上的RGB的滤色器、以及通过来自驱动控制部2的控制将光的强度作为电荷的蓄积而保持一定时间并将它们作为模拟的摄像信号输出至CDS/ADC3的驱动器。并且，通过检测经由快门键41、控制部9、驱动控制部2的摄影者的摄影指示，从而获取多个

14、图像彩色图像。0038CDS/ADC3是输入与摄像部1输出的被摄体的光学像相应的模拟的摄像信号的电路，由对所输入的摄像信号进行保持的CDS、将该摄像信号进行放大的增益调整放大器AGC、以及将被放大的摄像信号变换成数字的摄像信号的A/D变换器ADC等构成。此外，关于增益调整放大器的调整所涉及的控制，也是基于来自驱动控制部2的指示进行的。为此，即便使曝光条件快门速度或光圈值相同地获取多个图像，也能生成因依次改变RGB的增益调整放大器及图像的色调导致的条件不同的多个图像。说明书CN102348056ACN102348075A3/9页60039此外，在本实施方式中，虽然驱动控制部2进行了与增益调整放大

15、器相关的控制，但并不限定于此。例如，也可由控制部9进行上述控制。0040键输入部4除了具备上述快门键41之外，还具备用于向本发明涉及的以图像的获取和记录为目的的摄影模式的切换、检测显示的切换等的各种键。0041显示部5具有显示被合成的图像的功能。图像记录部6在执行了本发明涉及的合成处理之后，存储、保存以JPEG方式编码的图像数据图像文件。程序存储器7存储由控制部9、图像处理部10执行的程序，控制部9根据需要读出该程序。RAM8具有对各处理所产生的处理中的数据进行暂时保持的功能。控制部9控制该摄像装置整体的处理动作。图像处理部10除了具备图像数据的编码和解码处理之外，还具备与本发明的特征结构对应

16、的合成部11。0042也就是说，合成部11执行从连拍图像选出的一个基准图像与对连拍图像进行相加合成之后的合成图像之间的合成，并且对于该合成图像将后面叙述的运动物体判定映射用作差值区域所对应的透过强度映射映射，以减少由运动物体产生的余像。0043下面，说明本发明第一实施方式的动作。用户操作设置于键输入部4的模式按钮，当设定本实施方式所涉及的摄影模式时，控制部9从程序存储器7中读出程序，如图2的流程图所示那样开始处理。0044也就是说，控制部9判断是否检测出快门键41按下步骤S101。如果检测出快门键41被按下，则指示驱动控制部2执行N个连拍步骤S102。其次，基于连拍得到的图像数据，生成由以亮度

17、色差的颜色空间信息表现出的YUV图像构成的连拍图像，并保存到RAM8中步骤S103。0045例如，如果连拍个数N例如为6个，则如图4所示由YUV图像构成的6个连拍图像P1P6被保存到RAM8中。在图4中，箭头T为时间轴，连拍图像P1P6是在表示摄像视场角整体的背景B内作为运动物体的手H上下摆动的状态下，以大致相同的摄像视场角连拍到的图像。在连拍图像P1P6中，虽然背景B是相同的，但随着P1P2P3和时间T的推移手H的像在背景B内相对位于上方，图像P3的手H的像位于最上方。另外，随着P3P4P5P6和时间T的推移手H的像在背景B内相对位于下方，图像P6的手H的像位于最下方。0046此外，在连拍这

18、些连拍图像P1P6时，因手抖动引起的图像模糊通过公知技术基于CCD移位或透镜移位的视场角修正技术进行修正。0047下面，从这些连拍图像中选择基准图像步骤S104。在选择该基准图像时，在连拍图像中选择运动物体的移动量最小的图像。因此，在连拍图像P1P6中，运动物体手H的像的移动量最小的图像为从下向上运动的手H的像从上向下变化的分歧点的图像，也就是手H的像的位置位于最上方的连拍图像P3作为基准图像而选择。0048然后，由LPF低通滤波器对该选择的基准图像的图像数据进行噪声降低处理步骤S105。然后，将该噪声降低处理之后的基准图像的YUV图像数据暂时保存到RAM8中步骤S106。因此，通过该步骤S1

19、05及步骤S106中的处理，在图4所示的例子中连拍图像P3的图像数据被进行噪声降低处理，并将该YUV图像数据保存到RAM8中。0049另外，对连拍的多个图像进行噪声降低并合成步骤S107。也就是说，如果按每个像素对多个连拍图像的YUV图像数据进行相加平均，则能够一边降低噪声一边进行合说明书CN102348056ACN102348075A4/9页7成。N个连拍图像的YUV图像数据相加平均的式13如下所示。此外，Y_RESULT、U_RESULT及V_RESULT分别表示像素的亮度色差参数各自合成后的信息。0050Y_RESULTY0Y1YN/N式10051U_RESULTU0U1UN/N式200

20、52V_RESULTV0V1VN/N式30053当然，并不限定于加法平均，只要是利用多个连拍图像有噪声降低效果的合成方法，则也可以是其他处理方法。然后，将该噪声降低之后的全部连拍图像的合成图像的YUV图像数据暂时保存到RAM8中步骤S108。0054因此，在结束了该步骤S108处理的时刻，在RAM8中暂时保存有下述图像数据。00551各连拍图像的YUV图像数据；00562噪声降低处理后的基准图像的YUV图像数据；00573噪声降低处理后的合成图像的YUV图像数据。0058并且，将步骤S109的运动物体判定混合处理包含在内，进行用于合成上述2基准图像的YUV图像数据和3图像合成的YUV图像数据的

21、处理。0059图3是表示运动物体判定混合处理步骤S109的处理顺序的流程图。此外，在该图3所示的流程图说明时，使用下式、符号或函数。0060Y_BASE_NR、U_BASE_NR、V_BASE_NR上述2的噪声降低后基准图像数据的YUV各参数；0061YN、UN、VN第N个图像数据的YUV各参数；0062N合成个数；0063FMAX最大值计算函数；0064FLPF平滑化函数；0065FEMPHASIS映射强调函数。0066在图3的流程图中，控制部9如下式46所示那样，按各连拍图像的YUV图像数据1的每个像素，求出噪声降低处理后的基准图像的YUV图像数据2和各连拍图像的YUV图像数据1的差值绝对

22、值步骤S201。0067也就是说，按各连拍图像的每个像素求出下式。0068DIFF_YN|Y_BASE_NRYN|式4/Y的差值绝对值0069DIFF_UN|U_BASE_NRUN|式5/U的差值绝对值0070DIFF_VN|V_BASE_NRVN|式6/V的差值绝对值0071并且，由于差值越大越是被摄体运动的可能性大的区域，故如下式7所示那样选择差值最大的按连拍图像所对应的每一个像素而言差值最大的步骤S202。0072DIFFNFMAXDIFF_YN，DIFF_UN，DIFF_VN式70073下面，如下式8所示，执行对除基准图像外的各连拍图像的最大差值进行平均化的处理步骤S203。0074A

23、VE_DIFFDIFF0DIFF1DIFFN/N1式80075进而，如下式9所示，执行平滑化处理步骤S204。0076AVE_DIFF_LPFFLPFAVE_DIFF式90077通过该步骤S204中的平滑化处理，如图5A所示那样生成运动物体判定映射M。在说明书CN102348056ACN102348075A5/9页8该运动物体判定映射M中，斜线示出的部分是0、即全透过的区域，白色部分是255、即不透过的区域。0078接着，如下式10所示，进行强调处理以提高所述运动物体判定映射M的对比度步骤S105。0079MAP_MOVEFEMPHASISAVE_DIFF_LPF式100080通过该步骤S20

24、5中的平滑化处理，如图5B所示在运动物体判定映射M中运动物体的手H的像重叠的区域的对比度被提高。0081最终，将该图5B所示的运动物体判定映射MMAP_MOVE02550无运动物体用作映射，来合成上述2噪声降低处理后的基准图像的YUV图像数据和3噪声降低处理后的合成图像的YUV图像数据步骤S206。0082被合成的各像素的YUV的各参数Y_RESULT，U_RESULT，V_RESULT由下式1113进行表现。0083Y_RESULTY_NR_MIX255MAP_MOVEY_BASE_NRMAP_MOVE/255式110084U_RESULTU_NR_MIX255MAP_MOVEU_BASEN

25、RMAP_MOVE/255式120085V_RESULTV_NR_MIX255MAP_MOVEV_BASENRMAP_MOVE/255式130086由此，如图6B所示，生成了表示由背景B和手H构成的合成图像PM的YUV图像数据。0087为了比较，图6A是单将连拍到的图像进行平均相加处理之后的合成图像PN。0088这样，在单将连拍到的图像进行平均加法处理之后的合成图像PN中，作为运动物体的手H的像会产生大的抖动。相对于此，根据本实施方式，即便在手H的像运动的情况下，也如图6B所示那样得到运动物体抖动少的合成图像PM。0089并且，如前述，由于在步骤S204中进行平滑化处理，因此能够使合成而得到运

26、动物体手H和背景的边界线更自然。0090另外，由于在上述步骤S205中执行了提高映射M对比度的处理，故也能够减少合成处理中的被摄体抖动的余像重像。0091以上，如果通过生成表示合成图像PM的YUV图像数据，并完成了图2流程图中的运动物体判定混合处理，则对作为完成图像的合成图像PM的YUV图像数据以JPEG方式进行编码、文件化，并记录保存到图像记录部6中步骤S110，由此结束处理。0092第二实施方式0093在上述第一实施方式中，叙述了在单纯地合成连拍得到的多个图像的情况下，减少由运动的被摄体的运动物体抖动带来的影像的事例，但如果是与其无关地连拍到的图像，则合成改变曝光条件连拍到的图像，生成扩大

27、动态范围的图像的事例中，本发明也能适用。0094下面，在第二实施方式中，叙述如下情况在合成改变曝光条件连拍到的图像，并生成扩大了动态范围的图像的事例中应用本发明。0095此外，在电路结构或流程图的说明中，对与第一实施方式同样的地方，在本发明第说明书CN102348056ACN102348075A6/9页9二实施方式中也赋予相同的符号、序号，并省略其说明。0096图7是具备本发明第二实施方式所涉及的图像合成装置的摄像装置的电路结构图。与上述第一实施方式的不同点在于代替程序存储器7、合成部11，而具备程序存储器17、合成部12。0097该程序存储器17存储由控制部9、图像处理部10、合成部12执行

28、的程序，控制部9根据需要读出该程序。0098另外，合成部12执行后述的曝光过度图像和疑似曝光过度图像的合成，并且对于该合成图像将后面叙述的运动物体判定映射用作差值区域所对应的透过强度映射映射，减少由运动物体带来的余像。另外，通过对所述合成图像和曝光不足图像进行像素相加合成，由此来扩大动态范围。0099下面，利用图8说明本发明第二实施方式的动作。用户操作设置于键输入部4的模式按钮，当设定本实施方式涉及的摄影模式时，控制部9从程序存储器7中读出程序，如图8的流程图所示那样开始处理。0100也就是说，控制部9判断是否检测出快门键41被按下步骤S301。如果检测出快门键41被按下，则检测适当曝光，并且

29、用将该适当曝光的曝光值0EV减去了“1”之后的1EV指示驱动控制部2执行摄影，将由该1EV摄影得到的曝光不足图像暂时保存到RAM8中步骤S302。接着，用将适当曝光的曝光值0EV增加“1”之后的1EV指示驱动控制部2执行摄影，并将由该1EV摄影得到的曝光过度图像暂时保存到RAM8中步骤S303。0101因此，通过该步骤S302及步骤S303中的处理，图9A所示的由YUV图像构成的曝光不足图像U和图9B所示的由YUV图像构成的曝光过度图像O保存到RAM8中当然，此外也可获取由适当曝光拍摄到的图像。连拍得到的曝光不足图像U和曝光过度图像O是在表示摄像视场角整体的背景B内使作为运动物体的手H上下摆动

30、的状态下以大致相同的摄像视场角连拍得到的。0102两个图像U、O，虽然背景B相同，但先拍摄到的曝光过度图像O的手H的像与后拍摄到的曝光不足图像U的手H的像相比，位于下方。0103此外，在连拍这些连拍图像U、O时，因手抖动引起的图像模糊通过公知技术基于CCD移位或透镜移位的视场角修正技术进行修正。0104下面，以与曝光过度图像O的曝光条件相同的方式提高曝光不足图像U的增益，由此生成该疑似曝光过度图像，并暂时保存到RAM8中步骤S304。也就是说，以1EV拍摄到的曝光不足图像U和以1EV拍摄到的曝光过度图像O这两个图像的明亮度有4倍差异，曝光过度图像O比曝光不足图像U亮4倍。因此，通过用数字增益4

31、倍处理曝光不足图像U，生成曝光条件与曝光过度图像O近似相同的疑似曝光过度图像。0105下面，进行运动物体判定混合处理步骤S305。对于该运动物体判定混合处理的整体而言，与第一实施方式中的步骤S105相同，作为概略处理的流程而与图3说明相同。其中，在说明图3所示的流程图时，对于式子、符号或函数而言，替代第一实施方式而使用下述的式子、符号或函数。0106Y_UNDER_4，U_UNDER_4，V_UNDER_4疑似曝光过度图像的YUV参数；0107Y_OVER，U_OVER，V_OVER曝光过度图像的YUV参数；0108FMAX最大值计算函数；说明书CN102348056ACN102348075A

32、7/9页100109FLPF平滑化函数；0110FEMPHASIS映射强调函数。0111另外，在图3流程图的步骤S201中，如下式1416所示那样，控制部9按两个图像的每个像素，求出疑似曝光过度图像和曝光过度图像的差值绝对值。0112也就是说，按所述两个图像的每个像素求出下式。0113DIFF_Y|Y_UNDER_4Y_MID|式14/Y差值绝对值0114DIFF_U|U_UNDER_4U_MID|式15/U差值绝对值0115DIFF_V|V_UNDER_4V_MID|式16/V差值绝对值0116并且，由于差值越大越是被摄体运动的可能性大的区域，故在步骤S202中如下式17所示那样选择差值最大

33、的差值绝对值按两个图像对应的每个像素而言差值最大的。0117DIFFFMAXDIFF_Y，DIFFU，DIFF_V式170118下面，如下式18所示，在步骤S203中执行对两个图像的最大差值进行平均化的处理。0119AVE_DIFFDIFF0DIFF1DIFFN/N1式180120进而，如下式19所示，在步骤S204中执行平滑化处理。0121DIFF_LPFFLPFDIFF式190122通过该步骤S204中的平滑化处理，如图10A所示生成运动物体判定映射M。在该运动物体判定映射M中，斜线示出的部分是0、即全透过的区域，白色部分是255、即不透过的区域。0123接着，如下式20所示，在步骤S20

34、5中进行强调处理以提高所述运动物体判定映射M的对比度。0124MAP_MOVEFEMPHASISDIFF_LPF式200125通过该步骤S205中的平滑化处理，如图10B所示，在运动物体判定映射M中作为运动物体的手H的像的区域中的对比度被提高。0126然后，在步骤S206中将该图10B所示的运动物体判定映射MMAP_MOVE02550无运动物体用作映射，来合成上述的疑似曝光过度图像和曝光过度图像。0127被合成之后的图像以下，称为混合图像各像素的YUV的各参数Y_RESULT_OVER，U_RESULT_OVER，V_RESULT_OVER由下式2123进行表现。0128Y_RESULT_OV

35、ERY_OVER255MAP_MOVEY_UNDER_4MAP_MOVE/255式210129U_RESULT_OVERU_OVER255MAP_MOVEU_UNDER_4MAP_MOVE/255式220130V_RESULT_OVERV_OVER255MAP_MOVEV_UNDER_4MAP_MOVE/255式230131并且，在图8流程图中的步骤S305后续的步骤S306中，将该混合图像暂时保存到RAM8中。接着，对该RAM8中暂时保存的混合图像和所述曝光不足图像U进行像素相加合成步骤S307。0132这样，如果生成表示合成图像PM的YUV图像数据，则对作为完成图像的合成图像说明书CN10

36、2348056ACN102348075A8/9页11PM的YUV图像数据以JPEG方式进行编码、文件化，并记录保存到图像记录部6中步骤S308，由此结束处理。0133第二实施方式的变形例0134图11是表示本发明第二实施方式中的变形例的处理顺序的流程图，用到以大致相同视场角拍摄到的三个图像、曝光不足图像、适当曝光图像、曝光过度图像。用户操作设置于键输入部4的模式按钮，当设定本实施方式涉及的摄影模式时，控制部9从程序存储器7中读出程序，如该流程图所示开始处理。0135也就是说，控制部9判断是否检测出快门键41被按下步骤S401。如果检测出快门键41被按下，则检测适当曝光，并且用将该适当曝光的曝光

37、值0EV减去了“2”之后的2EV指示驱动控制部2执行摄影，并将由该2EV摄影得到的曝光不足图像暂时保存到RAM8中步骤S402。0136另外，用适当曝光的曝光值0EV指示驱动控制部2执行摄影，并将由0EV摄影得到的适当曝光图像暂时保存到RAM8中步骤S403。进而，用将适当曝光的曝光值0EV增加了“2”之后的2EV指示驱动控制部2执行摄影，并将由该2EV摄影得到的曝光过度图像暂时保存到RAM8中步骤S404。0137因此，通过该步骤S402及步骤S403中的处理，由YUV图像构成的曝光不足图像、适当曝光图像及曝光过度图像被保存到RAM8中。0138下面，以与适当曝光图像的曝光条件相同的方式提高

38、曝光不足图像的增益，由此来生成第一疑似曝光过度图像，且以与曝光过度图像的曝光条件相同的方式提高曝光不足图像的增益，由此来生成第二疑似曝光过度图像，并将其暂时保存到RAM8中步骤S405。0139也就是说，以2EV拍摄到的曝光不足图像和以0EV拍摄到的适当曝光图像这两个图像的明亮度有8倍差异，适当曝光图像比曝光不足图像亮8倍。因此，以数字增益8倍处理曝光不足图像，来生成曝光条件与适当曝光图像近似相同的第一疑似曝光过度图像。0140另外，以2EV拍摄到的曝光不足图像和以2EV拍摄到的曝光过度图像这两个图像的明亮度有16倍差异，曝光过度图像比曝光不足图像亮16倍。因此，以数字增益16倍处理曝光不足图

39、像，来生成曝光条件与曝光过度图像近似相同的第二疑似曝光过度图像。并且，将这些第一疑似曝光过度图像和第二疑似曝光过度图像暂时保存到RAM8中。0141下面，判断第一次的运动物体判定混合处理是否结束步骤S406。如果尚未执行运动物体判定混合处理，本次为第一次处理，则步骤S406的判断为“否”，进入步骤S407。0142之后，利用曝光值近似相等的第一疑似曝光过度图像和适当曝光图像，进行运动物体判定混合处理。该运动物体判定混合处理步骤S407的处理顺序，与基于图13的流程图所说明的实施方式相同。如果利用了该第一疑似曝光过度图像和适当曝光图像的运动物体判定混合处理结束，则将由此得到的第一混合图像暂时保存

40、到RAM8中步骤S408，并返回到步骤S406。0143于是，因为第一次的运动物体判定混合处理已结束，故步骤S406的判断为“是”。因此，进入步骤S409，利用曝光值近似相等的第二疑似曝光过度图像和曝光过度图像，进行运动物体判定混合处理。该运动物体判定混合处理步骤S409的处理顺序，也与基于图3流程图所说明的所述实施方式相同。说明书CN102348056ACN102348075A9/9页120144如果使用了该第二疑似曝光过度图像和曝光过度图像的运动物体判定混合处理结束，则将由此得到的第二混合图像暂时保存到RAM8中步骤S410。0145接着，对这些在RAM8中暂时保存的第一混合图像及第二混合

41、图像和所述曝光不足图像进行像素相加合成，生成表示该合成图像的YUV图像数据步骤S411。0146然后，对作为完成图像的合成图像PM的YUV图像数据以JPEG方式进行编码、文件化，并将其记录保存到图像记录部6中步骤S412，由此结束处理。0147此外，在该变形例中，在步骤S411中对第一混合图像、第二混合图像及曝光不足图像进行像素相加合成，而得到完成图像。但是，也可仅仅对第一混合图像和曝光不足图像进行像素相加合成来得到完成图像，或者对第二混合图像和曝光不足图像进行像素相加合成而得到完成图像。0148此外，虽然在本实施方式中示出使用YUV图像数据的情况，但也可使用RGB图像数据。此时，对于RGB的

42、每一个，也可同样地计算差值平方。说明书CN102348056ACN102348075A1/11页13图1说明书附图CN102348056ACN102348075A2/11页14图2说明书附图CN102348056ACN102348075A3/11页15图3说明书附图CN102348056ACN102348075A4/11页16图4说明书附图CN102348056ACN102348075A5/11页17图5A图5B说明书附图CN102348056ACN102348075A6/11页18图6A图6B说明书附图CN102348056ACN102348075A7/11页19图7说明书附图CN102348056ACN102348075A8/11页20图8说明书附图CN102348056ACN102348075A9/11页21图9A图9B说明书附图CN102348056ACN102348075A10/11页22图10A图10B说明书附图CN102348056ACN102348075A11/11页23图11说明书附图CN102348056A