图像合成装置和图像合成方法 技术领域 本发明涉及对通过连续拍摄等得到的多个图像进行合成的图像合成装置、 图像合 成方法及程序产品。
背景技术 以往， 已知一种如下技术 ： 通过对连拍得到的图像进行像素相加合成， 生成即便在 夜景等光量少的摄影环境下也具有记录所需的充分的明亮度的图像。
另外， 如 JP 特开 2006-148550 号公报记载那样， 已知在用户手持相机进行拍摄的 手持摄影时对摄像视场角的摇动进行修正合成的图像合成技术。
可是， 在上述的图像合成技术的情况下， 在摄像视场角内存在运动物体时， 即便利 用上述图像合成技术也将获得残留运动物体余像的图像。
发明内容 本发明鉴于上述现有技术问题提出的， 其目的在于即便在摄影视场角内存在运动 物体时也能获得运动物体余像的影响较少的合成图像。
为了达成上述目的， 本发明的第 1 方面的图像合成装置包括 ：
图像获取单元， 获取在时间上连续的多个图像 ；
图像生成单元， 对由该图像获取单元获取到的多个图像进行像素相加合成从而生 成一个图像 ；
第一差值获取单元， 在由所述图像生成单元进行像素相加合成时， 按多个图像的 每一个图像获取合成前的所述多个图像的每个像素的差值 ； 和
混合 (blending) 单元， 将由该第一差值获取单元获取到的信息作为透过强度的 信息混合在由所述图像生成单元生成的图像中。
另外， 为了达成上述目的， 本发明的第 2 方面的图像合成方法包括 ：
图像获取步骤， 获取在时间上连续的多个图像 ；
图像生成步骤， 对由该图像获取步骤获取到的多个图像进行像素相加合成从而生 成一个图像 ；
差值获取步骤， 在由所述图像生成步骤进行像素相加合成时， 按多个图像的每一 个图像获取合成前的所述多个图像的每个像素的差值 ； 和
混合步骤， 将由该差值获取步骤获取到的信息作为透过强度的信息混合在由所述 图像生成步骤生成的图像中。
此外， 为了达成上述目的， 本发明的第 3 方面的程序产品存储了计算机可读取的 程序， 所述程序产品使计算机执行以下功能 ：
图像获取单元， 获取在时间上连续的多个图像 ；
图像生成单元， 对由该图像获取单元获取到的多个图像进行像素相加合成从而生 成一个图像 ；
差值获取单元， 在由所述图像生成单元进行像素相加合成时， 按多个图像的每一 个图像获取合成前的所述多个图像的每个像素的差值 ； 和
混合单元， 将由该差值获取单元获取到的信息作为透过强度的信息混合在由所述 图像生成单元生成的图像中。 附图说明 图 1 是应用了本发明第一实施方式的摄像装置的电路框图。
图 2 是表示该摄像装置中的处理顺序的流程图。
图 3 是表示运动物体判定·混合处理的处理顺序的流程图。
图 4 是表示连拍到的图像的一例的图。
图 5A 是表示平滑化处理的处理结果的图 ； 图 5B 是表示强调处理的处理结果的图。
图 6A 是表示相加合成的合成图像 ； 图 6B 是表示本实施方式的合成图像。
图 7 是应用了本发明第二实施方式的摄像装置的电路框图。
图 8 是表示第二实施方式的该摄像装置中的处理顺序的流程图。
图 9A 是表示在第二实施方式中一边改变曝光条件一边连拍得到的图像中的曝光 不足图像的图。
图 9B 是表示在第二实施方式中一边改变曝光条件一边连拍得到的图像中的曝光 过度图像的图。
图 10A 是表示平滑化处理的处理结果的图。
图 10B 是表示强调处理的处理结果的图。
图 11 是表示本发明第二实施方式的变形例中的处理顺序的流程图。
具体实施方式
下面， 参照附图对本发明的一实施方式进行说明。
第一实施方式
图 1 是具备本发明第一实施方式所涉及的图像处理装置的摄像装置的电路结构 图。该摄像装置具有 ： 摄像部 1、 驱动控制部 2、 CDS/ADC3、 键输入部 4、 显示部 5、 图像记录 部 6、 程序存储器 7、 RAM8、 控制部 9、 图像处理部 10。这些部件经由总线进行连接。键输入 部 4 具备用于检测摄影者的记录指示的快门键 41， 图像处理部 10 具备合成部 11。
在该图中， 摄像部 1 内置 CMOS 等图像传感器、 设置在该图像传感器上的 RGB 的滤 色器、 以及通过来自驱动控制部 2 的控制将光的强度作为电荷的蓄积而保持一定时间并将 它们作为模拟的摄像信号输出至 CDS/ADC3 的驱动器。并且， 通过检测经由快门键 41、 控制 部 9、 驱动控制部 2 的摄影者的摄影指示， 从而获取多个图像 ( 彩色图像 )。
CDS/ADC3 是输入与摄像部 1 输出的被摄体的光学像相应的模拟的摄像信号的 电路， 由对所输入的摄像信号进行保持的 CDS、 将该摄像信号进行放大的增益调整放大器 (AGC)、 以及将被放大的摄像信号变换成数字的摄像信号的 A/D 变换器 (ADC) 等构成。 此外， 关于增益调整放大器的调整所涉及的控制， 也是基于来自驱动控制部 2 的指示进行的。为 此， 即便使曝光条件 ( 快门速度或光圈值 ) 相同地获取多个图像， 也能生成因依次改变 RGB 的增益调整放大器及图像的色调导致的条件不同的多个图像。此外， 在本实施方式中， 虽然驱动控制部 2 进行了与增益调整放大器相关的控制， 但并不限定于此。例如， 也可由控制部 9 进行上述控制。
键输入部 4 除了具备上述快门键 41 之外， 还具备用于向本发明涉及的以图像的获 取和记录为目的的摄影模式的切换、 检测显示的切换等的各种键。
显示部 5 具有显示被合成的图像的功能。图像记录部 6 在执行了本发明涉及的合 成处理之后， 存储、 保存以 JPEG 方式编码的图像数据 ( 图像文件 )。程序存储器 7 存储由控 制部 9、 图像处理部 10 执行的程序， 控制部 9 根据需要读出该程序。RAM8 具有对各处理所 产生的处理中的数据进行暂时保持的功能。控制部 9 控制该摄像装置整体的处理动作。图 像处理部 10 除了具备图像数据的编码和解码处理之外， 还具备与本发明的特征结构对应 的合成部 11。
也就是说， 合成部 11 执行从连拍图像选出的一个基准图像与对连拍图像进行相 加合成之后的合成图像之间的合成， 并且对于该合成图像将后面叙述的运动物体判定映射 用作差值区域所对应的透过强度映射 (α 映射 )， 以减少由运动物体产生的余像。
下面， 说明本发明第一实施方式的动作。用户操作设置于键输入部 4 的模式按钮， 当设定本实施方式所涉及的摄影模式时， 控制部 9 从程序存储器 7 中读出程序， 如图 2 的流 程图所示那样开始处理。 也就是说， 控制部 9 判断是否检测出快门键 41 按下 ( 步骤 S101)。如果检测出快 门键 41 被按下， 则指示驱动控制部 2 执行 N 个连拍 ( 步骤 S102)。其次， 基于连拍得到的图 像数据， 生成由以亮度色差的颜色空间信息表现出的 YUV 图像构成的连拍图像， 并保存到 RAM8 中 ( 步骤 S103)。
例如， 如果连拍个数 N 例如为 6 个， 则如图 4 所示由 YUV 图像构成的 6 个连拍图像 P1 ～ P6 被保存到 RAM8 中。在图 4 中， 箭头 t 为时间轴， 连拍图像 P1 ～ P6 是在表示摄像 视场角整体的背景 B 内作为运动物体的手 H 上下摆动的状态下， 以大致相同的摄像视场角 连拍到的图像。在连拍图像 P1 ～ P6 中， 虽然背景 B 是相同的， 但随着 P1 → P2 → P3 和时 间 t 的推移手 H 的像在背景 B 内相对位于上方， 图像 P3 的手 H 的像位于最上方。另外， 随 着 P3 → P4 → P5 → P6 和时间 t 的推移手 H 的像在背景 B 内相对位于下方， 图像 P6 的手 H 的像位于最下方。
此外， 在连拍这些连拍图像 P1 ～ P6 时， 因手抖动引起的图像模糊通过公知技术 ( 基于 CCD 移位或透镜移位的视场角修正技术 ) 进行修正。
下面， 从这些连拍图像中选择基准图像 ( 步骤 S104)。在选择该基准图像时， 在连 拍图像中选择运动物体的移动量最小的图像。因此， 在连拍图像 P1 ～ P6 中， 运动物体 ( 手 H 的像 ) 的移动量最小的图像为从下向上运动的手 H 的像从上向下变化的分歧点的图像， 也 就是手 H 的像的位置位于最上方的连拍图像 P3 作为基准图像而选择。
然后， 由 LPF( 低通滤波器 ) 对该选择的基准图像的图像数据进行噪声降低处理 ( 步骤 S105)。然后， 将该噪声降低处理之后的基准图像的 YUV 图像数据暂时保存到 RAM8 中 ( 步骤 S106)。因此， 通过该步骤 S105 及步骤 S106 中的处理， 在图 4 所示的例子中连拍 图像 P3 的图像数据被进行噪声降低处理， 并将该 YUV 图像数据保存到 RAM8 中。
另外， 对连拍的多个图像进行噪声降低并合成 ( 步骤 S107)。也就是说， 如果按 每个像素对多个连拍图像的 YUV 图像数据进行相加平均， 则能够一边降低噪声一边进行合
成。N 个连拍图像的 YUV 图像数据相加平均的式 [1] ～ [3] 如下所示。此外， Y_result、 U_ result 及 V_result 分别表示像素的亮度色差参数各自合成后的信息。
Y_result ＝ (Y[0]+Y[1]+… +Y[N])/N …式 [1]
U_result ＝ (U[0]+U[1]+… +U[N])/N …式 [2]
V_result ＝ (V[0]+V[1]+… +V[N])/N …式 [3]
当然， 并不限定于加法平均， 只要是利用多个连拍图像有噪声降低效果的合成方 法， 则也可以是其他处理方法。然后， 将该噪声降低之后的全部连拍图像的合成图像的 YUV 图像数据暂时保存到 RAM8 中 ( 步骤 S108)。
因此， 在结束了该步骤 S108 处理的时刻， 在 RAM8 中暂时保存有下述图像数据。
(1) 各连拍图像的 YUV 图像数据 ；
(2) 噪声降低处理后的基准图像的 YUV 图像数据 ；
(3) 噪声降低处理后的合成图像的 YUV 图像数据。
并且， 将步骤 S109 的运动物体判定· α 混合处理包含在内， 进行用于合成上述 (2) 基准图像的 YUV 图像数据和 (3) 图像合成的 YUV 图像数据的处理。
图 3 是表示运动物体判定·α 混合处理 ( 步骤 S109) 的处理顺序的流程图。此 外， 在该图 3 所示的流程图说明时， 使用下式、 符号或函数。
Y_Base_Nr、 U_Base_Nr、 V_Base_Nr ： 上述 (2) 的噪声降低后基准图像数据的 YUV 各参数 ； Y[n]、 U[n]、 V[n] ： 第 n 个图像数据的 YUV 各参数 ；
N： 合成个数 ；
fMax() ： 最大值计算函数 ；
fLpf() ： 平滑化函数 ；
fEmphasis() ： 映射强调函数。
在图 3 的流程图中， 控制部 9 如下式 [4] ～ [6] 所示那样， 按各连拍图像的 YUV 图 像数据 (1) 的每个像素， 求出噪声降低处理后的基准图像的 YUV 图像数据 (2) 和各连拍图 像的 YUV 图像数据 (1) 的差值绝对值 ( 步骤 S201)。
也就是说， 按各连拍图像的每个像素求出下式。
Diff_Y[n] ＝ |Y_base_Nr-Y[n]|…式 [4]//Y 的差值绝对值
Diff_U[n] ＝ |U_base_Nr-U[n]|…式 [5]//U 的差值绝对值
Diff_V[n] ＝ |V_base_Nr-V[n]|…式 [6]//V 的差值绝对值
并且， 由于差值越大越是被摄体运动的可能性大的区域， 故如下式 [7] 所示那样 选择差值最大的 ( 按连拍图像所对应的每一个像素而言差值最大的 )( 步骤 S202)。
Diff[n] ＝ fMax(Diff_Y[n]， Diff_U[n]， Diff_V[n])…式 [7]
下面， 如下式 [8] 所示， 执行对除基准图像外的各连拍图像的最大差值进行平均 化的处理 ( 步骤 S203)。
Ave_Diff ＝ (Diff[0]+Diff[1]+… +Diff[N])/N-1... 式 [8]
进而， 如下式 [9] 所示， 执行平滑化处理 ( 步骤 S204)。
Ave_Diff_Lpf ＝ fLpf(Ave_Diff)…式 [9]
通过该步骤 S204 中的平滑化处理， 如图 5A 所示那样生成运动物体判定映射 M。 在
该运动物体判定映射 M 中， 斜线示出的部分是 α ＝ 0、 即全透过的区域， 白色部分是 α ＝ 255、 即不透过的区域。
接着， 如下式 [10] 所示， 进行强调处理以提高所述运动物体判定映射 M 的对比度 ( 步骤 S105)。
Map_Move ＝ fEmphasis(Ave_Diff_Lpf) …式 [10]
通过该步骤 S205 中的平滑化处理， 如图 5B 所示在运动物体判定映射 M 中运动物 体的手 H 的像重叠的区域的对比度被提高。
最终， 将该图 5B 所示的运动物体判定映射 M(Map_Move[0 ～ 255] ： 0 ＝无运动物 体 ) 用作 α 映射， 来合成上述 (2) 噪声降低处理后的基准图像的 YUV 图像数据和 (3) 噪声 降低处理后的合成图像的 YUV 图像数据 ( 步骤 S206)。
被合成的各像素的 YUV 的各参数 (Y_result， U_result， V_result) 由下式 [11] ～ [13] 进行表现。
Y_result ＝ (Y_Nr_Mix×(255-Map_Move)+Y_Base_Nr×Map_Move)/255 …式 [11]
U_result ＝ (U_Nr_Mix×(255-Map_Move)+U_Base-Nr×Map_Move)/255 …式 [12]
V_result ＝ (V_Nr_Mix×(255-Map_Move)+V_Base-Nr×Map_Move)/255…式[13]
由此， 如图 6B 所示， 生成了表示由背景 B 和手 H 构成的合成图像 PM 的 YUV 图像数据。 为了比较， 图 6A 是单将连拍到的图像进行平均相加处理之后的合成图像 PN。
这样， 在单将连拍到的图像进行平均加法处理之后的合成图像 PN 中， 作为运动物 体的手 H 的像会产生大的抖动。 相对于此， 根据本实施方式， 即便在手 H 的像运动的情况下， 也如图 6B 所示那样得到运动物体抖动少的合成图像 PM。
并且， 如前述， 由于在步骤 S204 中进行平滑化处理， 因此能够使合成而得到运动 物体 ( 手 H) 和背景的边界线更自然。
另外， 由于在上述步骤 S205 中执行了提高映射 M 对比度的处理， 故也能够减少合 成处理中的被摄体抖动的余像 ( 重像 )。
以上， 如果通过生成表示合成图像 PM 的 YUV 图像数据， 并完成了图 2 流程图中的 运动物体判定·混合处理， 则对作为完成图像的合成图像 PM 的 YUV 图像数据以 JPEG 方式 进行编码、 文件化， 并记录保存到图像记录部 6 中 ( 步骤 S110)， 由此结束处理。
第二实施方式
在上述第一实施方式中， 叙述了在单纯地合成连拍得到的多个图像的情况下， 减 少由运动的被摄体的运动物体抖动带来的影像的事例， 但如果是与其无关地连拍到的图 像， 则合成改变曝光条件连拍到的图像， 生成扩大动态范围的图像的事例中， 本发明也能适 用。
下面， 在第二实施方式中， 叙述如下情况 ： 在合成改变曝光条件连拍到的图像， 并 生成扩大了动态范围的图像的事例中应用本发明。
此外， 在电路结构或流程图的说明中， 对与第一实施方式同样的地方， 在本发明第
二实施方式中也赋予相同的符号、 序号， 并省略其说明。
图 7 是具备本发明第二实施方式所涉及的图像合成装置的摄像装置的电路结构 图。与上述第一实施方式的不同点在于 ： 代替程序存储器 7、 合成部 11， 而具备程序存储器 17、 合成部 12。
该程序存储器 17 存储由控制部 9、 图像处理部 10、 合成部 12 执行的程序， 控制部 9 根据需要读出该程序。
另外， 合成部 12 执行后述的曝光过度图像和疑似曝光过度图像的合成， 并且对于 该合成图像将后面叙述的运动物体判定映射用作差值区域所对应的透过强度映射 (α 映 射 )， 减少由运动物体带来的余像。另外， 通过对所述合成图像和曝光不足图像进行像素相 加合成， 由此来扩大动态范围。
下面， 利用图 8 说明本发明第二实施方式的动作。用户操作设置于键输入部 4 的 模式按钮， 当设定本实施方式涉及的摄影模式时， 控制部 9 从程序存储器 7 中读出程序， 如 图 8 的流程图所示那样开始处理。
也就是说， 控制部 9 判断是否检测出快门键 41 被按下 ( 步骤 S301)。如果检测 出快门键 41 被按下， 则检测适当曝光， 并且用将该适当曝光的曝光值 0EV 减去了 “1” 之后 的 -1EV 指示驱动控制部 2 执行摄影， 将由该 -1EV 摄影得到的曝光不足图像暂时保存到 RAM8 中 ( 步骤 S302)。接着， 用将适当曝光的曝光值 0EV 增加 “1” 之后的 +1EV 指示驱动控 制部 2 执行摄影， 并将由该 +1EV 摄影得到的曝光过度图像暂时保存到 RAM8 中 ( 步骤 S303)。
因此， 通过该步骤 S302 及步骤 S303 中的处理， 图 9A 所示的由 YUV 图像构成的曝 光不足图像 U 和图 9B 所示的由 YUV 图像构成的曝光过度图像 O 保存到 RAM8 中 ( 当然， 此 外也可获取由适当曝光拍摄到的图像 )。连拍得到的曝光不足图像 U 和曝光过度图像 O 是 在表示摄像视场角整体的背景 B 内使作为运动物体的手 H 上下摆动的状态下以大致相同的 摄像视场角连拍得到的。
两个图像 U、 O， 虽然背景 B 相同， 但先拍摄到的曝光过度图像 O 的手 H 的像与后拍 摄到的曝光不足图像 U 的手 H 的像相比， 位于下方。
此外， 在连拍这些连拍图像 U、 O 时， 因手抖动引起的图像模糊通过公知技术 ( 基于 CCD 移位或透镜移位的视场角修正技术 ) 进行修正。
下面， 以与曝光过度图像 O 的曝光条件相同的方式提高曝光不足图像 U 的增益， 由 此生成该疑似曝光过度图像， 并暂时保存到 RAM8 中 ( 步骤 S304)。也就是说， 以 -1EV 拍摄 到的曝光不足图像 U 和以 +1EV 拍摄到的曝光过度图像 O 这两个图像的明亮度有 4 倍差异， 曝光过度图像 O 比曝光不足图像 U 亮 4 倍。因此， 通过用数字增益 4 倍处理曝光不足图像 U， 生成曝光条件与曝光过度图像 O 近似相同的疑似曝光过度图像。
下面， 进行运动物体判定·α 混合处理 ( 步骤 S305)。对于该运动物体判定·α 混合处理的整体而言， 与第一实施方式中的步骤 S105 相同， 作为概略处理的流程而与图 3 说明相同。其中， 在说明图 3 所示的流程图时， 对于式子、 符号或函数而言， 替代第一实施方 式而使用下述的式子、 符号或函数。
Y_Under_4， U_Under_4， V_Under_4 ： 疑似曝光过度图像的 YUV 参数 ；
Y_Over， U_Over， V_Over ： 曝光过度图像的 YUV 参数 ；
fMax() ： 最大值计算函数 ；fLpf() ： 平滑化函数 ；
fEmphasis() ： 映射强调函数。
另外， 在图 3 流程图的步骤 S201 中， 如下式 [14] ～ [16] 所示那样， 控制部 9 按两 个图像的每个像素， 求出疑似曝光过度图像和曝光过度图像的差值绝对值。
也就是说， 按所述两个图像的每个像素求出下式。
Diff_Y ＝ |Y_Under_4-Y_Mid|…式 [14]//Y 差值绝对值
Diff_U ＝ |U_Under_4-U_Mid|…式 [15]//U 差值绝对值
Diff_V ＝ |V_Under_4-V_Mid|…式 [16]//V 差值绝对值
并且， 由于差值越大越是被摄体运动的可能性大的区域， 故在步骤 S202 中如下 式 [17] 所示那样选择差值最大的差值绝对值 ( 按两个图像对应的每个像素而言差值最大 的 )。
Diff ＝ fMax(Diff_Y， Diff-U， Diff_V)... 式 [17]
下面， 如下式 [18] 所示， 在步骤 S203 中执行对两个图像的最大差值进行平均化的 处理。
Ave_Diff ＝ (Diff[0]+Diff[1]+… +Diff[N])/N-1... 式 [18]
进而， 如下式 [19] 所示， 在步骤 S204 中执行平滑化处理。
Diff_Lpf ＝ fLpf(Diff)... 式 [19]
通过该步骤 S204 中的平滑化处理， 如图 10A 所示生成运动物体判定映射 M。在该 运动物体判定映射 M 中， 斜线示出的部分是 α ＝ 0、 即全透过的区域， 白色部分是 α ＝ 255、 即不透过的区域。
接着， 如下式 [20] 所示， 在步骤 S205 中进行强调处理以提高所述运动物体判定映 射 M 的对比度。
Map_Move ＝ fEmphasis(Diff_Lpf)... 式 [20]
通过该步骤 S205 中的平滑化处理， 如图 10B 所示， 在运动物体判定映射 M 中作为 运动物体的手 H 的像的区域中的对比度被提高。
然后， 在步骤 S206 中将该图 10B 所示的运动物体判定映射 M(Map_Move[0 ～ 255] ： 0 ＝无运动物体 ) 用作 α 映射， 来合成上述的疑似曝光过度图像和曝光过度图像。
被合成之后的图像 ( 以下， 称为混合图像 ) 各像素的 YUV 的各参数 (Y_result_ Over， U_result_Over， V_result_Over) 由下式 [21] ～ [23] 进行表现。
Y_result_Over ＝ (Y_Over×(255-Map_Move)+Y_Under_4×Map_Move)/255... 式 [21]
U_result_Over ＝ (U_Over×(255-Map_Move)+U_Under_4×Map_Move)/255... 式 [22]
V_result_Over ＝ (V_Over×(255-Map_Move)+V_Under_4×Map_Move)/255... 式 [23]
并且， 在图 8 流程图中的步骤 S305 后续的步骤 S306 中， 将该混合图像暂时保存到 RAM8 中。 接着， 对该 RAM8 中暂时保存的混合图像和所述曝光不足图像 U 进行像素相加合成 ( 步骤 S307)。
这样， 如果生成表示合成图像 PM 的 YUV 图像数据， 则对作为完成图像的合成图像PM 的 YUV 图像数据以 JPEG 方式进行编码、 文件化， 并记录保存到图像记录部 6 中 ( 步骤 S308)， 由此结束处理。
第二实施方式的变形例
图 11 是表示本发明第二实施方式中的变形例的处理顺序的流程图， 用到以大致 相同视场角拍摄到的三个图像、 曝光不足图像、 适当曝光图像、 曝光过度图像。用户操作设 置于键输入部 4 的模式按钮， 当设定本实施方式涉及的摄影模式时， 控制部 9 从程序存储器 7 中读出程序， 如该流程图所示开始处理。
也就是说， 控制部 9 判断是否检测出快门键 41 被按下 ( 步骤 S401)。如果检测 出快门键 41 被按下， 则检测适当曝光， 并且用将该适当曝光的曝光值 0EV 减去了 “2” 之后 的 -2EV 指示驱动控制部 2 执行摄影， 并将由该 -2EV 摄影得到的曝光不足图像暂时保存到 RAM8 中 ( 步骤 S402)。
另外， 用适当曝光的曝光值 0EV 指示驱动控制部 2 执行摄影， 并将由 0EV 摄影得到 的适当曝光图像暂时保存到 RAM8 中 ( 步骤 S403)。进而， 用将适当曝光的曝光值 0EV 增加 了 “2” 之后的 +2EV 指示驱动控制部 2 执行摄影， 并将由该 +2EV 摄影得到的曝光过度图像 暂时保存到 RAM8 中 ( 步骤 S404)。 因此， 通过该步骤 S402 及步骤 S403 中的处理， 由 YUV 图像构成的曝光不足图像、 适当曝光图像及曝光过度图像被保存到 RAM8 中。
下面， 以与适当曝光图像的曝光条件相同的方式提高曝光不足图像的增益， 由此 来生成第一疑似曝光过度图像， 且以与曝光过度图像的曝光条件相同的方式提高曝光不足 图像的增益， 由此来生成第二疑似曝光过度图像， 并将其暂时保存到 RAM8 中 ( 步骤 S405)。
也就是说， 以 -2EV 拍摄到的曝光不足图像和以 0EV 拍摄到的适当曝光图像这两个 图像的明亮度有 8 倍差异， 适当曝光图像比曝光不足图像亮 8 倍。因此， 以数字增益 8 倍处 理曝光不足图像， 来生成曝光条件与适当曝光图像近似相同的第一疑似曝光过度图像。
另外， 以 -2EV 拍摄到的曝光不足图像和以 +2EV 拍摄到的曝光过度图像这两个图 像的明亮度有 16 倍差异， 曝光过度图像比曝光不足图像亮 16 倍。 因此， 以数字增益 16 倍处 理曝光不足图像， 来生成曝光条件与曝光过度图像近似相同的第二疑似曝光过度图像。并 且， 将这些第一疑似曝光过度图像和第二疑似曝光过度图像暂时保存到 RAM8 中。
下面， 判断第一次的运动物体判定·混合处理是否结束 ( 步骤 S406)。如果尚未 执行运动物体判定·混合处理， 本次为第一次处理， 则步骤 S406 的判断为 “否” ， 进入步骤 S407。
之后， 利用曝光值近似相等的第一疑似曝光过度图像和适当曝光图像， 进行运动 物体判定·α 混合处理。该运动物体判定·α 混合处理 ( 步骤 S407) 的处理顺序， 与基于 图 13 的流程图所说明的实施方式相同。如果利用了该第一疑似曝光过度图像和适当曝光 图像的运动物体判定· α 混合处理结束， 则将由此得到的第一混合图像暂时保存到 RAM8 中 ( 步骤 S408)， 并返回到步骤 S406。
于是， 因为第一次的运动物体判定·α 混合处理已结束， 故步骤 S406 的判断为 “是” 。因此， 进入步骤 S409， 利用曝光值近似相等的第二疑似曝光过度图像和曝光过度图 像， 进行运动物体判定·α 混合处理。该运动物体判定·α 混合处理 ( 步骤 S409) 的处理 顺序， 也与基于图 3 流程图所说明的所述实施方式相同。
如果使用了该第二疑似曝光过度图像和曝光过度图像的运动物体判定·α 混合 处理结束， 则将由此得到的第二混合图像暂时保存到 RAM8 中 ( 步骤 S410)。
接着， 对这些在 RAM8 中暂时保存的第一混合图像及第二混合图像和所述曝光不 足图像进行像素相加合成， 生成表示该合成图像的 YUV 图像数据 ( 步骤 S411)。
然后， 对作为完成图像的合成图像 PM 的 YUV 图像数据以 JPEG 方式进行编码、 文件 化， 并将其记录保存到图像记录部 6 中 ( 步骤 S412)， 由此结束处理。
此外， 在该变形例中， 在步骤 S411 中对第一混合图像、 第二混合图像及曝光不足 图像进行像素相加合成， 而得到完成图像。 但是， 也可仅仅对第一混合图像和曝光不足图像 进行像素相加合成来得到完成图像， 或者对第二混合图像和曝光不足图像进行像素相加合 成而得到完成图像。
此外， 虽然在本实施方式中示出使用 YUV 图像数据的情况， 但也可使用 RGB 图像数 据。此时， 对于 RGB 的每一个， 也可同样地计算差值平方。