图像处理装置、 图像生成系统、 方法及程序 技术领域 本发明涉及生成运动图像的图像处理， 尤其涉及根据在不同拍摄条件下对相同对 象进行拍摄得到的多个运动图像生成表示该对象的新的运动图像的图像处理。
背景技术 由于像素的细微化， 拍摄元件的多像素化与小型化不断进步， 使用小型且廉价的 照相机进行高分辨率的拍摄成为可能。 作为细微化的结果， 各个像素的受光面积减少， 因此 相对噪声的增加 (SN 比的降低 ) 成为问题。尤其是， 在存在运动的被摄体的静止图像拍摄 或运动图像拍摄中， 由于无法使曝光时间变长， 所以由光量不足造成的 SN 比降低 ( 画质劣 化 ) 的问题变得较为显著。
作为上述问题的对策， 考虑通过在受光后电气地进行信号放大， 来使光量不足的 拍摄图像变亮的方法。但是在该方法中噪声也同时放大， SN 比没有得到改善。另一方面， 考虑使曝光时间变长以增加受光量的方法。 但是， 在该方法中， 由于被摄体运动而产生运动 模糊， 无法拍摄清晰的图像。 另外， 为了增加受光量， 若使透镜等光学系统变大， 则产生成本 增加和可携带性降低的问题。
作为在光量不足的条件下取得高分辨率的运动图像的现有装置， 有使用对相同对 象进行拍摄得到的曝光时间较长的静止图像与运动图像， 生成新的运动图像的图像生成装 置 ( 例如参照专利文献 1)。图 26 是表示专利文献 1 中记载的现有的图像生成装置的处理 过程的流程图。在图 26 的步骤 A1 中， 取得对相同情景进行拍摄得到的高速低分辨率运动 图像与长时间曝光的低速高分辨率运动图像。在步骤 A2 中， 使低速高分辨率运动图像的曝 光期间中的新的运动图像的帧的合计与低速高分辨率运动图像的误差减少以生成图像。 在 步骤 A3 中输出生成图像。
现有技术文献
专利文献
专利文献 1 ： JP 特许第 4215267 号说明书
发明内容 发明要解决的问题
在上述图像生成装置的结构中， 进行长时间曝光的拍摄， 因此在对光量较多的被 摄体进行拍摄的情况下， 有时在该被摄体区域中产生像素饱和。 在该饱和像素区域中， 本来 应得到的图像的帧合计值比饱和像素值大。 因此， 利用现有技术的方法， 以所述帧合计值与 输入图像的像素值 ( 饱和像素值 ) 的误差较小的方式生成图像， 则有时会产生矛盾， 生成图 像的画质降低， 产生亮度误差或伪色。
本发明为了解决现有问题而作， 其目的在于在根据利用长时间曝光等确保曝光量 并进行拍摄的图像得到高分辨率高帧速图像时， 在产生了饱和的情况下也得到高画质的图 像。
用于解决问题的手段
本发明的图像生成装置根据作为被摄体的第一颜色成分的运动图像的第一运动 图像以及作为所述被摄体的第二颜色成分的运动图像的第二运动图像， 生成表示所述被摄 体的新的运动图像， 该图像生成装置具备 ： 图像取得部， 取得分辨率、 帧速或曝光时间相互 不同的所述第一运动图像以及所述第二运动图像 ； 光量判定部， 基于所述第一运动图像以 及所述第二运动图像的各帧图像中的各像素的像素值， 判定各像素是否产生饱和或曝光不 足； 以及图像处理部， 根据所述第一运动图像以及所述第二运动图像， 生成所述第一运动图 像以及所述第二运动图像的帧速以上的帧速， 并且各帧图像的分辨率为所述第一运动图像 以及所述第二运动图像的分辨率以上的新的图像， 该图像处理部对于所述光量判定部未判 定为产生饱和或曝光不足的像素， 生成满足第一条件的新的运动图像， 对于所述光量判定 部判定为产生饱和或曝光不足的像素， 生成不满足所述第一条件的新的运动图像， 所述第 一条件表示取得的所述第一运动图像以及所述第二运动图像的像素值与在时空上对应于 所述像素的所述新的运动图像的帧图像的像素值的合计的误差小于指定值。
所述第一颜色成分可以是红色或蓝色中的至少一者， 所述第二颜色成分可以是绿 色。 所述光量判定部可以在各像素的光量为预先确定的饱和值以上的情况下判定为 产生饱和。
所述光量判定部可以在各像素的光量为预先确定的曝光不足值以下的情况下判 定为产生曝光不足。
所述饱和值可以针对所述第一颜色成分以及所述第二颜色成分的每个进行设定。
所述曝光不足值可以针对所述第一颜色成分以及所述第二颜色成分的每个进行 设定。
在所述光量判定部判定为像素产生饱和时， 所述图像处理部可以减少所述像素的 像素值， 在所述光量判定部判定为像素产生曝光不足时， 所述图像处理部可以增加所述像 素的像素值。
所述图像生成装置还可以具备第二条件设定部， 设定表示生成的新的运动图像内 的时空上相邻的像素的颜色应当连续的关于时空连续性的第二条件 ； 所述图像处理部可以 生成满足所述第二条件的新的运动图像。
所述第二条件设定部可以对于所述关于时空连续性的第二条件， 针对像素的信号 强度以及色彩分别设定所述第二条件。
所述第二条件设定部可以对于设定的所述第二条件， 决定在所述新的运动图像的 各像素的像素位置处适用的权重， 所述第二条件设定部可以降低取得的所述第一运动图像 以及所述第二运动图像的空间微分值较大的位置的权重， 以设定所述第二条件。
所述第二条件设定部可以使所述像素的色彩的时空连续性与所述像素的信号强 度的时空连续性相比权重较大， 以设定所述第二条件。
所述第二条件设定部可以在根据取得的所述图像的颜色空间中像素值的离散大 小选择的方向、 以及垂直于所述方向的方向的每个上， 设定所述关于时空连续性的第二条 件。
所述第二条件设定部可以将所述光量判定部判定为产生饱和或曝光不足的像素
的像素位置处的所述第二条件设定得与未判定为产生饱和或曝光不足的像素的像素位置 处的所述第二条件相比较强。
所述图像生成装置还可以具备光量控制部， 调整拍摄所述第一运动图像与所述第 二运动图像的拍摄装置的曝光量 ； 对所述第一运动图像以及所述第二运动图像的每个， 在 所述光量判定部判定为各帧图像的相同位置的全部颜色产生饱和时， 所述光量控制部减少 用于取得一部分颜色成分的运动图像的曝光量。
在光量判定部判定为各帧图像的相同位置的全部颜色产生饱和的情况下， 光量控 制部可以在至少一个颜色成分的运动图像的拍摄时减少所述拍摄装置的曝光量。
所述图像生成装置还可以具备运动检测部， 检测取得的所述图像的运动 ； 以及第 三条件设定部， 基于所述运动的检测结果， 设定表示生成的新的运动图像内的沿着运动矢 量的像素值应当一致的第三条件 ； 所述图像处理部可以生成满足所述第三条件的新的运动 图像。
所述第三条件设定部可以将对于所述光量判定部判定为饱和或曝光不足的像素 位置的所述第三条件设定得与未判定为产生饱和或曝光不足的像素位置处的所述第三条 件相比较强。 本发明的图像生成系统具备 ： 拍摄装置 ； 存储装置， 存储由所述拍摄装置拍摄的 图像 ； 以及权利要求 1 所述的图像生成装置， 使用所述存储装置的图像生成所述新的运动 图像。
本发明的其他图像生成系统具备 ： 上述图像生成装置 ； 以及显示所述图像生成装 置生成的所述新的运动图像的显示装置。
所述图像生成装置可以经由存储卡、 天线、 以及网络中的至少一个取得所述第一 图像以及所述第二图像的各信号。
本发明的图像生成方法根据作为被摄体的第一颜色成分的运动图像的第一运动 图像以及作为所述被摄体的第二颜色成分的运动图像的第二运动图像， 生成表示所述被摄 体的新的运动图像， 该图像生成方法具备 ： 取得分辨率、 帧速或曝光时间相互不同的所述第 一运动图像以及所述第二运动图像的步骤 ； 基于所述第一运动图像以及所述第二运动图像 的各帧图像中的各像素的像素值， 判定各像素是否产生饱和或曝光不足的步骤 ； 以及根据 所述第一运动图像以及所述第二运动图像， 生成所述第一运动图像以及所述第二运动图像 的帧速以上的帧速， 并且各帧图像的分辨率为所述第一运动图像以及所述第二运动图像的 分辨率以上的新的图像的步骤， 该步骤对于在进行判定的所述步骤中未判定为产生饱和或 曝光不足的像素， 生成满足第一条件的新的运动图像， 对于在进行判定的所述步骤中判定 为产生饱和或曝光不足的像素， 生成不满足所述第一条件的新的运动图像， 所述第一条件 表示取得的所述第一运动图像以及所述第二运动图像的像素值与在时空上对应于所述像 素的所述新的运动图像的帧图像的像素值的合计的误差小于指定值。
本发明的计算机程序由根据作为被摄体的第一颜色成分的运动图像的第一运动 图像以及作为所述被摄体的第二颜色成分的运动图像的第二运动图像， 生成表示所述被摄 体的新的运动图像的图像生成装置的计算机执行， 所述计算机程序使所述计算机执行如下 步骤 ： 取得分辨率、 帧速或曝光时间相互不同的所述第一运动图像以及所述第二运动图像 的步骤 ； 基于所述第一运动图像以及所述第二运动图像的各帧图像中的各像素的像素值，
判定各像素是否产生饱和或曝光不足的步骤 ； 以及根据所述第一运动图像以及所述第二运 动图像， 生成所述第一运动图像以及所述第二运动图像的帧速以上的帧速， 并且各帧图像 的分辨率为所述第一运动图像以及所述第二运动图像的分辨率以上的新的图像的步骤， 该 步骤对于在进行判定的所述步骤中未判定为产生饱和或曝光不足的像素， 生成满足第一条 件的新的运动图像， 对于在进行判定的所述步骤中判定为产生饱和或曝光不足的像素， 生 成不满足所述第一条件的新的运动图像， 所述第一条件表示取得的所述第一运动图像以及 所述第二运动图像的像素值与在时空上对应于所述像素的所述新的运动图像的帧图像的 像素值的合计的误差小于指定值。
发明效果
根据本发明的图像生成装置， 对由于长时间曝光等发生了饱和的图像区域， 允许 生成的运动图像的多帧的合计与静止图像的误差， 以进行运动图像生成。 据此， 能够使与饱 和区域对应而生成的运动图像高画质化。 附图说明
图 1 是表示实施方式 1 的图像生成系统 100 的硬件结构的模块图。图 2 是表示图 1 所示的图像生成装置 30 的内部结构的功能模块图。
图 3 是表示图像生成装置 30 执行的处理的过程的流程图。
图 4A 的 (a) 及 (b) 是表示由高速图像取得部 101a 取得的高速低分辨率运动图像 与由低速图像取得部 101b 取得的低速高分辨率运动图像的关系的图。
图 4B 是表示低速高分辨率运动图像与高速低分辨率运动图像的曝光时机的关系 的图。
图 4C 是表示具有描述拍摄条件的信息的识别标头 210a 与运动图像数据 210b 的 影像信号 210 的格式的一例的图。
图 5(a) ～ (c) 是表示拍摄装置的结构例的图。
图 6(a) ～ (c) 是说明高速高分辨率运动图像的像素值、 由高速图像取得部 101a 取得的高速低分辨率运动图像的像素值、 以及由低速图像取得部 101b 取得的低速高分辨 率运动图像的像素值的关系的图。
图 7(a) 及 (b) 是表示拍摄强度的时间变化的图。
图 8(a) ～ (c) 是说明像素值与拍摄时的入射光量的关系的图。
图 9(a) 及 (b) 分别是表示关于运动检测处理的、 帧编号 t 与 t+1 的像素配置的图。
图 10 是表示 RGB 颜色空间与球面坐标系 (θ， ψ， r) 的对应例的图。
图 11 是表示 RGB 颜色空间中的固有矢量轴 (C1， C2， C3) 的例子的图。
图 12(a) 及 (b) 是表示未产生饱和时使用不同颜色拍摄相同被摄体而得到的图像 的例子的图。
图 13(a) ～ (f) 与 (g) ～ (l) 是分别表示高速低分辨率的 RG 的连续的帧图像的 图。
图 14(a) ～ (r) 是表示高速高分辨率的 RGB 图像的图。
图 15(a) 及 (b) 是表示在与图 12 相同的被摄体的配置中 G 图像中存在饱和区域 121 时的图像例的图。图 16(a) ～ (r) 是表示组合图 15 与图 13 的图像， 在不进行饱和像素的判定的情 况下生成的图像的例子的图。
图 17 是表示 R 与 G 图像的像素群的例子的图。
图 18(a) 及 (b) 是表示 R 与 G 图像的像素位置与像素值的关系的图。
图 19(a) 是表示在不进行饱和判定的情况下生成的图像例的图， (b) 是表示作为 进行了基于实施方式 1 的处理的结果而得到的图像例的图。
图 20 是表示示出实施方式 2 的图像生成装置 30 的内部结构的功能模块图的图。
图 21 是表示光量控制处理的过程的流程图。
图 22 是表示示出实施方式 3 的图像生成装置 30 的内部结构的功能模块图的图。
图 23 是表示实施方式 3 的图像生成装置 30 的处理过程的流程图。
图 24 是表示不具有显示装置的图像生成系统的具体例的图。
图 25 是表示不具有拍摄装置的图像生成系统的具体例的图。
图 26 是表示专利文献 1 中记载的现有的图像生成装置的处理过程的流程图。 具体实施方式
以下， 参照附图说明本发明的图像生成装置的实施方式。
( 实施方式 1)
图 1 是表示本实施方式的图像生成系统 100 的硬件结构的模块图。图像生成系统 100 根据以不同的曝光时间及不同的帧速对相同对象 ( 被摄体 ) 进行了拍摄的多个颜色成 分的运动图像生成时空分辨率较高的新的彩色运动图像。在本实施方式中， 说明根据高速 低分辨率图像以及低速高分辨率图像生成高速高分辨率图像的例子。
图像生成系统 100 包括拍摄装置 10、 图像存储装置 20、 图像生成装置 30、 以及显示 装置 40。
拍摄装置 10 例如是照相机， 以不同的拍摄条件对被摄体进行拍摄， 以不同的两种 时空分辨率得到运动图像。该 “运动图像” 对于相同被摄体是高速低分辨率运动图像 ( 时 间分辨率 ( 帧速 ) 相对较高， 并且空间分辨率相对较低的运动图像 ) 以及低速高分辨率运 动图像 ( 时间分辨率相对较低， 并且空间分辨率相对较高的运动图像 )。
图像存储装置 20 例如是半导体存储器， 暂时存储由拍摄装置 10 拍摄的运动图像。
图像生成装置 30 例如是以硬件形式安装的图像处理电路 ( 图形控制器 )。 图像生 成装置 30 能够以单体形式进行制造及 / 或销售。图像生成装置 30 作为图像生成系统 100 的一部分进行组装， 据此读出图像存储装置 20 中存储的运动图像， 根据读出的多个运动图 像， 生成提高了时空分辨率的新的运动图像。此外， 在上述例子中， 图像生成装置 30 由专用 电路等硬件实现， 但也可以由通用处理器与图像处理程序等软件实现。
显示装置 40 例如是液晶显示装置， 显示由图像生成装置 30 生成的新的运动图像。
此外， 如图 1 中虚线所示， 图像存储装置 20 及图像生成装置 30 例如可以是 PC 等 硬件。
图 2 是表示图 1 所示的图像生成装置 30 的内部结构的功能模块图。图像生成装 置 30 包括图像取得部 101、 运动检测部 102、 图像处理部 103、 光量判定部 104、 以及输出部 106。图像取得部 101 取得对相同被摄体拍摄得到的时空分辨率及颜色不同的运动图 像。图像取得部 101 包含高速图像取得部 101a 与低速图像取得部 101b。在本实施方式中， 高速图像取得部 101a 取得以高速 ( 高帧速 ) 且低空间分辨率拍摄的、 红色成分 (R) 及蓝色 成分 (B) 的运动图像 ( 在本实施方式中将关于上述各种颜色成分的运动图像称为 “高速低 分辨率运动图像” )。另外， 低速图像取得部 101b 取得以低速 ( 低帧速 ) 且高空间分辨率对 与高速图像取得部 101a 相同的被摄体进行了拍摄的、 绿色成分 (G) 的运动图像 ( 在本实施 方式中将关于绿色成分 (G) 的运动图像称为 “低速高分辨率运动图像” )。
这样， 输入高速图像取得部 101a 的图像与输入低速图像取得部 101b 的图像是时 空分辨率及颜色不同、 但对相同被摄体进行了拍摄的图像。 此外， 拍摄高速且低空间分辨率 的运动图像的对象色与拍摄低速且高空间分辨率的运动图像的对象色的组合为一个例子。 如果针对光的每个波长频带， 换言之针对每个颜色成分拍摄运动图像， 则其组合是任意的。 此外， 在本说明书中， 将绿色成分简单地记为 “绿” 或 “G” 。
运动检测部 102 具有运动分布计算部 102a 与可靠度分布计算部 102b。运动检测 部 102 进行输入图像中的图像的运动检测与运动检测的可靠度的计算， 并输出其结果。更 具体而言， 运动分布计算部 102a 基于输入图像取得部 101 的图像， 将取得的图像中的一部 分图像 ( 典型的是被摄体 ) 作为对象， 进行其运动检测。运动检测最终将各帧的图像整体 作为对象来进行。可靠度分布计算部 102b 对各帧的图像整体计算运动分布计算部 102a 中 的运动检测的可靠度。此外， 可靠度分布计算部 102b 的具体说明在后面描述。 图像处理部 103 根据由图像取得部 101 取得的多个运动图像， 生成颜色分辨率较 高并且帧速较高的彩色运动图像。
更具体而言， 图像处理部 103 具有第三条件设定部 103a、 第二条件设定部 103b、 第 一条件设定部 103c、 以及彩色图像生成部 103d。第一至第三条件设定部设定取得的运动图 像与新生成的运动图像应满足的关系 ( 条件 )。
此外， 在本说明书中， 新生成的运动图像也称为 “目的运动图像” 。 “目的运动图像” 是彩色的运动图像。在下述上下文中， 有时也指构成运动图像的一帧图像。
第三条件设定部 103a 使用从运动检测部 102 取得的运动检测与运动检测的可靠 度的结果， 设定对目的运动图像的约束条件。第二条件设定部 103b 设定对目的运动图像的 空间约束条件。 第一条件设定部 103c 设定目的运动图像与取得的图像的像素值的关系 ( 从 目的运动图像到取得的图像的图像劣化的条件 )。 彩色图像生成部 103d 使用所述约束条件 根据颜色成分不同的多个运动图像生成一个彩色运动图像。
此外， 在本说明书中， 所谓 “设定” 第一条件、 第二条件等， 并不意味着独立设定各 条件。如后所述， 设定包含多个条件的评价函数 J， 将使该评价函数 J 最小的运动图像作为 目的运动图像 ( 新的运动图像 ) 输出。这是因为， 如果是使该评价函数 J 最小的运动图像， 则推定为综合性地较好地满足使各约束条件的值较小这一条件。在本说明书中， 基于该推 定， 判断为已使各条件尽可能地较小。 以下也对各种条件进行说明， 但请注意这些条件都不 是分别设定要满足的值。
光量判定部 104 对于从图像取得部 101 取得的运动图像中的各帧的各个像素值， 判定是否产生饱和或曝光不足 ( 黒つぶれ， blocked-up shadow)。
输出部 106 是图像生成装置 30 的输出端子。例如， 在图像生成装置 30 是图像处
理电路 ( 图形控制器 ) 时， 输出部 106 是与总线连接的连接器。输出部 106 将由图形处理 部 103 生成的彩色图像的数据输出到外部。输出目标例如是显示装置 40。
此外， 本实施方式的 “帧” 中， 不仅包含逐行扫描方式的帧， 还包含隔行扫描方式的 偶数场及奇数场。
接着， 对以上述方式构成的图像生成装置 30 所执行的处理进行说明。图 3 是表示 图像生成装置 30 执行的处理的过程的流程图。
在步骤 301 中， 图像取得部 101 取得时空分辨率与颜色成分不同的多个运动图像。 具体而言， 高速图像取得部 101a 取得高速低分辨率的 R 与 B 的运动图像， 低速图像取得部 101b 对相同被摄体取得低速高分辨率的 G 的运动图像。
图 4A(a) 及图 4A(b) 表示由高速图像取得部 101a 取得的高速低分辨率运动图像 与由低速图像取得部 101b 取得的低速高分辨率运动图像的关系。图 4A(a) 及图 4A(b) 按 照时间顺序并排示出上述两种运动图像的连续的帧图像。帧 201 及帧 202 表示低速高分辨 率的运动图像， 帧 211 至 215 表示高速低分辨率的运动图像。
在图 4A(a) 及图 4A(b) 中， 空间分辨率的差异用图像的大小表现。帧 211 至 215 与帧 201 及帧 202 相比像素数较少， 空间分辨率较低， 像素大小较大。另一方面， 关于帧速， 高速图像取得部 101a 与低速图像取得部 101b 相比， 拍摄的帧速较高。 此处， 帧 201 及帧 202 的时间方向的宽度表示曝光时间。在低速图像取得部 101b 拍摄一个帧 201 的期间内高速图像取得部 101a 拍摄 4 帧。由低速图像取得部 101b 取得的 图像的帧速较低， 相应地与由高速图像取得部 101a 取得的图像相比能够进行长时间曝光。 在图 4A(a) 中， 低速高分辨率运动图像的帧 201 进行图 4A(b) 的高速低分辨率运动图像的 4 帧间隔时间的曝光。
此外， 对于由高速图像取得部 101a 取得的帧与由低速图像取得部 101b 取得的帧 的拍摄时机 (timing) 而言， 时间的相对关系已知即可， 无须一定同时拍摄。即， 拍摄时机的 时间相位可以不同。
具体而言， 低速高分辨率运动图像的曝光时机与高速低分辨率运动图像的曝光时 机的关系可以如图 4B 所示进行设定。在图 4B 中， 横轴表示时间。另外， 矩形表示各像素的 帧， 矩形的横向宽度表示曝光时间的长度。在图 4B 中， 对于图 4A(b) 所示配置的输入像素， 低速高分辨率运动图像的曝光时机与高速低分辨率运动图像的曝光时机不同步。 各自的曝 光时机任意。
通过曝光时机不同步， 图 2 所示的图像取得部 101 的高速图像取得部 101a 及低速 图像取得部 101b 取得各输入图像的信号的时机同样也可以有偏差。
在以图 4B 所示的曝光时机拍摄了两种运动图像的情况下， 需要从拍摄装置 10 向 图像生成装置 30 通知其曝光时机的机制。对此， 考虑在发送的影像信号中附加拍摄条件。 图 4C 表示具有描述拍摄条件的信息的识别标头 (header)210a 与运动图像数据 210b 的影 像信号 210 的格式的一例。
拍摄装置 10 将表示拍摄条件的信息存储在识别标头 210a 中， 输出在拍摄的运动 图像数据 210b 中附加了识别标头 210a 的影像信号 210。
图像生成装置 30 的图像取得部 101 接收影像信号 210 后先读取识别标头 210a， 取 得拍摄条件的信息。接着基于该拍摄条件， 取得运动图像数据 210b。另外， 图像处理部 103
基于识别标头 210a 的拍摄条件设定后述的条件。
存储在识别标头 210a 中的图像的拍摄条件的信息是每个颜色成分及每个像素位 置的曝光时间、 帧速、 像素的曝光时机的相对时间差 ( 时间相位差 ) 和与它们对应的数值或 符号。
在图像取得部 101 接收数字信号的情况下， 识别标头 210a 为数字数据。 由此， 表示 拍摄条件的曝光时间、 帧速、 曝光时机的相对时间差等的值可以用数字值直接表示。或者， 也可以将对应的拍摄元件内的电压 / 电荷量 / 电流值 ( 模拟值 ) 舍入为指定的有效位数， 将其值用数字值表示。
另一方面， 在图像取得部 101 接收模拟影像信号的情况下， 上述信息用拍摄元件 内的电压 / 电荷量 / 电流值等的模拟值表示， 或者用与它们对应的数值或符号表示。
如后所述， 通过进行长时间曝光， 在高分辨率的图像中也能如移动物体的移动轨 迹那样取得运动信息。 通过采用后述的图像处理生成与从高分辨率图像得到的运动信息不 矛盾的运动图像， 能够生成 SN 比较高、 抑制了运动模糊的时空分辨率较高的运动图像。
此处， 说明能够取得上述的时空分辨率与颜色不同的运动图像的拍摄装置 10 的 具体例。图 5(a) 是使用了分色棱镜或分色镜的基于多元件方式的拍摄装置的结构的一例。 图 5(b) 是基于多层单一元件方式的拍摄装置的结构的一例。图 5(c) 表示基于单层单一元 件方式的拍摄装置的结构的一例。在各个结构中， 示出蓝色图像用的拍摄元件 B、 绿色图像 用的拍摄元件 G、 以及红色图像用的拍摄元件 R。拍摄元件 R( 红 ) 及 B( 蓝 ) 拍摄红色及蓝 色的高速低分辨率运动图像， 拍摄元件 G( 绿 ) 拍摄曝光时间较长的绿色的低速高分辨率运 动图像。即， 各拍摄元件针对每种颜色改变空间分辨率与帧速以及曝光时间拍摄相同被摄 体。 接着， 参照图 6(a) ～ (c)， 说明作为目的的高速高分辨率运动图像的像素值、 由高 速图像取得部 101a 取得的高速低分辨率运动图像的像素值、 以及由低速图像取得部 101b 取得的低速高分辨率运动图像的像素值的关系。此处， 像素值是关于 R、 G、 B 的每个确定的 数值， 说明相同颜色的像素值之间的相关性。该关系对应于第一条件设定部 103c 设定的第 一条件。彩色图像生成部 103d 以生成的高速高分辨率运动图像的各像素满足该条件的方 式生成图像。
在以下的说明中， 假设各图像的像素值与拍摄时的入射光量成比例， 比例常数也 是共同的。图 6(a) 表示作为目的的高速高分辨率运动图像的各帧的像素配置。为了便于 说明， 取出高速高分辨率运动图像的一部分进行说明。在图 6(a) 中， 表示纵 (Y 轴 ) 向 3 个 像素、 横 (X 轴 ) 向 3 个像素以及 4 帧的像素的配置。即， 示出空间分辨率为 3×3 的像素， 时间分辨率为 4 帧的像素。假设像素位置 (x， y， t) 的像素的值为 HH(x， y， t)。此处， x与 y 为 0、 1、 2 的值的范围， t 为 0、 1、 2、 3 的值的范围。同样， 图 6(b) 表示从相同视点以相同 视野在相同时间对与图 6(a) 相同的被摄体进行了拍摄的高速低分辨率运动图像的像素配 置。
此处， 高速低分辨率运动图像的像素位置 (xL， yL， t) 的像素值表示为 HL(xL， yL， t)。在低分辨率图像与高分辨率图像中， x、 y 方向的像素数不同， 因此将低分辨率图像的 x、 y 坐标值分别表示为 xL、 yL， 以与高分辨率图像的坐标值相区别。此处， 高分辨率图像的包 括 x、 y 方向各 3 个像素的 9 个像素的区域具有相当于低分辨率图像的一个像素的关系， 像
素值的关系如 ( 数式 1) 所示。低分辨率图像是高分辨率图像的 9 个像素的和， 一个像素接 收的光量增加。在本实施方式中 R 与 B 的像素值满足数式 1。此外， 在 ( 数式 1) 中， 像素合 计的范围采用 3×3 像素的范围， 但合计范围不限于此， 也可以在 x、 y 方向上具有不同的大 小。另外， R 与 B 的合计范围也可以不同。
数式 1
同样， 图 6(c) 表示从相同视点以相同视野在相同时间对与图 6(a) 相同的被摄体 进行了拍摄的低速高分辨率运动图像的像素配置。此处， 低速高分辨率运动图像的像素位 置 (x， y， tL) 的像素值表示为 LH(x， y， tL)。在高速图像与低速图像中， 时间方向的帧数不 同， 因此将低速图像的帧编号表示为 tL， 以与高速图像的帧编号相区别。此处， 具有高速图 像的 4 帧的间隔相当于低速图像的一帧间隔的关系， 像素值的关系如 ( 数式 2) 所示。低分 辨率图像是高分辨率图像的 3 帧合计， 一个像素接收的光量增加。在本实施方式中 G 的像 素值满足数式 2。此外， 在数式 2 中， 帧合计的范围采用 4 帧的范围， 但合计范围不限于此。
数式 2
此处， G(t) 表示时刻 t 的拍摄强度， 表示基于拍摄元件的灵敏度、 拍摄时的光圈的 时间变化的像素值的变化倍率。在拍摄元件的灵敏度、 拍摄时的光圈不存在时间变化的情 况下， G(t) ＝ 1.0。在存在变化的情况下， 例如可以如图 7(a) 及 (b) 所示包含时间变化。 在如图 7 所示进行时间变化的情况下， 曝光量减少， 但能够取得时间上的高频成分。
此外， 在上述例子中离散地表示时间 t， 但在与连续的时间变化对应的情况下， 能 够使用 ( 数式 3) 的关系式。( 数式 1)、 ( 数式 2) 的 HH(x， y， t) 通过 ( 数式 3) 被置换为 HHcont(x， y， tcont)。据此， 能够表示对时间上连续的输入的劣化过程 ( 从目的运动图像到 取得的图像的图像变换 )。
数式 3
在 ( 数式 3) 中， Δt 相当于生成的高速高分辨率图像的帧图像的假想的曝光时间。 tcont 表示连续的时间， HHcont(x， y， tcont) 表示时间上连续的图像， Exp(tcont) 表示高速 高分辨率图像的帧图像的假想的曝光时间变化。
如图 6(a)、 (b)、 及 (c) 所示， 通过使低速图像的曝光时间相对于高速图像的曝光 时间而言较长， 能够增加受光量， 相对地抑制噪声， 拍摄 SN 比较高的图像。其结果是， 能够 生成抑制了运动模糊的高速高分辨率运动图像。另外， 作为像素大小较大的低分辨率图像 的情况下， 也能增加受光量， 能够生成 SN 比高、 抑制了运动模糊的高速高分辨率运动图像。
以上说明了图 8(a) 所示的、 像素值与拍摄时的入射光量成比例的例子。 在由于 γ 修正等不成比例的情况 ( 图 8(b)) 或比例常数因像素而异的情况下， 可以另行逆向对应地
利用拍摄图像时的拍摄元件的输入输出特性 ( 输入输出关系 )。 据此， 能够将像素值修正为 相对于入射光具有相同比例关系的值， 满足 ( 数式 1)、 ( 数式 2) 的关系。例如， 通过使用图 8(c) 的像素值与修正值的对应关系， 修正如图 8(b) 所示得到的像素值， 能够与如图 8(a) 所 示得到的像素值进行相同的处理。
再次参照图 3。在步骤 302 中， 运动检测部 102 检测构成高速低分辨率运动图像 的各图像的每个像素的运动， 并计算该运动检测的可靠度。作为运动检测处理， 在本实施 方式中， 在从高速图像取得部 101a 得到的运动图像的各帧图像的各个位置处， 运动检测部 102 求出被摄体的运动的方向与大小， 并且一起求出所求出的运动检测的可靠度的时空分 布 conf(x， y， t)。此处， 所谓运动检测的可靠度， 意味着可靠度较高， 则运动检测的结果越 为合理， 在可靠度较低的情况下运动检测的结果中存在误差。
在本实施方式中， 取得 R 与 B 的高速低分辨率图像， 将合计了 R 与 B 的图像用于运 动检测。根据 R 或 B 中仅一者的图像也能进行运动检测， 但为了有效利用这两者的图像的 信息， 使用 R 与 B 的合计图像。
相邻的两帧图像间的图像上的各位置处的运动的计算方法例如能够使用在 P.ANANDAN， “A Computational Framework and an Algorithm for the Measurement of Visual Motion” ， IJCV， 2， 283-310(1989) 中使用的方法、 在运动图像编码中通常使用的运 动检测方法、 使用图像的移动体追踪等中使用的特征点追踪方法等。
另外， 也可以使用图像整体的全局运动 ( 仿射 (affine) 运动等 ) 检测的通常方 法、 Lihi Zelkik-Manor“ ，Multi-body Segmentation ： Revisinting Motion Consistency” ， ECCV(2002) 等方法， 进行多个区域的运动检测， 用作各像素位置处的运动。
说明基于块匹配的两帧图像间的运动检测方法。图 9(a) 及 (b) 分别表示关于运 动检测处理的、 帧编号 t 与 t+1 的像素配置。此处， 图 9(a) 的黑像素 2401 为关注像素， 用 如下过程决定该像素对应于 ( 移动至 ) 下一帧图像的哪个像素。
最初， 设定以关注像素 2401 为中心的块区域 2402(3×3 像素的斜线区域 )。预 先确定该块大小。接着， 在下一帧图像 ( 图 9(b)) 中设定与所述块区域具有相同大小 (3×3 像素 ) 的区域 2403， 求出区域 2402 与区域 2403 的像素值的 SSD(Sum of Squared Differences， 差方和 ) 或 SAD(Sum of Absolute Differences， 绝对差和 )。 随后， 在图 9(b) 的图像内逐像素地改变区域 2403 的位置， 将 SSD 或 SAD 达到最小时的区域 2403 的中心像 素位置作为与像素 2401 对应的像素位置 ( 运动矢量的目的位置 )。
以上是对像素 2401 的运动检测结果。改变关注像素， 对图 9(a) 的全部像素反复 相同的过程。据此， 对图 9(a) 的帧图像的运动检测结束。对连续帧图像的相邻帧图像， 依 次进行运动检测， 由此结束运动图像整体的运动检测。
可靠度可以使用上述 P.ANANDAN 的文献中记载的方法求出， 在使用块匹配的运动 检测的情况下， 如 ( 数式 4) 所示， 将与运动对应的块间的像素值的差的平方和从所述差的 平方和能取的最大值 SSDmax 中减去而得到的值， 即逆转了块间的像素值的差的平方和的 符号的值 conf(x， y， t)， 可以用作可靠度。另外， 在使用图像的全局运动检测或每个区域的 运动检测的情况下， 将各像素位置的运动的始点附近位置与终点附近位置的像素值的差的 平方和从平方和能取的最大值 SSDmax 中减去而得到的值 conf(x， y， t)， 可以用作可靠度。
数式 4在 ( 数式 4) 中， 位置 (x’ ， y’ ， t+1) 是作为运动检测的结果得到的相当于像素位置 (x， y， t) 的移动目的地的像素位置， I(x， y， t) 是 (x， y， t) 的像素值。另外， ( 数式 4) 的∑ 表示块匹配中使用的块区域内的合计。
接着， 在图 3 的步骤 303 中， 由第三条件设定部 103a 设定作为目的运动图像的生 成彩色运动图像应满足的运动约束条件 Qm。第三条件设定部 103a 使用由运动检测部 102 求出的运动分布与可靠度分布， 按照 ( 数式 5) 设定运动约束条件 Qm。在下面的 ( 数式 5) 中， RH、 GH、 BH 分别表示要生成的目的彩色图像的 RGB 成分， vx、 vy 表示检测出的运动的 x 方 向的成分与 y 方向的成分。
数式 5
在 ( 数式 5) 中， 各∑表示关于 x、 y、 t 的每个的合计， 作为结果， 运动约束条件 Qm 对目的运动图像进行定义。( 数式 5) 沿着在取得的运动图像上检测出的运动， 定义对应的 目的运动图像的像素的各个颜色的像素值越均匀 ( 即像素值连续 )， 则值越小的运动约束 条件 Qm。在 ( 数式 5) 中， 通过运动检测的可靠度对像素值的变化量进行加权并使用。
在使用低分辨率的图像进行运动检测的情况下， 对于高分辨率图像的全部像素位 置无法得到运动矢量。在这种情况下， 可以根据空间上的附近处定义的运动矢量进行插值 以求出运动矢量。插值方法可以使用双线性 (bilinear) 或双三次 (bicubic) 等常用方法。
运动约束条件 Qm 的值应当较小时， 表示沿着在取得的运动图像上检测出的运动， 目的运动图像的像素的像素值应当连续。
接着， 在步骤 304 中， 光量判定部 104 对于由图像取得部 101 取得的 RGB 图像， 对 于各帧的各像素， 判定是否产生像素值的饱和， 是否产生曝光不足。
关于像素值是否饱和， 可以预先针对 RGB 中的每个分别确定饱和值 SR、 SG、 SB， 判定 各个 RGB 的值是否在各个颜色的饱和值以上。 关于曝光不足， 可以预先针对 RGB 中的每个分 别确定曝光不足值 DR、 DG、 DB， 判定各个 RGB 的值是否在各个颜色的曝光不足值以下。例如， 饱和值采用像素值的最大值或拍摄元件的输出的上限值， 曝光不足值采用 0 或拍摄元件的 输出的下限等。另外， 上述基准值可以根据像素而异。
接着， 在步骤 305 中， 第一条件设定部 103c 使用由 ( 数式 1) ～ ( 数式 3) 所示的 取得的图像与目的运动图像的关系设定劣化约束条件。( 数式 6) ～ ( 数式 8) 表示约束条 件的例子。在 ( 数式 6) ～ ( 数式 8) 中， RH、 GH、 BH 分别表示要生成的目的彩色图像的 RGB 成分。HR、 HG、 HB 表示对于 RGB 的每个颜色从高速高分辨率运动图像到取得的图像的变换。
在本实施例中， HR、 HB 是与 ( 数式 1) 对应的低空间分辨率化的变换， HG 是与 ( 数式 2)( 数式 3) 对应的长时间曝光低帧速化的变换。RLH、 GHL、 BLH 分别表示取得的 R 图像、 G 图像、 以及 B 图像。 通过与拍摄过程相配合的低分辨率化或低帧速化对生成的目的运动图像进行了劣化 变换的图像与取得的图像越一致， 则 ( 数式 6) ～ ( 数式 8) 的值越小。
数式 6
|HRRH-RLH|2
数式 7
|HGGH-GHL|2
数式 8
|HBBH-BLH|2
此处， 对于在所述步骤 304 中判断为饱和像素或曝光不足像素的像素， 不进行 ( 数 式 6) ～ ( 数式 8) 的评价， 或者降低评价值。 值的降低方法例如是以预先确定的比例降低的 方法， 或者设定为预先确定的值。所述降低的比例或预先确定的值可以在饱和的情况与曝 光不足的情况下分别设定。据此， 即使取得的图像产生饱和或曝光不足， 也能抑制其影响， 生成目的运动图像。另外， 对于饱和像素， 可以置换为 ( 数式 9) ～ ( 数式 11) 的条件。 数式 9
HRRH ＞ RLH
数式 10
HGGH ＞ GHL
数式 11
HBBH ＞ BLH
接着， 在步骤 306 中， 第二条件设定部 103b 设定对生成的目的运动图像的空间约 束条件。( 数式 12) 及 ( 数式 13) 表示空间约束条件的例子 QS1 及 QS2。
数式 12
在 ( 数式 12) 中， θH(x， y)、 ψH(x， y)、 rH(x， y) 是将由目的运动图像的像素位置 (x， y) 处的 R、 G、 B 的各个像素值表示的三维正交颜色空间 ( 所谓的 RGB 颜色空间 ) 内的位 置用与 RGB 颜色空间对应的球面坐标系 (θ， ψ， r) 表现时的坐标值， θH(x， y) 与 ψH(x， y) 表示两种偏角， rH(x， y) 表示向量径。
图 10 表示 RGB 颜色空间与球面坐标系 (θ， ψ， r) 的对应例。在图 10 中， 作为一 例， 将 θ ＝ 0 的方向作为 RGB 颜色空间的 R 轴的正向， 将 ψ ＝ 0 的方向作为 RGB 颜色空间 的 G 轴的正向， 但偏角的基准方向不限于图 10 所示的方向， 也可以是其他方向。按照这种 对应， 对每个像素， 将作为 RGB 颜色空间的坐标值的红、 绿、 蓝的各个像素值变换为球面坐 标系 (θ， ψ， r) 的坐标值。
在将目的运动图像的各像素的像素值考虑为 RGB 颜色空间内的三维矢量的情况 下， 通过用与 RGB 颜色空间对应的球面坐标系 (θ， ψ， r) 表现三维矢量， 能够独立地处理 作为像素的明亮度 ( 信号强度、 亮度也意义相同 ) 的表示矢量大小的 r 轴的坐标值、 以及作 为像素的色彩 ( 包含色相、 色差、 色彩饱和度等 ) 的表示矢量方向的 θ 轴及 ψ 轴的坐标 值。 在自然图像中， 明亮度与色彩的时空变化量有较大不同， 因此通过选择能够独立地评价 / 调整它们的值的坐标， 能够提高目的运动图像的画质。
( 数式 12) 定义目的运动图像的用球面坐标系表示的像素值的、 xy 空间方向的二 阶差分值的平方和。( 数式 12) 定义的条件 QS1 在目的运动图像内空间上相邻的像素的用 球面坐标系表示的像素值的变化越均匀 ( 即像素的颜色连续 ) 时， 值越小。
条件 QS1 的值应当较小， 表示目的运动图像内的空间上相邻的像素的颜色应当连 续。
在图像中， 像素明亮度的变化与像素色彩的变化可由物理上不同的情景产生， 因 此如 ( 数式 12) 所示， 通过分别设定与像素明亮度的连续性 (r 轴的坐标值的变化的均匀 性 ) 有关的条件 (( 数式 12) 的大括号内的第三项 )、 以及与像素色彩的连续性 (θ 轴及 ψ 轴的坐标值的变化的均匀性 ) 有关的条件 (( 数式 12) 的大括号内的第一项及第二项 )， 容 易得到期望的画质。
λθ(x， y)、 λψ(x， y)、 λr(x， y) 分别是对于使用 θ 轴、 ψ 轴、 r 轴的坐标值设 定的条件， 在目的运动图像的像素位置 (x， y) 处适用的权重， 预先确定。简单而言， 可以如 λθ(x， y) ＝ λψ、 (x， y) ＝ 1.0、 λr(x， y) ＝ 0.01 那样不依赖于像素位置或帧地进行设 定。
另外， 较为理想的是， 在能够预测图像中的像素值的不连续性等的位置处， 可以将 该权重设定得较小。例如， 使取得的图像的空间微分值较大的位置的权重较小。
像素值不连续这一情况可以通过取得的图像的帧图像内的相邻像素的像素值的 差分值或二阶差分值的绝对值为固定值以上来进行判断。
另外， 较为理想的是， 使适用于与像素色彩的连续性有关的条件的权重比适用于 与像素明亮度的连续性有关的条件的权重大。这是因为， 由于由被摄体表面的凹凸或运动 造成的被摄体表面的朝向 ( 法线的朝向 ) 的变化， 图像中的像素的明亮度与色彩相比容易 发生变化 ( 缺乏变化的均匀性 )。
此外， 在 ( 数式 12) 中， 将目的运动图像的用球面坐标系表示的像素值的、 xy 空间 方向的二阶差分值的平方和设定为条件 QS1， 但也可以将二阶差分值的绝对值和、 或者一阶 差分值的平方和或绝对值和设定为条件。
在上述说明中， 使用与 RGB 颜色空间对应的球面坐标系 (θ， ψ， r) 设定了颜色空 间条件， 但使用的坐标系不限于球面坐标系， 通过在具有易于分离像素的明亮度与色彩的 坐标轴的新的正交坐标系中设定条件， 可取得与上述相同的效果。
新的正交坐标系的坐标轴例如可以通过对取得的运动图像或作为基准的其他 运动图像中包含的像素值的 RGB 颜色空间内的频率分布进行主成分分析 ( 基于离散 (dispersion) 的分析 )， 求出固有矢量 ( 根据离散的大小选择的相互垂直的矢量 ) 的方向， 并设置在求出的固有矢量的方向上 ( 采用固有矢量轴 )。图 11 中示出 RGB 颜色空间中的固 有矢量轴 (C1， C2， C3) 的例子。数式 13在 ( 数式 13) 中， C1(x， y)、 C2(x， y)、 C3(x， y) 是将作为目的运动图像的像素位置 (x， y) 处的红、 绿、 蓝的各个像素值的 RGB 颜色空间的坐标值变换为新的正交坐标系的坐标 轴 C1、 C2、 C3 的坐标值的旋转变换。
( 数式 13) 定义目的运动图像的用新的正交坐标系表示的像素值的、 xy 空间方向 的二阶差分值的平方和。( 数式 13) 定义的条件 QS2 在目的运动图像的各帧图像内空间上 相邻的像素的用新的正交坐标系表示的像素值的变化越均匀 ( 即像素值连续 ) 时， 值越小。
条件 QS2 的值应当较小， 表示目的运动图像内的空间上相邻的像素的颜色应当连 续。
λC1(x， y)、 λC2(x， y)、 λC3(x， y) 分别是对于使用 C1 轴、 C2 轴、 C3 轴的坐标值设定 的条件， 在目的运动图像的像素位置 (x， y) 处适用的权重， 预先确定。
在 C1 轴、 C2 轴、 C3 轴是固有矢量轴的情况下， 具有如下优点， 即通过沿着各固有矢 量轴分别设定 λC1(x， y)、 λC2(x， y)、 λC3(x， y) 的值， 能够根据因固有矢量轴而异的离散的 值设定适宜的 λ 的值。即， 在非主成分的方向上离散较小， 可以期望二阶差分的平方和较 小， 因此使 λ 的值较大。相反， 在主成分的方向上使 λ 的值相对较小。
以上说明了两种条件 QS1、 QS2 的例子。作为条件 QS， 可以使用 QS1、 QS2 中的任一种。
例如， 在使用 ( 数式 12) 所示的条件 QS1 的情况下， 通过导入球面坐标系 (θ， ψ， r)， 分别使用表示颜色信息的 θ 轴及 ψ 轴的坐标值、 以及表示信号强度的 r 轴的坐标值的 各个坐标值设定条件， 并且在条件设定时能够对颜色信息与信号强度分别赋予适宜的权重 参数 λ， 因而具有高画质的图像生成变得容易的优点。
在使用 ( 数式 13) 所示的条件 QS2 的情况下， 使用从 RGB 颜色空间的坐标值通过线 性 ( 旋转 ) 变换得到的新的正交坐标系的坐标值设定条件， 因此具有能够简化运算的优点。
另外， 通过使固有矢量轴为新的正交坐标系的坐标轴 C1、 C2、 C3， 能够使用反映了更 多像素受到影响的颜色的变化的固有矢量轴的坐标值设定条件， 因而与单纯地使用红、 绿、 蓝的各色成分的像素值设定条件的情况相比， 能够期待得到的目的运动图像的画质提高。
接着， 在步骤 307 中， 生成满足第三条件设定部 103a、 第二条件设定部 103b、 第一 条件设定部 103c 设定的约束条件的目的运动图像。为此， 设定由所述约束条件构成的评价 函数 J。( 数式 14) 中示出 J 的一例。
数式 14
J ＝ |HRRH-RL|2+|HGGH-GL|2+|HBBH-BL|2+Qs+Qm
J 定义为构成要生成的高分辨率彩色图像 g 的 R、 G 及 B 的各种颜色的图像 ( 作为 图像矢量记为 RH、 GH、 BH) 的函数。HR、 HG、 HB 分别表示从目的运动图像 g 的各种颜色图像 RH、
GH、 BH 到各种颜色的取得的图像 RL、 GL、 BL( 记为矢量 ) 的低分辨率化变换。HR、 HB 是 ( 数式 1) 那样的低分辨率化的变换， HG 是 ( 数式 2) 那样的低帧速化的变换。此外， 评价函数 J 不 限于上述内容， 也可以将 ( 数式 14) 的项置换为由类似式构成的项， 或者追加表示不同条件 的新的项。
接着， 在彩色图像生成部 103d 中， 求出使 ( 数式 14) 的 J 的值尽可能小 ( 最好为 最小 ) 的目的运动图像的各像素值， 由此生成目的运动图像的各种颜色图像 RH、 GH、 BH。关 于使评价函数 J 最小的目的运动图像 g， 例如， 可以解出使使用目的运动图像的各种颜色图 像 RH、 GH、 BH 的各像素值成分对 J 进行微分的式子全部为 0 而得到的 ( 数式 15) 的方程式并 求出， 也可以使用最急梯度法等反复运算型的最优化方法求出。
数式 15
最后， 在步骤 308 中输出生成的目的运动图像。
下面示出基于上述结构的输入输出图像的例子。图 12 及图 13 表示在未产生饱和 时使用不同颜色对相同被摄体拍摄的图像的例子。图 12(a)、 (b) 表示低速高分辨率的长时 间曝光 G 图像的连续的帧图像。圆形的被摄体 91 向右下方移动， 由于长时间曝光而产生运 动模糊。图 13 的 (a) ～ (f) 与 (g) ～ (l) 分别表示高速低分辨率的 RG 的连续的帧图像。 图 13 与图 12 的图像相比帧数较多， 但分辨率较低。
在步骤 304 中， 光量判定部 104 判定未产生饱和， 在步骤 305 中， 第一条件设定部 103c 基于判定结果对全部帧 / 像素设定第一条件。在步骤 307 中生成图像后， 在 RGB 图像 间图像的时空信息相互进行补充， 如图 14(a) ～ (r) 所示得到高速高分辨率的 RGB 图像。 各 帧的时间上的时机与图 13 相同。
此处， 参照图 15 说明在 G 图像中产生饱和的例子。图 15 表示在与图 12 相同的被 摄体的配置中 G 图像中产生了饱和的图像例。图中示出饱和像素区域 121。
图 16 表示组合图 15 与图 13 的图像， 在不进行饱和像素的判定的情况下生成图像 的例子。在图 16 中， 在相当于 G 的饱和区域的帧与像素位置处， RGB 图像的像素值产生误 差 ( 白色圆形 131 ～ 133)。在 G 图像的饱和区域中， 若按照第一条件， 则得到比正确像素值 ( 比饱和值大的值 ) 暗的像素值。另一方面， G 图像在饱和区域中变暗后， 与周边区域的颜 色变得不连续， 变得难以满足像素值的连续性的约束 ( 第二条件 )。这是因为， 不同的彩色 图像 (RB 图像与 G 图像 ) 一般而言具有空间上相似的变化， 但由于仅 G 图像发生饱和， G的 像素值变得无法与 RB 图像相同地在空间上发生变化。使用这种包含矛盾的条件生成图像 后， 饱和区域的 RGB 值产生误差， 产生伪色等 ( 图 16 的白色圆形 131 ～ 133)。此处， 以G的 饱和的例子进行了说明， 但在 R/B 等其他颜色中产生了饱和的情况下也同样产生伪色。另
外， 在使用了 RGB 以外的彩色滤波器的情况下由于饱和也产生同样的伪色。
接着， 在进行本实施方式所示的饱和区域的判定 ( 步骤 304)， 并在饱和区域中抑 制基于第一条件的约束 ( 步骤 305) 后， 在图 15 那样的取得的图像的情况下， 也能生成图 14 那样抑制了饱和的影响 ( 由 RGB 值的误差造成的伪色的产生等 ) 的图像。这是因为， 在饱 和区域中， 抑制了基于与像素值连续性的约束产生矛盾的第一条件的约束， 通过基于第一条件的约束以外的相互不矛盾的约束条件生成图像， 由此能够抑制伪色的产生。
此处， 参照图 17 及图 18， 说明基于本实施方式的处理的结果。
图 17 表示 R 与 G 图像的像素群的例子。以下， 以用斜线表示的像素群的行方向的 像素值为例进行说明。行方向的像素位置用 1 ～ 9 表示。
图 18(a) 及 (b) 表示 R 与 G 图像的像素位置与像素值的关系。图 18(a) 表示像素 值中产生曝光不足及饱和的例子， 图 18(b) 是示意性地表示基于上述的本实施方式的处理 的效果的图。以下使用 R 与 G 的图像进行说明， 但对于其他颜色组合， 使用相同过程也可得 到相同的效果。
在图 18(a) 中， 像素位置 4 ～ 6 的 G 像素在箭头的像素值处饱和。 对于这种取得的 图像， 进行上述图像处理后， 能够得到图 18(b) 的图像。在图 18(b) 中， 像素位置 4 ～ 6 的 G 的饱和区域与取得的图像的值有较大背离， 虽然偏离了基于第一条件的约束， 但按照像素 值连续性的约束 ( 第二条件或运动约束 )， 以 G 的像素值 ( 实线 ) 与 R 的像素值变化 ( 虚 线 ) 相符合地变化的方式生成图像， 由此得到抑制了伪色的彩色图像。
进而， 在像素位置 1 ～ 3 和 7 ～ 9 中， 在图 18(a) 中 R 的像素值为 0， 曝光不足。在 步骤 304 中光量判定部 104 判定曝光不足， 在判定为曝光不足的区域中抑制 R 图像的基于 第一条件的约束并生成图像。其结果是， 在图 18(b) 的像素位置 1 ～ 3 和 7 ～ 9 中， 按照像 素值连续性的约束， 以 R 的像素值 ( 虚线 ) 与 G 的像素值变化 ( 实线 ) 相符合地变化的方 式生成图像。据此， 得到在发生了曝光不足的区域中也能避免曝光不足的彩色图像。在曝 光不足的情况下， 由于较暗， 所以如像素饱和时那样伪色的产生较为明显的情况较少， 而根 据本发明的效果， 具有能够再现无曝光不足的颜色的效果。
此外， 根据拍摄元件的特性， 产生饱和或曝光不足的像素值会因颜色而异。 例如在 图 18(a) 中说明了像素位置 4 ～ 6 的绿色 (G) 的像素值饱和的情况， 但比它大的红色 (R) 的像素位置 4 ～ 6 的像素值尚未产生饱和。
在上述例子中， 根据饱和或曝光不足的产生仅变更了基于第一条件的约束， 但也 可以同时变更第二条件设定部 103b 设定的其他约束。在此情况下， 增强对于抑制了基于第 一条件的约束的帧 / 像素位置的第二条件或运动约束条件。
此外， 所谓增强第二条件， 是指使产生了饱和或曝光不足的像素的二阶微分值较 小。另外， 所谓增强运动约束条件， 是指对于产生了饱和或曝光不足的像素， 过大地评价 评价式中的运动约束条件 ( 数式 5) 的值。具体而言， 使产生了饱和或曝光不足的像素的 conf(x， y， t) 的值比已经设定的值大。例如， 采用预先确定的常数倍的值。
据此， 具有如下效果， 即在抑制了基于第一条件的约束的图像区域中， 补充图像生 成所使用的约束条件， 能够促进基于其他约束条件抑制了伪色产生的图像生成。关于约束 的增强方法， 根据基于第一条件的约束的抑制程度预先确定适当的增强方法并使用。
另外， 对于步骤 304 中光量判定部 104 判定为产生了饱和或曝光不足的像素位置， 可以降低运动检测的可靠度。
这是因为， 由于饱和或曝光不足， 块匹配等运动检测中容易产生误差。 通过在运动 检测的可靠度中反映由饱和或曝光不足产生的运动检测误差， 能够避免由错误的运动约束 造成的画质降低。运动检测的可靠度的降低方法预先确定。例如使可靠度为 0。
另外， 可以从运动检测使用的彩色图像中除去步骤 304 中判定为发生了饱和或曝光不足的彩色图像。由此， 也能减少由饱和或曝光不足产生的运动检测误差。
接着， 示出对自然图像的处理结果。 图 19 是拍摄了玩具娃娃的头部的图像 ( 将 RGB 彩色图像变换为亮度图像并示出 )， 在头部的发带的虚线矩形区域 ( 箭头的位置， 右侧为放 大图 ) 中， 拍摄时 G 发生饱和。在不进行饱和判定的情况下生成图像的结果是图 19(a) 的 图像。在虚线的矩形区域中， 产生与周围的发带 ( 白色 ) 不同的颜色， 成为较暗的图像 ( 放 大图的斜线区域 )。图 19(b) 是进行了基于本实施方式的处理的结果。
作为基于饱和判定抑制基于第一条件的约束并生成图像的结果， 伪色得到抑制， 与图 19(a) 相比图像变亮， 成为与周边的发带同样明亮的图像 ( 放大图的点区域 )。
如上所述， 根据本实施方式的处理， 在组合时空分辨率与颜色不同的运动图像生 成高时空分辨率的运动图像的情况下， 根据包含饱和或曝光不足的取得图像也能生成抑制 了画质劣化的图像。 作为其结果， 能够生成在饱和区域中向较亮方向、 在曝光不足区域中向 较暗方向超出了取得图像中能够表现的灰度范围 ( 动态范围 ) 的图像。这样， 本实施方式 具有通过组合动态范围不同的彩色图像， 扩大生成彩色图像的动态范围的效果。
( 实施方式 2)
说明本发明的实施方式 2。图 20 表示示出实施方式 2 的图像生成装置 30 的内部 结构的功能模块图。功能模块的结构及动作与实施方式 1 大致相同， 但新设置了光量控制 部 105。光量控制部 105 控制拍摄装置 10 拍摄运动图像时的曝光量。曝光量的控制基于光 量判定部 104 的判定进行。具体而言， 能够通过改变每种彩色图像的曝光时间来实现。
参照图 21 的流程图， 说明曝光量控制的动作。图 21 是表示光量控制处理的过程 的流程图。最初， 在步骤 1701 中， 光量判定部 104 对每个帧 / 像素进行饱和 / 曝光不足的 判定。接着， 在步骤 1702 中， 作为光量判定部 104 的判定结果， 在各帧的相同像素位置处全 部颜色饱和的情况下， 光量控制部 105 降低任一种颜色 ( 例如 G) 的曝光量。接着， 在步骤 1703 中， 作为光量判定部 104 的判定结果， 在各帧的相同像素位置处全部颜色曝光不足的 情况下， 光量控制部 105 增加任一种颜色 ( 例如 G) 的曝光量。
如上所述， 通过控制对图像的亮度成分贡献较大的 G 的曝光量， 能够抑制一般而 言信息量较多的亮度成分的饱和， 以得到信息。
此外， 曝光量的控制可以以像素单位进行， 也可以以 RGB 的彩色图像的单位进行。 这样， 在全部颜色饱和的情况下， 通过降低任一种颜色的曝光量， 可得到至少一种颜色以上 抑制了饱和的图像， 因此容易得到前面说明的实施方式 1 的结构的效果。即， 在全部颜色饱 和且抑制了基于第一条件的约束的区域中， 通过产生不饱和的颜色图像， 能够基于非饱和 色的图像信息设定其他约束条件 ( 时空连续性的约束等 )， 与全部颜色饱和的情况相比能 够期待画质的提高。 此时， 虽然也能够对全部颜色减少曝光量以使全部颜色变为非饱和， 但 容易产生曝光不足。如本实施方式这样， 减少任一种颜色的曝光量， 则利用实施方式 1 的效 果， 抑制目的运动图像中的曝光不足， 能够生成扩大了动态范围的图像。
同样， 在全部颜色曝光不足的情况下， 通过增加任一种颜色的曝光量， 可得到至少 一种颜色以上抑制了曝光不足的图像。因此容易得到前面说明的实施方式 1 的结构的效 果。 即， 在全部颜色曝光不足因而抑制了基于第一条件的约束的区域中， 通过产生未产生曝 光不足的颜色图像， 能够基于未产生曝光不足的颜色的图像信息设定其他约束条件 ( 时空 连续性的约束等 )， 与全部颜色曝光不足的情况相比能够期待画质的提高。此时， 虽然也能够对全部颜色增加曝光量以使全部颜色变为不产生曝光不足， 但容易产生饱和。如本实施 方式这样， 增加任一种颜色的曝光量， 则利用实施方式 1 的效果， 在目的运动图像中抑制饱 和， 能够生成扩大了动态范围的图像。
( 实施方式 3)
图 22 表示示出本实施方式的图像生成装置 30 的内部结构的功能模块图。另外， 图 23 是表示本实施方式的图像生成装置 30 的处理过程的流程图。图像生成装置 30 的结 构及动作与实施方式 1 大致相同， 但不同点在于本实施方式的图像生成装置 30 不具有运动 检测部。因此， 在图 23 所示的流程图中， 不包含与图像运动有关的处理 ( 图 3 的步骤 302 及 303)。
使用第一条件设定部 103c 设定的条件与第二条件设定部 103b 设定的条件， 彩色 图像生成部 103d 生成新的运动图像。在不使用运动约束的情况下， 光量判定部判定饱和或 曝光不足， 基于所述判定结果进行第一条件的设定， 由此能够使与饱和区域对应的目的运 动图像高画质化。
此外， 到此为止说明了具有显示装置 40 的图像生成系统 100。但是， 如图 24 所示 的摄像机 300 那样， 可以从图 1 所示的图像生成系统 100 中除去显示装置 40。此外， 在图 24 所示的摄像机 300 中附加显示装置 40 构成的具有运动图像录像再生功能的照相机在图 1 等所示结构的范畴中。 另外， 也可以如图 25 所示的显示设备 400( 例如电视机 ) 那样， 从图 1 所示的图像 生成系统 100 中除去拍摄装置 10。在这种显示设备 400 中， 能够接收多种颜色成分的运动 图像， 生成并显示提高了帧速的目的运动图像。此外， 在不包含拍摄装置 10 的情况下， 这种 显示设备也在图像生成系统 100 的范畴中。
显示设备 400 能够用各种方法接收 “多种颜色成分的运动图像” 。例如， 可以从半 导体存储卡 ( 例如 SD 卡 )250 中预先录像的运动图像数据中提取多种颜色成分的运动图 像， 也可以利用天线 251 从广播波中提取。或者， 可以经由因特网等网络 252 取得该运动图 像。在显示设备 400 中， 可以能够利用半导体存储卡 250、 天线 251、 以及网络 252 中的两种 或全部。
在图 25 所示的显示设备 400 中， 例如为了进行实施方式 1 的生成新的运动图像的 处理， 图像生成装置 30 需要各种颜色成分的运动图像的曝光时机 ( 图 7) 等与拍摄条件有 关的信息。 对此， 图像取得部 101 可以接收图 4C 所示格式的影像信号 210， 从识别标头 210a 中取得拍摄条件的信息， 并取得运动图像数据 210b。
只要图像生成装置 30 能够接收图 4C 所示的影像信号 210， 影像信号 210 的发送方 法任意。例如， 可以对图 4C 所示的影像信号 210 进行分组化并通过广播波发送， 进行网络 通信。
以上说明了本发明的图像处理装置的实施方式。上述实施方式为一例， 本发明不 限于此。对实施方式实施本领域技术人员能想到的变形而得到的方式也包含在本发明中。
可以用专用的硬件设备执行本发明的图像处理装置进行的图像生成处理的一部 分或全部， 也可以由计算机终端装置、 配置在无线基站等中的通信设备、 以及独立的通用计 算机等内置的 CPU 执行指定的计算机程序， 由此进行本发明的图像生成处理。在这种计算 机程序中规定图示的流程图的处理过程。执行计算机程序的 CPU 按照该处理过程自身进行
动作， 或者指示图示的其他结构要素使其动作， 据此使图像处理这种按照该处理过程动作。
产业上的利用可能性
本发明是根据多个运动图像生成新的运动图像的图像生成技术。尤其是， 能够作 为根据高速低分辨率运动图像与低速高分辨率运动图像 ( 或静止图像 ) 生成高速高分辨率 运动图像的图像生成装置、 组装了这种装置的影像设备或系统、 影像合成装置、 影像编辑装 置、 图像复原装置、 以及图像复原程序等进行利用。
符号说明
10 拍摄装置
20 图像存储装置
30 图像生成装置
40 显示装置
100 图像生成系统
101 图像取得部
101a 高速图像取得部
101b 低速图像取得部
102 运动检测部
102a 运动分布计算部
102b 可靠度分布计算部
103 图像处理部
103a 第三条件设定部
103b 第二条件设定部
103c 第一条件设定部
103d 彩色图像生成部
104 光量判定部
105 光量控制部
106 输出部
300 照相机
400 显示设备