图像处理装置及图像处理方法 【技术领域】
本发明涉及一种图像处理装置及图像处理方法。背景技术 有 一 种 使 用 镜 头 的 特 征 值 对 照 相 机 拍 摄 的 图 像 中 的 称 为 镜 头 像 差 (lens aberration) 的图像劣化进行校正的处理。传统上， 镜头像差中的歪曲和倍率的色像差 (chromatic aberration) 是由要形成的图像的图像高度与经由镜头实际获取的图像高度 之间的偏差产生的。图像高度表示与光轴的距离。用于校正这种像差的一种方法是变换各 个像素的坐标以使得图像高度处于正确位置。
在位图数据 ( 即数字图像 ) 的情况下， 进行坐标变换之前和之后的坐标不一定对 应。因此包括坐标变换的图像变形处理通常按照如下方式计算进行了图像变形后的像素 值。将图像变形后的坐标变换为图像变形前的坐标， 接着根据变换后的坐标对邻近像素进 行插值。
当应用这种图像变形处理时， 尤其是在处理是镜头像差校正处理的情况下， 图像 的边缘部分被大大放大。此外， 当存在大的坐标位移量时， 锐度大为降低。投影器中进行的 梯形失真 (keystone) 校正处理是包括位移量根据图像的位置而改变的坐标变换的图像变 形处理的另一个示例。
有两种方法， 即通过改进插值处理以及通过恢复降低的分辨率， 来解决这种锐度 降低。
在改进插值处理的情况下， 假定锐度降低是由插值处理引起的。因此通过将插值 处理与边缘检测结合来再创建插值处理本身 ( 参照日本特开 2004-153668 号公报 )。通过 这种方法， 当图像几乎不包含噪声时能够获取好的结果。 然而， 在通常使用数字照相机获取 的、 包含噪声的图像的情况下， 无法获取好的结果。
另一方面， 通过控制锐度强度或控制噪声量可以恢复降低的锐度。
在控制锐度强度来恢复降低的锐度的情况下， 对每个像素应用与镜头的状态相 对应的锐度强度以补偿降低的锐度 ( 参照美国第 6603885 号专利 )。然而， 拍摄的图像中 包含的噪声还由于图像放大而出现散焦 (defocus)， 使得仅通过调整锐度强度 ( 或滤色镜 (filter) 半径 ) 无法获取好的结果。
在控制噪声量来恢复降低的锐度的情况下， 通过考虑图像变形前的噪声量而向插 值结果中添加噪声， 来恢复由于图像放大而降低的锐度。 结果， 恢复了由于插值处理而降低 的噪声， 并且能够提高视觉锐度。然而， 如果要处理的图像不包含很多噪声， 则无法提高锐 度。
为了解决上述问题， 有一种超分辨率处理， 其是用于在输入多个低分辨率图像的 同时生成具有大量像素的超分辨率图像的技术。由于限制了低分辨率图像中包含的信号 的频率带宽， 因此在提高锐度方面存在限制。由此使用多个低分辨率图像来生成高分辨 率图像。通过应用这种技术能够恢复由于校正镜头像差而降低的锐度。例如， 日本特开
2001-197354 号公报讨论了一种根据摄像系统的劣化过程确定评价函数来获取校正结果的 方法。
有各种超分辨率方法。 例如， 有一种图像捕获方法， 其通过将多个帧之间存在位置 偏移的低分辨率图像合成来生成高分辨率图像 (Sung C.P， Min K.P， “Super-Resolution Image Reconstruction ： A technical Overview” ， IEEE Signal Proc.Magazine， Vol.26， No.3， P.21-36， 2003)。此外， 已知一种基于最大后验概率 (MAP， maximum a posteriori) 估 计的方法 (R.R.Schulz， R.L.Stevenson， “Extraction of high-resolution frames from videosequences” ， IEEE Trans.Image Processing， Vol.5， p.996-1011， 1996)。MAP 估计方 法是根据预设的概率密度函数估计后验概率最大的图像的方法。当将 MAP 估计方法应用于 超分辨率处理时， 可以视为估计使向平方误差添加了高分辨率图像的概率信息的评价函数 最小化的高分辨率图像。换句话说， 当在进行超分辨率处理中使用 MAP 估计方法时， 通过利 用高分辨率图像的预测信息解决使后验概率最大化的最优化问题， 来估计高分辨率图像。
然而， 超分辨率处理中的估计处理是非常繁重的处理。例如， 在 R.R.Schulz， R.L.Stevenson， “Extraction of high-resolution frames from videosequences” ， IEEE Trans.Image Processing， Vol.5， p.996-1011， 1996 中讨论的方法中， 需要解决用于获取高 分辨率图像的最优化问题并且需要进行迭代处理。 因此需要大的处理负荷以获取作为超分 辨率处理的结果的图像。 如果通过数字单反照相机来实现上述功能， 则可能产生问题， 例如 连续拍摄速度降低或需要包含高速处理器， 而使得电力消耗变大。 发明内容 根据本发明的一个方面， 一种图像处理装置， 该图像处理装置用于通过进行迭代 计算处理来由多个输入图像数据生成校正图像数据， 所述图像处理装置包括 ： 输入单元， 其 被配置为输入所述多个输入图像数据 ； 获取单元， 其被配置为获取用于进行拍摄以获取所 述输入图像数据的拍摄参数 ； 设置单元， 其被配置为基于所述拍摄参数， 针对各图像区域设 置用于生成所述校正图像数据的迭代次数 ； 以及生成单元， 其被配置为通过基于针对各图 像区域设置的所述迭代次数而对各图像区域进行迭代计算处理， 来由所述多个图像数据生 成校正图像数据。
根据本发明的示例性实施例， 能够恢复由图像变形降低的锐度以实现较高的图像 质量和低成本。
从以下参照附图对示例性实施例的详细描述， 本发明的其他特征和方面将变得清 楚。
附图说明 包括在说明书中并构成说明书的一部分的附图， 示出了本发明的示例性实施例、 特征及方面， 并与文字说明一起用于解释本发明的原理。
图 1 示出了作为图像处理装置的示例的可替换单镜头反射数字照相机的电路配 置的示例。
图 2 示出了数字照相机的外部立体图。
图 3 示出了数字照相机的纵向截面图。
图 4 示出了根据本发明的第一示例性实施例的进行镜头像差校正处理的数字照 相机的配置。
图 5A 和图 5B 示出了歪曲校正。
图 6 示出了镜头的特征值。
图 7A 和图 7B 是示出镜头校正处理的示例的流程图。
图 8 示出了使用歪曲校正查找表 (LUT) 计算指定像素 (i， j) 的像素值的处理。
图 9 是示出获取帧间的相对位移量的处理的示例的流程图。
图 10 是示出估计平坦部中的块的处理的示例的流程图。
图 11 是示出有效运动矢量确定处理的示例的流程图。
图 12 是示出使用 MAP 估计方法的图像合成处理的示例的流程图。
图 13 是示出迭代映射生成处理的示例的流程图。
图 14 示出了根据本发明的第二示例性实施例的进行镜头像差校正处理的数字照 相机的配置。
图 15 示出了梯形失真校正中像素的位移量。 具体实施方式
下面， 参照附图详细说明本发明的各种示例性实施例、 特征和方面。
通常， 数字照相机将曝光持续指定曝光时间的图像输出到记录介质。然而， 根据 本示例性实施例， 通过进行超分辨率处理从多个图像数据获取高质量的校正图像数据。换 句话说， 通过经过指定的曝光时间的同时进行时分 (time-division) 曝光来获取多个帧图 像数据。 接着通过对获取的多个帧图像进行超分辨率处理来获取高图像质量的校正图像数 据。
根据本发明的示例性实施例的与坐标移动相关联的图像变形处理是镜头像差校 正处理。尤其是， 将歪曲校正处理作为镜头像差校正处理的示例描述。然而， 与歪曲校正 类似， 倍率的色像差校正对由理想图像高度与拍摄的图像高度之间的偏差所产生的像差量 ( 歪曲量 ) 进行校正。因此， 倍率的色像差校正处理可以包含在镜头像差校正处理中。
可以首先应用镜头像差校正处理或超分辨率处理中的任意一个。 根据本发明的第 一示例性实施例， 首先应用镜头像差校正处理。 根据第二示例性实施例， 首先应用超分辨率 处理。
图 1 示出了作为图像处理装置的示例的可替换单镜头反射数字照相机的电路配 置的示例。
参照图 1， 微计算机 102 控制整个照相机的操作。例如， 微计算机 102 对从图像传 感器 ( 即根据本示例性实施例的电荷耦合器件 (CCD))118 输出的图像数据的处理以及液晶 显示 (LCD) 监视器设备 117 的显示控制进行控制。
当用户半按下释放按钮 214( 参照图 2) 时， 开关 (SW1)105 接通。当开关 (SW1)105 接通时， 根据本示例性实施例的数字照相机准备拍摄。当用户完全按下释放按钮 214 时， 开 关 (SW2)106 接通。当开关 (SW2)106 接通时， 根据本示例性实施例的数字照相机开始拍摄。
镜头控制电路 107 对与拍摄镜头 300( 参照图 3) 的通信、 在进行自动对焦 (AF) 时 对拍摄镜头 300 的驱动以及对光圈叶片 (diaphragm blade) 的驱动进行控制。外部显示控制电路 108 对外部显示设备 (OLC)109 以及取景器的显示设备 ( 未示 出 ) 进行控制。开关感测电路 110 从包括安装在照相机上的电子拨盘 (dial)111 的各种开 关向微计算机 102 发送信号。
闪光灯发射控制电路 112 经由 X 接点 112a 接地并控制外部闪光灯。测距电路 113 检测用于进行 AF 的被摄体的散焦量。测光电路 114 测量被摄体的亮度。
快门控制电路 115 控制快门并对图像传感器进行适当的曝光。 LCD 监视器设备 117 和背光照明设备 116 构成图像显示设备。存储设备 119 例如是能够可拆卸地安装到照相机 上的硬盘驱动器或半导体存储卡。
微计算机 102 连接到模拟 / 数字 (A/D) 转换器 123、 图像缓冲存储器 124 以及由数 字信号处理器 (DSP) 构成的图像处理电路 125。微计算机 102 还连接到进行稍后描述的超 分辨率处理所需的位移量计算电路 126 和图像合成电路 127。
图 2 示出了数字照相机的外部立体图。图 3 示出了数字照相机的纵向截面图。
参照图 2， 在照相机主体 200 的上部设置有取景器观察目镜窗 211、 自动曝光 (AE) 锁定按钮 212、 AF 测距点选择按钮 213 以及用于拍摄的释放按钮 214。此外， 在照相机主体 200 的上部设置有电子拨盘 111、 拍摄模式选择拨盘 217 以及外部显示设备 109。电子拨盘 111 是用户使用的与其他操作按钮协作以向照相机输入数值并切换拍摄模式的多功能信号 输入设备。外部显示设备 109 由 LCD 构成并显示诸如快门速度、 光圈值以及拍摄模式的拍 摄条件和其他信息。 在照相机主体 200 的背面设置有显示拍摄的图像和各种设置窗口的 LCD 监视器设 备 117、 用于打开 / 关闭 LCD 监视器设备 117 的监视器开关 221、 十字形开关 216 以及菜单 按钮 224。
十字形开关 216 具有上、 下、 左、 右布置的四个按钮和一个布置在中心的 SET( 设 置 ) 按钮。当用户指示照相机选择并执行在 LCD 监视器设备 117 上显示的菜单项目时使用 十字形开关 216。
菜单按钮 224 用于显示用于在 LCD 监视器设备 117 上显示照相机的各种设置的菜 单窗口。例如， 当选择和设置拍摄模式时， 用户按下菜单按钮 224 并通过对十字形开关 216 的上、 下、 左、 右按钮进行操作来选择想要的模式。 用户在选择了想要的模式时接着按下 SET 按钮， 设置完成。菜单按钮 224 和十字形开关 216 还用于设置稍后描述的镜头像差校正模 式。由于根据本示例性实施例的 LCD 监视器设备 117 是透射型， 因此仅通过驱动 LCD 监视 器设备 117 无法查看图像。如图 3 所示， 在 LCD 监视器设备 117 的背面总是需要背光照明 设备 116。因此， LCD 监视器设备 117 和背光照明设备 116 构成图像显示设备。
参照图 3， 可以通过主体架 302 从照相机主体 200 上替换摄像光学系统的拍摄镜头 300。拍摄光轴 301 贯穿快回 (quick-return) 反光镜 303。
快回反光镜 303 插入在拍摄光学路径中。快回反光镜 303 可以在快回反光镜 303 将被摄体光从拍摄镜头 300 导向取景器光学系统的位置 ( 如图 3 所示， 称为倾斜位置 ) 与 快回反光镜 303 从拍摄光学路径回退的位置 ( 称为回退位置 ) 之间移动。
从快回反光镜 303 导向取景器光学系统的被摄体光在聚焦屏 304 上形成图像。 聚光透镜 305 提高取景器的可视性。聚光透镜 305 和五角屋脊棱镜 (pentagonal roof prism)306 将通过聚焦屏 304 和聚光透镜 305 的被摄体光导向取景器观察目镜透镜 308 和
测光传感器 307。
第二幕帘 309 和第一幕帘 310 构成快门。通过释放后幕帘 309 和前幕帘 310 来对 布置在后面的图像传感器 118( 即固态图像传感器 ) 进行所设置的一段时间的曝光。由图 像传感器 118 转换为各像素的电信号的拍摄图像通过 A/D 转换器 123 和图像处理电路 125 处理， 并被作为图像数据记录在图 1 所示的存储设备 119 中。
图像传感器 118 由印刷电路板 311 保持。在印刷电路板 311 的后面布置有另一印 刷电路板 - 显示基板 315。在与印刷电路板 311 的相对的显示基板 315 一侧布置有 LCD 监 视器设备 117 和背光照明设备 116。
存储设备 119 记录图像数据。存储设备 119 和电池 317( 便携式电源 ) 可拆卸地 安装在照相机主体上。
图 4 示出了根据第一示例性实施例的进行镜头像差校正处理的数字照相机的配 置。 根据本示例性实施例的数字照相机在指定的曝光时间进行时分曝光上与传统的数字照 相机不同。通过进行时分曝光获取的帧图像 420 变成对图像处理电路 125 的输入信号。镜 头像差校正电路 402 包括在图像处理电路 125 中。
镜头校正表生成电路 401 从镜头特征值数据库 411 中获取镜头特征值 ( 即， 针对 各图像高度定义的、 关于像素是否对应拍摄信息 ( 稍后描述 ) 移动的目标镜头的数据 )。 此外， 镜头校正表生成电路 401 获取作为从镜头控制电路 107、 快门控制电路 115 以及测距 (AF) 电路 113 的输出而获取的拍摄信息 ( 拍摄参数 )412。拍摄信息的示例是变焦位置、 光 圈值以及拍摄距离。接着， 镜头校正表生成电路 401 基于获取的镜头特征值生成 ( 计算 ) 各图像高度的镜头校正表 ( 位移量 )。镜头校正表生成电路 401 包括在位移量计算处理电 路 126 中。 镜头校正表表示拍摄时的图像高度和与其相对应的理想图像高度的组合。镜 头 校 正 表 生 成 电 路 401 对 与 拍 摄 信 息 相 对 应 的 镜 头 特 征 值 进 行 样 条 插 值 (spline interpolation)， 并获取与各像素的图像高度相对应的理想图像高度 ( 参照稍后描述的图 6)。
超分辨率处理电路 404 对镜头像差校正电路 402 进行了镜头像差校正处理的帧图 像 ( 即镜头像差校正后的多个图像 ) 进行超分辨率处理。由此获取图像周边的锐度 ( 感知 的分辨率 ) 未降低的图像。接着超分辨率参数生成电路 403 根据镜头校正表确定用于进行 超分辨率处理的参数。此外， 超分辨率处理电路 404 的输出分辨率与输入图像数据的分辨 率相同。 超分辨率参数生成电路 403 和超分辨率处理电路 404 包括在图像合成电路 127 中。
下面描述根据本示例性实施例的镜头像差校正处理。如上所述， 根据本示例性实 施例， 为了便于描述， 将歪曲校正处理作为镜头像差校正处理的示例进行描述。
图 5A 示出了校正歪曲成桶形的图像的情况。图 5B 示出了校正歪曲成枕形的图 像的情况。通过移动像素位置校正歪曲， 并针对各图像高度复杂地改变位移量。通过移动 像素位置还校正了倍率的色像差， 倍率的色像差由因输入光的波长造成的偏差的不同而产 生。通常， 这种镜头像差绕光轴旋转对称。因此， 如果针对各像素计算图像高度并接着根据 镜头特征量计算与图像高度相对应的校正量， 则处理变得冗长。
因此镜头校正表生成电路 401 生成对镜头特征值进行样条插值的镜头校正表， 如 图 6 所示。接着， 镜头像差校正电路 402 参照生成的镜头校正表并应用镜头像差校正处理。
图 6 所示的虚线表示图像高度在校正镜头像差之前和之后一致的情形。在图 6 所示的示例 中， 插值的曲线通过上述虚线， 使得歪曲呈桶形。 校正了镜头像差的图像随图像高度越高而 变得越大。
图 7A 是示出歪曲校正处理的示例的流程图。
在步骤 S701 中， 镜头校正表生成电路 401 从镜头特征值数据库 411 获取与要处理 的图像的拍摄信息 ( 例如镜头的类型、 焦距和 f 值 ) 相对应的镜头特性数据。作为根据本 示例性实施例的镜头校正表的示例的用于校正歪曲的特性数据， 是相对于校正歪曲后的图 像高度的校正歪曲前的图像高度的数据。
在步骤 S702 中， 镜头校正表生成电路 401 从要处理的图像的拍摄信息中获取要处 理的图像的像素间距。像素间距是像素之间的距离， 根据本示例性实施例的像素间距表示 图像传感器上以毫米为单位的距离。
在步骤 S703 中， 镜头校正表生成电路 401 基于下面使用图像大小 ( 即 fw 像素宽 度和 fh 像素高度 ) 描述的等式 (1) 计算歪曲校正 LUT 大小 fs。在等式 (1) 中， fs 是以像 素为单位的从合适的显示图像的中心到顶点的距离。
在步骤 S704 中， 镜头校正表生成电路 401 对在步骤 S701 中获取的镜头特性数据 进行样条插值， 并生成在步骤 S703 中获取的大小的歪曲校正 LUT。将离要处理的图像的中 心的距离输入到歪曲校正 LUT， 并从歪曲校正 LUT 输出离校正歪曲后的图像数据的中心的 距离。这两个距离都是以像素为单位。
在步骤 S705 中， 镜头像差校正电路 402 针对校正歪曲后的图像数据中的各个像素 计算如图 8 所示的校正歪曲后的像素值。当针对所有像素计算了像素值后， 处理结束。
图 7B 是示出在图 7A 所示的步骤 S705 中进行的用于计算校正歪曲后的像素值的 处理的示例的流程图。
用于计算校正歪曲后的像素值的处理是用于计算要处理的具有 fw 个像素宽和 fh 个像素高的图像中的指定像素 (i， j) 的像素值的处理。使用歪曲校正 LUT 计算像素值。
在步骤 S801 中， 镜头像差校正电路 402 获取从图像的中心到像素 (i， j) 的以像素 为单位的距离 ( 即图像高度 )。
在步骤 S802 中， 镜头像差校正电路 402 使用歪曲校正 LUT 获取与图像高度相对应 的校正量 ( 即进行歪曲校正前的图像高度 )。 当图像高度不是整数值时， 镜头像差校正电路 402 使用线性插值来计算校正量。
在步骤 S803 中， 镜头像差校正电路 402 使用在步骤 S802 中计算的校正量， 来计算 校正歪曲前的缩小图像中的坐标。镜头像差校正电路 402 使用等式 (2) 计算坐标。
I’ (i， j) ＝ d’ ×I(i， j)×d (2)
在等式 (2) 中， I(i， j) 是从图像的中心到校正歪曲后的像素 (i， j) 的方向矢量。 I’ (i， j) 是从图像的中心到校正歪曲前的像素 (i， j) 的坐标的方向矢量。d 是校正歪曲后 的像素 (i， j) 的以像素为单位的图像高度。d’ 是使用歪曲校正 LUT 计算的校正歪曲前的 像素 (i， j) 的以像素为单位的图像高度。
在步骤 S804 中， 镜头像差校正电路 402 对缩小图像中与 I’ (i， j) 相对应的坐标
附近的像素值进行双线性插值， 并确定像素 (i， j) 的像素值。
根据本示例性实施例的超分辨率处理通过使用 MAP 估计方法进行迭代计算处理 来实现。超分辨率处理包括两个步骤， 即用于对比多个图像的位置的相对位移量计算处理 以及用于根据计算的相对位移量和输入图像组生成高分辨率图像的图像合成处理。 下面依 次对处理进行描述。
图 9 是示出用于计算多个帧之间的相对位移量的处理的示例的流程图。下面描述 超分辨率处理电路 404 获取各个块的运动矢量以及整个画面的位移量作为仿射参数的方 法。
在步骤 S901 中， 超分辨率处理电路 404 确定获取各个块的运动矢量前的有效块。 进行该处理以去除无法获取正确的运动矢量的块。在稍后描述的图 10 中详细示出了在步 骤 S901 中进行的处理。
在步骤 S902 中， 超分辨率处理电路 404 计算块的运动矢量。下面描述一般的块对 比方法。块对比方法使用块中的像素之间的差的平方和或绝对值和作为对比的评价值。在 块对比方法中， 通过在参照图像的搜索范围内依次移动要获取矢量的目标块， 来获取评价 值。 在搜索范围内获取的所有评价值中具有最小评价值的位置是与目标块关联性最高的位 置。因此其位移量成为运动矢量。将在搜索范围内一次一个像素地获取评价值的方法称为 全搜索。相反， 将在搜索范围内间隔地获取最小评价值并接着在获取的最小值的附近进行 详细搜索的方法称为步进搜索 (stepsearch)。 步进搜索作为用于获取运动矢量的高速方法 为公众所知。
在步骤 S903 中， 超分辨率处理电路 404 确定是否处理了所有块。如果处理了所 有块 ( 步骤 S903 中的 “是” )， 则处理进入步骤 S904。如果未处理所有块 ( 步骤 S903 中的 “否” )， 则处理返回到步骤 S901。在步骤 S904 中， 超分辨率处理电路 404 确定有效运动矢 量。这是用于去除确定为计算结果是错误的运动矢量的处理。在稍后描述的图 11 中详细 示出了步骤 S904 的处理。
在步骤 S905 中， 超分辨率处理电路 404 从有效运动矢量中检测仿射参数。
下面详细描述仿射参数检测。如果目标块的中心坐标是 (x， y)， 并且作为计算运 动矢量的结果， 参照图像中的块的中心坐标移动至 (x’ ， y’ )， 则可以如等式 (3) 那样表示这 种关系。
等式 (3) 中的 3×3 矩阵是仿射变换矩阵。矩阵中的各元素是仿射参数， 当 a ＝ 1、 b ＝ 0、 d ＝ 0 并且 e ＝ 1 时， 变换变成 c 是水平方向的位移量而 f 是垂直方向的位移量的 平行移动。此外， 可以将以旋转角 θ 进行的旋转移动表示为 a ＝ cosθ、 b ＝ -sinθ、 d＝ sinθ 并且 e ＝ cosθ。还可以如等式 (4) 那样用一般化的矩阵形式表示等式 (3)。
x’ ＝ A·x (4)
在等式 (4) 中， x 和 x’ 是 3×1 矩阵， A 是 3×3 矩阵。如果有 n 个有效运动矢量， 则可以如等式 (5) 那样， 将目标图像的坐标值表示为 3×n 矩阵。
X ＝ (x1， x2， ...， xn) (5)
与等式 (5) 类似， 可以如等式 (6) 那样， 将移动后的坐标值表示为 3×n 矩阵。
X’ ＝ (x’ 1， x’ 2， ...， x’ n) (6)
当有 n 个运动矢量时， 由此如等式 (7) 那样表示坐标值。
X’ ＝ A·X (7)
换句话说， 如果可以获取等式 (7) 中的仿射矩阵 A， 则矩阵变为整个画面的位置位 移量。通过对等式 (7) 进行变形， 可以如等式 (8) 那样获取仿射矩阵。
A ＝ X’ ·XT·(X·X)T-1 (8)
在上述方法中， 可以用仿射变换的参数表示整个画面的位移量。 因此， 除了当用户 手持数字照相机时产生的移动模糊以外， 还能够将其应用于由沿面内方向滚动 (rolling) 产生的模糊以及前后方向上的变焦模糊。
下面参照图 10 所示的流程图描述有效块确定处理。
当通过执行块对比来获取块之间的关联性时， 需要块中的图像具有特征量。在平 坦并且只包括直流 (DC) 分量的块中无法获取正确的运动矢量。相反， 如果块包括水平方向 或垂直方向上的边缘， 则能够容易地进行对比。图 10 是示出用于去除平坦部中的块的处理 的示例的流程图。下面描述对一个块进行的处理。 在步骤 S1001 中， 超分辨率处理电路 404 计算在块中的水平方向上的一行中的最 大值与最小值之间的差值。 例如， 如果块的大小是 50×50 像素， 则超分辨率处理电路 404 从 块中的水平方向上的 50 个像素中获取最大值和最小值， 并计算两个值之间的差值。在步骤 S1002 中， 超分辨率处理电路 404 将计算重复水平行的数量 ( 即 50) 次。在步骤 S1003 中， 超分辨率处理电路 404 从计算的 50 个差值中获取最大差值。
在步骤 S1004 中， 超分辨率处理电路 404 将最大的差值与预先设置的阈值 Tx 进行 比较。如果最大差值小于阈值 Tx( 步骤 S1004 中的 “是” )， 则确定块在水平方向上没有特 征量。在步骤 S1005 中， 超分辨率处理电路 404 确定块是无效块。另一方面， 如果能够确定 块在水平方向上具有特征量 ( 步骤 S1004 中的 “否” )， 则超分辨率处理电路 404 在垂直方 向上进行类似的验证。
在步骤 S1006 中， 超分辨率处理电路 404 计算在块内的垂直方向上的一列中的最 大值与最小值之间的差值。更具体地说， 超分辨率处理电路 404 从块内的垂直方向上的 50 个像素中获取最大值与最小值， 并计算获取的值之间的差值。在步骤 S1007 中， 超分辨率处 理电路 404 将计算重复垂直列的数量 ( 即 50) 次。
在步骤 S1008 中， 超分辨率处理电路 404 从计算的 50 个差值中获取最大差值。
在步骤 S1009 中， 超分辨率处理电路 404 将最大差值与预先设置的阈值 Ty 进行比 较。如果最大差值小于阈值 Ty( 步骤 S1009 中的 “是” )， 则确定块在垂直方向上没有特征 量。在步骤 S1005 中， 超分辨率处理电路 404 确定块是无效块。如果块在水平方向和垂直 方向上具有特征量 ( 步骤 S1009 中的 “否” )， 则能够期望进行正确的块对比。因此， 在步骤 S1010 中， 超分辨率处理电路 404 确定块为有效块。
下面参照图 11 所示的流程图描述有效运动矢量确定处理。
在步骤 S1101 中， 超分辨率处理电路 404 输入在图 9 所示的步骤 S902 中检测到的 运动矢量。
在步骤 S 1102 中， 超分辨率处理电路 404 计算运动矢量的发生频率。
在步骤 S1103 中， 超分辨率处理电路 404 重复处理直到获取所有运动矢量的发生 频率为止。在步骤 S1104 中， 超分辨率处理电路 404 接着获取最大发生频率的运动矢量。
在步骤 S1105 中， 超分辨率处理电路 404 再次输入运动矢量。
在步骤 S1106 中， 超分辨率处理电路 404 确定输入的运动矢量是否是最大发生频 率的运动矢量或最大发生频率的运动矢量附近 ( 预定范围内 ) 的运动矢量。如果整个画面 的模糊仅仅是移动模糊， 则各块的运动矢量与最大发生频率的运动矢量近似一致。如果存 在因滚动造成的模糊， 则在最大发生频率的运动矢量的附近产生运动矢量。
因此如果输入的运动矢量是最大发生频率的运动矢量或最大发生频率的运动矢 量附近 ( 预定范围内 ) 的运动矢量 ( 步骤 S1106 中的 “是” )， 则处理进入步骤 S1107。在步 骤 S1107 中， 超分辨率处理电路 404 确定输入的运动矢量是有效的运动矢量。另一方面， 如 果输入的运动矢量不是最大发生频率的运动矢量或最大发生频率的运动矢量附近 ( 预定 范围内 ) 的运动矢量 ( 步骤 S1106 中的 “否” )， 则处理进入步骤 S1108。在步骤 S1108 中， 超分辨率处理电路 404 确定输入的运动矢量是无效的运动矢量。在步骤 S1109 中， 超分辨 率处理电路 404 确定是否对所有运动矢量进行了处理并重复从步骤 S1105 开始的处理， 直 到处理完成为止。 根据本示例性实施例， 超分辨率处理电路 404 通过使用 MAP 估计方法进行图像合 成处理。换句话说， 根据本示例性实施例的超分辨率处理使根据输入图像组估计的输出图 像 ( 校正图像 ) 的后验概率最大化。当 X 表示相对于后验概率 P(X|Y) 的输入图像组时， 可 以如等式 (9) 那样表示 Y。
Y ＝ D(h)MX+n (9)
在等式 (9) 中， D(h) 是当进行镜头像差校正时反映局部放大的比率的矩阵。根据 拍摄时的图像高度与理想图像高度之间的偏差 ( 歪曲量 ) 来计算 D(h)。此外， M 是表示图 像之间的位置偏移的矩阵， n 表示噪声。
下面描述用于生成表示图像之间的位置偏移的矩阵 M 的方法。使用表示通过上述 相对位移量计算获取的参照图像与目标图像之间的关系的仿射参数， 来确定矩阵 M。超分 辨率处理电路 404 确定多个输入图像数据中的一个作为参照图像， 确定其他图像数据作为 目标图像。等式 (3) 中的像素位置 (x， y) 与目标图像中的像素位置相对应， 像素位置 (x’ ， y’ ) 与参照图像中的像素位置相对应。接着， 超分辨率处理电路 404 可以根据上述对应关 系和估计的仿射参数， 确定参照图像中的与目标图像中的像素位置 (x， y) 相对应的坐标位 置。这种对应关系被反映在矩阵 M 中。
作为对应关系的结果， 如果像素位置 (x’ ， y’ ) 绘制在参照图像的网格点上， 则超 分辨率处理电路 404 将矩阵 M 中的与参照图像中的像素位置相对应的元素定义为 1， 而为其 他元素分配 0。另一方面， 作为对应关系的结果， 如果像素位置 (x’ ， y’ ) 没有绘制在参照图 像的网格点上， 则超分辨率处理电路 404 计算矩阵 M 的系数， 作为 (x’ ， y’ ) 的邻近像素的 像素值的权重系数的和。超分辨率处理电路 404 使用诸如线性插值的插值， 根据 (x’ ， y’ ) 的邻近像素的像素值来计数该系数。超分辨率处理电路 404 将分配给 (x’ ， y’ ) 的邻近像 素的加权值， 分配给矩阵 M 中的根据 (x， y) 和 (x’ ， y’ ) 的邻近像素的位置确定的行和列中 的各个元素。然后， 超分辨率处理电路 404 为其他元素分配 0， 并由此生成表示图像之间的
位置位移量的矩阵 M。
在使用 MAP 估计方法的超分辨率处理中， 超分辨率处理电路 404 根据输入图像生 成初始图像， 并使用预设的概率密度函数估计状态。超分辨率处理电路 404 反复进行估计， 直到满足结束条件为止， 由此计算最优解。图 12 是示出使用 MAP 估计方法的图像合成处理 的示例的流程图。
在步骤 S1201 中， 超分辨率处理电路 404 使用输入图像组的像素值的平均值生成 初始图像。在步骤 S1202 中， 超分辨率处理电路 404 使用由等式 (9) 表示的概率密度函数 来估计各个像素的像素值。
超分辨率处理电路 404 参照迭代映射， 并且仅当未达到相应像素的迭代次数时应 用估计处理。迭代映射是具有与输出像素相同宽度和高度的位图数据， 像素值是各个像素 的迭代次数的最大值。如果将一个位图当作一个图像区域， 则迭代映射是设置给各图像区 域的迭代的次数。图像区域的单位不限于如上所述的像素， 而可以是图像高度或 m×n 个 块。在下面描述的图 13 中示出了用于生成迭代映射的方法。如果不进行估计， 则超分辨率 处理电路 404 直接使用估计前的像素值作为估计后的像素值。
在步骤 S1203 中， 超分辨率处理电路 404 更新在步骤 S1202 中改变了像素值的像 素的像素值。 根据本示例性实施例， 在更新像素值中使用在步骤 S1202 中获取的估计值。 然 而， 超分辨率处理电路 404 可以按照预定的更新比率而根据估计之前和之后的像素值来计 算要更新的像素值。 在步骤 S1204 中， 超分辨率处理电路 404 确定是否所有像素都满足结束条件。如 果所有像素都满足结束条件 ( 步骤 S1204 中的 “是” )， 则处理结束。如果存在不满足结束条 件的任何像素 ( 步骤 S1204 中的 “否” )， 则处理返回到步骤 S1202， 超分辨率处理电路 404 再次估计像素值。
根据本示例性实施例的结束条件是在估计之前和之后所有像素的状态都没有更 新。
图 13 是示出迭代映射生成处理 ( 即迭代映射设置处理 ) 的示例的流程图。
在步骤 S1301 中， 超分辨率参数生成电路 403 生成与校正了镜头像差后的图像具 有相同的宽度和高度的位图。并用 0 对位图进行初始化。
在步骤 S1302 中， 超分辨率参数生成电路 403 根据在镜头像差校正处理中使用的 歪曲校 LUT 大小 fs 的值， 确定各图像区域的迭代率。根据本示例性实施例， 超分辨率参数 生成电路 403 根据偏差的绝对值确定迭代的次数。可以如等式 (11) 那样表示迭代率。
α ＝ N/m (11)
在等式 (11) 中， m 是预定的基准偏差。如果按照等式 (11) 那样定义迭代率， 并且 当偏差是 1mm 时将迭代的次数设置为 50 次， 则迭代率 α 变成 50。在步骤 S1303 中， 超分辨 率参数生成电路 403 通过参照歪曲校 LUT 来计算各像素的偏差。接着， 超分辨率参数生成 电路 403 将通过将偏差乘以迭代率 α 获取的整数值存储在迭代映射中。如果计算获取了 负值， 则超分辨率参数生成电路 403 将 0 存储在迭代映射中。
根据本示例性实施例的数字照相机通过使用上述迭代映射， 能够根据因镜头像差 校正造成的锐度降低的影响的大小来控制估计的次数。换句话说， 数字照相机不对当校正 镜头像差时像素值没有更新的像素进行估计处理。 而数字照相机对当校正镜头像差时像素
值改变大的像素应用多次估计处理。 结果， 能够均匀地校正整个图像， 并且能够省略不必要 的估计， 从而大大提高处理速度。
根据本示例性实施例， 数字照相机使用 MAP 估计方法生成高分辨率图像。然而， 数 字照相机可以使用包括循环 (loop) 处理的其他高分辨率图像生成处理方法生成高分辨率 图像。例如， 数字照相机可以使用凸集投影 (POCS， projection onto convex sets) 方法、 POCS 最大似然 (ML， maximum likelihood) 方法、 以及反投影 (back projection) 方法生成 高分辨率图像。 此外， 根据本示例性实施例的数字照相机使用迭代映射来减少估计次数。 然 而， 数字照相机可以根据拍摄时的图像高度与理想图像高度之间的偏差确定估计处理的迭 代次数以外的参数。接着， 数字照相机可以使用确定的参数生成高分辨率图像。例如， 数字 照相机可以在概率密度函数 P(x|y) 中设置收敛 (convergence) 项， 以使得处理根据偏差尽 早收敛。
此外， 数字照相机可以通过使用拍摄时的图像高度与理想图像高度之间的偏差改 变各个像素的更新比率的值。根据本示例性实施例， 直接使用估计的像素值。然而， 数字照 相机可以使用针对估计后的像素值的加权平均值来更新像素值。 更新比率表示估计后的像 素的权重。通过随着偏差变小而增加估计值的权重， 处理能够尽早收敛。
如上所述， 根据本示例性实施例， 超分辨率处理 ( 即高分辨率处理 ) 将多个帧转换 为高分辨率图像。在这种处理中， 根据因校正镜头像差而造成的像素的位移量 ( 或局部放 大比率 ) 确定参数。结果， 能够高速地恢复由进行镜头像差校正处理而降低的锐度。
根据第一示例性实施例的数字照相机对通过时分曝光获得的所有图像 ( 即多个 时分曝光图像 ) 进行镜头像差校正处理。在这种方法中， 数字照相机能够根据镜头校正表 计算校正了歪曲后的图像大小。 因此能够在进行镜头像差校正处理和超分辨率处理前计算 所需的存储器量。此外， 由于逐像素进行处理， 因此仅使用少量的存储器。
然而， 由于根据第一示例性实施例的处理对所有时分曝光图像应用镜头像差校正 处理， 因此在计算成本方面效率不高。 根据本发明的第二示例性实施例， 首先进行超分辨率 处理以将多个图像合成为一个图像， 接着对一个图像 ( 通过进行超分辨率处理获取的 ) 应 用镜头像差校正处理。结果， 能够如下所述地降低总的计算成本。
图 14 示出了根据本发明的第二示例性实施例的进行镜头像差校正处理的数字照 相机的配置。 根据本示例性实施例的数字照相机与根据第一示例性实施例的数字照相机的 不同之处在于， 超分辨率处理电路 1403 将多个时分曝光图像 1420 合成为一个图像。根据 第一示例性实施例， 在进行超分辨率处理之前和之后， 图像数据的分辨率不变。相反， 根据 本示例性实施例， 超分辨率处理电路 1403 通过考虑因镜头像差校正处理造成的图像劣化 的影响而输出高分辨率图像。
例如， 超分辨率处理电路 1403 使用在进行镜头像差校正时放大图像数据的比率 的最大值来计算输出分辨率。接着， 超分辨率处理电路 1403 生成具有该分辨率的图像。镜 头像差校正电路 1404 对放大的图像数据应用镜头像差校正处理， 并将图像数据缩小为原 来的分辨率， 从而能够避免因镜头像差校正造成的锐度降低。
根据本示例性实施例， 根据使用等式 (12) 计算的放大比率 β 确定超分辨率处理 电路 1403 的输出图像分辨率。
β ＝ I(h_max)/I’ (h_max) (12)在等式 (12) 中， h_max 是理想图像高度与拍摄时的图像高度之间的偏差变为最大 时的图像高度。I’ (h) 是拍摄时的图像高度， I(h) 是理想图像高度。如果 β ＜ 1， 则将 β 的值设置为 1。由此通过将帧图像的宽度和高度乘以放大比率来获取超分辨率处理的输出 图像的大小。
根据本示例性实施例， 与第一示例性实施例类似， 迭代映射用于确定超分辨率处 理的处理参数。 由于根据本示例性实施例图像被放大， 因此期望确定迭代率 α， 以使得迭代 的次数大于根据第一示例性实施例的迭代次数。根据本示例性实施例， 如等式 (13) 那样， 使用预定的最大迭代次数 N 和理想图像高度与拍摄时的图像高度之间的最大偏差 d_max 来 表示迭代率 α。
α ＝ N/d_max (13)
换句话说， 根据本示例性实施例， 对具有最大图像高度偏差的像素重复最大 N 次 估计。 本示例性实施例的优点还在于通过对图像设置最大迭代次数能够计算进行超分辨率 处理的处理时间的最大值。
接着使用与第一示例性实施例类似的方法对超分辨率处理电路 1403 的输出图像 应用镜头像差校正处理。镜头像差校正电路 1404 的输出分辨率与在对多个时分曝光图像 1420 中的首帧图像应用镜头像差校正处理时获取的分辨率相同。 能够根据镜头校正表计算 应用了镜头像差校正处理后的分辨率， 而无需实际应用处理。 然而， 由于这不是本示例性实 施例的重点， 因此省略处理的详情。
通过应用根据本示例性实施例的上述处理， 能够大大降低计算成本， 并且能够获 取与第一示例性实施例类似的结果。
根据第一和第二示例性实施例， 作为存在像素的移动的图像变形处理， 进行镜头 像差校正处理。根据本示例性实施例， 应用在投影器中使用的梯形失真校正作为与第一和 第二示例性实施例类似的图像变形处理的示例。
图 15 示出了根据本发明的第三示例性实施例的在进行梯形失真校正中像素的位 移量。参照图 15， 通过固定特定基准线 ( 图 15 所示的示例中的画面的底线 ) 并改变垂直方 向和水平方向上的大小来实现梯形失真校正。在图 15 所示的示例中， 为了便于描述， 校正 限于画面的倾斜方向。
如图 15 所示， 梯形失真校正处理中像素的位移量 ( 即局部放大比率 ) 根据位置而 不同。如果输入包括以子像素为单位的模糊的连续图像， 则数字照相机由此能够使用在第 一和第二示例性实施例中描述的处理， 用针对各坐标点的最佳参数来应用超分辨率处理。
在梯形失真校正处理中， 主要降低图像数据大小， 使得在对如在第一和第二示例 性实施例中描述的放大方向的限定的实现上没有效果。然而， 通过进行梯形失真校正而缩 小的部分是当投影时进行放大而降低了锐度的部分。结果， 即使当通过进行梯形失真校正 而缩小该部分时锐度也不会提高。
因此， 与第一和第二示例性实施例不同， 根据本示例性实施例的数字照相机随放 大比率的降低而增加进行超分辨率处理中的估计次数。通过应用这种处理， 能够获取具有 较高锐度的缩小图像， 并且整个画面能够获取好的校正结果。
根据上述示例性实施例， 在数字照相机中， 本发明的功能被实现为硬件， 例如图像 处理电路 125、 位移量计算电路 126 以及图像合成电路 127。然而， 在数字照相机中， 这些功能可以被实现为软件 ( 程序 )。
本发明还能够通过向装置提供存储有用于实现上述示例性实施例的功能的软件 ( 程序代码 ) 的存储介质来实现。系统或装置的计算机 ( 中央处理单元 (CPU) 或微处理单 元 (MPU)) 可以读取并执行存储在存储介质中的所述程序代码。
在计算机上运行的操作系统 (OS) 等也可以根据软件 ( 程序代码 ) 的指令进行处 理的部分或全部并实现上述示例性实施例的功能。
在将上述示例性实施例应用于存储介质的情况下， 存储介质 ( 计算机可读存储介 质 ) 存储与上述流程图相对应的程序代码。
本发明的各方面还能够通过读出并执行记录在存储设备上的用于执行上述实施 例的功能的程序的系统或装置的计算机 ( 或诸如 CPU 或 MPU 的设备 )、 以及由系统或装置的 计算机例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行步 骤的方法来实现。鉴于此， 例如经由网络或者从用作存储设备的各种类型的记录介质 ( 例 如计算机可读介质 ) 向计算机提供程序。
虽然参照示例性实施例描述了本发明， 但是应当理解， 本发明不限于所公开的示 例性实施例。 应对所附权利要求的范围给予最宽的解释， 以使其覆盖所有这种变型、 等同结 构和功能。