图像处理装置， 图像处理方法， 图像扩展装置， 图像压缩装 置， 图像传输系统及存储介质 技术领域 本发明涉及一种图像图像处理装置、 图像处理方法、 图像扩展装置、 图像压缩装 置、 图像传输系统以及存储介质。 具体而言， 本发明涉及能够提高放大图像的质量的图像处 理装置和图像处理方法， 以及应用该图像处理装置的图像压缩装置、 图像扩展装置、 图像传 输系统和存储介质。
背景技术
已经提出了多种图像放大方法。具体而言， 已知一种在对图像上采样之后 ( 或在 上行链路的同时 ) 对图像进行滤波处理的方法。作为通过插值来计算增大的像素亮度以放 大图像的方法， 公知的有双线性插值和双三次插值 ( 例如， 参见非专利文献 1)。图 27 示出 了图像示例， 其中在纵向和横向的每一个方向上以双倍放大对低分辨率图像进行上采样。 图 28 示出了图像示例， 其中通过双三次插值对放大图像的像素亮度进行插值。 在这些方法中， 放大后的图像可能模糊。这是因为对图像的放大导致图像的高频 分量丢失。因此， 通常应用轮廓增强处理， 以补偿丢失的高频分量并恢复原始轮廓。
专利文献 1 描述了一种增强轮廓的图像处理装置的示例。图 29 是示出了专利文 献 1 所述的图像处理装置的框图。如图 29 所示， 专利文献 1 所述的图像处理装置包括 ： 分 析电路 920， 其具有轮廓分量提取电路 901、 信号电平检测电路 902 和轮廓检测电路 904 ； 参 数计算电路 903 ； 以及轮廓校正电路 905。
分析电路 920 接收输入视频信号 Si 和输入源确定信号 Ssel。输入源确定信号 Ssel 是指示输入视频信号 Si 的类型的信号。例如， 当输入视频信号 Si 是基于 HDTV( 高清 电视 ) 方案的视频信号时， 输入视频信号 Si 的电平变为 H 电平 ( 高电平 )。同时， 当输入视 频信号 Si 是基于 NTSC( 国家电视系统委员会 ) 方案的视频信号时， 输入视频信号 Si 的电 平变为 L 电平 ( 低电平 )。
在图像处理装置中， 轮廓分量提取电路 901 根据输入源确定信号 Ssel， 从输入视 频信号 Si 中提取轮廓分量 ( 也称作 “边缘分量” 或 “轮廓信号” )Sa， 该轮廓分量 Sa 是与输 入视频信号 Si 所指示的图像中的轮廓相对应的分量。轮廓分量提取电路 901 包括高通滤 波器。例如， 轮廓分量提取电路 901 使用二次差分滤波器来提取输入视频信号 Si 的二次差 分分量， 并输出该二次差分分量作为轮廓分量 Sa。
信号电平检测电路 902 检测输入视频信号 Si 的信号电平， 并输出具有检测到的信 号电平的信号， 作为信号值。
参数计算电路 903 接收来自外部的第一参数 αi、 第二参数 βi 和第三参数 Di， 并 根据外部参数 αi、 βi 和 Di， 计算过度增强校正阈值 α、 微小分量增强阈值 β 和轮廓检测 阈值 D， 其中过度增强校正阈值 α 用作抑制轮廓的过度增强的第一阈值， 微小分量增强阈 值 β 用作对微小图像的轮廓进行增强的第二阈值， 轮廓检测阈值 D 用作检测轮廓的第三阈 值。
轮廓检测电路 904 比较轮廓检测阈值 D 与通过计算输入视频信号 Si 的变化而得 到的值， 并基于比较结果， 输出指示了轮廓存在或不存在的轮廓检测信号 Sc。
轮廓校正电路 905 使用从轮廓分量提取电路 901 输出的轮廓分量 Sa、 从轮廓检测 电路 904 输出的轮廓检测信号 Sc、 从参数计算电路 903 输出的过度增强校正阈值 α 和微小 分量增强阈值 β、 以及从外部给定的作为增益调整参数的系数 γ， 执行对输入视频信号 Si 进行轮廓增强的信号处理， 并产生输出视频信号 Sd 作为信号处理结果。
在非专利文献 1 中， 描述了 EM 算法 ( 期望最大化算法 )。
[ 专利文献 1] 日本专利申请待审公开 No.2002-290773( 第 0041-0043 段， 图 1)
[ 非专利文献 1] “Handbook of Image Analysis[Revised Edition]” ， 第一版， 东 京大学出版社， 2004 年 9 月 10 日， 第 728-732 页， 第 1362-1367 页 发明内容
即使向放大图像应用了轮廓增强， 也无法恢复所需的轮廓。这是因为在轮廓的周 边部分出现了图像质量的劣化， 轮廓形状可能改变， 图像质量的劣化例如是在图像压缩时 产生的块噪声， 或者是轮廓作为边界时多个相邻颜色的混合。图 30 示出了图像， 其指示了 在基于双三次插值向放大图像应用轮廓增强时得到的结果示例。如图 30 所示示例， 即使执 行了轮廓增强处理， 也未得到轮廓足够锐化的图像。 因此， 本发明的目的是提供一种图像处理装置和图像处理方法， 其即使在放大图 像由于块噪声或颜色混合而劣化时， 也能够对放大图像中的轮廓进行锐化并提高图像质 量， 本发明的目的还在于提供应用该图像处理装置的图像压缩装置、 图像扩展装置、 图像传 输系统和存储介质。
根据本发明， 提出了一种图像处理装置， 包括 ： 亮度梯度计算单元， 用于计算与放 大图像相对应的插值图像的每个像素中的亮度梯度强度和亮度梯度方向， 其中放大图像包 括插入在放大前的图像的像素之间的像素 ； 轮廓提取单元， 用于使用所述亮度梯度强度和 所述亮度梯度方向， 确定所述插值图像中指示轮廓的像素 ； 以及轮廓校正单元， 用于针对每 个指示轮廓的像素， 指定第一隔离像素和第二隔离像素， 以所述第一隔离像素的颜色来校 正在所述指示轮廓的像素与所述第一隔离像素之间的像素的颜色， 并以所述第二隔离像素 的颜色来校正在所述第一隔离像素与所述第二隔离像素之间的像素中未以所述第一隔离 像素的颜色进行颜色校正的像素的颜色， 其中所述第一隔离像素在每个指示轮廓的像素的 亮度梯度方向上与所述指示轮廓的像素相隔预定距离， 所述第二隔离像素在所述方向旋转 180°时的方向上与每个像素相隔所述预定距离。
根据本发明， 提供了一种图像压缩装置， 包括 ： 下采样单元， 用于对输入图像下采 样， 并产生分辨率比所述输入图像的分辨率低的低分辨率图像 ； 放大图像产生单元， 用于放 大所述低分辨率图像 ； 以及图像相减单元， 用于计算与所述输入图像和所述放大图像产生 单元放大的图像的对应像素之间的像素值的差相对应的差分数据， 其中所述放大图像产生 单元包括 ： 插值图像产生单元， 用于在放大对象图像的像素之间插入像素， 并产生放大了所 述放大对象图像的插值图像 ； 亮度梯度计算单元， 用于计算插值图像的每个像素中的亮度 梯度强度和亮度梯度方向 ； 轮廓提取单元， 用于使用所述亮度梯度强度和所述亮度梯度方 向， 确定所述插值图像中指示轮廓的像素 ； 以及轮廓校正单元， 用于针对每个指示轮廓的像
素， 指定第一隔离像素和第二隔离像素， 以所述第一隔离像素的颜色来校正在所述指示轮 廓的像素与所述第一隔离像素之间的像素的颜色， 并以所述第二隔离像素的颜色来校正在 所述第一隔离像素与所述第二隔离像素之间的像素中未以所述第一隔离像素的颜色进行 颜色校正的像素的颜色， 其中所述第一隔离像素在每个指示轮廓的像素的亮度梯度方向上 与所述指示轮廓的像素相隔预定距离， 所述第二隔离像素在所述方向旋转 180°时的方向 上与每个像素相隔所述预定距离。
根据本发明， 提供了一种图像扩展装置， 其接收通过降低原始图像的分辨率而得 到的低分辨率图像、 以及与所述原始图像和所述低分辨率图像的对应像素之间的像素值的 差相对应的差分数据， 并对所述低分辨率图像进行扩展， 该图像扩展装置包括 ： 放大图像产 生单元， 用于放大所述低分辨率图像 ； 以及图像相加单元， 用于计算由所述放大图像产生单 元放大的图像的相应像素与所述差分数据的像素值之和 ； 其中所述放大图像产生单元包 括： 插值图像产生单元， 用于在放大对象图像的像素之间插入像素， 并产生放大了所述放大 对象图像的插值图像 ； 亮度梯度计算单元， 用于计算插值图像的每个像素中的亮度梯度强 度和亮度梯度方向 ； 轮廓提取单元， 用于使用所述亮度梯度强度和所述亮度梯度方向， 确定 所述插值图像中指示轮廓的像素 ； 以及轮廓校正单元， 用于针对每个指示轮廓的像素， 指定 第一隔离像素和第二隔离像素， 以所述第一隔离像素的颜色来校正在所述指示轮廓的像素 与所述第一隔离像素之间的像素的颜色， 并以所述第二隔离像素的颜色来校正在所述第一 隔离像素与所述第二隔离像素之间的像素中未以所述第一隔离像素的颜色进行颜色校正 的像素的颜色， 其中所述第一隔离像素在每个指示轮廓的像素的亮度梯度方向上与所述指 示轮廓的像素相隔预定距离， 所述第二隔离像素在所述方向旋转 180°时的方向上与每个 像素相隔所述预定距离。
根据本发明， 提供了一种图像传输系统， 包括图像压缩装置和图像扩展装置， 其中 所述图像压缩装置包括 ： 下采样单元， 用于对输入图像下采样， 产生分辨率比所述输入图像 的分辨率低的低分辨率图像， 并将所述低分辨率图像传输至所述图像扩展装置 ； 第一放大 图像产生单元， 用于放大所述低分辨率图像 ； 以及图像相减单元， 用于计算与所述输入图像 和所述第一放大图像产生单元放大的图像的对应像素之间的像素值的差相对应的差分数 据， 并将所述差分数据传输至所述图像扩展装置 ； 所述图像扩展装置包括 ： 第二放大图像 产生单元， 用于放大从所述图像压缩装置接收的所述低分辨率图像 ； 以及图像相加单元， 用 于计算由所述第二放大图像产生单元放大的图像的相应像素与从所述图像压缩装置接收 的所述差分数据的像素值之和 ； 其中， 所述第一放大图像产生单元和所述第二放大图像产 生单元中每一个均包括 ： 插值图像产生单元， 用于在放大对象图像的像素之间插入像素， 并 产生放大了所述放大对象图像的插值图像 ； 亮度梯度计算单元， 用于计算插值图像的每个 像素中的亮度梯度强度和亮度梯度方向 ； 轮廓提取单元， 用于使用所述亮度梯度强度和所 述亮度梯度方向， 确定所述插值图像中指示轮廓的像素 ； 以及轮廓校正单元， 用于针对每 个指示轮廓的像素， 指定第一隔离像素和第二隔离像素， 以所述第一隔离像素的颜色来校 正在所述指示轮廓的像素与所述第一隔离像素之间的像素的颜色， 并以所述第二隔离像素 的颜色来校正在所述第一隔离像素与所述第二隔离像素之间的像素中未以所述第一隔离 像素的颜色进行颜色校正的像素的颜色， 其中所述第一隔离像素在每个指示轮廓的像素的 亮度梯度方向上与所述指示轮廓的像素相隔预定距离， 所述第二隔离像素在所述方向旋转180°时的方向上与每个像素相隔所述预定距离。
根据本发明， 提出了一种图像处理方法， 包括 ： 计算亮度梯度， 以计算与放大图像 相对应的插值图像的每个像素中的亮度梯度强度和亮度梯度方向， 其中放大图像包括插入 在放大前的图像的像素之间的像素 ； 提取轮廓， 以使用所述亮度梯度强度和所述亮度梯度 方向， 确定所述插值图像中指示轮廓的像素 ； 以及校正轮廓， 以针对每个指示轮廓的像素， 指定第一隔离像素和第二隔离像素， 以所述第一隔离像素的颜色来校正在所述指示轮廓的 像素与所述第一隔离像素之间的像素的颜色， 并以所述第二隔离像素的颜色来校正在所述 第一隔离像素与所述第二隔离像素之间的像素中未以所述第一隔离像素的颜色进行颜色 校正的像素的颜色， 其中所述第一隔离像素在每个指示轮廓的像素的亮度梯度方向上与所 述指示轮廓的像素相隔预定距离， 所述第二隔离像素在所述方向旋转 180°时的方向上与 每个像素相隔所述预定距离。
根据本发明， 提出了一种存储介质， 存储了使计算机执行如下处理的图像处理程 序： 亮度梯度计算处理， 用于计算与放大图像相对应的插值图像的每个像素中的亮度梯度 强度和亮度梯度方向， 其中放大图像包括插入在放大前的图像的像素之间的像素 ； 轮廓提 取处理， 用于使用所述亮度梯度强度和所述亮度梯度方向， 确定所述插值图像中指示轮廓 的像素 ； 以及轮廓校正处理， 用于针对每个指示轮廓的像素， 指定第一隔离像素和第二隔离 像素， 以所述第一隔离像素的颜色来校正在所述指示轮廓的像素与所述第一隔离像素之间 的像素的颜色， 并以所述第二隔离像素的颜色来校正在所述第一隔离像素与所述第二隔离 像素之间的像素中未以所述第一隔离像素的颜色进行颜色校正的像素的颜色， 其中所述第 一隔离像素在每个指示轮廓的像素的亮度梯度方向上与所述指示轮廓的像素相隔预定距 离， 所述第二隔离像素在所述方向旋转 180°时的方向上与每个像素相隔所述预定距离。 根据本发明， 即使在放大图像由于块噪声或颜色混合而劣化时， 也能够对放大图 像中的轮廓进行锐化并提高图像质量。
附图说明 从下面结合附图的特定优选实施例的描述中， 本发明的上述和其他目的、 优点和 特征将更加明显， 附图中 ：
图 1 是示出了根据本发明第一实施例的图像处理系统的示例的框图 ；
图 2 是示出了亮度梯度强度和亮度梯度方向的图 ；
图 3 是示出了第一实施例的处理进程示例的流程图 ；
图 4 是示出了索贝尔 Sobel 滤波器的系数示例的图 ；
图 5 是示出了基于亮度梯度计算对象像素的、 n 行 n 列 (3 行 3 列 ) 像素中每一个 的亮度值的图像 ；
图 6 是示出了确定指示轮廓的像素的处理示例的图 ；
图 7 是示出了轮廓的周边像素的校正处理示例的图 ；
图 8 是示出了轮廓校正单元的校正处理结果的示例的图 ；
图 9 是示出了第一实施例的变体的框图 ；
图 10 是示出了每个像素的亮度梯度的波动的图像 ；
图 11 是示出了在放大图像之前和之后轮廓的周边像素值的改变的图像 ；
图 12 是示出了第一实施例变体的处理进程的流程图 ； 图 13 是示出了第一实施例的另一变体的框图 ； 图 14 是示出了第一实施例的另一变体的处理进程的流程图 ； 图 15 是示出了双线性插值的示例的图像 ； 图 16 是示出了双三次插值的示例的图像 ； 图 17 是示出了根据本发明第二实施例的图像处理系统的示例的框图 ； 图 18 是示出了聚类和代表性颜色的图像 ； 图 19 是示出了第二实施例的处理进程的示例的流程图 ； 图 20 是示出了第二实施例的变体的框图 ； 图 21 是示出了第二实施例变体的处理进程的流程图 ； 图 22 是示出了第二实施例的另一变体的框图 ； 图 23 是示出了第二实施例的另一变体的处理进程的流程图 ； 图 24 是示出了第二实施例的再一变体的框图 ； 图 25 是示出了第二实施例的再一变体的处理进程的流程图 ； 图 26 是示出了本发明第三实施例的框图 ； 图 27 是示出了低分辨率图像的上采样结果示例的图像 ； 图 28 是示出了双三次插值的结果示例的图像 ； 图 29 是示出了专利文献 1 所述的图像处理装置的框图 ； 图 30 是示出了在基于双三次插值向放大图像应用轮廓增强时的结果示例的图像。 具体实施方式
下面， 参照附图描述本发明的实施例。
第一实施例
图 1 是示出了根据本发明第一实施例的图像处理系统的示例的框图。根据第一实 施例的图像处理系统由例如通过控制程序来操作的计算机 100 实现。计算机 100 是包括中 央处理单元 ( 处理器， 也可以称为数据处理器件 ) 的计算机。
作为图像处理系统的计算机 100 包括亮度梯度计算单元 102、 轮廓提取单元 103 以 及轮廓校正单元 104。
向亮度梯度计算单元 102 输入通过插值处理 ( 例如， 双线性插值或双三次插值 ) 放大的图像 Sa( 下文中称为插值图像 )。该插值图像 Sa 是放大图像， 其包括在放大前的图 像的像素之间插入的像素。亮度梯度计算单元 102 针对插值图像 Sa 的每一个像素， 计算亮 度梯度的强度 ( 下文中简称为亮度梯度强度 ) 以及亮度梯度的方向 ( 下文中简称为亮度梯 度方向 )。在这种情况下， 以如下情况作为示例 ： 从低分辨率图像 ( 放大前的图像 ) 到放大 后的图像， 放大因子是恒定的。
亮度梯度是指示相对于某一像素周围的像素， 该相应像素的亮度变化量的值。例 如， 亮度梯度是在坐标改变了 1 时像素亮度的变化。当亮度梯度增加时， 亮度的变化增大。 针对 x 轴方向 ( 水平方向 ) 和 y 轴方向 ( 垂直方向 ) 中每一个方向， 计算亮度梯度。图 2 是示出了亮度梯度强度和亮度梯度方向的图。在图 2 中， 主要针对图像的一个像素 71， 描述亮度梯度强度和亮度梯度方向。 然而， 对于其他每一个像素， 均通过与上述方法相同的方 法计算亮度梯度强度和亮度梯度方向。对一个像素 71 中沿水平方向的亮度变化进行指示 的值是像素 71 中 x 轴方向的亮度梯度。图 2 示出了的矢量 72 是幅度与像素 71 中 x 轴方 向的亮度梯度对应的矢量， 并且其取向是 x 轴方向。下文中， 矢量 72 被称为 x 轴方向亮度 梯度矢量。对像素 71 中沿垂直方向的亮度变化进行指示的值是像素 71 中 y 轴方向的亮度 梯度。图 2 示出的矢量 73 是幅度与像素 71 中 y 轴方向的亮度梯度对应的矢量， 并且其取 向是 y 轴方向。下文中， 矢量 73 称为 y 轴方向亮度梯度矢量。像素 71 中的亮度梯度强度 是 x 轴方向亮度梯度矢量 72 和 y 轴方向亮度梯度矢量 73 的合成矢量 74( 参见图 2) 的幅 度。像素 71 中的亮度梯度方向是由基准方向 ( 具体地， x 轴方向 ) 和合成矢量 74 的方向 产生的角度。在图 2 中， 亮度梯度方向显示为 “θ” 。亮度梯度计算单元 102 针对插值图像 Sa 的每一个像素， 计算亮度梯度强度 ( 合成矢量 74 的幅度 ) 以及亮度梯度方向 (θ)。
轮廓提取单元 103 使用每个像素中的亮度梯度强度和亮度梯度方向， 从补充图像 Sa 包括的像素中， 确定对劣化之前的原始轮廓进行指示的像素。 例如， 轮廓提取单元 103 基 于成为确定对象 ( 确定相应的像素是否是指示轮廓的像素 ) 的像素 ( 下文中称为轮廓确定 对象像素 )， 比较亮度梯度方向上相邻像素的亮度梯度强度以及相反方向上相邻像素的亮 度梯度强度。在轮廓确定对象像素的亮度梯度强度大于阈值 ( 轮廓提取阈值 ) 并且大于两 种相邻像素的亮度梯度强度的情况下， 轮廓提取单元 103 确定轮廓确定对象像素是在轮廓 上的像素 ( 轮廓指示像素 )。 轮廓校正单元 104 估计代表性颜色， 并基于该代表性颜色来校正轮廓的周边颜 色， 其中代表性颜色代表了以该轮廓为边界的两个相邻区域中的每一个。 轮廓校正单元 104 指定在轮廓指示像素 ( 下文中称为基准像素 ) 的亮度梯度方向上， 与该基准像素相隔预定 距离的像素 ( 下文中称为第一隔离像素 )。轮廓校正单元 104 使用第一隔离像素的颜色作 为第一代表性颜色， 以第一代表性颜色对在连接基准像素和第一隔离像素的直线上存在的 每一个像素的颜色进行校正。轮廓校正单元 104 指定在基准像素的亮度梯度方向的 180° 旋转方向上， 与该轮廓指示像素 ( 基准像素 ) 相隔预定距离的像素 ( 下文中称为第二隔离 像素 )。 轮廓校正单元 104 使用第二隔离像素的颜色作为第二代表性颜色， 以第二代表性颜 色对在连接第一隔离像素和第二隔离像素的直线上存在的像素之中、 没有以第一代表性颜 色进行颜色校正的像素的颜色进行校正。轮廓校正单元 104 针对每个轮廓指示像素执行上 述处理。在这种情况下， 假设预定距离是预先确定的距离。
如果轮廓校正单元 104 对轮廓上的像素的周边像素的颜色进行校正， 则能够获得 期望的高质量放大图像。
亮度梯度计算单元 102、 轮廓提取单元 103 和轮廓校正单元 104 由根据程序进行 操作的中央处理单元 (CPU) 实现。即， 中央处理单元可以从计算机 100 中包括的存储器件 ( 未示出 ) 读取图像处理程序， 并根据图像处理程序， 作为亮度梯度计算单元 102、 轮廓提取 单元 103 和轮廓校正单元 104 进行操作。亮度梯度计算单元 102、 轮廓提取单元 103 和轮廓 校正单元 104 中每一个均可以实现为单独的电路。
下面， 具体描述操作。
图 3 是示出了第一实施例的处理进程的示例的流程图。向图像处理系统输入通过 插值处理放大的插值图像 Sa( 例如， 图 28 中作为示例的图像 )。该图像处理系统对插值图
像 Sa 中轮廓部分的周边像素的颜色 ( 具体是像素值 ) 进行校正， 并产生轮廓清晰的高质量 图像。
在该实施例中， 将插值图像 Sa 输入亮度梯度计算单元 102 和轮廓校正单元 104。 如果输入了插值图像 Sa， 则亮度梯度计算单元 102 针对插值图像 Sa 的每个像素， 计算亮度 梯度强度和亮度梯度方向， 并向轮廓提取单元 103 输出每个像素的亮度梯度强度和亮度梯 度方向 ( 步骤 S11)。此时， 亮度梯度计算单元 102 也向轮廓校正单元 104 输出每个像素的 亮度梯度方向。下文中， 将亮度梯度强度表示为 Sb， 将亮度梯度方向表示为 Sc。可以通过 指定坐标来显示亮度梯度强度 Sb 以及亮度梯度方向 Sc。即， 在坐标 (x， y) 的亮度梯度强 度表示为 Sb(x， y)， 在坐标 (x， y) 的亮度梯度方向表示为 Sc(x， y)。
在步骤 S11， 首先， 亮度梯度计算单元 102 针对每一个像素， 根据像素值指定亮度 值。像素值是向输入图像的每个像素设定的值。例如， 当以 RGB 格式显示像素时， 每个像素 的像素值是指示 R、 G 和 B 中每一个的对比密度的值。亮度值是指示亮度的大小的值。例 如， 假设以 RGB 格式显示每个像素， 在这种情况下， 亮度梯度计算单元 102 可以针对每个像 素执行以下等式 1 的计算， 并计算每个像素的亮度。
Y(x， y) ＝ 0.299·R(x， y)+0.587·G(x， y)+0.144·B(x， y) 等式 (1)
在等式 1 中， Y(x， y) 是在坐标 (x， y) 的像素的亮度值。此外， R(x， y)、 G(x， y) 和 B(x， y) 分别是在坐标 (x， y) 的像素的 R、 G 和 B 的像素值。
在步骤 S11， 亮度梯度计算单元 102 根据每个像素的亮度值， 计算亮度梯度强度和 亮度梯度方向。描述亮度梯度计算单元 102 计算亮度梯度强度和亮度梯度方向的处理示 例。作为亮度梯度强度和亮度梯度方向的计算处理， 例如已知的是使用边缘检测算子的方 法。在使用边缘检测算子的方法中， 使预先确定的排列成 n 行 ×n 列的值 ( 系数 ) 与图像 中包括的 n 行 n 列的像素彼此对应， 并计算彼此对应的系数与像素的亮度值的乘积， 计算乘 积之和， 并计算亮度梯度。计算中使用的系数称为边缘检测算子的系数。边缘检测算子的 示例包括 Sobel 滤波器、 Robinson 算子和 Prewitt 算子。下文中， 以使用 Sobel 滤波器来 计算亮度梯度的情况为例。然而， 使用另一边缘检测算子的系数 (Robinson 算子的系数或 Prewitt 算子的系数 ) 的情况下的处理与上述情况的处理相同。
Sobel 滤波器的系数预定为排列了预定数字的 n 行 n 列的数字排列， 例如 3 行 3 列、 5 行 5 列和 7 行 7 列。在这种情况下， n 是奇数。确定两种系数作为 Sobel 滤波器的系 数， 这两种系数包括用于计算水平方向的亮度梯度的系数以及用于计算垂直方向的亮度梯 度的系数。图 4 是示出了 Sobel 滤波器的系数的示例的图。下文中， 以 Sobel 滤波器的系 数是 3 行 3 列的数字排列的情况为例。图 4(a) 示出了用于计算水平方向 (x 轴方向 ) 的亮 度梯度的 Sobel 滤波器 ( 下文中称为水平方向 Sobel 滤波器 ) 的系数。图 4(b) 示出了用 于计算垂直方向 (y 轴方向 ) 的亮度梯度的 Sobel 滤波器 ( 下文中称为垂直方向 Sobel 滤 波器 ) 的系数。
亮度梯度计算单元 102 将水平方向 Sobel 滤波器与插值图像 Sa 的每个亮度值进 行卷积， 产生水平方向的亮度梯度图像 Dh。亮度梯度计算单元 102 将垂直方向 Sobel 滤波 器与插值图像 Sa 的每个亮度值进行卷积， 产生处置方向的亮度梯度图像 Dy。 水平方向的亮 度梯度图像 Dh 是其中向每个像素分配了插值图像 Sa 中相应像素的水平方向 (x 轴方向 ) 的亮度梯度的图像。垂直方向的亮度梯度图像 Dv 是其中向每个像素分配了插值图像 Sa 中相应像素的垂直方向 (y 轴方向 ) 的亮度梯度的图像。
Sobel 滤波器的卷积是如下处理 ： 基于亮度梯度的计算对象像素， 指定具有与 Sobel 滤波器系数的排列相同的排列的多个像素， 针对各个像素， 计算与 Sobel 滤波器的系 数的乘积， 并计算乘积之和。在这种情况下， 因为以 Sobel 滤波器的系数是 3 行 3 列的数字 排列的情况为例， 所以亮度梯度计算单元 102 基于亮度梯度的计算对象像素， 指定 3 行 3 列 的像素。图 5 是示出了基于亮度梯度计算对象像素的 n 行 n 列 (3 行 3 列 ) 的像素中每一个 的亮度值的图像。如果亮度梯度计算单元 102 指定如图 5 示例的具有亮度值 i 到 t 的 9 个 像素， 则亮度梯度计算单元 102 针对这多个像素中每一个， 计算亮度值与相应的 Sobel 滤波 器系数的乘积。 位于所指定的 n 行 n 列像素中心的计算对象像素与排列在 n 行 n 列的 Sobel 滤波器系数的中心的系数相对应。当基于计算对象像素的像素的位置成为与基于 Sobel 滤 波器系数中心的系数的系数位置相同的位置时， 认为像素与系数彼此对应。例如， 图 5 示例 的具有亮度值 q 的像素与图 4(a) 所示的 Sobel 滤波器的系数 “2” 对应。亮度梯度计算单 元 102 计算彼此对应的 Sobel 滤波器系数与像素的像素值的乘积， 并计算乘积之和。
如图 4(a) 和 4(b) 所示， 因为 Sobel 滤波器系数是水平方向和垂直方向上的两种 系数， 所以亮度梯度计算单元 102 使用水平方向 Sobel 滤波器和垂直方向 Sobel 滤波器 中的每一个， 执行计算。在水平方向 Sobel 滤波器的系数排列中包括的各个系数表示为 Sobelh(i， j)。在这种情况下， i 指示系数排列中的列， 具有值 -1、 0 和 1， j 指示系数排列中 的行， 具有值 -1、 0 和 1。插值图像 Sa 中坐标 (x， y) 处的像素的亮度值表述为 Sa(x， y)。此 时， 如果亮度梯度计算单元 102 执行如下等式 2 的计算， 作为乘积及和的计算， 则亮度梯度 计算单元 102 可以计算坐标 (x， y) 处像素的水平方向的亮度梯度 Dh(x， y)。
等式 (2)此 外， 假 设 在 垂 直 方 向 Sobel 滤 波 器 的 系 数 排 列 中 包 括 的 各 个 系 数 表 示 为 Sobelv(i， j)。此时， 如果亮度梯度计算单元 102 执行如下等式 3 的计算， 作为乘积及和的 计算， 则亮度梯度计算单元 102 可以计算坐标 (x， y) 处像素的垂直方向的亮度梯度 Dv(x， y)。
等式 (3)亮度梯度计算单元 102 针对插值图像 Sa 的每个像素， 计算水平方向和垂直方向的 亮度梯度。亮度梯度计算单元 102 使用水平方向和垂直方向的亮度梯度， 计算每个像素的 亮度梯度强度和亮度梯度方向。 坐标 (x， y) 处的亮度梯度强度 Sb(x， y) 是 x 轴方向亮度梯度矢量 72 和 y 轴方向 亮度梯度矢量 73 的合成矢量 74 的幅度 ( 参见图 2)。亮度梯度计算单元 102 计算该矢量的 幅度 ( 亮度梯度强度 Sb(x， y))。亮度梯度计算单元 102 可以通过如下等式 4 的计算， 来计 算亮度梯度强度 Sb(x， y)。
Sb(x， y) ＝ abs(Dh(x， y))+abs(Dv(x， y)) 等式 (4)
等式 4 是计算合成矢量的幅度的近似表达式。亮度梯度计算单元 102 可以通过如 下等式 5 的计算， 来计算亮度梯度强度 Sb(x， y)， 而不是通过等式 4 的近似表达式的计算。
等式 (5)亮度梯度计算单元 102 可以通过如下等式 6 的计算， 来计算坐标 (x， y) 的亮度梯 度方向 Sc(x， y)。
Sc(x， y) ＝ tan-1(Dv(x， y)/Dh(x， y)) 等式 (6)
亮度梯度计算单元 102 可以以适当的步长， 对所计算的亮度梯度强度 Sb 和亮度梯 度方向 Sc 进行量化。即， 亮度梯度计算单元 102 可以对所计算的亮度梯度强度和亮度梯度 方向进行变换， 以更少的比特数目来表示所计算的亮度梯度强度和亮度梯度方向。 例如， 当 所计算的亮度梯度强度以 8 比特表示时， 亮度梯度计算单元 102 可以对所计算的亮度梯度 强度进行变换， 以 3 比特来表示所计算的亮度梯度强度。当亮度梯度计算单元 102 进行从 8 比特到 3 比特的变换时， 亮度梯度计算单元 102 可以用 8 比特表示的亮度梯度强度除以 16， 并将数字取整到最接近的整数。
接着， 轮廓提取单元 103 使用亮度梯度计算单元 102 计算的每个像素的亮度梯度 强度 Sb 和亮度梯度方向 Sc、 以及轮廓提取阈值 Pc， 来确定指示了插值图像 Sa 中轮廓的像 素 ( 步骤 S12)。在这种情况下， 轮廓提取阈值 Pc 假设是预先确定的值。图 6 是示出了对 轮廓指示像素的确定处理的示例的图。图 6 所示的像素 300 是轮廓确定对象像素。图 6 所 示的方向 301 指示轮廓确定对象像素 300 的亮度梯度方向 Sc(x， y)。图 6 所示的方向 302 指示在轮廓确定对象像素 300 的亮度梯度方向 301 旋转 π 弧度 (180° ) 时的方向 (Sc(x， y)+π)。当轮廓确定对象像素 300 的亮度梯度强度大于轮廓提取阈值 Pc、 并且大于轮廓确 定对象像素沿亮度梯度方向 301 的相邻像素 303 的亮度梯度强度、 以及沿亮度梯度方向 301 旋转 180°时的方向 302 的相邻像素 304 的亮度梯度强度时， 轮廓提取单元 103 确定轮廓确 定对象像素 300 是轮廓指示像素。同时， 当轮廓确定对象像素 300 的亮度梯度强度不大于 轮廓提取阈值 Pc 时， 轮廓提取单元 103 确定轮廓确定对象像素 300 不是轮廓指示像素。甚 至在不满足如下条件时， 轮廓提取单元 103 也确定轮廓确定对象像素 300 不是轮廓指示像 素： 轮廓确定对象像素 300 的亮度梯度强度大于轮廓确定对象像素沿亮度梯度方向 301 的 相邻像素 303 的亮度梯度强度、 以及沿亮度梯度方向 301 旋转 180°时的方向 302 的相邻像 素 304 的亮度梯度强度。轮廓提取单元 103 针对每个像素执行上述确定。对轮廓上的像素 的确定处理方法不限于上述方法， 轮廓提取单元 103 可以使用其他方法来确定轮廓上的像 素。
轮廓提取单元 103 对于确定为轮廓指示像素的像素， 存储非 0 的像素值， 并向轮廓 校正单元 104 输出图像 ( 下文中称为轮廓图像 Sd)， 在该图像中， 对于其他像素， 存储像素值 “0” 。从轮廓图像 Sd 中， 轮廓校正单元 104 能够区分确定为轮廓指示像素的像素以及其他 像素。轮廓提取单元 103 可以向轮廓校正单元 104 输出确定为轮廓指示像素的像素的坐标 值。轮廓提取单元 103 可以向轮廓校正单元 104 输出确定为轮廓指示像素的像素， 以区分 确定为轮廓指示像素的像素以及其他像素。
在步骤 S12 之后， 轮廓校正单元 104 确定对以轮廓为边界的两个相邻区域中每一 个进行表示的代表性颜色， 并校正插值图像 Sa 中轮廓的周边像素值 ( 步骤 S13)。图 7 是示 出了轮廓的周边像素校正处理的示例的图。图 7(a) 示出了校正前的插值图像， 图 7(b) 示 出了校正后的插值图像。图 7(a) 中斜线所示的像素是确定为轮廓指示像素的像素， 这些像 素的组合构成了图像的轮廓。 在步骤 S13， 轮廓校正单元 104 选择由轮廓提取单元 103 确定 为轮廓指示像素的像素 ( 基准像素 ) 之一。图 7 所示的像素 400 指示了基准像素。图 7 所示的方向 401 指示了基准像素 400 的亮度梯度方向 Sc(x， y)。图 7 所示的方向 403 指示了 在基准像素的亮度梯度方向 401 旋转 π 弧度 (180° ) 时的方向 (Sc(x， y)+π)。
轮廓校正单元 104 指定第一隔离像素 402， 沿基准像素 400 的亮度梯度方向， 该第 一隔离像素 402 与基准像素 400 相隔预定距离。轮廓校正单元 104 将插值图像 Sa 的第一 隔离像素 402 的颜色设定为第一代表性颜色。轮廓校正单元 104 用与第一代表性颜色相同 的颜色， 对连接基准像素 400 和第一隔离像素 402 的直线上存在的每个像素的颜色进行校 正。即， 轮廓校正单元 104 用第一隔离像素 402 的像素值代替连接基准像素 400 和第一隔 离像素 402 的直线上存在的每个像素的像素值。例如， 当插值图像 Sa 的每个像素以 RGB 格 式表示时， 轮廓校正单元 104 可以用第一隔离像素 402 的 R、 G 和 B 中每一个的值代替像素 值。轮廓校正单元 104 也可以用第一隔离像素 402 的像素值代替基准像素 400 的像素值。
类似地， 轮廓校正单元 104 指定第二隔离像素 404， 沿方向 403( 参见图 7(a)， 该方 向是亮度梯度方向 401 的 180°反转方向 )， 该第二隔离像素 404 与基准像素 400 相隔预定 距离。轮廓校正单元 104 将插值图像 Sa 的第二隔离像素 404 的颜色设定为第二代表性颜 色。轮廓校正单元 104 用第二隔离像素 404 的像素值， 代替连接第二隔离像素 404 和第一 隔离像素 402 的直线上存在的像素之中、 像素值未被第一隔离像素 402 的像素值代替的像 素的像素值。 如图 7(b) 所示， 作为处理结果， 以第一代表性颜色校正了基准像素 400 和像素 405 的颜色， 并以第二代表性颜色校正了像素 407 的颜色。这里， 以基准像素 400 的像素值由第 一隔离像素 402 的像素值代替的情况为例， 然而， 基准像素 400 的像素值可以由第二隔离像 素 404 的像素值代替。
轮廓校正单元 104 依次选择由轮廓提取单元 103 确定为轮廓指示像素的所有像 素， 重复上述处理， 校正轮廓的周边像素值。轮廓校正单元 104 输出校正后的图像。图 8 示 出了由轮廓校正单元 104 执行的校正处理所产生的放大图像的示例。如图 8 所示， 获得了 轮廓清晰的高质量图像。
下面将描述本实施例的效果。
在该实施例中， 轮廓提取单元 103 指定图像轮廓上的像素， 轮廓校正单元 104 使用 两种代表性颜色， 对像素的像素值进行校正， 以区分第一隔离像素和第二隔离像素 ( 该轮 廓上像素在第一隔离像素和第二隔离像素之间 ) 之间的各个像素。因此， 可以产生轮廓清 晰的高质量放大图像。 因为将与基准像素相隔预定距离的像素指定为第一隔离像素和第二 隔离像素， 所以可以使用未受颜色混合影响的颜色来作为代表性颜色， 并且可以产生高质 量放大图像。
接下来， 将描述第一实施例的变体。在第一实施例中， 以如下情况为例 ： Sobel 滤 波器的系数固定为 n 行 n 列 ( 例如， 3 行 3 列 )， 轮廓提取阈值 Pc 是预先确定的常数。在步 骤 S13， 当指定第一隔离像素 402 和第二隔离像素 404( 参照图 7(a)) 时使用的预定距离也 是预先确定的。在下面要描述的第一实施例的变体中， 这些值是变化的。图 9 是示出了第 一实施例变体的框图。在该情况下， 由与图 1 附图标记相同的附图标记来指示与上述部件 相同的部件。如图 9 所示， 除了亮度梯度计算单元 102、 轮廓提取单元 103 和轮廓校正单元 104 之外， 图像处理系统还可以包括参数设定单元 110。在图 9 中， 以如下情况为例 ： 与计算 机 100 相分离地提供参数设定单元 110。但是， 计算机 100 可以包括参数设定单元 110。参
数设定单元 110 可以由根据程序操作的中央处理单元实现。即， 中央处理单元可以读取图 像处理程序并根据图像处理程序， 操作为参数设定单元 110、 亮度梯度计算单元 102、 轮廓 提取单元 103 和轮廓校正单元 104。
在第一实施例的变体中， 作为 Sobel 滤波器系数的、 排列成 n 行 n 列的系数的数目 是可变的。即， n 行 n 列中的 “n” 是可变的， 可以选择 Sobel 滤波器系数， 例如 3 行 3 列和 5 行 5 列。参数设定单元 110 计算参数， 以确定由亮度梯度计算单元 102 选择作为 Sobel 滤 波器系数的系数的行和列的数目， 并将该参数输出至亮度梯度计算单元 102。下文中， 该参 数称为亮度梯度计算参数， 并表示为 “Pb” 。亮度梯度计算单元 102 根据行和列的数目 ( 例 如， 3 行 3 列、 5 行 5 列和 7 行 7 列 ) 事先保持 Sobel 滤波器系数， 根据亮度梯度计算参数 Pb 来选择行和列数目的 Sobel 滤波器系数， 并执行步骤 S11 的处理。
参数设定单元 110 计算轮廓提取阈值 Pc， 并将轮廓提取阈值输出至轮廓提取单元 103。轮廓提取单元 103 使用由参数设定单元 110 计算的轮廓提取阈值 Pc， 来执行步骤 S12 的处理。
在步骤 S13， 参数设定单元 110 计算距离， 以确定与基准像素隔离的第一和第二隔 离像素， 并将该距离输出至轮廓校正单元 104。该距离称为轮廓校正参数， 并表示为 “Pd” 。 当轮廓校正单元 104 在步骤 S13 确定第一和第二隔离像素时， 轮廓校正单元 104 将第一和 第二隔离像素确定为以轮廓校正参数 Pd 所指示的距离与基准像素相隔开来的像素。
在这种情况下， 将描述 “n(n 指示列数和行数 )” 的值的含义， 该值指示了 Sobel 滤 波器系数排列的大小、 轮廓提取阈值 Pc 和轮廓校正参数 Pd。
Sobel 滤波器系数是 n 行 n 列的数字排列。但是， 当 n 较小时， 相对于较窄范围内 的亮度波动来计算较大的亮度梯度。即， 如果 n 的值减小， 即使在产生了较窄范围内亮度的 略微波动时， 也很可能将该较窄范围内亮度最大化处的像素确定为轮廓指示像素。 同时， 当 n 较大时， 相对于较窄范围内的亮度波动， 无法计算较大的亮度梯度。即， 当 n 的值增大时， 很难将较窄范围内亮度的略微波动检测为轮廓， 当产生了较宽范围上亮度的波动时， 很可 能将亮度最大化处的像素确定为轮廓指示像素。如果 n 的值过度减小， 则容易将噪声检测 为轮廓。
轮廓提取阈值 Pc 指示了对于轮廓确定， 亮度梯度强度的下限。如果轮廓提取阈 值 Pc 过度减小， 甚至在由于噪声而导致亮度梯度强度增大时， 也很可能错误地将噪声确定 为轮廓指示像素。同时， 如果轮廓提取阈值 Pc 过度增大， 则不会错误地将噪声确定为轮廓。 然而， 很可能错误地将轮廓指示像素确定为不是指示轮廓的像素。
图 10 是示出了每一个像素的亮点梯度波动的图像。与图 10 所示的亮度梯度最大 点相对应的像素成为轮廓指示像素。根据亮度梯度计算参数 Pb 确定的 “n” 是如下值 ： 该值 确定在多宽的范围中增强亮度梯度强度的波动。轮廓提取阈值 Pc 是确定亮度梯度强度的 幅度的如下范围的值 ： 在该范围中， 可以将相应的像素确定为轮廓指示像素。
图 11 是示出了在放大图像之前和之后轮廓的周边像素值的改变的图像。 图 11(a) 示出了在放大图像之前轮廓的周边像素值的改变， 图 11(b) 示出了在放大图像之后轮廓的 周边像素值的改变。如图 11(b) 所示， 如果放大图像， 则轮廓的周边像素值的改变变得缓 和。从图 11(b) 所示状态来看， 轮廓校正单元 104 以第一代表性颜色， 对沿亮度梯度方向与 基准像素的距离在预定距离之内的像素的颜色进行校正， 并以第二代表性颜色， 对沿亮度梯度方向的相反方向与基准像素的距离在预定距离之内的像素的颜色进行校正 ( 参见图 11(c))。结果， 如图 11(c) 所示， 以轮廓作为边界， 将像素的颜色划分成第一和第二代表性 颜色， 亮度改变得较快， 轮廓得以锐化。轮廓校正参数 Pd 指示了与基准像素的距离。
如第一实施例中所述， 将插值图像 Sa 输入至亮度梯度计算单元 102 和轮廓校正单 元 104。在该变体中， 将从低分辨率图像 ( 放大前的图像 ) 到插值图像 Sa 的放大因子 Pa 输 入至参数设定单元 110。参数设定单元 110 基于输入的放大因子 Pa， 计算亮度梯度计算参 数 Pb、 轮廓提取阈值 Pc 和轮廓校正参数 Pd。
当从低分辨率图像到插值图像 Sa 的放大因子 Pa 不发生变化时， 参数设定单元 110 可以存储放大因子 Pa 为常数， 并基于放大因子 Pa， 计算亮度梯度计算参数 Pb、 轮廓提取阈 值 Pc 和轮廓校正参数 Pd。
此外， Pa 是如下值 ： 当低分辨率图像 ( 放大前的图像 ) 的横向宽度 ( 水平方向上 的像素数目 ) 定义为 Wl， 插值图像 Sa 的横向宽度定义为 Wh 时， 该值表示为 Wh/Wl。可以将 通过用插值图像 Sa 的纵向宽度除以低分辨率图像的纵向宽度而得到的值设定为放大因子 Pa。
图 12 是示出了第一实施例变体的处理过程的流程图。在这种情况下， 以与图 3 附 图标记相同的附图标记来指示与第一实施例中描述的处理相同的处理。 如果输入放大因子 Pa， 则参数设定单元 110 使用放大因子 Pa 来计算 Pb、 Pc 和 Pd( 步骤 S1)。
在步骤 S1， 参数设定单元 110 执行以下等式 7 的计算， 以计算亮度梯度计算参数 Pb 并将亮度梯度计算参数 Pb 输出至亮度梯度计算单元 102。
Pb ＝ α·Pa+β 等式 (7)
α 和 β 分别是常数， α 是大于 0 的值。当 Pa 增大时， Pb 也增大。此外， β 是指 示 Pb 的下限的值。如果将 β 确定为 Pb 的下限， 即使放大因子 Pa 的值较小， Pb 的值也必 然等于或大于该下限。例如， α 和 β 分别事先设定给图像处理系统的管理器。该图像处 理系统的管理器可以确定 α 和 β， 以便选择根据该放大因子的 Sobel 滤波器系数。
在步骤 S1， 参数设定单元 110 执行以下等式 8 的计算， 以计算轮廓提取阈值 Pc 并 将轮廓提取阈值 Pc 输出至轮廓提取单元 103。
Pb ＝ γ·Pa 等式 (8)
在这种情况下， γ 是常数， 并事先设定给图像处理系统的管理器。 该图像处理系统 的管理器可以确定 γ， 以使放大因子与轮廓提取阈值 Pc 之间的关系成为期望的比例关系。
在步骤 S1， 参数设定单元 110 执行以下等式 9 的计算， 以计算轮廓校正参数 Pd 并 将轮廓校正参数 Pd 输出至轮廓校正单元 104。
Pb ＝ δ·Pa 等式 (8)
在这种情况下， δ 是常数， 并事先设定给图像处理系统的管理器。 该图像处理系统 的管理器可以确定 δ， 以使放大因子与轮廓校正参数 Pd 之间的关系成为期望的比例关系。
作为使用放大参数 Pa 作为变量的线性函数， 分别计算 Pb、 Pc 和 Pd 中的每一个。
作为示例， α、 β、 γ 和 δ 的值是 α ＝ 0.2、 β ＝ 1.0、 γ ＝ 10.0 和 δ ＝ 1.5， 然而， α、 β、 γ 和 δ 不限于这些值。
Pb、 Pc 和 Pd 中的一部分可以事先确定为固定值， 参数设定单元 110 可以在步骤 S1 中计算 Pb、 Pc 和 Pd 中未被确定为固定值的参数。在参数设定单元 110 在步骤 S1 中计算 Pb、 Pc 和 Pd 之后， 图像处理系统执行步骤 S11 到 S13 的处理。
亮度梯度计算单元 102 事先保持规则 “当 Pb 等于或大于 x1 且小于 x2 时， 选择 3 行 3 列的 Sobel 滤波器系数” ， 并在该规则下， 根据参数设定单元 110 计算的亮度梯度计算 参数 Pb， 选择 Sobel 滤波器系数。亮度梯度计算单元 102 使用所选择的 Sobel 滤波器系数， 针对插值图像 Sa 的每个像素， 计算亮度梯度强度和亮度梯度方向， 并向轮廓提取单元 103 输出每个像素的亮度梯度强度和亮度梯度方向 ( 步骤 S11)。 该处理与上述步骤 S11 的处理 相同， 除了选择 Sobel 滤波器系数之外。
轮廓提取单元 103 使用参数设定单元 110 计算的轮廓提取阈值 Pc， 确定插值图像 Sa 中的轮廓指示像素 ( 步骤 S12)。该处理与上述步骤 S12 的处理相同， 除了参数设定单元 110 确定轮廓提取阈值 Pc 之外。
轮廓校正单元 104 使用参数设定单元 110 计算的轮廓校正参数 Pc 作为用于确定 与基准像素隔离的第一和第二隔离像素的距离， 以校正轮廓的周边像素值 ( 步骤 S13)。该 处理与上述步骤 S 13 的处理相同， 除了参数设定单元 110 确定用于确定与基准像素隔离的 第一和第二隔离像素的距离之外。
根据第一实施例变体， 即使在从低分辨率图像到插值图像 Sa 的放大因子 Pa 不是 常数时， 也能够使用根据放大因子的适当参数来锐化轮廓。
接下来， 描述第一实施例的另一变体。图 13 是示出了第一实施例的另一变体的框 图。在该情况下， 由与图 1 和 9 的附图标记相同的附图标记来指示与上述部件相同的部件。 如图 13 所示， 除了亮度梯度计算单元 102、 轮廓提取单元 103、 轮廓校正单元 104 和参数设 定单元 110 之外， 图像处理系统还可以包括插值图像产生单元 101。 在图 13 中， 以如下情况 为例 ： 计算机 100 包括插值图像产生单元 101。插值图像产生单元 101 可以由根据程序操 作的中央处理单元实现。 即， 中央处理单元可以读取图像处理程序并根据图像处理程序， 操 作为插值图像产生单元 101、 亮度梯度计算单元 102、 轮廓提取单元 103、 轮廓校正单元 104 和参数设定单元 110。
将低分辨率图像 Si 输入插值图像产生单元 101。插值图像产生单元 101 通过插 值来放大低分辨率图像 Si， 以产生插值图像 Sa， 并将插值图像 Sa 输出至亮度梯度计算单元 102 和轮廓校正单元 104。即， 插值图像产生单元 101 在低分辨率图像 Si 的像素之间插入 像素， 产生与放大图像相对应的插值图像 Sa。 例如， 插值图像产生单元 101 通过双线性插值 或双三次插值来放大低分辨率图像 Si。
将要产生的放大图像的分辨率输入至参数设定单元 110。例如， 可以输入放大后 的插值图像 Sa 的横向宽度 ( 水平方向上的像素数目 )。此外， 向参数设定单元 110 输入放 大前的低分辨率图像 Si 的信息 ( 例如， 低分辨率图像 Si 的横向宽度 )。参数设定单元 110 使用输入的信息计算放大因子 Pa， 并将放大因子输出至插值图像产生单元 101。
假设输入参数设定单元 110 的信息是插值图像 Sa 的横向宽度 ( 水平方向上的像 素数目 )Wh 和低分辨率图像 Si 的横向宽度 Wl。在这种情况下， 参数设定单元 110 可以计 算 Pa ＝ Wh/Wl， 从而计算放大因子 Pa。输入参数设定单元 110 的信息可以是插值图像 Sa 的纵向宽度 ( 垂直方向上的像素数目 )Vh 和低分辨率图像 Si 的纵向宽度 Vl。在这种情况 下， 参数设定单元 110 可以计算 Pa ＝ Vh/Vl， 从而计算放大因子 Pa。在计算放大因子 Pa 之后， 参数设定单元 110 可以基于放大因子 Pa， 计算每个参数 Pb、 Pc 和 Pd， 如上所述。
插值图像产生单元 101 以参数设定单元 110 计算的放大因子 Pa， 对低分辨率图像 Si 进行插值， 并产生插值图像 Sa。插值图像产生单元 101 根据放大因子 Pa， 在低分辨率图 像 Si 的相邻像素之间插入像素。插值图像 Sa 包括插入的像素， 成为从低分辨率图像 Si 放 大的图像。当放大因子 Pa 增大时， 插值图像产生单元 101 可以增加插入像素的数目。
图 14 是示出了该变体的处理进程的流程图。在这种情况下， 以与图 3 附图标记相 同的附图标记来指示与第一实施例中描述的处理相同的处理。将用户的低分辨率图像 Si 的横向宽度 Wl 和期望的插值图像 Sa 的横向宽度 Wh 输入参数设定单元 110。如果将 Wl 和 Wh 输入了参数设定单元 110， 则参数设定单元 110 计算 Wh/Wl， 从而计算放大因子 Pa。 然而， 这里描述的放大因子 Pa 的计算方法仅仅是示例， 可以通过其他方法计算放大因子 Pa。 参数 设定单元 110 将计算的放大因子 Pa 输出至插值图像产生单元 101。参数设定单元 110 使用 放大因子 Pa， 计算亮度梯度计算参数 Pb、 轮廓提取阈值 Pc 和轮廓校正参数 Pd( 步骤 S2)。 参数设定单元 110 将 Pb 输出至亮度梯度计算单元 102， 将 Pc 输出至轮廓提取单元 103， 将 Pd 输出至轮廓校正单元 104。基于放大因子 Pa 计算 Pb、 Pc 和 Pd 的操作与上述步骤 S1( 参 见图 12) 的相同。
将低分辨率图像 Si( 放大前的图像 ) 输入插值图像产生单元 101。在步骤 S2 之 后， 插值图像产生单元 101 以放大因子 Pa 对低分辨率图像 Si 进行插值， 产生具有用户期望 的分辨率的插值图像 Sa( 步骤 S10)。插值图像产生单元 101 可以在低分辨率图像 Si 的相 邻像素之间插入根据放大因子 Pa 的数目的像素， 并放大图像。插值图像产生单元 101 可以 执行双线性插值或双三次插值来进行像素插值， 并放大图像。
将描述插值图像产生单元 101 执行双线性插值时的操作。图 15 是示出了双线性 插值示例的图像。图 15 所示纵轴指示像素值， 其他两个轴分别指示 x 轴方向和 y 轴方向的 坐标。图 15 所示坐标 (u， v) 是插值像素的坐标。但是， 坐标 (u， v) 是低分辨率图像 Si 中 的坐标， 并由小数表示。低分辨率图像 Si 中包括的像素的 x 和 y 坐标由整数表示， 例如 1， 2， 3...， 在这些坐标之间插入像素。因此， 插入像素的坐标由小数表示。图 15 所示的坐标 (u， v) 是低分辨率图像 Si 中的坐标值。图 15 所示的各个坐标 (k， l)、 (k+1， l)、 (k， l+1) 和 (k+1， l+1) 是低分辨率图像 Si 中已有的像素的坐标值， 这些像素的坐标值是已知的。这 四个像素是围绕插值像素 (u， v) 的像素， k 是通过将 u 从小数点后截断而得到的值， l 是通 过将 v 从小数点后截断而得到的值。插值图像产生单元 101 计算插值坐标 (u， v) 处的像素 值。
当通过双线性插值计算坐标 (u， v) 处的像素值时， 使用 y 坐标彼此相等的两个坐 标 (k， l)、 (k+1， l) 处的像素值， 对坐标 (u， l) 处的像素值进行线性插值。类似地， 使用坐 标 (k， l+1)、 (k+1， l+1) 处的像素值， 对坐标 (u， l+1) 处的像素值进行线性插值。此外， 使 用 x 坐标彼此相等的两个坐标 (u， l)、 (u， l+1) 处的像素值， 对坐标 (u， v) 处的像素值进行 线性插值。
可以通过以下等式 10 来计算坐标 (u， v) 处的像素值 P。
P ＝ {(k+1)-u}{(l+1)-v}·P1
+{(k+1)-u}{v-1}·P2+{u-k}{(l+1)-v}·P3
+{u-k}{v-1}·P4 等式 (10)
插值图像产生单元 101 可以执行等式 10 的计算， 计算插值像素的像素值 P。在等 式 10 中， P1、 P2、 P3 和 P4 分别是坐标 (k， l)、 (k+1， l)、 (k， l+1)、 (k+1， l+1) 处的像素值。 由此， 确定像素值 P 的坐标 (u， v) 处的像素是插入的像素。
将描述插值图像产生单元 101 执行双三次插值时的操作。 图 16 是示出了双三次插 值示例的图像。图 16 所示纵轴指示像素值， 其他两个轴分别指示 x 轴方向和 y 轴方向的坐 标。图 16 所示坐标 (u， v) 是插值像素的坐标。与图 15 所示情况类似， 坐标 (u， v) 是低分 辨率图像 Si 中的坐标， 并由小数表示。在双三次插值中， 根据围绕坐标 (u， v) 的 16 个像素 (k-1， l-1)、 (k， l-1)、 (k+1， l-1)、 (k+2， l-1)、 (k-1， l)、 (k， l)、 (k+1， l)、 (k+2， l)、 (k-1， l+1)、 (k， l+1)、 (k+1， l+1)、 (k+2， l+2)、 (k-1， l+2)、 (k， l+2)、 (k+1， l+2) 和 (k+2， l+2) 的 像素值， 对坐标 (u， v) 处的像素值进行插值。在该情况下， k 是通过将 u 从小数点后截断而 得到的值， l 是通过将 v 从小数点后截断而得到的值。
当通过双三次插值计算坐标 (u， v) 处的像素值时， 使用 y 坐标彼此相等的 4 个坐 标 (k-1， l-1)、 (k， l-1)、 (k+1， l-1)、 (k+2， l-1) 处的像素值， 对坐标 (u， l-1) 处的像素值进 行插值。类似地， 使用 y 坐标彼此相等的 4 个坐标处的像素值对坐标 (u， l)、 (u， l+1)、 (u， l+2) 处的像素值进行插值。此外， 使用 x 坐标彼此相等的 4 个坐标 (u， l-1)、 (u， l)、 (u， l+1)、 (u， l+2) 处的像素值， 对坐标 (u， v) 处的像素值进行插值。
可以通过以下等式 11 来计算坐标 (u， v) 处的像素值 P。由此， 确定像素值 P 的坐 标 (u， v) 处的像素是插入的像素。
P ＝ [f-1(v’ )f0(v’ )f1(v’ )f2(v’ )]
等式 (11)插值图像产生单元 101 可以执行等式 11 的计算， 计算插值像素的像素值 P。在等 式 11 中， P1 到 P16 分别是坐标 (k-1， l-1)、 (k， l-1)、 (k+1， l-1)、 (k+2， l-1)、 (k-1， l)、 (k， l)、 (k+1， l)、 (k+2， l)、 (k-1， l+1)、 (k， l+1)、 (k+1， l+1)、 (k+2， l+2)、 (k-1， l+2)、 (k， l+2)、 (k+1， l+2) 和 (k+2， l+2) 处的像素值。
在等式 11 中， f-1(t)、 f0(t)、 f01(t) 和 f2(t) 可以由如下等式来表示。
f-1(t) ＝ (-t3+2t2-t)/2 等式 (12)
f0(t) ＝ (3t3-5t2+2)/2 等式 (13)
f1(t) ＝ (-3t3+4t2+t)/2 等式 (14)
f2(t) ＝ (t3-t2)/2 等式 (15)
在等式 11 中， u’ 是计算为 u’ ＝ u-k 的值， 在等式 11 中， v’ 是计算为 v’ ＝ v-l 的 值。
当将多种像素值 ( 例如， 三种 R、 G、 B) 设定为在以 RGB 格式表示的像素中时， 可以 针对每一种像素值 ( 例如 R、 G、 B)， 分别进行像素值插值。
这里， 以双线性插值和双三次插值为例。但是， 插值图像产生单元 101 可以用其他
方法执行插值， 并放大低分辨率图像 Si。
插值图像产生单元 101 向亮度梯度计算单元 102 和轮廓校正单元 104 输出通过向 低分辨率图像 Si 进行像素插值而产生的插值图像 Sa。亮度梯度计算单元 102 根据由参数 设定单元 110 计算的亮度梯度计算参数 Pb， 选择 Sobel 滤波器系数。 亮度梯度计算单元 102 使用 Sobel 滤波器系数， 针对插值图像 Sa 的每个像素， 计算亮度梯度强度和亮度梯度方向， 并向轮廓提取单元 103 输出每个像素的亮度梯度强度和亮度梯度方向 ( 步骤 S11)。 轮廓提 取单元 103 使用参数设定单元 110 计算的轮廓提取阈值 Pc， 确定插值图像 Sa 中的轮廓指示 像素 ( 步骤 S12)。轮廓校正单元 104 使用参数设定单元 110 计算的轮廓校正参数 Pd 作为 用于确定与基准像素隔离的第一和第二隔离像素的距离， 以校正轮廓的周边像素值 ( 步骤 S 13)。步骤 S 11 到 S13 的操作与上述变体中的步骤 S11 到 S 13 的操作相同。
根据该变体， 插值图像产生单元 101 对低分辨率图像 Si 执行插值处理， 以产生插 值图像 Sa。如果输入低分辨率图像 Si， 则可以获得高质量的放大图像。
在包括插值图像产生单元 101 的配置中， 可以不提供参数设定单元 110。 在这种情 况下， 在亮度梯度计算单元 102 中， 可以事先设定亮度梯度计算参数 Pb。备选地， 可以事先 设定 Sobel 滤波器系数。可以在轮廓提取单元 103 中事先设定轮廓提取阈值 Pc， 可以在轮 廓校正单元 104 中事先设定轮廓校正参数 Pd。 第二实施例
图 17 是示出了根据本发明第二实施例的图像处理系统的示例的框图。类似于第 一实施例， 根据该实施例的图像处理系统由通过控制程序而进行操作的计算机 800 实现。 计算机 800 包括代表性颜色估计单元 802 和颜色校正单元 803。这里， 以从低分辨率图像 ( 放大前的图像 ) 到放大后图像的放大因子为常数的情况为例。以像素表示为 RGB 格式的 情况为例， 但是像素的表示格式不限于 RGB 格式。
向代表性颜色估计单元 802 输入通过插值处理 ( 例如， 双线性插值或双三次插值 ) 放大的插值图像 Sa。代表性颜色估计单元 802 选择包括在插值图像 Sa 中的各个像素。代 表性颜色估计单元 802 基于所选的像素， 提取具有恒定大小的像素块 (5 行 5 列的块 )， 并分 别将块中的像素的颜色聚类到两个类别中。代表性颜色估计单元 802 指定代表这两个类别 的代表性颜色 M1 和 M2。代表性颜色估计单元 802 计算块中每个像素的颜色属于第一类别 的概率、 以及每个像素的颜色属于第二类别的概率。例如， 可以通过 EM 算法 ( 期望最大化 算法 ) 来计算概率或代表性颜色。代表性颜色估计单元 802 选择插值图像 Sa 中的各个像 素， 执行块的提取， 并导出代表性颜色和每个像素的概率。
图 18 是示出了聚类和代表性颜色的图像。在该情况下， 假设提取基于所选像素的 5 行 5 列范围， 作为块。红色系的像素 181 存在于块的左上部分， 绿色系的像素 182 存在于 右下部分 ( 参照图 18(a))。红色系的像素 181 的像素值 (R、 G 和 B) 在 RGB 颜色空间中由例 如 (255， 0， 0)、 (240， 0， 0) 和 (250， 1， 0) 来表示， 并且彼此靠近 ( 参照图 18(b))。类似地， 绿色系的像素 182 的像素值在 RGB 颜色空间中由例如 (0， 255， 0)、 (0， 255， 3) 和 (1， 240， 5) 来表示， 并且彼此靠近 ( 参照图 18(b))。代表性颜色估计单元 802 确定代表像素颜色类别 的代表性颜色， 并计算每个像素的颜色属于每个类别的概率。在图 18 中， 以像素的颜色清 楚地划分到红色系颜色和绿色系颜色的情况为例。但是， 即使块中像素的颜色是相同色系 的颜色， 也可以用 EM 算法计算代表性颜色或概率。
当颜色空间中代表性颜色 M1 和 M2 的距离等于或大于阈值时， 颜色校正单元 803 针对由代表性颜色估计单元 802 提取的块中的每个像素， 根据颜色属于第一类别的概率和 颜色属于第二类别的概率， 用代表性颜色 M1 和 M2 中的任一种颜色对每个像素的颜色进行 校正。颜色校正单元 803 针对由代表性颜色估计单元 802 提取的每个块执行该处理。
因为块是基于插值图像 Sa 的每个像素的、 具有恒定大小的像素集合， 所以一个像 素可以属于多个块。在该情况下， 颜色校正单元 803 将各个块中校正结果的平均结果设定 到相应的像素。
代表性颜色估计单元 802 和颜色校正单元 803 由根据程序进行操作的中央处理单 元 (CPU) 实现。即， 中央处理单元可以从计算机 100 包括的存储器件 ( 未示出 ) 中读取图 像处理程序， 并根据图像处理程序操作为代表性颜色估计单元 802 和颜色校正单元 803。 代 表性颜色估计单元 802 和颜色校正单元 803 可以实现为单独的电路。
接下来， 将具体描述操作。
图 19 是示出了第二实施例的处理进程示例的流程图。在该实施例中， 向代表性颜 色估计单元 802 和颜色校正单元 803 输入插值图像 Sa。如果输入了插值图像 Sa， 则代表性 颜色估计单元 802 选择插值图像 Sa 中的像素之一， 并基于该所选像素， 提取恒定范围的块 ( 步骤 S51)。假设该块范围预先确定为例如 5 行 5 列。
接着， 代表性颜色估计单元 802 将所提取的块中各个颜色的颜色聚类 ( 整理 ) 到 两个类别 C1 和 C2 中， 并指定各个类别的代表性颜色 M1 和 M2( 步骤 S52)。在步骤 S52， 代 表性颜色估计单元 802 针对所提取块中的每个像素， 计算每个像素的颜色属于第一类别 C1 的概率以及每个像素的颜色属于第二类别 C2 的概率。下文中， 将以使用 EM 算法的情况为 例， 描述步骤 S52 的处理。
在以下描述中， 假设 π 是使用类别的中心颜色 ( 作为代表性颜色的颜色 ) 的 R、 G 和 B 值作为元素的矢量。此外， ω 是称为混合参数的加权系数， σ 是指示颜色空间中所 聚类的像素的像素值的增加量的值。此外， j 是用于标识两个类别的变量。例如， j＝0表 示第一类别， j ＝ 1 表示第二类别。在该情况下， j 可以用作符号的下标。代表性颜色估计 单元 802 通过两个集合， 产生任意确定的 ω、 μ 和 σ 的初始值的集合， 该两个集合对应于 第一类别和第二类别。代表性颜色估计单元 802 针对每个集合， 重复地重新计算 ω、 μ和 σ。通过重新计算， 代表性颜色估计单元 802 使 μ( 在该情况下， R、 G 和 B 的值 ) 收敛， 并 确定代表性颜色。此外， θ 是指示 ω、 μ 和 σ 的集合的符号。当向每个符号添加 (t) 时， t 指示对重新计算的计数。此外， 使用步骤 S51 提取的块中各个像素的像素值 (R、 G和B的 值 ) 作为元素的矢量表示为 x， 并相对于块中的第 n 个像素， 向矢量 x 添加下标 n， 矢量表示 为 xn。
如果代表性颜色估计单元 802 通过这两个集合， 产生任意确定的 ω、 μ 和 σ 的初 始值的集合， 则代表性颜色估计单元 802 对于每个集合， 计算块中每个像素属于每个集合 (t) 的类别的概率。概率表示为 P(j|xn， θ )。代表性颜色估计单元 802 通过以下等式 16， 计 (t) 算 P(j|xn， θ )。
等式 (16) 当执行等式 16 的计算时， 代表性颜色估计单元 802 通过以下等式 17， 计算右侧的p(xn|j)。
等式 (17) 当执行等式 16 的计算时， 代表性颜色估计单元 802 通过以下等式 18， 计算右侧的p(xn)。
等式 (18) 在 该 情 况 下， ωj 是 称 为 混 合 参 数 的 加 权 系 数， 满 足 如 下 条 件。0 ≤ ωj ≤ 1
如果代表性颜色估计单元 802 相对于每个 j( 即， 相对于每个类别 )， 通过等式 16 (t) 计算 P(j|xn， θ )， 则代表性颜色估计单元 802 相对于每个 j， 重新计算 ωj、 μj 和 σj。
在该情况下， ωj 对应于以下等式 19 的左侧， 代表性颜色估计单元 802 通过计算等 式 19， 重新计算 ωj。
等式 (19)在该情况下， μj 对应于以下等式 20 的左侧， 代表性颜色估计单元 802 通过计算等 式 20， 重新计算 μj。 等式 (20)
在该情况下， σj 对应于以下等式 21 的左侧， 代表性颜色估计单元 802 通过计算等 式 21， 重新计算 σj。 等式 (21)
在等式 19 和 20 中， N 是属于步骤 S51 提取的块的像素的总数。 此外， M 是数据 ( 像 素值 ) 的维度数目。在该示例中， 因为像素值是 R、 G 和 B 三维数据， 所以 M 是 3。
如果代表性颜色估计单元 802 重新计算 ωj、 μj 和 σj， 则代表性颜色估计单元 802 (t) 通过等式 16， 根据 ωj、 μj 和 σj 重新计算 P(j|xn， θ )， 并通过等式 19 到 21， 重新计算 ωj、 μj 和 σj。
当在计算之前和之后 μj 的变化等于阈值或更小时， 代表性颜色估计单元 802 确 定 μj 收敛， 并停止重新计算。此时， 得到的 μj 成为代表性颜色的每个分量 R、 G 和 B 的值。 (t) 代表性颜色估计单元 802 在收敛时， 根据 ωj、 μj 和 σj 计算 P(j|xn， θ )。这里， P(j|xn， (t) θ ) 是像素 xn 颜色属于类别 j 的概率。
通过步骤 S52 的处理， 得到块中每个像素的颜色属于第一类别的概率、 每个像素 的颜色属于第二类别的概率、 以及代表性颜色 M1 和 M2。下面， 块中像素 (x， y) 的颜色属于 第一类别的概率表示为 P1(x， y)， 像素的颜色属于第二类别的概率表示为 P2(x， y)。
接着， 颜色校正单元 803 计算根据代表性颜色 M1 和 M2 的距离 D 的索引。两种颜 色的距离是通过如下获得的值 ： 针对指示颜色的每个分量， 计算差平方， 并计算这些计算结 果之和的平方根。在该示例中， 当颜色由每个分量 R、 G 和 B 表示时， 计算 R 分量的差平方、 G 分量的差平方和 B 分量的差平方， 并且这些之和的平方根成为距离。 即， 如果代表性颜色 M1 的各个分量 R、 G 和 B 表示为 (R1， G1， B1)， 代表性颜色 M2 的各个分量 R、 G 和 B 表示为 (R2， G2， B2)， 则颜色 D 由以下等式 22 表示。
等式 (22)颜色校正单元 803 可以计算距离 D 或计算根据距离 D 的索引。 在该情况下， 颜色校 2 2 2 正单元 803 计算 (R1-R2) +(G1-G2) +(B1-B2) 作为根据距离 D 的索引。颜色校正单元 803 基于该根据距离 D 的索引是否等于或大于预定阈值， 来确定代表性颜色之间的距离是否等 于或大于阈值 ( 步骤 S53)。
当 (R1-R2)2+(G1-G2)2+(B1-B2)2 的计算结果等于或大于预定阈值时， 颜色校正单 元 803 确定距离 D 等于或大于阈值。在该情况下 ( 步骤 S53， 是 )， 颜色校正单元 803 针对 步骤 S51 提取的块中每个像素， 根据每个像素的颜色属于第一类别的概率以及每个像素的 颜色属于第二类别的概率， 校正每个像素的颜色 ( 步骤 S54)。
在步骤 S54， 颜色校正单元 803 选择块中的每个像素， 并比较每个像素的颜色属于 第一类别 ( 代表性颜色 M1 的类别 ) 的概率 P1(x， y) 与每个像素的颜色属于第二类别 ( 代 表性颜色 M2 的类别 ) 的概率 P2(x， y)。在 P1(x， y) ＞ P2(x， y) 的情况下， 颜色校正单元 803 用代表性颜色 M1 代替所选像素 (x， y) 的颜色。即， 颜色校正单元 803 用代表性颜色 M1 的 R、 G 和 B 值代替所选像素的像素值 (R、 G 和 B 值 )。同时， 如果 P1(x， y) ＞ P2(x， y) 不成 立， 则颜色校正单元 803 用代表性颜色 M2 代替所选像素 (x， y) 的颜色。即， 颜色校正单元 803 用代表性颜色 M2 的 R、 G 和 B 值代替所选像素的像素值 (R、 G 和 B 值 )。颜色校正单元 803 针对块中的每个像素， 执行上述代替。如果完成了关于块中每个像素的代替， 则颜色校 正单元 803 前进到步骤 S55。
当 (R1-R2)2+(G1-G2)2+(B1-B2)2 的计算结果小于预定阈值时， 颜色校正单元 803 确定距离 D 小于阈值。在该情况下 ( 步骤 S53， 否 )， 颜色校正单元 803 前进到步骤 S55， 不 执行步骤 S54 的处理。
在步骤 S55， 颜色校正单元 803 确定相对于插值图像 Sa 中基于每个像素的每个块， 是否完成了步骤 S51 之后的处理。 如果还有尚未执行步骤 S51 之后的处理的块， 则颜色校正 单元 803 对未处理的块执行步骤 S51 之后的处理。如果相对于所有块都已完成了步骤 S51 之后的处理， 则颜色校正单元 803 结束处理。 然而， 当一个像素属于多个块， 并且针对每个块导出代替之后每个像素的颜色 ( 像素值 ) 时， 颜色校正单元 803 将针对每个块、 相对于一个像素而导出的代替之后的像素 值的平均值设定为该像素的像素值。
根据本实施例， 当块中两个代表性颜色的距离等于或大于阈值时， 通过用代表性 颜色代替块中每个像素的颜色， 来校正每个像素的颜色。 因此， 可以产生轮廓清晰的高质量 放大图像。当指定代表性颜色 M1 和 M2 时， 使用基于聚类的统计处理。因此， 可以稳定地得 到代表性颜色， 而不受噪声的影响。
接下来， 将描述第二实施例的变体。在第二实施例中， 以如下情况为例 ： 选择插值
图像 Sa 中包括的每个像素， 提取基于每个像素的每个块， 并针对每个块执行步骤 S51 之后 的处理。在下述变体中， 将插值图像 Sa 中的选择对象像素设定为轮廓上的像素， 提取基于 每个轮廓上像素的每个块， 并执行步骤 S51 之后的处理。图 20 是示出了第二实施例变体的 框图。在该情况下， 由与图 17 的附图标记相同的附图标记来指示与上述部件相同的部件。 如图 20 所示， 除了代表性颜色估计单元 802 和颜色校正单元 803 之外， 图像处理系统还可 以包括亮度梯度计算单元 102 和轮廓提取单元 103。在图 20 中， 以计算机 800 包括亮度梯 度计算单元 102 和轮廓提取单元 103 的情况为例。亮度梯度计算单元 102 和轮廓提取单元 103 可以由根据程序操作的中央处理单元实现。即， 中央处理单元可以读取图像处理程序， 并根据图像处理程序操作为亮度梯度计算单元 102、 轮廓提取单元 103、 代表性颜色估计单 元 802 和颜色校正单元 803。
在该变体中， 亮度梯度计算单元 102 和轮廓提取单元 103 执行的处理与根据第一 实施例的图像处理系统中包括的亮度梯度计算单元 102 和轮廓提取单元 103 的处理相同。 由与第一实施例中附图标记相同的附图标记来指示根据该变体的亮度梯度计算单元 102 和轮廓提取单元 103， 并对其进行描述。
将插值图像 Sa 输入亮度梯度计算单元 102， 亮度梯度计算单元 102 针对插值图像 Sa 的每个像素， 计算亮度梯度强度和亮度梯度方向。轮廓提取单元 103 使用每个像素中的 亮度梯度强度和亮度梯度方向， 确定在劣化之前指示轮廓的原始像素。
图 21 是示出了第二实施例变体的处理进程的流程图。由与图 19 的附图标记相同 的附图标记来指示与第二实施例中描述的处理相同的处理。
如果输入了插值图像 Sa， 则类似于第一实施例， 亮度梯度计算单元 102 针对插值 图像 Sa 的每个像素， 根据像素值指定亮度值。例如， 亮度梯度计算单元 102 通过等式 1 的 计算， 计算每个像素的亮度值。亮度梯度计算单元 102 针对插值图像 Sa 的每个像素， 执行 预定 Sobel 滤波器系数的卷积， 并计算水平方向的亮度梯度和垂直方向的亮度梯度。亮度 梯度计算单元 102 针对每个像素， 计算亮度梯度强度 Sb(x， y) 和亮度梯度方向 Sc(x， y)( 步 骤 S49)。可以通过等式 4 和 5 计算亮度梯度强度 Sb(x， y)。可以通过等式 6 计算亮度梯度 方向 Sc(x， y)。这里， 以使用 Sobel 滤波器系数的情况为例。但是， 使用其他边缘检测算子 (Robison 算子的系数或 Prewitt 算子的系数 ) 的情况的处理与上述情况的处理相同。
在步骤 S49 之后， 轮廓提取单元 103 使用由亮度梯度计算单元 102 计算的每个像 素的亮度梯度强度和亮度梯度方向、 以及预定的轮廓提取阈值 Pc， 确定插值图像 Sa 中指示 轮廓的像素 ( 步骤 S50)。轮廓提取单元 103 选择每个像素作为轮廓确定对象像素。当轮廓 确定对象像素的亮度梯度强度大于轮廓提取阈值 Pc、 且大于沿亮度梯度方向的轮廓确定对 象像素的相邻像素的亮度梯度强度、 以及大于沿亮度梯度方向旋转 180°时的方向上的相 邻像素的亮度梯度强度时， 轮廓提取单元 103 确定该轮廓确定对象像素是轮廓上的像素。 轮廓提取单元 103 向代表性颜色估计单元 802 通知该确定为轮廓指示像素的像素。
步骤 S49 和 S50 的处理与第一实施例中步骤 S 11 和 S 12 的处理相同。
在步骤 S50 之后， 代表性颜色估计单元 802 和颜色校正单元 803 执行第二实施例 中描述的步骤 S51 到 S55 的处理。但是， 在步骤 S51， 代表性颜色估计单元 802 只将从轮廓 提取单元 103 通知的轮廓指示像素设定为选择对象。 在步骤 S55， 颜色校正单元 803 确定相 对于插值图像 Sa 中指示轮廓的各个像素， 是否完成了步骤 S51 之后的处理。如果指示轮廓的各个像素中还有未执行步骤 S51 之后的处理的像素， 则颜色校正单元 803 重复步骤 S51 之后的处理。如果相对于指示轮廓的各个像素， 完成了步骤 S51 之后的处理， 则颜色校正单 元 803 结束处理。其他配置与第二实施例的配置相同。
结果， 由于相对于不指示轮廓的像素， 不执行步骤 S51 之后的处理， 所以可以简化 处理， 减少处理时间。
接下来， 描述第二实施例的另一变体。在下述变体中， 在步骤 S51 提取的块的范围 是可变的。图 22 是示出了第二实施例的另一变体的框图。在该情况下， 由与图 20 的附图 标记相同的附图标记来指示与上述部件相同的部件。如图 22 所示， 除了亮度梯度计算单元 102、 轮廓提取单元 103、 代表性颜色估计单元 802 和颜色校正单元 803 之外， 图像处理系统 还可以包括参数设定单元 810。在图 22 中， 以如下情况为例 ： 与计算机 800 相分离地提供 参数设定单元 810。但是， 计算机 800 可以包括参数设定单元 810。参数设定单元 810 可以 由根据程序操作的中央处理单元实现。 即， 中央处理单元可以读取图像处理程序， 并根据图 像处理程序操作为亮度梯度计算单元 102、 轮廓提取单元 103、 代表性颜色估计单元 802、 颜 色校正单元 803 和参数设定单元 810。
参数设定单元 810 计算参数， 以确定作为在步骤 S51 提取的像素块的提取块的行 数和列数， 并将该参数输出至代表性颜色估计单元 802 和颜色校正单元 803。下文中， 该参 数称为块确定参数， 并表示为 “Pe” 。在步骤 S51， 代表性颜色估计单元 802 提取具有根据块 确定参数 Pe 的大小的块。 将从低分辨率图像到插值图像 Sa 的放大因子 Pa 输入至参数设定单元 810。参数 设定单元 810 基于输入的放大因子 Pa， 计算块确定参数 Pe。当放大因子 Pa 不发生变化时， 参数设定单元 810 可以存储放大因子 Pa 为常数， 并基于放大因子 Pa， 计算块确定参数 Pe。
参数设定单元 810 可以执行以下等式 23 的计算， 计算块确定参数 Pe。
Pe ＝ ε·Pa+ζ 等式 (23)
在该情况下， ε 和 ζ 是常数， ε 是大于 0 的值。如果 Pa 的值增大， 则 Pe 的值也 增大。此外， ζ 是指示 Pe 的下限的值。如果将 ζ 确定为 Pe 的下限， 即使放大因子 Pa 的 值较小， Pe 的值也必然等于或大于该下限。ε 和 ζ 分别事先设定给图像处理系统的管理 器。该图像处理系统的管理器可以确定 ε 和 ζ 的值， 以便选择具有根据该放大因子的大 小的块的数目。在该情况下， 通过使用放大因子 Pa 作为变量的线性函数， 来计算 Pe。ε 和 ζ 的值的示例是 ε ＝ 2.0 和 ζ ＝ -1.0， 但是 ε 和 ζ 的值不限于这些值。
类似于根据第一实施例变体的参数设定单元 110， 参数设定单元 810 计算亮度梯 度计算参数 Pb 和轮廓提取阈值 Pc， 将亮度梯度计算参数 Pb 输出至亮度梯度计算单元 102， 将轮廓提取阈值 Pc 输出至轮廓提取单元 103。 亮度梯度计算单元 102 根据亮度梯度计算参 数 Pb， 选择 Sobel 滤波器系数， 并针对插值图像 Sa 的每个像素， 计算亮度梯度强度和亮度梯 度方向。轮廓提取单元 103 使用轮廓提取阈值 Pc， 来确定插值图像 Sa 中指示轮廓的像素。
图 23 是示出了第二实施例的另一变体的处理进程的流程图。在这种情况下， 以与 图 19 和 21 的附图标记相同的附图标记来指示与上述处理相同的处理。如果输入放大因子 Pa， 则参数设定单元 810 使用放大因子 Pa 来计算亮度梯度计算参数 Pb、 轮廓提取阈值 Pc 和 块确定参数 Pe( 步骤 S41)。参数设定单元 810 可以事先确定 Pb、 Pc 和 Pe 中的一部分为固 定值， 并可以在步骤 S41 中计算 Pb、 Pc 和 Pe 中未被确定为固定值的参数。
如果输入插值图像 Sa， 则亮度梯度计算单元 102 针对插值图像 Sa 的每个像素， 计 算亮度梯度强度和亮度梯度方向。亮度梯度计算单元 102 事先保持规则 “当 Pb 等于或大于 x1 且小于 x2 时， 选择 3 行 3 列的 Sobel 滤波器系数” ， 并在该规则下， 根据亮度梯度计算参 数 Pb， 选择 Sobel 滤波器系数。亮度梯度计算单元 102 使用所选择的 Sobel 滤波器系数， 针 对插值图像 Sa 的每个像素， 计算亮度梯度强度和亮度梯度方向 ( 步骤 S49)。 该步骤与上述 步骤 S49 相同， 除了选择 Sobel 滤波器系数之外。
轮廓提取单元 103 使用参数设定单元 810 计算的轮廓提取阈值 Pc， 确定插值图像 Sa 中的轮廓指示像素 ( 步骤 S50)。该步骤与上述步骤 S50 相同， 除了参数设定单元 810 确 定轮廓提取阈值 Pc 之外。
在步骤 S50 之后， 代表性颜色估计单元 802 和颜色校正单元 803 执行步骤 S51 到 S55 的处理， 类似于上述第二实施例变体。在步骤 S51， 代表性颜色估计单元 802 只将从轮 廓提取单元 103 通知的轮廓指示像素设定为选择对象。在步骤 S55， 颜色校正单元 803 确 定相对于插值图像 Sa 中指示轮廓的各个像素， 是否完成了步骤 S51 之后的处理。如果指示 轮廓的各个像素中还有未执行步骤 S51 之后的处理的像素， 则颜色校正单元 803 重复步骤 S51 之后的处理。如果相对于指示轮廓的各个像素， 完成了步骤 S51 之后的处理， 则颜色校 正单元 803 结束处理。其他配置与第二实施例的配置相同。
在该变体中， 由于相对于不指示轮廓的像素， 不执行步骤 S51 之后的处理， 所以可 以简化处理， 减少处理时间。即使在从低分辨率图像到插值图像 Sa 的放大因子 Pa 不是常 数时， 也能够使用根据放大因子的适当参数来锐化轮廓。
接下来， 将描述第二实施例的再一变体。图 24 是示出了第二实施例的再一变体的 框图。在该情况下， 由与图 17、 20 和 22 的附图标记相同的附图标记来指示与上述部件相同 的部件。如图 24 所示， 除了亮度梯度计算单元 102、 轮廓提取单元 103、 代表性颜色估计单 元 802、 颜色校正单元 803 和参数设定单元 810 之外， 图像处理系统还可以包括插值图像产 生单元 101。插值图像产生单元 101 执行的处理与根据第一实施例变体的插值图像产生单 元 101( 参见图 13) 的处理相同。在图 24 中， 以如下情况为例 ： 计算机 800 包括插值图像产 生单元 101。插值图像产生单元 101 可以由根据程序操作的中央处理单元实现。即， 中央处 理单元可以读取图像处理程序并根据图像处理程序， 操作为插值图像产生单元 101、 亮度梯 度计算单元 102、 轮廓提取单元 103、 代表性颜色估计单元 802、 颜色校正单元 803 和参数设 定单元 810。
将低分辨率图像 Si 输入插值图像产生单元 101。插值图像产生单元 101 通过插 值来放大低分辨率图像 Si， 以产生插值图像 Sa， 并将插值图像 Sa 输出至亮度梯度计算单元 102、 代表性颜色估计单元 802 和颜色校正单元 803。 即， 插值图像产生单元 101 在低分辨率 图像 Si 的像素之间插入像素， 产生与放大图像相对应的插值图像 Sa。例如， 插值图像产生 单元 101 通过双线性插值或双三次插值来放大低分辨率图像 Si。
将要产生的放大图像的分辨率输入至参数设定单元 810。例如， 可以输入放大后 的插值图像 Sa 的横向宽度 ( 水平方向上的像素数目 )。此外， 向参数设定单元 810 输入放 大前的低分辨率图像 Si 的信息 ( 例如， 低分辨率图像 Si 的横向宽度 )。参数设定单元 810 使用输入的信息计算放大因子 Pa， 并将放大因子输出至插值图像产生单元 101。在计算放 大因子 Pa 之后， 参数设定单元 810 可以基于放大因子 Pa， 计算每个参数 Pb、 Pc 和 Pd， 如上所述。该操作与根据第一实施例变体的参数设定单元 110( 参见图 13) 的操作相同。
插值图像产生单元 101 以参数设定单元 810 计算的放大因子 Pa， 对低分辨率图像 Si 进行插值， 并产生插值图像 Sa。
图 25 是示出了该变体的处理进程的流程图。在这种情况下， 以与图 19 和 21 的附 图标记相同的附图标记来指示与上述处理相同的处理。将用户的低分辨率图像 Si 的横向 宽度 Wl 和期望的插值图像 Sa 的横向宽度 Wh 输入参数设定单元 810。如果将 Wl 和 Wh 输 入了参数设定单元 810， 则参数设定单元 810 计算 Wh/Wl， 从而计算放大因子 Pa。然而， 这 里描述的放大因子 Pa 的计算方法仅仅是示例， 可以通过其他方法计算放大因子 Pa。参数 设定单元 810 将计算的放大因子 Pa 输出至插值图像产生单元 101。参数设定单元 810 使 用放大因子 Pa， 计算亮度梯度计算参数 Pb、 轮廓提取阈值 Pc 和块确定参数 Pe( 步骤 S47)。 参数设定单元 810 将亮度梯度计算参数 Pb 输出至亮度梯度计算单元 102， 将轮廓提取阈值 Pc 输出至轮廓提取单元 103， 将块确定参数 Pe 输出至代表性颜色估计单元 802 和颜色校正 单元 803。基于放大因子 Pa 计算 Pb、 Pc 和 Pd 的操作与上述操作相同。
将低分辨率图像 Si 输入插值图像产生单元 101。在步骤 S47 之后， 插值图像产生 单元 101 以放大因子 Pa 对低分辨率图像 Si 进行插值， 产生具有用户期望的分辨率的插值 图像 Sa( 步骤 S48)。该处理与根据第一实施例变体的步骤 10( 参见图 14) 的处理相同。
插值图像产生单元 101 向亮度梯度计算单元 102、 代表性颜色估计单元 802 和颜色 校正单元 803 输出通过向低分辨率图像 Si 进行像素插值而产生的插值图像 Sa。亮度梯度 计算单元 102 根据由参数设定单元 810 计算的亮度梯度计算参数 Pb， 选择 Sobel 滤波器系 数。亮度梯度计算单元 102 使用 Sobel 滤波器系数， 针对插值图像 Sa 的每个像素， 计算亮 度梯度强度和亮度梯度方向， 并向轮廓提取单元 103 输出每个像素的亮度梯度强度和亮度 梯度方向 ( 步骤 S49)。轮廓提取单元 103 使用参数设定单元 810 计算的轮廓提取阈值 Pc， 确定插值图像 Sa 中的轮廓指示像素 ( 步骤 S50)。
在步骤 S50 之后， 代表性颜色估计单元 802 和颜色校正单元 803 执行步骤 S51 到 S55 的处理， 类似于上述第二实施例变体。在步骤 S51， 代表性颜色估计单元 802 只将从轮 廓提取单元 103 通知的轮廓指示像素设定为选择对象。在步骤 S55， 颜色校正单元 803 确 定相对于插值图像 Sa 中指示轮廓的各个像素， 是否完成了步骤 S51 之后的处理。如果指示 轮廓的各个像素中还有未执行步骤 S51 之后的处理的像素， 则颜色校正单元 803 重复步骤 S51 之后的处理。如果相对于指示轮廓的各个像素， 完成了步骤 S51 之后的处理， 则颜色校 正单元 803 结束处理。
根据该变体， 插值图像产生单元 101 对低分辨率图像 Si 执行插值处理， 以产生插 值图像 Sa。如果输入低分辨率图像 Si， 则可以获得高质量的放大图像。
在包括参数设定单元 810 的配置 ( 例如， 图 22 和 24 所示的配置 ) 中， 图像处理系 统可以包括亮度梯度计算单元 102 和轮廓提取单元 103。 在该情况下， 参数设定单元 810 可 以不计算 Pb 和 Pc。
第三实施例
图 26 是示出了本发明第三实施例的框图。本发明的第三实施例涉及一种图像传 输系统， 其包对图像进行压缩并发送图像的图像压缩装置 600、 以及接收图像并扩展图像的 图像扩展装置 610。图像压缩装置 600 和图像扩展装置 610 通过传输路径 620 发送和接收图像。 向图像压缩装置 600 输入高分辨率输入图像 604。图像压缩装置 600 向传输路径 620 发送通过下采样输入图像 604 而得到的低分辨率图像 605、 以及下采样图像与输入图像 的残差分量 606， 作为压缩数据 607。图像扩展装置 610 对接收到的压缩数据 607 中包括 的低分辨率图像 605 进行放大， 加上压缩数据 607 中包括的残差分量 606， 并产生扩展图像 615。下面将描述图像压缩装置 600 和图像扩展装置 610 的配置。
图像压缩装置 600 包括低通下采样单元 601、 放大图像产生单元 602 和图像相减单 元 603。
将输入图像 ( 高分辨率图像 )604 输入低通下采样单元 601。输入图像 604 也输入 图像相减单元 603。 低通下采样单元 601 向输入图像 604 应用低通滤波器， 以预定分辨率对 输入图像 604 进行下采样。下采样意味着， 周期性地去除水平和垂直方向上排列的像素， 降 低图像的分辨率。 低通下采样单元 601 将产生的低分辨率图像 605 发送给传输路径 620， 并 将产生的低分辨率图像输出至放大图像产生单元 602。
放大图像产生单元 602 接收由低通下采样单元 601 产生的低分辨率图像 605， 并 将低分辨率图像 605 放大为分辨率与输入图像 604 的分辨率相同的图像。放大图像产生单 元 602 执行对放大图像的轮廓进行锐化的图像处理， 并将得到的图像输出至图像相减单元 603。该处理与根据第一实施例变体的包括插值图像产生单元 101 的图像处理系统以及根 据第二实施例变体的包括插值图像产生单元 101 的图像处理系统所执行的处理相同。
放大图像产生单元 602 由根据第一实施例变体的包括插值图像产生单元 101 的图 像处理系统 ( 参见图 13) 实现。参数设定单元 110 可以设定放大因子 Pa、 亮度梯度计算参 数 Pb、 轮廓提取阈值 Pc 和轮廓校正参数 Pd。参数设定单元 110 计算放大因子 Pa 所需的信 息 (Wh 和 Wl) 可以是预定的。
放大图像产生单元 602 由根据第二实施例变体的包括插值图像产生单元 101 的图 像处理系统 ( 参见图 24) 实现。参数设定单元 810 可以设定放大因子 Pa、 亮度梯度计算参 数 Pb、 轮廓提取阈值 Pc 和块确定参数 Pe。参数设定单元 810 计算放大因子 Pa 所需的信息 (Wh 和 Wl) 可以是预定的。
可以不包括图 13 和 24 所示的参数设定单元 110 和 810， 放大因子 Pa、 亮度梯度计 算参数 Pb、 轮廓提取阈值 Pc、 轮廓校正参数 Pd 和块确定参数 Pe 可以是预定的。可以预先 确定 Sobel 滤波器系数， 而不是亮度梯度计算参数 Pb。
图像相减单元 603 计算输入图像 604 与放大图像产生单元 602 所输出的高分辨率 图像 ( 分辨率与输入图像 604 的分辨率相同的图像 ) 的残差分量 606。输入图像 604 中坐 标 (x， y) 处的像素的像素值定义为 I1(x， y)。放大图像产生单元 602 所产生的高分辨率图 像中坐标 (x， y) 处的像素的像素值定义为 I2(x， y)。针对输入图像 604 与放大图像产生单 元 602 所放大和输出的高分辨率图像中每个对应的像素 ( 即， 相同坐标处的每个像素 )， 图 像相减单元 603 计算 I2(x， y)-I1(x， y)。该计算结果是残差分量 606。残差分量是指示高 分辨率图像与输入图像 604 的对应像素之间的像素值之差的数据。
当低通下采样单元 601 发送低分辨率图像 605 时， 图像相减单元 603 与低分辨率 图像 605 一起发送残差分量 606。其中低分辨率图像 605 与残差分量 606 相匹配的数据是 压缩数据 607。
图像压缩装置 600 具有上述配置。如果将输入图像 604 输入低通下采样单元 601 和图像相减单元 603， 低通下采样单元 601 对输入图像 604 进行下采样， 并产生低分辨率图 像 605。放大图像产生单元 602 放大低分辨率图像 605， 图像相减单元 603 计算所获得的放 大图像与输入图像的残差分量 606。低通下采样单元 601 向图像扩展装置 610 发送低分辨 率图像 605， 图像相减单元 603 向图像扩展装置 610 发送低分辨率图像 605 和残差分量 606。
图像扩展装置 610 包括放大图像产生单元 611 和图像相加单元 612。
图像扩展装置 610 从接收到的压缩数据 607 中提取低分辨率图像 605 和残差分量 606。
将接收到的压缩数据 607 的低分辨率图像 605 输入放大图像产生单元 611。放大 图像产生单元 611 接收低分辨率图像 605， 并将低分辨率图像 605 放大为分辨率与输入图像 604 的分辨率相同的图像。放大图像产生单元 611 执行对放大图像的轮廓进行锐化的图像 处理， 并将得到的图像输出至图像相加单元 612。 该处理与根据第一实施例变体的包括插值 图像产生单元 101 的图像处理系统以及根据第二实施例变体的包括插值图像产生单元 101 的图像处理系统所执行的处理相同。
图像扩展装置 610 中包括的放大图像产生单元 611 与图像压缩装置 600 中包括的 放大图像产生单元 602 相同， 由根据第一实施例变体的包括插值图像产生单元 101 的图像 处理系统 ( 参见图 13) 实现。此外， 放大图像产生单元 611 可以由根据第二实施例变体的 包括插值图像产生单元 101 的图像处理系统 ( 参见图 24) 实现。
将接收到的压缩数据 607 的残差分量 606 输入至图像相加单元 612。图像相加单 元 612 将放大图像产生单元 611 所输出的放大图像与残差分量 606 相加。放大图像中坐标 (x， y) 处的像素的像素值定义为 I3(x， y)。残差分量 606 中坐标 (x， y) 处的像素的像素值 定义为 I4(x， y)。针对放大图像产生单元 611 所产生的放大图像与残差分量 606 中每个对 应的像素 ( 即， 相同坐标处的每个像素 )， 图像相加单元 612 计算 I3(x， y)+I4(x， y)， 产生期 望的高分辨率扩展图像 615。
图像扩展装置 610 具有上述配置。如果将低分辨率图像 605 输入放大图像产生单 元 611， 则放大图像产生单元 611 放大低分辨率图像 605。图像相加单元 612 将获得的放大 图像与残差分量 606 相加， 产生扩展图像 615。
当通过传输路径 620 向图像扩展装置 610 发送低分辨率图像 605 和残差分量 606 时， 图像压缩装置 600 还可以进一步使用现有的数据压缩方法， 压缩低分辨率图像 605 和残 差分量 606( 压缩数据 607)。 在该情况下， 图像扩展装置 610 可以使用对应于现有数据压缩 方法的数据扩展方法， 扩展数据， 并执行上述处理。
根据第三实施例， 图像扩展装置 610 可以使用在第一实施例或第二实施例中描述 的图像放大处理， 根据从图像压缩装置 600 接收的低分辨率图像 605 和残差分量 606， 产生 高质量的放大图像。 因为通过在第一实施例或第二实施例中描述的图像放大处理产生的放 大图像是与输入图像等同的图像， 而不是由现有图像放大处理产生的放大图像， 所以残差 分量 606 的数据量变为更小的数据量。 结果， 图像压缩装置 600 可以降低通过传输路径 620 传输的残差分量 606 的数据量。
在上述实施例中， 描述了如下配置 ： 亮度梯度计算单元基于亮度梯度强度和亮度 梯度方向的计算对象像素， 指定排列与边缘检测算子的系数排列相同的多个像素， 针对各个指定的像素， 计算与对应边缘检测算子系数的乘积， 计算乘积之和， 以计算水平方向和垂 直方向的亮度梯度， 将幅度为水平方向亮度梯度的矢量与幅度为垂直方向亮度梯度的矢量 的合成矢量的幅度设定为计算对象像素的亮度梯度强度， 将用垂直方向亮度梯度除以水平 方向亮度梯度所得结果的反正切角度设定为亮度梯度方向 ； 以及轮廓提取单元选择用于确 定相应的像素是否是轮廓指示像素的确定对象像素， 并在确定对象像素的亮度梯度强度大 于轮廓提取阈值、 且大于沿亮度梯度方向的确定对象像素的相邻像素的亮度梯度强度、 以 及大于沿亮度梯度方向旋转 180°时的方向上的相邻像素的亮度梯度强度时， 确定该确定 对象像素是轮廓指示像素。
此外， 描述了如下配置 ： 图像处理系统包括参数设定单元， 其根据从放大前图像到 插值图像的放大因子， 确定用于选择边缘检测算子系数的亮度梯度计算参数、 轮廓提取阈 值以及用于指定第一隔离像素和第二隔离像素的距离 ； 亮度梯度计算单元事先保持多种边 缘检测算子系数， 并使用根据亮度梯度计算参数的边缘检测算子系数， 来计算亮度梯度强 度和亮度梯度方向 ； 轮廓提取单元使用由参数设定单元确定的轮廓提取阈值， 指定轮廓指 示像素 ； 以及轮廓校正单元使用由参数设定单元确定的距离， 指定第一隔离像素和第二隔 离像素。 此外， 描述了如下配置 ： 参数设定单元根据输入到参数设定单元的放大因子， 确定 亮度梯度计算参数、 轮廓提取阈值以及用于指定第一隔离像素和第二隔离像素的距离。
此外， 描述了如下配置 ： 参数设定单元根据预定的放大因子， 确定亮度梯度计算参 数、 轮廓提取阈值以及用于指定第一隔离像素和第二隔离像素的距离。
此外， 描述了如下配置 ： 插值图像产生单元接收放大对象图像， 在放大对象图像的 像素之间插入像素， 并产生通过对放大对象图像进行放大而得到插值图像。
参照实施例描述了本发明， 但是本发明不限于实施例。 在本发明的配置和细节中， 本领域技术人员可以在本发明的范围内进行多种改变。
本发明可以应用于执行图像处理以对从低分辨率静止图像或运动图像放大而来 的图像的轮廓进行锐化的图像处理系统， 并可以应用于压缩和传输高分辨率静止图像或运 动图像或存储高分辨率静止图像或运动图像的系统。
本申请要求基于 2007 年 12 月 25 日提交的日本专利申请 No.2007-332029 的优先 权， 其全部公开合并在此作为参考。