图像处理装置及图像处理方法 【技术领域】
本发明涉及图像处理装置及图像处理方法。背景技术 例如， 在专利文献 1( 日本特开 2006-121416 号公报 ) 中公开了一种如下技术 ： 对 拍摄到人物的数字图像的面部区域， 进行使高光 ( 加工 ) 的部分更加明亮的美白处理。
在上述专利文献 1 所述的图像处理方法中， 从处理对象的原图像生成模糊图像， 利用该模糊图像进行了使高光加工的部分更加明亮的美白处理。
在拍摄人物的情况下， 根据面部表面的油脂分量等， 摄影时的室内照明或闪光灯 发光等会写入到人的面部， 拍摄到的图像会产生不自然的光泽。 将该不自然的光泽称为 “反 光” 。在上述专利文献 1 所述的图像处理方法中， 在成为处理对象的面部图像中存在反光分 量的情况下， 通过美白处理会扩大该反光分量的区域， 无法减轻反光。
发明内容 本发明的目的在于提供一种能减轻拍摄到的图像中含有的面部的反光分量、 能转 换成更优图像的图像处理装置及图像处理方法。
为了达成上述目的， 本发明的一个技术方案的一种图像处理装置， 具备 ： 图像取得 部件， 其取得图像 ； 颜色区域检测部件， 从所述图像取得部件取得的图像中检测规定的颜色 区域 ； 区域指定部件， 基于由所述颜色区域检测部件检测出的所述颜色区域的色饱和度及 亮度， 来指定应调整区域 ； 和颜色调整部件， 调整由所述区域指定部件指定出的所述应调整 区域的像素的色调、 色饱和度及亮度中的至少一个。
为了达成上述目的， 本发明的一个技术方案的一种图像处理方法， 包括 ： 图像取得 步骤， 取得图像 ； 颜色区域检测步骤， 从所述图像取得步骤取得的图像中检测规定的颜色区 域； 区域指定步骤， 基于由所述颜色区域检测步骤检测出的所述颜色区域的色饱和度及亮 度， 来指定应调整区域 ； 和颜色调整步骤， 调整由所述区域指定步骤指定出的所述应调整区 域的像素的色调、 色饱和度及亮度中的至少一个。
根据本发明， 能够减轻拍摄到的图像中含有的面部的反光分量、 能转换成更优图 像。
附图说明 图 1 是表示作为本发明的一实施方式所涉及的图像处理装置起作用的数码照相 机的电路结构的框图。
图 2 是用于说明 RGB 颜色空间的示意图。
图 3 是用于说明 HSV 颜色空间的示意图。
图 4 是表示通过在图 1 的数码照相机拍摄到的图像数据中减轻反光分量来抑制反 光的发光抑制处理、 即第一实施方式所涉及的反光抑制处理的顺序的流程图。
图 5 是在 HSV 颜色空间中色调值 H 分布的圆形区域的示意图。
图 6 是图 3 所示的 HSV 颜色空间的部分剖视图。
图 7 是表示通过在图 1 的数码照相机拍摄到的图像数据中减轻反光分量来抑制反 光的反光抑制处理、 即第二实施方式所涉及的反光抑制处理的顺序的流程图。
图 8 是说明图 7 的第二实施方式所涉及的反光抑制处理中的个人目标值的计算方 法的一个例子的图、 表示这样的肤色取得区域的各像素所绘制的 HSV 空间部分顶视图及部 分剖视图。
图 9 是说明图 7 的第二实施方式所涉及的反光抑制处理中的个人目标值的计算方 法的一个例子的图、 表示 HVS 空间的部分顶视图。
图 10 是表示通过在图 1 的数码照相机拍摄到的图像数据中减轻反光分量来抑制 反光的反光抑制处理、 即第三实施方式所涉及的反光抑制处理的顺序的流程图。
图 11 是表示图 10 的第三实施方式所涉及的反光抑制处理中的、 反光抑制方式选 择处理的顺序的详细的流程图。 具体实施方式
以下， 基于附图对用于实施本发明的实施方式进行说明。
【第一实施方式】
图 1 是表示作为本发明的第一实施方式所涉及的图像处理装置起作用的数码照 相机 1 的电路结构的图。
本实施方式的数码照相机 1， 作为基本的动作模式而具有 ： 用于拍摄静止图像或 运动图像的记录模式、 和用于再现拍摄到的图像的再现模式。此外， 摄影模式具备普通模 式、 场景模式、 影片模式等。其中， 作为场景模式的下位模式， 设定了人物摄影模式、 风景摄 影模式、 液晶摄影模式等。人物摄影模式是适用于拍摄人物的摄影模式。
如图 1 所示， 数码照相机 1 具备 ： 摄影镜头 2、 摄像部 3、 前处理部 4、 处理信息存储 部 5、 程序存储器 6、 图像处理部 7、 控制部 8、 图像记录部 9、 显示部 10、 键输入部 11、 发光部 12。
摄影镜头 2 是将入射来的被摄物体的光作为光学像成像于后述的摄像部 3 的光学 镜头， 由聚焦透镜和变焦透镜等构成。
摄像部 3 由 CMOS(Complementary Metal Oxide Semiconductor) 等图像传感器构 成， 配置在摄影镜头 2 的光轴上。摄像部 3 接收由摄影镜头 2 会聚的摄影光， 并且对成像于 受光面的被摄物体的光学像进行光电转换， 作为模拟摄像信号输出。摄影镜头 2 及摄像部 3 作为本发明中的图像取得部件起作用。
前处理部 4， 输入与摄像部 3 输出的被摄物体的光学像相应的模拟摄像信号， 并控 制 CDS( 相关二次采样 ) 和 A/D 转换器 (ADC) 等， 所述 CDS( 相关二次采样 ) 保持输入来的 摄像信号， 所述 A/D 转换器 (ADC) 放大该摄像信号后， 将放大后的摄像信号转换为数字图像 数据。摄像部 3 输出的摄像信号经由前处理部 4 而作为数字图像数据送至图像记录部 9。 前处理部 4 的处理按照控制部 8 的命令执行。
处理信息存储部 5 将在调整图像数据时使用的数据作为处理信息存储。处理信息 存储部 5 在第一实施方式中至少具备 ： 白分量增益表格存储部 5a 和反光分量增益表格存储部 5b。 白分量增益表格存储部 5a， 针对被指定为后述的肤色区域的各像素， 将在判定白 度加减时使用的色饱和度增益值作为表格存储。反光分量增益表格存储部 5b， 针对同样被 指定为肤色区域的各像素， 将判定反光分量加减时使用的色饱和度增益值及亮度增益值作 为表格存储。
程序存储器 6 存储图像处理部 7、 控制部 8 等执行的各种处理所对应的程序。
图像处理部 7 进行与后述的图像处理相关的各种处理。图像处理部 7 作为本发明 中的颜色区域检测部件、 区域指定部件、 颜色调整部件、 颜色检测部件、 区域设定部件、 摄影 条件设定部件、 强度计算部件的各部件起作用。
另 外， 图像处理部 7 进行如下的处理 ： 相 互 转 换 拍 摄 到 的 图 像 中 的 RGB 颜 色 空间信号和 HSV 颜色空间信号。所谓 RGB 颜色空间是指由红 (R)、 绿 (G)、 蓝 (B) 三个 分 量 构 成 的 颜 色 空 间。 另 外， 所 谓 HSV 颜 色 空 间 是 指 通 过 由 色 调 (H:Hue)、 色饱和度 (S:Saturation·Chroma)、 亮度 (V:Brightness·Lightness·Value) 三个分量构成的 HSV 模型 (HVS model) 表现的颜色空间。关于 HSV 颜色空间见后述。
返回到图 1， 控制部 8 例如是中央处理装置 (CPU)， 按照程序存储器 6 中存储的程 序来控制数码照相机 1 的整体。控制部 8 也控制前处理部 4、 图像处理部 7 的各处理部。另 外， 根据后述的摄影模式设定键 11b 的操作设定摄影模式， 根据设定出的摄影模式设定摄 像部的摄像条件。控制部 8 是本发明中的设定部件及摄影条件设定部件。
图像记录部 9 存储由摄像部 3 拍摄的、 由前处理部 4 进行了前处理的图像数据。 在 图像再现时， 控制部 8 从图像记录部 9 中读取图像数据， 并使显示部 10 显示该图像数据。
显示部 10 例如是彩色 TFT(Thin Film Transistor) 液晶或 STN(Super Twisted Nematic) 液晶等， 按照控制部 8 的控制， 显示预览 (preview) 图像、 或摄影后的图像数据、 设 定菜单等。
键输入部 11 输入来自用户的指示。键输入部 11 包括 ： 快门键 11a、 摄影模式设定 键 11b。快门键 11a 是输入来自用户的摄影开始指示的输入部。摄影模式设定键 11b 是由 用户输入期望的动作模式设定指示的输入部。
发光部 12 是向被摄物体照射闪光的发光装置。由于照射闪光后拍摄到的人物的 面部容易发生反光分量， 因此在本实施方式中实施从伴随着闪光拍摄到的图像中去除反光 的后述反光去除处理。
接着， 对 RGB 颜色空间和 HSV 颜色空间进行说明。图 2 是用于说明 RGB 颜色空间 的示意图， 图 3 是用于说明 HSV 颜色空间的示意图。
如图 2 所示， 由前处理部 4 处理过的图像数据， 通过由红 (R)、 绿 (G)、 蓝 (B) 三个 分量构成的颜色空间表现。本实施方式的图像处理部 7 具备如下功能 ： 将图像数据从 RGB 颜色空间向 HSV 颜色空间进行颜色空间转换。
如图 3 所示， HSV 颜色空间能利用圆锥 C 表示。圆锥 C 表现的 HSV 颜色空间， 将色 调 H 描绘成作为圆锥 C 的底面的圆形区域进行表现。色调 H 表示红色、 蓝色、 黄色等颜色种 类， 通过 0°～ 359°范围的强度分布表现。
色饱和度 S 通过从圆锥 C 的底面即圆形区域中心至圆周方向的距离 ( 半径 ) 来表 现。色饱和度 S 是颜色的鲜明度， 通过以圆形区域的中央为 0 的 0 ～ 255 范围来表现。在
HSV 颜色空间中， 伴随着色饱和度 S 的值变小， 灰色变得显著， 用暗淡的颜色表现色饱和度 S。
亮度 V 通过从圆锥 C 顶点至底面方向的距离表现。亮度 V 是颜色的明亮度， 可通 过以顶点为 0 的 0 ～ 255 范围来表现。在 HSV 颜色空间中， 伴随着亮度 V 的值变小， 用暗色 表现亮度 V。
接着， 参照图 4 所示的流程图， 对在第一实施方式的数码照相机 1 中通过从拍摄到 的图像数据中减轻反光分量来抑制反光的处理 ( 以下， 称为 “反光抑制处理” ) 的顺序进行 说明。通过图 1 所示的控制部 8 控制各部件来执行以下的处理。另外， 在用户操作摄影模 式设定键 11b 设定任一摄影模式之后， 在操作快门键 11a 并指示了摄像的记录开始时， 开始 本流程的处理。
首先， 在步骤 S1 中， 图像处理部 7 从图像记录部 9 中取得由前处理部 4 处理过的 图像数据。另外， 在像素尺寸大的情况下， 由于处理费时间， 故也可以缩小图像记录部 9 所 保存的图像数据， 从而生成缩小图像数据， 并对该缩小图像数据实施以下的处理。
在步骤 S2 中， 图像处理部 7 判断取得出的图像数据是否是伴随着发光部 12 的闪 光所拍摄到的图像数据。这里， 控制部 8 例如可以基于发光部 12 是否照射了闪光来进行判 断， 或者也可以通过图像数据中所附加的摄影信息来判断是否是伴随着闪光的摄像。如果 步骤 S2 的判断为 “是” ， 则进入步骤 S3。在步骤 S3 中， 图像处理部 7 对图像数据实施面部 检测处理。关于面部检测处理， 由于是公知技术， 故省略详细内容。 在步骤 S4 中， 图像处理部 7 判断是否从图像中检测出面部区域。如果在步骤 S4 的判断中为 “是” ， 则在步骤 S5 中， 图像处理部 7 将面部区域的图像数据从 RGB 颜色空间向 HSV 颜色空间进行颜色空间转换。在步骤 S6 中， 图像处理部 7 从 HSV 颜色空间的图像中取 得色调 H， 指定相当于人物肤色的肤色区域。
图 5 是在 HSV 颜色空间中色调 H 分布的圆形区域的示意图。相当于人物肤色的肤 色区域， 大致是色调值 H 分布于图中斜线表示的范围的像素集合。图像处理部 7 从 HSV 颜 色空间的图像中， 将处于该范围内的像素指定为肤色区域。
在步骤 S7 中， 图像处理部 7 从肤色区域中， 将由色饱和度 S 在规定值以下且亮度 V 在规定值以上的像素构成的区域指定为应调整的区域 ( 处理区域 )。处理区域是在肤色 区域中被指定为反光分量的区域。接着， 在步骤 S8 中， 图像处理部 7 计算处理区域中的反 光分量的强度。
这里， 对处理区域的各像素进行判定白度加减和反光分量加减的处理。在白度加 减的判定中， 比较白分量增益表格存储部 5a 所存储的色饱和度增益值、 和成为判定对象的 像素的色饱和度。由于白分量的色饱和度非常低， 故通过比较像素的色饱和度和色饱和度 增益值， 能够计算该像素的白度加减的程度。另外， 在反光分量加减的判定中， 比较反光分 量增益表格存储部 5b 所存储的色饱和度增益值及亮度增益值、 和成为判定对象的像素的 色饱和度及亮度的值。由于反光分量的色饱和度低且亮度高， 故通过比较色饱和度增益值 及亮度增益值、 和像素的色饱和度及亮度的值， 能够计算该像素的反光分量加减。 图像处理 部 7， 针对成为判定对象的各像素， 根据白度加减和反光分量加减来计算作为反光分量的强 度 ( 反光强度 )。
在步骤 S9 中， 图像处理部 7 基于反光分量的强度， 对处理区域的各像素调整色饱
和度 S 及亮度 V。图 6 是图 3 所示的 HSV 颜色空间的部分剖视图。如图 6 所示， 构成步骤 S7 中被指定的处理区域的像素之一即像素 A， 处于色饱和度 S 低且亮度 V 高的位置。因此， 在步骤 S9 中， 对构成处理区域的所有像素， 基于反光分量的强度提高色饱和度 S 且降低亮 度 V， 从而调整为接近肤色。这里， 由于只降低了亮度 V 而变为灰色， 故同时提高色饱和度 S 能够接近本来的肤色。
通过如上调整色饱和度及亮度， 图 6 所示的处理区域中的像素 A， 从图中实线所示 的位置被调整为虚线所示的位置。通过该处理能够减轻肤色中的反光分量、 能接近于本来 肤色的图像。
在步骤 S10 中， 图像处理部 7 将包括减轻了反光分量的处理区域在内的面部区域 的图像数据， 从 HSV 颜色空间向 RGB 颜色空间进行颜色空间转换。
由此， 在第一实施方式所涉及的图 4 的反光抑制处理中， 通过步骤 S5 至 S10 的一 连串处理， 调整了处理区域以使色饱和度 S 变高且亮度 V 变低， 减轻了处理区域中的反光分 量， 其结果抑制了反光。因此， 以下将步骤 S5 至 S10 的一连串处理称为 “第一处理” 。
在这种 S10 的 “第一处理” 结束后， 处理进入步骤 S11。
在步骤 S11 中， 图像处理部 7 将处理过的图像数据记录于图像记录部 9。 另外， 如果步骤 S2 或步骤 S4 的判定为 “否” ， 则进入步骤 S12。在步骤 S12 中， 图像 处理部 7 将拍摄到的图像数据直接记录 ( 覆写 ) 于图像记录部 9。在步骤 S11 或步骤 S12 之后， 图像处理部 7 及控制部 8 结束本流程图的处理。
根据第一实施方式的数码照相机 1， 具有以下效果。
(1) 因为从拍摄到的图像数据中指定人物面部中的反光分量即处理区域， 并调整 该处理区域的色饱和度及亮度， 所以能够减轻图像数据中含有的反光分量， 将人物的面部 图像区域转换为更优图像。
(2) 因为通过面部检测功能从图像数据中检测出面部区域， 从该面部区域中指定 了肤色区域， 所以能够实现处理高速化。
(3) 因为在肤色区域中将色饱和度在处理值以下且亮度在规定值以上的像素指定 为反光分量即处理区域， 所以能有效地判别反光分量的像素。
(4) 因为在拍摄到的图像数据是伴随着闪光所拍摄的情况下， 执行了减轻反光分 量的反光抑制处理， 所以对在容易产生反光分量的条件下拍摄到的图像数据， 能够执行有 效减轻反光分量的反光抑制处理。
(5) 因为计算出处理区域的色饱和度及亮度的强度， 并基于该色饱和度及亮度的 强度来调整处理区域各像素的色饱和度及亮度， 所以能够更准确地调整处理区域各像素中 的色饱和度及亮度。
【第二实施方式】
在第二实施方式中， 执行成为被摄物体的第二处理。
此外， 图 1 的数码照相机 1 也作为第二实施方式所涉及的图像处理装置起作用。 因 此， 关于其电路结构的说明与第一实施方式相同， 在此省略。其中， 第二实施方式的处理信 息存储部 5 不具备白分量增益表格存储部 5a 和反光分量增益表格存储部 5b， 而存储有在后 述图 7 的反光抑制处理中使用的各种信息。
接着， 参照图 7 所示的流程图， 对由第二实施方式的数码照相机 1 执行的反光抑制
处理的顺序进行说明。
通过图 1 所示的控制部 8 控制各部件来执行以下处理。另外， 在用户操作摄影模 式设定键 11b 设定了任一摄影模式之后， 在操作快门键 11a 并指示了摄像的记录开始时， 开 始本流程图的处理。
在步骤 S21 中， 图像处理部 7 从图像记录部 9 中取得由前处理部 4 处理过的图像 数据。此外， 由于在像素尺寸大的情况下处理费时间， 故可以缩小图像记录部 9 所保存的图 像数据， 从而生成缩小图像数据， 并对该缩小图像数据实施以下处理。
在步骤 S22 中， 图像处理部 7 通过对图像数据实施面部检测处理， 试图从由该图像 数据所表现的图像中检测面部区域。关于面部检测处理， 由于是公知技术， 故省略详细内 容。
在步骤 S23 中， 图像处理部 7 判定从图像中是否检测到面部区域。
在从图像中未检测到面部区域的情况下， 在步骤 S23 中判定为 “否” ， 处理进入到 步骤 S33。
在步骤 S33 中， 图像处理部 7 将拍摄到的图像数据直接记录 ( 覆写 ) 于图像记录 部 9。由此， 本流程图的处理结束。
与此相对， 在从图像中检测出面部区域的情况下， 在步骤 S23 中判定为 “是” ， 处理 进入到步骤 S24。
在步骤 S24 中， 图像处理部 7 基于步骤 S22 的面部检测处理的结果， 取得与面部区 域内含有的面部相关的各种信息 ( 以下， 将这些信息总称为 “面部信息” )。
具体而言， 例如作为面部信息取得包围面部区域的框的坐标、 或该面部区域内含 有的被摄物体的眼位置的坐标 ( 以下， 称为 “眼位置坐标” )。
在步骤 S25 中， 图像处理部 7 基于步骤 S24 的处理中所取得的面部信息， 取得与该 面部信息所特定的被摄物体的个人肤色相关的信息 ( 以下， 称为 “肌肤参数” )。
具体而言， 例如图像处理部 7 基于面部信息中的眼位置信息， 将眼周边的规定区 域设定为 “肤色取得区域” 。该 “肤色取得区域” 是被判断为能可靠地取得成为被摄物体的 个人肌肤参数的区域。
此外， 能成为肤色取得区域的区域， 一般为眼的下方、 鼻或面颊等周边、 即该被摄 物体的个人肌肤可靠地存在的区域。因此， 为了计算肤色取得区域， 在此利用眼位置信息。 但是， 为了计算肤色取得区域， 也并不限定于眼位置信息， 只要是能计算出肤色取得区域的 面部信息， 可利用任意信息。
图像处理部 7 将该肤色取得区域的图像数据从 RGB 颜色空间向 HSV 颜色空间进行 颜色空间转换。
而且， 图像处理部 7 从 HSV 颜色空间上的肤色取得区域的图像数据中取得下述 (a) 至 (c) 的信息， 作为肌肤参数。
此外， 在以下 (a) 及 (b) 的信息中， 所谓 “该人物” 表示检测出面部区域的个人、 即 具有肤色取得区域中含有的面部部分的个人。另外， 所谓 “(HSV)” 表示由色调 H、 色饱和度 S 及亮度 V 的各值构成了信息。
(a) 该人物的反光区域的平均参数 (HSV 值 )( 以下， 略记为 “第一参数” )
(b) 该人物的除反光以外的肌肤区域的平均参数 (HSV 值 )( 以下略记为 “第二参数” ) (c) 肤色取得区域中反光区域的占有率
也就是说， 图像处理部 7 将肤色取得区域划分为反光区域和除此之外的肤色区 域。 并且， 图像处理部 7 作为第一参数计算与构成反光区域的各像素相关的、 色调 H、 色饱和 度 S 及亮度 V 的各平均值。另一方面， 图像处理部 7 作为第二参数计算与构成该人物的肤 色区域的各像素相关的、 色调 H、 色饱和度 S 及亮度 V 的各平均值。 另外， 作为反光区域对肤 色取得区域的占有率， 图像处理部 7 计算肤色取得区域中反光区域的占有率 [％ ]。
在步骤 S26 中， 图像处理部 7 基于步骤 S25 的处理中所取得的肌肤参数， 来计算目 标值。
这里， 所谓 “目标值” 是指在将处理区域的各像素中的、 色调 H、 色饱和度 S 及亮度 V 的值 ( 以下， 将这些值总称为 “HSV 值” ) 调整 ( 修正 ) 为接近被摄物体的个人肤色的情况 下所利用的目标值。该目标值构成为 HSV 值。
例如， 目标值是基于步骤 S25 的处理中所取得的第一参数和第二参数的差分， 根 据反光区域的占有率而计算出的。
以上说明的各种信息、 即步骤 S24 的处理中所取得的面部信息、 步骤 S25 的处理中 运算出的肌肤参数 ( 这里， 是指第一参数、 第二参数及反光区域对肌肤的占有率 )、 以及步 骤 S26 的处理中计算出的目标值， 被存储于处理信息存储部 5。
接着， 在步骤 S27 中， 图像处理部 7 将步骤 S22 的处理中所取得的面部区域的图像 数据， 从 RGB 颜色空间向 HSV 颜色空间进行颜色空间转换。
在步骤 S28 中， 图像处理部 7 从 HSV 颜色空间的图像中取得色调 H， 并基于该色调 H 指定肤色区域。
在步骤 S29 中， 图像处理部 7 从步骤 S28 中图像处理部 7 所指定的肤色区域中指 定处理区域。
所谓处理区域如在第一实施方式所涉及的步骤 S7 的说明所述那样， 是指在肤色 区域中被特定为反光分量的区域。
因此， 处理区域的指定方法虽然只要是可特定反光分量的方法就足够了， 但是在 第二实施方式中， 采用与第一实施方式同样的方法、 即由色饱和度 S 在规定值以下且亮度 V 在规定值以上的像素构成的区域被指定为处理区域。
在步骤 S30 中， 图像处理部 7 基于在步骤 S26 的处理中计算出的目标值， 来修正步 骤 S29 的处理中所指定的处理区域的各 HSV 值。
由此， 能够减轻处理区域的反光分量、 接近在摄像图像中作为被摄物体而含有的 个人肤色。
在步骤 S31 中， 图像处理部 7 将包括减轻了反光分量的处理区域在内的面部区域 的图像数据， 从 HSV 颜色空间向 RGB 颜色空间进行颜色空间转换。
由此， 在第二实施方式所涉及的图 7 的反光抑制处理中， 通过步骤 S26 至 S31 的一 连串的处理， 考虑成为被摄物体的个人的肤色， 来调整处理区域的 HSV 值的各值， 减轻了处 理区域中的反光分量。因此， 以下将步骤 S26 至 S31 的一连串的处理称为 “第二处理” 。
这样的第二处理结束后， 处理进入到步骤 S32。
在步骤 S32 中， 图像处理部 7 将处理过的图像数据记录于图像记录部 9。由此， 本
流程图的处理结束。
接着， 参照图 8 及图 9， 对图 7 的步骤 S26 的处理的具体例、 即目标值的计算处理的 具体例进行说明。
如上述， 在之前的步骤 S25 中， 作为肤色取得区域， 计算面部区域中能准确确保被 摄物体的个人肤色的区域。 进而， 该肤色取得区域被划分为反光区域和肤色区域， 从反光区 域中计算出第一参数， 并且从肤色区域中计算出第二参数。
图 8 表示这样的肤色取得区域的各像素所绘制的 HSV 空间。详细而言， 图 8(a) 表 示 HSV 空间的部分顶视图， 图 8(b) 表示 HSV 空间的部分剖视图。
在图 8(a) 中， × 标记表示肤色取得区域中构成反光区域的各像素。作为第一参 数 51， 计算出与这些各像素相关的、 色调 H、 色饱和度 S 及亮度 V 的平均值。
在图 8(a) 中， 白色圆圈标记 ( 除了附带符号 52 的圆圈标记以外 ) 表示肤色取得 区域中构成肤色区域的各像素。作为第二参数 52， 计算出与这些各像素相关的、 色调 H、 色 饱和度 S 及亮度 V 的平均值。
如图 8(a) 及图 8(b) 所示， 目标值 53 表示为连接第一参数 51 和第二参数 52 的线 上的点 ( 该图中黑色圆圈标记 ) 的坐标值、 即该点中的色调 H、 色饱和度 S 及亮度 V 的各值。 例如以如下的方式计算这样的目标值 53。
首先， 图像处理部 7 计算第二参数 52 的各 HSV 值与第一参数 51 的各 HSV 值之间 的各差分。
接着， 在计算出的各差分的绝对值大的情况下， 图像处理部 7 需要将目标值 53 设 定在第一参数 51 附近。为了进行这样的设定， 需要表示目标值 53 接近第一参数 51 到何种 程度的指标。在这样的指标中， 将使用百分比值显示以第一参数 51 为起点 (0％ )、 第二参 数 52 为终点 (100％ )、 连接第一参数 51 和第二参数 52 的线上的点的位置的值， 称为 “修正 比例” 。也就是说， 所谓修正比例是表示目标值 53 接近第一参数 51 到何种程度的指标， 且 百分比值越小则越是接近第一参数 51 的值。
图 9 是用于说明修正比例的 HSV 空间的部分顶视图的例子。详细而言， 图 9(a) 表 示修正比例为 15％情况下的目标值 53。另一方面， 图 9(b) 是表示修正比例为 50％情况下 的目标值 53。比较图 9(a) 和图 9(b) 可知， 与图 9(b) 的修正值为 50％情况下的目标值 53 相比， 图 9(a) 的修正比例为 15％情况下的目标值 53 更接近第一参数 51。
这里， 图像处理部 7 基于是否是伴随着发光部 12 的闪光进行的拍摄、 及第二参数 与第一参数之间的差分等的诸多条件， 来设定修正比例。
再有， 图像处理部 7 根据第一参数、 第二参数及所设定的修正比例， 来计算目标值 53。
以上， 参照图 8 及图 9， 对图 7 的步骤 S26 的处理的具体例、 即目标值的计算处理的 具体例进行了说明。
接着， 通过图 7 的步骤 S30 的处理， 来修正处理对象区域的各像素的 HSV 值， 使其 接近这样的目标值。
以下， 根据第二实施方式的数码照相机 1， 除了具有与第一实施方式相同的效果 之外， 还执行考虑了成为被摄物体的个人的肤色之后的第二处理 ( 参照图 7 的步骤 S26 至 S31)。 也就是说， 作为目标值设定了基于个人的肤色的颜色， 对处理对象区域的各像素进行
适当修正， 以使其接近该目标值。由此， 因为基于被摄物体的肤色能够减轻反光分量， 所以 能够自然地抑制被摄物体的反光。
【第三实施方式】
在第三实施方式所涉及的反光抑制处理中， 选择性执行第一实施方式所采用的 “第一处理” ( 参照图 4 的步骤 S5 至 S10)、 和第二实施方式所采用的 “第二处理” ( 参照图 7 的步骤 S26 至 S31)。
此外， 图 1 的数码照相机 1 作为第三实施方式所涉及的图像处理装置起作用。因 此， 关于该电路结构的说明与第一实施方式相同， 所以在此省略说明。
因此， 以下参照图 10 所示的流程图， 对由第三实施方式的数码照相机 1 执行的反 光抑制处理的顺序进行说明。
通过图 1 所示的控制部 8 执行各部件来执行以下处理。另外， 本流程图的处理是 在用户操作摄影模式设定键 11b 设定任一摄影模式后开始的。或者， 在进行半按下快门键 11a 的操作后开始的。
在步骤 S41 中， 控制部 8 执行摄像及预览显示。
控制部 8 在预览摄像时依次读出被暂时存储于处理信息存储部 5 等中的各帧图像 的图像数据后， 使显示部 10 依次显示各自对应的帧图像。这样的一连串处理在此称为 “预 览显示” 。以下将通过这样的预览显示而显示在显示部 10 上的帧图像称为 “预览图像” 。 此外， 摄像或预览显示当然也在第一实施方式或第二实施方式的数码照相机 1 中 执行。 也就是说， 由于图 4 或图 7 所示的流程图如上所述， 表示在按下 ( 全按下 ) 快门键 11a 并指示进行摄像图像的记录之后的处理， 因此只是省略了进行摄像或预览显示的步骤的图 示。
在步骤 S42 中， 图像处理部 7 通过对预览图像的图像数据实施面部检测处理， 试图 从该预览图像中检测面部区域。由于关于面部检测处理是公知技术， 故省略详细的内容。
在步骤 S43 中， 控制部 8 判定是否按下 ( 全按下 ) 了快门键 11a。
在用户未全按下快门键 11a 的情况下， 在步骤 S43 中判定为 “否” ， 处理返回至步骤 S41。也就是说， 直至用户全按下快门键 11a 的期间， 反复进行步骤 S41 至 S43 的循环处理， 在显示部 10 中继续显示预览图像， 此期间反复执行对预览图像的面部检测处理。
然后， 在用户全按下快门键 11a 时， 步骤 S43 中被判定为 “是” ， 处理进入到步骤 S45， 指示进行摄像图像的记录。以后， 由前处理部 4 处理过的帧图像的图像数据被记录于 图像记录部 9。
在步骤 S44 中， 图像处理部 7 从图像记录部 9 中取得由前处理部 4 处理过的帧图 像的图像数据。此外， 由于在图像尺寸较大的情况下处理费时间， 故也可缩小图像记录部 9 中所保存的图像数据， 从而生成缩小图像数据， 并对该缩小图像数据实施以下处理。
在步骤 S45 中， 图像处理部 7 通过对步骤 S44 的处理中所取得的帧图像的图像数 据实施面部检测处理， 试图从该帧图像中检测面部区域。关于面部检测处理由于是公知技 术， 故省略详细内容。
在步骤 S46 中， 图像处理部 7 判定从帧图像中是否检测出面部区域。
在从帧图像中未检测出面部区域的情况下， 在步骤 S46 中判定为 “否” ， 处理进入 到步骤 S54。
在步骤 S54 中， 图像处理部 7 将拍摄到的图像数据直接记录 ( 覆写 ) 于图像记录 部 9。由此， 本流程图的处理结束。
与此相对， 从帧图像中检测出面部区域的情况下， 在步骤 S46 中判定为 “是” ， 处理 进入到步骤 S47。
在步骤 S47 中， 图像处理部 47 基于步骤 S45 的面部检测处理的结果取得面部信 息。
具体而言， 例如作为面部信息， 取得包围面部区域的框的坐标、 或该面部区域内含 有的被摄物体的眼位置信息等。
在步骤 S48 中， 图像处理部 7 基于步骤 S47 的处理中所取得的面部信息， 计算肌肤 参数等。
具体而言， 例如图像处理部 7 与第二实施方式所涉及的图 7 的步骤 S25 的处理同 样地， 基于眼位置信息， 计算能准确地取得面部区域中被摄物体的个人的肌肤信息的区域， 作为肌肤取得区域。
图像处理部 7 将该肤色确保区域的图像数据从 RGB 颜色空间向 HSV 颜色空间进行 颜色空间转换。
并且， 作为肌肤参数等， 图像处理部 7 从 HSV 颜色空间上的肤色确保区域的图像数 据中计算如下的 (a) 至 (f) 信息。
(a) 第一参数
(b) 第二参数
(c) 肤色取得区域中反光区域的占有率
(d) 第二参数的可靠度
(e) 相对于整个画面的该人物的面部面积
此外， (a) 至 (c) 的信息由于在第二实施方式所涉及的图 7 的步骤 S25 的处理中也 同样地计算过， 故在此省略其说明。因此， 以下仅对第二实施方式所涉及的图 7 的步骤 S25 的处理中未未计算过的 (d) 及 (e) 的信息进行说明。
也就是说， 图像处理部 7 在计算出第二参数之后， 用百分比显示计算其第二参数 的可靠度。此时的计算方法并不特别限定， 例如一般能够采用如下的方法等， 即： 比较被视 为肤色的颜色的平均的 HSV 值、 和作为被摄物体而含有的个人的第二参数的 HSV 值。
另外， 作为相对于整个画面的该人物的面部面积， 图像处理部 7 例如计算帧图像 ( 整个画面 ) 中面部区域的空间占有率 ( 百分比显示 )。
进而， 在第三实施方式中， 作为步骤 S48 的处理的一部分图像处理部 7 执行如下处 理。
也就是说， 在之前的步骤 S47 的处理中， 作为面部信息之一取得包围面部区域的 框的坐标。
因此， 图像处理部 7 基于包围这样的面部区域的框的坐标， 作为背景区域计算帧 图像中包围面部区域的框以外的区域。
图像处理部 7 将该背景区域的图像数据从 RGB 颜色空间向 HSV 颜色空间进行颜色 空间转换。
并且， 图像处理部 7 作为肌肤参数等还从 HSV 颜色空间上的背景区域的图像数据中计算如下的 (f) 及 (g) 的信息。
此外， 在以下的 (f) 及 (g) 的信息中， 所谓 “背景” 表示背景区域含有的像。另外， 所谓 “(HSV)” 表示由色调 H、 色饱和度 S 及亮度 V 的各值构成信息。
(f) 背景区域的反光区域的平均参数 (HSV)( 以下， 略记为 “第三参数” )
(g) 相对于背景肤色的背景部反光％ ( 以下， 略记为 “背景部反光％” )
也就是说， 图像处理部 7 将背景区域划分为反光区域 ( 具有与反光相同的 HSV 特 性的部分 )、 和除此之外的肤色区域。并且， 图像处理部 7 作为第三参数计算与构成反光区 域的各像素相关的、 色调 H、 色饱和度 S 及亮度 V 的各平均值。另外， 图像处理部 7 计算背景 区域中反光区域的占有率 [％ ]。
在步骤 S49 中， 作为修正处理的方法， 图像处理部 7 选择 “第一处理” ( 参照图 4 的 步骤 S5 至 S10) 的方法、 和 “第二处理” ( 参照图 7 的步骤 S26 至 S31) 的方法中的其中一 个。所述修正处理基于上述步骤 S48 的处理中所取得的肌肤参数等来抑制反光。
以下， 将这样的步骤 S49 的处理称为 “反光抑制方式选择处理” 。关于反光抑制方 式选择处理参照图 11 在后面进行叙述。
在步骤 S50 中， 图像处理部 7 判定步骤 S49 的反光抑制方式选择处理中所选择的 方法是否是执行第二处理的方法。
在步骤 S49 的反光抑制方式选择处理中， 选择了执行 “第一处理” 的方法的情况 下， 在步骤 S50 中判定为 “否” ， 处理进入到步骤 S51。
在步骤 S51 中， 图像处理部 7 执行 “第一处理” ( 参照图 4 的步骤 S5 至 S10)。
与此相对， 在步骤 S49 的反光抑制方式选择处理中， 选择执行 “第二处理” 的方法 的情况下， 在步骤 S50 中判定为 “是” ， 处理进入到步骤 S52。
在步骤 S52 中， 图像处理部 7 执行 “第二处理” ( 参照图 7 的步骤 S26 至 S31)。
这样， 在对步骤 S33 的处理中所取得的图像数据实施步骤 S51 的 “第一处理” 、 或者 执行步骤 S52 的 “第二处理” 后， 处理进入到步骤 S53。
在步骤 S53 中， 图像处理部 7 将步骤 S51 或 S52 中处理过的图像数据记录于图像 记录部 9。由此， 本流程图的处理结束。
接着， 参照图 11 所示的流程图， 对图 10 的步骤 S49 的反光抑制方式选择处理的顺 序进行说明。
在步骤 S61 中， 图像处理部 7 判定在图 10 的步骤 S45 的面部检测处理中检测出的 面部的人数的可靠性 ( 以下， 简单称为 “可靠性” )。
可靠性的判定方法没有特别限定， 例如在本实施方式中采用了如下方法。
也就是说， 在图 10 的步骤 S44 的处理中所取得的帧图像的图像数据是伴随着发光 部 12 的闪光所拍摄到的图像数据的情况下， 判定为可靠性为 “1” 。
另外， 在步骤 S44 的处理中所取得的帧图像的图像数据是不伴随着发光部 12 的 闪光所拍摄到的图像数据、 且步骤 S45 的面部检测处理中从该帧图像检测出面部的人数与 步骤 S42 的面部检测处理中从预览图像检测出面部的人数一致的情况下， 判定为可靠性为 “1” 。
另一方面， 在步骤 S44 的处理中所取得的帧图像的图像数据是不伴随着发光部 12 的闪光所拍摄到的图像数据、 且步骤 S45 的面部检测处理中从该帧图像检测出面部的人数与步骤 S42 的面部检测处理中从预览图像检测出面部的人数不一致的情况下， 判定为可靠 性为 “0” 。
在步骤 S62 中， 图像处理部 7 设定削弱反光抑制处理效果的色饱和度 S 的边界值 ( 以下， 适当称为 “边界值 S” )。
也就是说， 除了第三实施方式以外也包括第一实施方式或第二实施方式， 在反光 抑制处理中预先设定边界值 S， 并且以下将这样的 S 值称为 “初始边界值” 。例如， 初始设 定值一般设定成为荧光灯等白色区域和除此之外的区域的边界的色饱和度 S 的值。即 ： 在 使用了初始边界值的反光抑制处理中， 仅对荧光灯等的白色区域降低反光抑制处理效果程 度。
但是， 肤色确保取得区域中的第一参数的色饱和度 S 的值 ( 以下， 称为 “肌肤反光 平均 S 值” ) 却超过了第三参数的色饱和度 S 的值 ( 以下， 称为 “背景反光平均 S 值” )。
这样， 在肌肤反光平均 S 值超过了背景反光平均 S 值的状态下， 仅对肤色确保区域 中作为反光区域的区域实施反光抑制处理即可。
因此， 在这种状态下， 图像处理部 7 作为边界值 S 设定肌肤反光平均 S 值和背景反 光平均 S 值之间的值。由此， 也可对背景区域降低反光抑制处理效果的程度。
在步骤 S63 中， 图像处理部 7 判定在步骤 S61 的处理中判定出的可靠性是否为“1” 。 在可靠性为 “0” 的情况下， 在步骤 S63 中判定为 “否” ， 处理进入到步骤 S69。在步 骤 S69 中， 图像处理部 7 作为反光抑制方式选择执行 “第一处理” ( 参照图 4 的步骤 S5 至 S10) 的方法。
与此相对， 在可靠性为 “1” 的情况下， 在该阶段中选定反光抑制方式仍不充分， 故 在步骤 S63 中判定为 “是” ， 处理进入到步骤 S64。
在步骤 S64 中， 图像处理部 7 判定被摄物体是否为 1 人。
对图 10 的步骤 S44 的处理中所取得的帧图像的数据实施了步骤 S45 的面部检测 处理， 结果检测出多个人的面部的情况下、 即被摄物体为多人的情况下， 在步骤 S64 中判定 为 “否” ， 处理进入到步骤 S69。 在处理 S69 中， 图像处理部 7 作为反光抑制方式选择执行 “第 一处理” 的方式。
与此相对， 对步骤 S44 的处理中多取得的帧图像的图像数据实施了步骤 S45 的面 部检测处理， 结果检测出一人的面部的情况下、 即被摄物体为 1 人的情况下， 在该阶段选定 反光抑制方式仍不充分， 故在步骤 S64 中判定为 “是” ， 处理进入到步骤 S65。
此外， 由于第三实施方式的 “第二处理” 以仅考虑 1 人被摄物体的个人肤色为前 提， 故设置了步骤 S64 的处理。也就是说， 在采用了可考虑多人被摄物体的各自的个人肤色 的 “第二处理” 的情况下， 可省略步骤 S64 的处理。
在步骤 S65 中， 图像处理部 7 判定第二参数的可靠度 ( 图 10 的步骤 S48 的处理中 所取得的 (d) 信息 ) 是否在一定值以下。
在第二参数的可靠度在一定值以下的情况下， 在步骤 S65 中判定为 “是” ， 处理进 入到步骤 S69。在步骤 S69 中， 图像处理部 7 作为反光抑制方式选择执行 “第一处理” 的方 式。
与此相对， 在第二参数的可靠度超过了一定值的情况下， 在该阶段选定反光抑制
方式仍不充分， 故在步骤 S65 中判定为 “否” ， 处理进入到步骤 S66。
在步骤 S66 中， 图像处理部 7 判定相对于整个画面的该人物的面部面积 ( 图 10 的 步骤 S48 的处理中所取得的 (e) 信息 ) 是否在一定值以上。
在面部面积在一定值以上的情况下， 在步骤 S66 中判定为 “是” ， 处理进入到步骤 S70。在步骤 S70 中， 图像处理部 7 作为反光抑制方式选择执行 “第二处理” ( 参照图 7 的步 骤 S26 至 S31) 的方式。
与此相对， 在面部面积低于一定值的情况下， 在该阶段选定反光抑制方式仍不充 分， 故在步骤 S66 中判定为 “否” ， 处理进入到步骤 S67。
在步骤 S67 中， 图像处理部 7 判定第二参数的色饱和度 S 的值 ( 在图 10 的步骤 S48 的处理中所取得的 (b) 信息， 以下称为 “第二参数的 S 值” ) 是否在一定范围内。
在第二参数的 S 值是一定范围内的值的情况下， 在步骤 S67 中判定为 “是” ， 处理进 入到步骤 S70 中。在步骤 S70 中， 图像处理部 7 作为反光抑制方式选择执行 “第二处理” 的 方式。
与此相对， 在第二参数的 S 值是偏离一定范围的值的情况下， 在该阶段选定反光 抑制方式仍不充分， 故在步骤 S67 中判定为 “否” ， 处理进入到步骤 S68。 在步骤 S68 中， 图像处理部 7 判定背景区域中反光区域的占有率 ( 在图 10 的步骤 S48 的处理中所取得的 (g) 信息 ) 是否在一定值以下。
在背景部反光％在一定值以下的情况下， 在步骤 S68 中判定为 “是” ， 处理进入到 步骤 S70。在步骤 S70 中， 图像处理部 7 作为反光抑制方式选择执行 “第二处理” 的方式。
与此相对， 在背景部反光％超过一定值的情况下， 在步骤 S68 中判定为 “否” ， 处理 进入到步骤 S69。在步骤 S69 中， 图像处理部 7 作为反光抑制方式选择执行 “第一处理” 的 方式。
这样， 在步骤 S69 或 S70 的处理中选择反光抑制方式后， 反光抑制方式选择处理结 束。
也就是说， 图 10 的步骤 S49 的处理结束， 处理进入到步骤 S50。
在图 11 的步骤 S69 的处理中选择了执行 “第一处理” 的方式的情况下， 在步骤 S50 中判定为 “否” ， 在步骤 S51 的处理中执行 “第一处理” 。
与此相对， 在图 11 的步骤 S70 的处理中选择了执行 “第二处理” 的方式的情况下， 在步骤 S50 中判定为 “是” ， 在步骤 S52 的处理中执行 “第二处理” 。
根据第三实施方式的数码照相机 1， 除了与第一实施方式同样具有上述 (1) 至 (5) 的效果、 且与第二实施方式同样具有上述 (6) 至 (8) 的效果之外， 还具有如下效果。
(9) 通过执行第二实施方式所涉及的 “第二处理” ( 参照图 7 的步骤 S26 至 S31)， 从而可达到上述 (6) 的效果。也就是说， 在第一实施方式所涉及的 “第一处理” ( 参照图 4 的步骤 S5 至 S10) 中产生红色程度增加的问题。所谓上述 (6) 的效果是指能解决该问题的 效果。
但是， 在没有适当得到与被摄物体的个人的肌肤相关的信息的情况下等， 也可能 存在即使执行 “第二处理” 不但无法解决该问题还会得到较差的处理结果的情况。或者， 也 可能存在所需的信息不足、 不能自行执行 “第二处理” 的情况。
在这种情况下， 由于第三实施方式中能够代替 “第二处理” 而执行 “第一处理” ， 故
可得到一定值以上的反光抑制效果。
以上， 作为本发明的实施方式虽然对第一实施方式及第二实施方式进行了说明， 但是本发明并不限定于上述实施方式。 也就是说， 以下所示的、 在能达成本发明目的的范围 内进行的变形、 改良等也包括在本发明中。
(1) 在设定人物摄影模式后， 控制部 8 也可以执行从拍摄到的图像数据中减轻反 光分量的反光抑制处理。 在人物摄影模式中， 另外也存在闪光自动发光的情况， 在拍摄到的 人物的面部产生反光分量的概率较高。 因此， 在设定了人物摄影模式时， 与闪光灯发光的有 无无关， 通过对拍摄到的图像数据执行减轻反光分量的反光抑制处理， 能够得到减轻了反 光分量的、 更优图像。
(2) 也可从面部检测处理检测出的面部区域中， 提取相当于容易发生反光分量的 人物的额头、 脸颊、 鼻的部分， 并从该部分中指定处理区域。 由此， 通过提取容易发生反光分 量的部分， 可更准确地指定处理区域。
(3) 用户也可一边观看显示部 10 所显示的图像， 一边经由未图示的操作输入部件 指定肤色区域或处理区域。此时， 关于肤色区域， 通过在显示部 10 中彩色显示图 2 所示的 HSV 颜色空间的示意图， 从而能够使用户在视觉上辨别色调 H 的分布。
(4) 关于上述的图像处理部 7 的功能的一部分或全部， 也可按照本发明所涉及的 图像处理程序使控制部 8 动作来实现。
(5) 在上述的实施方式中， 虽然示例了以摄影镜头 2 及摄像部 3 作为本发明的图像 取得部件的例子， 但是也可构成为将由其他数码照相机等拍摄到的图像读取到数码照相机 1 中。此时， 也可将以自由拆卸的方式装载记录有图像数据的记录介质的卡槽部、 或与用于 以有线或无线的方式读取图像数据的电缆或传送部之间的连接端子， 作为图像取得部件起 作用。
(6) 另外， 在上述的实施方式中， 虽然从肤色区域中检测处理区域， 但也可是其他 的颜色区域。此时， 指定期望的色调值 H 的范围， 并在所指定的色调值 H 的范围内， 指定由 色饱和度 S 在规定值以下且亮度 V 在规定值以上的像素构成的区域作为处理区域。
(7) 此外， 在第二实施方式中， 虽然图像处理部 7 根据肤色取得区域的第一参数和 第二参数设定了目标值， 但是也可仅考虑第二参数来设定目标值。
(8) 而且， 本发明并不特别限定于 HSV 空间， 也可以广泛应用于其他空间， 例如 YUV 空间或 RGB 空间等各种色调空间。
(9) 本发明并不限定于数码照相机， 例如能够应用于具备带有照相机的移动电话 等静止图像摄影功能的电子设备整个领域。另外， 本发明也能应用于具备图像颜色处理功 能的任意图像处理装置。 进而， 在本发明所涉及的图像处理装置中， 也包括可基于规定程序 动作来实现本实施方式的图像处理部 7 的功能的计算机装置。