电子摄像机和图像处理方法 【技术领域】
本发明涉及追踪图像中的物体， 将追踪结果提示在显示器上的电子摄像机及其方法。 背景技术 近年来， 作为 AF( 自动对焦 ； Auto-Focus)·AE( 自动曝光 ； Auto Exposure)·逆光 修正功能的对位手段， 在电子摄像机中搭载有脸检测功能。 通过使用脸检测功能， 能够使焦 点自动地合焦在被摄体上， 因此， 作为用户的摄影辅助而成为有效的手段。
作为检测脸的图像处理装置和方法， 已提出了下述方法， 学习脸和除脸以外的部 分 ( 以下称作非脸 ) 的图案， 使用已输入了该学习到的参数的识别器来识别脸与非脸 ( 例 如， 参照专利文献 1)。
图 1 是示出专利文献 1 的图像处理装置的图。图 2 是示出部分图像的切出的一例 的图。部分图像切出部 900 从输入的图像 1001 中切出部分图像 1000。通过使多个尺寸的 窗以图像的左上为起点， 一边向右侧或下侧挪动适当的象素 ( 例如 1 个象素 ) 一边依次进
行扫描， 直到图像的右下为止， 来切出部分图像 1000( 图 2)。再有， 所述 “切出” 是指仅读取 对应部分的图像数据。
特征量评价部 1(901) 由多个识别器的组合构成。识别器在利用使用 boosting 方 法学习到的参数所指定的位置， 根据后述的矩形特征 ( 以下称作邻接差分滤波器 ) 计算特 征量。 然后， 若上述识别器的输出值的加权线性和低于基于学习计算出的阈值， 则特征量评 价部 1(901) 识别为非脸， 结束上述部分图像的识别处理。另一方面， 若在阈值以上， 就识别 为脸， 处理向下一个特征量评价部 2(902) 转移。特征量评价部 2(902) 使用与在特征量评 价部 1(901) 中使用的学习参数不同的参数进行评价。这样， 使用多个特征量评价部计算评 价值， 根据计算出的评价值的值辨别脸与非脸。
图 3(a)、 (b)、 (c)、 (d) 示出了邻接差分滤波器， 图 3(e) 是对图像适用了邻接差分 滤波器 (b) 时的例子。邻接差分滤波器用邻接的白色矩形和黑色矩形表示， 输出白色矩形 内的象素平均值与黑色矩形内的象素平均值的差。脸器官的特征是， 根据从邻接差分滤波 器输出的象素平均值的差较大的情况而被确定， 这意味着象眼睛和嘴这样地在邻接间区域 的象素值的差较大的区域中输出高的特征量。例如， 图 3(e) 根据位于额位置上的黑色矩形 的象素的总和与位于眉位置上的白色矩形的象素的总和之差计算特征量。由于该特征量 是邻接的区域间的差， 因此， 在图像内的局部特征 ( 例如线成分 ) 上强烈反应， 在眼睛、 眉、 嘴等脸器官上输出特征的值。再有， 邻接差分滤波器一般称作 Haar-like 特征 (Haar-like feature)。
但是， 仅在脸检测中， 若不是看得见脸 ( 眼睛、 鼻子、 嘴 ) 的范围内就不能检测， 并 且不能追踪宠物等的除脸以外的物体。因此， 有下述方法， 用户预先再现登记物体的信息， 通过追踪该物体， 即使是除脸以外的物体， 也自动地对焦。
作为以往使用的物体追踪方法， 有仅对脸检测结果位置的附近区域进行再次脸检测的脸追踪方法、 使用基于相关运算的前一帧附近搜索的模板匹配、 以高速化为目的的基 于积极搜索的方法、 使用基于概率分布的统计信息加入动态预测进行搜索的基于粒子过滤 器 (particle filter) 或缩聚 (Condensation) 的方法。
这些都是预先使用某些方法登记想进行追踪的物体的初始特征量 ( 颜色或亮度 的色直方图或者模板图像本身、 形状·轮廓信息等 )。通过使用该登记特征量， 在图像中搜 索与登记特征量类似的地方来进行物体追踪。 在这些方法中， 预先制成初始特征量， 取该特 征量与根据图像的各位置所提取的特征量之间的匹配。
但是， 利用一般的影片进行摄影的对象少数情况下能长时间看见脸等， 多数情况 下都是图像上的样子变化很大。 在以往的方法中存在对于图像上样子变化大的这样的对象 马上就会丢失目标的问题。
为了解决该问题， 例如在专利文献 2 中使用了逐次更新模板的方法。根据该方法， 即使在追踪对象的样子变化的情况下， 也按照该变化更新模板。 因此， 能追踪样子变化的物 体。
专利文献 1 ： 美国专利申请公开第 2002/0102024 号公报
专利文献 2 ： 日本特开 2002-157599 号公报 发明所要解决的问题
但是， 在专利文献 2 的方法中， 按照每个帧更新模板， 但并不能说总是能够使用仅 包含对象物体的区域来更新模板。 存在由于在进行更新的区域中混入非追踪对象区域而使 之后的追踪失败的问题。
使用图 5 具体地说明。例如， 假设将图 5(a) 的正确区域定为 200。这时， 在下一 帧的图 5(b) 中， 由于帽子的颜色的边界类似， 因此在 201 的位置上匹配。在该位置中， 由于 201 的左侧包含背景， 因此， 在下一帧以后的追踪中， 也加入了背景的特征， 对头部追踪给予 坏影响。但是， 若能够与 202 匹配， 就能够根据头部全体而得到特征， 能够在下一帧以后也 稳定地追踪头部。
发明内容 本发明鉴于上述现有问题， 通过使用能稳定地检测对象物的位置的特征决定更新 区域， 来消除存在对象物的区域的追踪错误。 此外， 通过在追踪结果从正确位置的偏离变大 的情况下修正成正确的位置， 来实现稳定的追踪处理。
用于解决问题的手段
为了解决上述问题， 本发明的电子摄像机具有在连续摄影的图像的各帧内确定成 为跟踪对象的对象物所映入的对象区域并进行显示的功能， 具有 ： 追踪处理部， 使用定量地 表示上述对象物的特征的预先登记的第一特征量， 在帧内的预先设定的范围内进行搜索， 对作为上述搜索结果所得到的区域内的图像， 计算表示与上述对象物的图像之间的一致度 的第一评价值， 根据计算出的上述第一评价值， 确定被推定为存在上述对象物的图像的目 标区域 ； 更新区域计算部， 使用与上述第一特征量不同的、 定量地表示上述对象物的特征的 第二特征量， 在上述帧内的预先设定的范围内进行搜索， 对作为上述搜索结果所得到的区 域内的图像， 计算表示与上述对象物的图像之间的一致度的第二评价值， 根据计算出的上 述第二评价值， 在上述帧内确定用于更新上述第一特征量的更新区域 ； 更新判断部， 通过调
查在上述追踪处理部中计算出的上述第一评价值和在上述更新区域计算部中计算出的上 述第二评价值中的至少一个是否满足预先设定的条件， 来判断是否更新上述第一特征量 ； 登记特征量更新部， 在由上述更新判断部判断为更新上述第一特征量的情况下， 用在上述 更新区域内提取的新的第一特征量更新上述第一特征量 ； 以及追踪结果描绘部， 在由上述 更新判断部判断为不更新上述第一特征量的情况下， 将在上述追踪处理部中确定的上述目 标区域确定为上述对象区域， 并描绘有关上述目标区域的信息， 在由上述更新判断部判断 为更新上述第一特征量的情况下， 将在上述更新区域计算部中确定的上述更新区域确定为 上述对象区域， 并描绘有关上述更新区域的信息， 上述追踪处理部在预先登记的上述第一 特征量被更新的情况下， 使用更新后的第一特征量确定新的帧内的新目标区域。
这样， 在电子摄像机中， 在跟踪物体时， 能利用追踪物体的特征以外的其他特征或 位置进行物体的定位。 然后， 能进行是时常进行更新还是在一定条件下进行更新的判断， 具 有减少了使用错误地方的更新的效果。
此外， 也可以是， 上述追踪处理部使用对象物的颜色信息作为上述第一特征量， 来 确定被推定为存在上述对象物的图像的目标区域， 上述更新区域计算部使用对象物的形状 信息作为上述第二特征量， 来确定上述更新区域。 这样， 即使是对象物体的样子产生变化的情况下也能进行稳定的跟踪。
另外， 也可以是， 上述更新判断部在上述更新区域计算部中计算出的上述第二评 价值大于在上述追踪处理部中计算出的上述第一评价值时， 或者， 在上述更新区域计算部 中计算出的上述第二评价值大于预先设定的第一阈值时， 判断为更新上述第一特征量。
这样， 由于在更新区域探测结果的评价值超过追踪结果的评价值时， 或者在更新 区域探测结果大于第一阈值的情况下， 更新第一特征量， 因此， 不需要每次都进行更新， 能 够削减处理量。
此外， 也可以是， 上述对象物的图像的每个象素的平均彩度越高， 上述更新判断部 对上述第一阈值设定越大的值， 上述对象的平均彩度越低， 上述更新判断部对上述第一阈 值设定越小的值， 上述更新判断部在上述更新区域计算部中计算出的上述第二评价值大于 在上述追踪处理部中计算出的上述第一评价值时， 或者， 在上述更新区域计算部中计算出 的上述第二评价值大于预先设定的第一阈值时， 判断为更新上述第一特征量， 上述追踪处 理部使用对象物的颜色信息作为上述第一特征量， 来确定被推定为存在上述对象物的图像 的目标区域， 上述更新区域计算部使用对象物的形状信息作为上述第二特征量， 来确定上 述更新区域。
这样， 追踪的容易度根据追踪对象物的彩度值而改变。即， 彩度高是指颜色鲜明， 表示更正确地进行基于第一特征量的追踪。 因此， 通过在彩度高时较大地设定第一阈值， 在 彩度低时较小地设定第一阈值， 能够决定是否应该频繁地更新第一特征量。 从而， 能根据对 象物灵活地设定阈值， 能够提高追踪精度。
此外， 也可以是， 上述更新判断部还在上述追踪处理部中确定的上述目标区域与 在上述更新区域计算部中确定的上述更新区域之间的距离成为预先设定的第二阈值以上 时， 判断为进行更新。
这样， 能够在追踪处理部的追踪处理结果和更新区域计算部的更新区域探测结果 的位置有很大偏移的情况下， 更新第一特征量， 因此， 即使在追踪失败了的情况下， 也能使
用更新后的第一特征量恢复追踪处理， 追踪性能稳定。
此外， 也可以是， 上述电子摄像机还具有判断是否不能继续上述对象物的追踪的 结束判断部， 上述结束判断部在上述第一评价值和上述第二评价值双方都小于预先设定的 第三阈值时， 判断为不能继续上述对象的追踪。
这样， 能够在对象物的追踪成为不能继续的情况下自动地结束追踪处理， 因此， 能 够不浪费用户的时间地终止处理。
此外， 也可以是， 上述追踪结果描绘部在判断为不能继续上述对象的追踪时， 结束 目标区域和更新区域的描绘。
这样， 由于不显示多余的跟踪处理结果， 因此， 不使用户感到不适。
另外， 也可以是， 上述追踪结果描绘部在判断为不能继续上述对象的追踪时， 描绘 对用户提示不能追踪的图像。
这样， 能够让用户知道跟踪已经结束了， 因此， 用户能够转为是否再次进行跟踪的 行动。
此外， 也可以是， 上述追踪结果描绘部在判断为不能继续上述对象的追踪时， 描绘 对用户催促再次设定初始位置的图像。
这样， 能够催促用户进行初始设定， 因此， 即使是不熟练的使用者， 也能够容易地 理解到应该再次设定。
另外， 也可以是， 上述追踪结果描绘部在判断为不能继续上述对象的追踪时， 通过 新的脸检测进行初始位置设定。
这样， 在将人物作为对象的情况下， 能够自动地对脸的部分重新设定初始位置。
此外， 也可以是， 上述电子摄像机还具有 ： 脸检测电路， 在各帧内的图像内检测脸 ； 和脸朝向识别电路， 识别由上述脸检测电路检测到的脸的朝向， 在由上述脸朝向识别电路 识别为作为上述对象物的脸朝向侧面时， 在上述更新区域计算部中计算出作为朝向正侧面 的脸的区域的更新基准区域之后， 上述更新区域计算部根据脸部分与头发部分的预先指定 的位置关系， 计算上述更新基准区域内的上述更新区域。
这样就能预先进行各种各样的位置关系中的更新， 从而追踪精度提高， 该各种各 样的位置关系中的更新包括 ： 按照更新区域探测结果改变应该更新的地方 ； 或者例如按照 脸检测的结果的脸朝向改变应该更新的地方 ； 或者按照脸检测的尺寸， 使用更大的尺寸进 行更新 ； 或者利用包括衣服这样的形式进行更新等。
这样， 由于能跟踪脸， 因此， 能进行与脸认证等的结合。
此外， 这样， 在例如如圆形状这样地即使旋转外观也不改变的情况下， 能够稳定地 跟踪跟踪物体。
此外， 也可以是， 上述电子摄像机还具有摄像机控制部， 该摄像机控制部根据在上 述追踪处理部中确定的目标区域和在上述更新区域计算部中确定的上述更新区域中的某 个， 变更用于调整上述电子摄像机的动作的摄像机参数。
这样， 由于能控制摄像机参数， 因此， 能够进行与对象相应的摄像机参数设定。
也可以是， 上述摄像机控制部根据上述摄像机参数控制上述电子摄像机的壳体和 云台的至少一方的动作， 进行控制， 使被确定的上述对象物的全体或一部分配合帧内的规 定位置和尺寸。这样， 通过控制摄像机， 就能向对象物的适合位置控制摄像机。
也可以是， 上述电子摄像机还具有目标区域初始设定部， 该目标区域初始设定部 根据来自用户的输入， 或者使用预先设定的方法来决定上述目标区域的初始位置。
这样就能设定目标区域的初始位置， 能够决定跟踪的初始位置。
也可以是， 上述目标区域初始设定部将人物或脸的某一方的检测位置决定为初始 位置。
这样， 能够将人物或脸位置作为初始位置， 能够自动地进行人物跟踪的初始设定。
也可以是， 上述目标区域初始设定部将由 AF 自动对焦功能合焦的地方决定为初 始位置。
这样就能将由 AF 功能合焦的区域作为初始设定来进行跟踪， 与 AF 功能的联动变 得容易。
再有， 本发明不仅能够实现为装置， 还能够实现为以构成该装置的处理手段为步 骤的方法， 或者实现为让计算机执行这些步骤的程序， 或者实现为记录了该程序的计算机 可读 CD-ROM 等记录介质， 或者实现为示出该程序的信息、 数据或信号。然后， 这些程序、 信 息、 数据和信号也可以经由因特网等通信网络进行通信。 发明效果 ：
根据本发明， 由于即使在对象物体的样子变化了的情况下也能够进行对象追踪， 因此， 即使在物体朝向后面这样的情况下也能够追踪， 能继续显示框， 进行利用 AE、 AF 和摄 像机控制的成帧功能和自动摄影。
附图说明
图 1 是现有的脸检测处理的流程图。 图 2 是现有的根据图像的脸检测处理的说明图。 图 3(a) ～ (e) 是现有的邻接差分滤波器的说明图。 图 4 是本发明的实施方式 1、 2 中的图像处理装置的方框图。 图 5(a)(b) 是现有方法中的失败跟踪的例子的说明图。 图 6(a)(b) 是色直方图搜索的说明图。 图 7(a)(b) 是色直方图的类似度计算的说明图。 图 8(a)(b) 是侧脸的参考图像区域的说明图。 图 9 是实施方式 1 的流程图。 图 10(a) ～ (c) 是跟踪特征量与更新区域探测结果的关系图。 图 11 是实施方式 2 的流程图。 符号说明 100 图像处理装置 ( 电子摄像机 ) 101 透镜 102 快门 103 摄像元件 104 AD 变换器 105 定时发生电路10101939980 A CN 101939983
说DA 变换器 存储器控制电路 系统控制电路 图像处理电路 图像显示存储器 存储器 调整尺寸电路 闪光灯 测距控制部 缩放控制部 屏障控制部 保护部 存储器 显示部 非易失性存储器 模式转盘 快门开关 记录部 电源控制部 电源部 连接器 电源部 接口 接口 连接器 连接器 光学取景器 通信部 天线 初始特征量提取部 追踪处理部 追踪开头帧指定电路 更新区域探测电路 更新判断电路 结束判断电路 位置修正电路 登记特征量更新电路 追踪结果描绘电路 摄像机控制电路明书6/16 页106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 14511101939980 A CN 101939983
说脸检测电路 脸朝向识别电路 图像显示部 曝光控制部 帧 (a) 中的跟踪结果 帧 (b) 中的跟踪结果 帧 (b) 中的正确位置 搜索区域 追踪窗 追踪窗区域的色直方图 参考图像的色直方图 输入图像的色直方图 脸检测区域 参考区域 输入图像步骤明书7/16 页146 147 148 149 200 201 202 301 302 303 401 402 501 502 S601 S602 S603 S604 S605 S606 S607 S608 S609 S610 S611 S612 S801 S802 S803 S804 S805 S806 S807 S808 S809 S810 900 901 902脸检测步骤 脸朝向识别步骤 初始登记特征提取步骤 追踪处理步骤 脸检测步骤 脸检测判断步骤 初始登记特征更新步骤 跟踪框显示部·摄像机控制步骤 追踪评价值比较步骤 追踪结束步骤 初始登记特征量更新步骤 输入图像步骤 脸检测步骤 初始登记特征提取步骤 追踪处理步骤 圆检测步骤 追踪结束判断步骤 特征量更新判断步骤 特征量更新步骤 跟踪框显示部·摄像机控制步骤 追踪结束步骤 部分图像切出部 特征量评价部 1 特征量评价部 212101939980 A CN 101939983
说特征量评价部 3 部分图像 输入图像明书8/16 页903 1000 1001具体实施方式
( 实施方式 1)
在本实施方式 1 中， 对通过并用利用了脸检测和颜色信息的追踪， 还能够进行仅 在脸检测中不能进行的朝向后面的头部的追踪的图像处理装置进行叙述。即， 实施方式 1 的图像处理装置 ( 电子摄像机 ) 使用现有的脸检测和脸朝向识别， 确定会存在成为跟踪摄 影对象的对象物的目标区域。 然后， 每次对每个帧确定目标区域时， 都提取对象物的颜色的 特征量进行更新。在无法进行脸检测的情况下， 使用更新后的对象物的颜色特征确定目标 区域， 更新颜色的登记特征量。
图 4 是示出本发明的实施方式 1 的电子摄像机的结构的图。在图 4 中， 100 是电子 摄像机。101 是透镜， 102 是具有光圈功能的快门， 103 是将光学像变换成电信号的摄像元 件， 104 是将摄像元件 103 的模拟信号输出变换成数字信号的 AD 变换器 (Analog Digital Converter)。
定时发生电路 105 向摄像元件 103、 AD 变换器 104、 DA 变换器 (Digital Analog Converter)106 供给时钟信号和控制信号。由存储器控制电路 107 和系统控制电路 108 控 制定时发生电路 105。
图像处理电路 109 对来自 AD 变换器 104 的数据或来自存储器控制电路 107 的数 据进行规定的图像插补处理和颜色变换处理。
此外， 在图像处理电路 109 中， 使用摄像到的图像数据进行规定的运算处理， 系统 控制电路 108 根据得到的运算结果， 对曝光控制部 149 和测距控制部 114 进行控制。
存储器控制电路 107 控制 AD 变换器 104、 定时发生电路 105、 图像处理电路 109、 图 像显示存储器 110、 DA 变换器 106、 存储器 111 和调整尺寸电路 112。
将 AD 变换器 104 的数据经由图像处理电路 109 和存储器控制电路 107， 或者将 AD 变换器 104 直接经由存储器控制电路 107 写入到图像显示存储器 110 或存储器 111 中。
110 是图像显示存储器， 106 是 DA 变换器， 148 是由 TFT(Thin Film Transistor ： 薄膜晶体管 )-LCD(Liquid Crystal Display ： 液晶显示器 ) 等构成的图像显示部， 被写入 到图像显示存储器 110 中的显示用的图像数据经由 DA 变换器 106 后， 由图像显示部 148 进 行显示。
调整尺寸电路 112 根据摄影到的动态图像的帧图像， 生成作为低分辨率图像的调 整尺寸图像。在要使用与摄像元件 103 的象素数不同的象素数 ( 尺寸 ) 向记录介质中记录 图像数据的情况下利用调整尺寸电路 112。
此外， 图像显示部 148 因为象素数与摄像元件 103 相比相当小， 因此， 也用于生成 在图像显示部 148 中进行显示时的显示用图像。构成为根据用途， 从规定的多个分辨率中 选择调整尺寸图像的分辨率。调整尺寸电路 112 读入存储器 111 中所保存的图像进行调整 尺寸处理， 将结束了处理的数据写入到存储器 111 中。
曝光控制部 149 控制具有光圈功能的快门 102， 通过与闪光灯 113 联动还具有闪光灯调光功能。
测距控制部 114 控制透镜 101 的聚焦。缩放控制部 115 控制透镜 101 的变焦距。 屏障控制部 116 控制作为屏障的保护部 117 的动作。
闪光灯 113 还具有 AF 辅助光的投光功能和闪光灯调光功能。
系统控制电路 108 控制整个图像处理装置 ( 电子摄像机 )100， 存储器 118 记录系 统控制电路 108 的动作用的常量、 变量、 程序等。
显示部 119 是按照系统控制电路 108 中的程序的执行， 使用文字、 图像、 声音等显 示动作状态或信息等的液晶显示装置、 扬声器等的显示部等。显示部 119 在图像处理装 置 100 的操作部附近的容易视觉辨认的装置上设置在单个或多个地方上， 例如， 由 LCD 或 LED(Light Emitting Diode ： 发光二极管 )、 发声元件等的组合构成。
非易失性存储器 120 是能电气性地证明·记录的存储器， 例如使用 EEPROM 等。
模式转盘 121 能够切换设定自动摄影模式、 摄影模式、 全景摄影模式、 未加工模式 等的各功能模式。
快门开关 123 通过快门开关 SW1， 在未图示的快门按钮的操作途中变为 “开” ， 指示 AF 处理、 AE 处理、 AWB(Auto White Balance ： 自动白平衡 ) 处理等的动作开始。
快门开关 123 通过快门开关 SW2， 在未图示的快门按钮的操作完了时变为 “开” ， 指示一系列处理的动作开始， 该一系列处理是， 将从摄像元件 103 读取的信号经由 AD 变换 器 104 和存储器控制电路 107， 向存储器 111 中写入图像数据的曝光处理 ； 在图像处理电路 109 和存储器控制电路 107 中的使用运算的显像处理 ； 从存储器 111 中读取图像数据， 在记 录部 124 中写入图像数据的记录处理。
电源控制部 125 由电池检测电路、 DC-DC 变换器、 切换通电的块的开关电路等构 成， 进行有无安装电池、 电池的种类及电池残量的检测， 根据检测结果和系统控制电路 108 的指示控制 DC-DC 变换器， 在必要的期间向包括记录介质在内的各部分供给必要的电压。
电源部 128 是由连接器 127、 碱性电池或锂电池等的一次电池或 NiCd 电池或 NiMH 电池、 Li 电池等的二次电池及 AC 适配器等 126 构成的电源。
接口 129 和 130 是与存储卡和硬盘等记录介质之间的接口， 连接器 131 和 132 进 行存储卡和硬盘等记录介质与主体的连接。保护部 117 是通过覆盖包括图像处理装置 ( 电 子摄像机 )100 的透镜 101 在内的摄像部来防止摄像部的污染和破损的屏障 (Barrier)。
光学取景器 133 没有使用图像显示部 148 的电子取景器功能， 而仅使用光学取景 器就能进行摄影。
通 信 部 134 具 有 RS232C 或 USB(Universal Serial Bus ： 通 用 串 行 总 线 )、 IEEE1394、 调制解调器、 LAN 和无线通信等的各种通信功能。
天线 135 是利用通信部 134 将图像处理装置 ( 电子摄像机 )100 与其他机器连接 的连接器或无线通信情况下的天线。
初始特征量提取部 136 从存储器 111 中保存的图像数据中提取初始特征量并写入 到存储器 111 中。提取初始特征量的坐标可以由用户利用触摸屏进行指定， 或者根据通过 按下脸检测位置或快门开关 SW1 而设定的 AF 区域等进行自动设定。
追踪处理部 137 从存储器 111 中读入登记特征量进行追踪处理， 在存储器 111 中 写入追踪结果 ( 坐标数据、 评价值 )。再有， 评价值是表示登记特征量与目标区域的特征量之间的类似度的值， 以下， 以评价值越大越准确、 即一致度越高的情况为例进行说明。
追踪开头帧指定电路 138 判断是否是图像数据中的、 在追踪中进行的开头帧， 在 存储器 111 中写入判断结果。
更新区域探测电路 139 进行更新区域的探测， 在存储器 111 中写入更新区域探测 结果 ( 坐标数据、 评价值 )。再有， 关于更新区域， 评价值也是表示登记特征量与更新区域 的特征量之间的类似度的值， 以下， 以评价值越大越准确、 即一致度越高的情况为例进行说 明。
更新判断电路 140 判断是否对存储器 111 中所保存的登记特征量进行更新， 将判 断结果写入到存储器 111 中。
结束判断电路 141 将是否结束追踪的判断结果写入到存储器 111 中。
位置修正电路 142 根据预先保持在存储器 111 中的更新区域探测结果与追踪结果 的位置关系信息 DB， 对存储器 111 中所保存的追踪结果进行修正。
登记特征量更新电路 143 在追踪结果和更新区域探测结果处于后述的关系时， 使 用更新区域探测结果的位置特征来更新存储器 111 中所记录的登记特征量。
追踪结果描绘电路 144 为了使 LCD 显示已写入到存储器 111 中的追踪结果， 对已 写入在图像显示存储器 110 中的显示用的图像数据实施用于了解已追踪到追踪结果的位 置的信息、 例如追踪框、 马赛克化、 文字、 显示颜色的变更、 模糊化等的处理。 追踪结果描绘电路 144 为了使 LCD 显示已写入到存储器 111 中的追踪结果， 对已 写入在图像显示存储器 110 中的显示用的图像数据实施用于了解已追踪到追踪结果的位 置或者更新区域探测结果的位置的信息、 例如追踪框、 马赛克化、 文字、 显示颜色的变更、 模 糊化等的处理。
摄像机控制电路 145 根据已写入到存储器 111 中的追踪结果的位置和尺寸对摄像 机进行控制， 使得对象物体成为图像的一定位置· 尺寸 ( 例如， 使脸成为中央或者进行缩放 以显示全身等 )。
脸检测电路 146 从图像进行脸检测， 在存储器 111 中写入脸检测结果 ( 位置、 尺 寸、 评价值 )。
脸朝向识别电路 147 识别由脸检测电路 146 检测到的脸是朝向上下左右的哪个方 向， 将识别结果写入到存储器 111 中。
在不具有这些 136、 137、 138、 139、 140、 141、 142、 143、 144 的某个电路的情况下， 在 系统控制电路 108 中， 也可以利用软件处理， 使用后述的流程进行追踪和更新处理。
以下， 使用图 6 和图 7 说明图像处理装置 100 的动作。
系统控制电路 108 执行由曝光处理和显像处理构成的摄影处理， 所述曝光处理是 经由摄像元件 103、 AD 变换器 104、 图像处理电路 109、 存储器控制电路 107， 向存储器 111 中 写入摄影到的图像数据， 所述显像处理是使用存储器控制电路 107 以及根据需要使用图像 处理电路 109， 读取已写入在存储器 111 中的图像数据后进行各种处理。
若结束了摄影处理， 则系统控制电路 108 对已写入到存储器 111 中的图像数据， 使 用调整尺寸电路 112 生成用于在图像显示部 148 中显示摄影图像的显示用图像。系统控制 电路 108 同样地用调整尺寸电路 112 将图像调整尺寸成应该输入到脸检测电路中的图像尺 寸 (QVGA(Quarter Video Graphics Array) 等 )， 将脸检测用图像保存在存储器 111 中。
系统控制电路 108 对于存储器 111 中所保存的脸检测用图像数据， 利用脸检测电 路 146， 使用现有技术执行脸检测处理， 并将处理结果保存在存储器 111 中。
此外， 系统控制电路 108 通过脸朝向识别电路 147， 利用现有技术执行脸朝向识别 处理， 并将处理结果保存在存储器 111 中。
在由脸检测电路 146 检测到了脸的情况下， 初始特征量提取部 136 参照存储器 111 中所保存的脸检测和脸朝向识别处理结果进行登记特征量的提取， 向存储器 111 中写入登 记特征量。例如， 初始特征量提取部 136 根据存储器 111 中所保存的脸检测结果和脸朝向 信息， 提取脸的色直方图作为颜色的特征量， 并登记在存储器 111 中。 然后， 追踪处理部 137 使用由初始特征量提取部 136 登记在存储器 111 中的特征量进行追踪处理。
在此， 使用图 6 对使用色直方图的登记特征量的提取和追踪处理进行说明。
如图 6(a) 所示， 假设从图像检测到正面脸。这时制成该区域 ( 参考区域 ) 的色 直方图。具体地说， 在直方图的横轴上， 从参考区域得到的各象素的 HSV(Hue Saturation Value ： 色饱和度值 ) 色空间的 H 的值 ( 最大 360) 被分配在划分成 20 个的区域中。然后， 分配在各个分区中的个数成为度数。设定各象素的 Hi， 由 Hi*18/360 能够计算进入到了哪 个区域。然后， 通过将各分区的度数除以参考区域的象素数来归一化为度数的总和等于 1。 然后， 如图 6(b) 所示， 从检测区域开始以一定范围扩展后的区域 301 成为搜索区域， 一边改 变追踪窗 302 的尺寸· 位置一边进行搜索。追踪处理部 137 一边搜索一边制成追踪窗区域 的色直方图 303。 接着， 根据参考区域的色直方图与追踪窗区域的色直方图计算类似值。使用图 7 说明类似度的计算方法。 图 7(a) 是参考图像， 从此计算出的色直方图是 401。 此外， 图 7(b) 是输入图像， 402 中示出搜索窗的色直方图。这样， 利用各个色直方图的重叠程度来计算出 类似度即评价值。利用 ( 数学式 1) 进行类似度计算。
[ 数学式 1]
在此， Ri 是参考区域的色直方图中的第 i 个分区的度数， 在此， Ii 是追踪窗区域的 色直方图中的第 i 个分区的度数。
在此， i 取 0 至 20 的值。在本例中， 使用 20 这个值进行说明， 但只要是 1 以上的 值， 可以是任意值。再有， 该值根据对象的复杂度而变更。在包含多个颜色的情况下， 通过 增大该值， 用细小的分区看差别， 能够提高精度。 另一方面， 对于颜色数量少的物体， 通过减 小该值， 以较大的分区看差别， 能够使用很少的存储器进行追踪。
再有， 作为参考区域的指定方法， 设为脸检测位置， 但这也可以是用户使用触摸屏 或指示器等进行指定， 也可以使用声音信息等进行指定。 此外， 关于根据色直方图的匹配进 行了说明， 但也可以求取切出的图像间的模板的差异。 此外， 通过作为预处理而对这些模板 进行色直方图修正， 能够难以受到亮度的影响。 作为求取差异的方法， 也可以是使最小平方 距离成为最小的方法或者利用归一化相关的方法等， 只要是一般的求距离的方法， 可以采 用任意方法。此外， 作为搜索方法， 对简单地扫描区域的方法进行了叙述， 但也可以是粒子 过滤器等基于概率分布的搜索方法。
下面， 对与脸朝向相应的登记特征量的提取方法进行说明。 在正面脸的情况下， 通 过登记脸整体， 能进行稳定的追踪。但是， 在脸从正面朝向了侧面的情况下， 在以后的帧中 有朝向后面的可能性， 因此， 对特征量的登记位置进行研究。如图 8(a) 所示， 在侧脸的情况 下， 在脸检测区域 501 内包含肤色信息和发色信息两者。在此， 如图 8(b) 所示， 通过将脸检 测区域内的后头部区域 20％左右设为参考区域 502， 若由脸检测处理取得发色信息， 则在 对象朝向了后面的情况下， 也能够根据发色信息进行使用颜色的追踪。 再有， 通过按照容易 朝向正面的情况和容易朝向后面的情况等来变更该比例， 就能够使追踪稳定。
再有， 在本例中， 以头发进行了说明， 但在穿戴有帽子和衣服等颜色变动少的衣物 的情况下， 本方法也有效地起作用。
此外， 在检测到脸并且与追踪结果具有一定距离的情况下， 更新区域探测电路 139 设置进行更新判断的标志， 并写入到存储器 111 中。然后， 利用位置修正电路 142 修正脸检 测位置。
根据该脸检测位置提取登记特征量， 利用登记特征量更新电路 143 更新登记特征 量并写入到存储器 111 中。登记特征量的提取与上述方法同样地进行。
通过这样地按照朝向来变更登记特征量的提取区域， 即使在从侧脸朝向了后面的 情况下， 也能够通过使用头发或帽子来按照朝向的变化登记适当的颜色特征， 因此， 即使在 对象朝向了后面的情况下， 也能进行稳定的追踪。此外， 即使在追踪处理失败了的情况下， 通过在位置修正电路 142 中根据脸检测结果来修正位置， 并更新存储器 111 的追踪结果， 也 能进行稳定的脸的追踪。
此外， 脸检测存在仅检测脸内部的情况。 于是， 通过使检测结果坐标成为常数倍以 包含头部， 就能进行稳定的追踪。
此外， 在保持有朝向了后面的信息， 而从朝后恢复到朝前时， 通过变更特征量的提 取区域， 就能进行更稳定的追踪。以下具体地说明。在朝向了后面时接着又朝向了侧面的 情况下， 朝向正面的可能性较高。 于是， 通过不是将参考区域 502， 而是将脸检测区域 501 的 脸侧区域作为特征量提取区域， 即使接着出现了脸时也能够对应。 从而， 能够在从朝后转变 为侧面、 正面时利用肤色信息， 因此， 从后面向正面的恢复稳定。
由于在朝向了后面的情况下也能够进行追踪， 因此， 即使在朝后状态的情况下， 也 当然能够通过追踪结果描绘电路进行追踪框的显示或使追踪结果位置模糊化等的 UI(User Interface ： 用户界面 ) 控制， 而且通过进行 AE· AF 等的控制或用摄像机控制电路 145 进行 摄像机的控制， 能进行自动成帧·自动摄影。
在由程序执行了以上的处理的情况下， 成为图 9 所示的步骤。摄影输入图像， 对摄 影到的输入数据 (S601) 进行脸检测处理 (S602)。再有， 脸检测使用现有的方法。接着， 对 脸检测出的结果进行脸朝向识别处理 (S603)。该脸朝向识别也使用现有的方法。然后， 从 脸检测位置中提取颜色的初始登记特征 (S604)。 另外， 在下一帧中， 使用颜色特征进行确定 目标区域的追踪处理 (S605)， 之后进行脸检测处理 (S606)。如果完成脸检测 (S607)， 则根 据脸朝向识别结果， 将作为追踪结果的目标区域置换成脸检测位置。在没完成脸检测的情 况下， 使用颜色的特征量进行追踪处理， 计算出与颜色的特征量有关的追踪评价值。 若追踪 结果的评价值也是阈值以下， 则结束追踪处理 (S611)。 此外， 若根据颜色特征量的追踪结果 的评价值高于阈值， 就从目标区域内的初始位置中提取使用色直方图表示的颜色特征， 在更新了初始登记特征量之后 (S612)， 将控制转移向跟踪框的显示和摄像机控制 (S609)。然 后， 在完成脸检测的情况下， 根据脸朝向检测的结果， 选择更新初始登记特征量的地方并更 新初始登记特征量 (S608)。 然后进行更新后的追踪结果位置即目标区域的 LCD 显示和摄像 机控制。在 (S609) 之后， 返回到追踪处理 (S605) 反复进行处理。
( 实施方式 2)
在实施方式 2 中， 叙述利用了象圆形状信息这样地在旋转中不变的信息和颜色信 息的追踪、 头部 ( 不仅朝向正面的脸， 也包含看不见脸的朝后的情况 ) 的追踪都能进行的电 子摄像机。即， 在实施方式 2 中， 取代脸检测信息而使用圆形状的信息来决定用于更新颜色 特征的更新区域的位置。
实施方式 2 的结构与图 4 的结构相同， 因此， 对动作相同的结构要素省略说明。
在实施方式 2 中， 追踪处理也与实施方式 1 同样地使用色直方图匹配来计算类似 度即评价值并进行追踪。
在实施方式 2 中也使用与实施方式 1 同样的方法， 利用脸检测信息和来自用户的 指示 ( 触摸屏和指示器等 ) 决定对象物的初始位置， 登记初始特征量。
头部的样子不变的信息之一是 “头部是圆” 。于是， 在本实施方式 2 中示出由更新 区域探测电路 139 利用形状信息进行更新区域的探测的例子。除此以外， 只要是对于物体 的样子不变的特征， 可以使用任意特征。
关于头部圆形状的检测方法进行叙述。在存储器 111 中所保存的追踪结果的附近 进行边缘检测。边缘检测使用索贝尔算子 (Sobel operator) 等。或者， 有根据帧间差分利 用差分点的方法。对于在此得到的点群 ( 特征点群 ) 实施霍夫变换， 求出圆的半径和中心。 圆的半径和中心的求法例如可以利用文献 “HeadFinder ： フレ一ム間差分をベ一スにした 人物追跡、 馬場ら” ( 非专利文献 1) 中记载的方法来求得。关于上述文献中描述的方法简 单地说明。
可以使用 ( 数学式 2)， 利用中心坐标 a、 b 和半径 r 的常量来决定圆。
[ 数学式 2]
(x-a)2+(y-b)2 ＝ r2
将它适用于霍夫变换， 求得的未知数为 3 个， 因此表决空间 (voting space) 成为 三维的。由于该计算量庞大， 因此实时动作困难。于是， 将尺寸限定在某个一定的半径 r 的 范围内。 之后， 通过使用具有宽度的多个半径内所包含的特征点群进行表决， 来求出半径参 数 a、 b。从而推定头部的圆形状。这时， 在圆上包含有几个特征点群就成为表示圆形状的 拟合程度的评价值。将该圆形状的位置、 半径信息和评价值写入到存储器 111 中。
在此， 着眼点在于， 头部评价值较低， 但相对于朝向变化能够稳定地检测， 而颜色 信息若朝向改变则评价值降低。 以下叙述在由于样子变化而评价值通过颜色信息降低的情 况下， 使用头部圆形状的检测位置进行位置修正， 通过修正登记特征量， 相对于样子的变化 变得稳定的追踪方法。
更新判断电路 140 从存储器 111 中读入基于颜色的追踪结果的评价值和更新区域 探测结果的评价值， 在追踪结果的评价值降低并低于阈值 th1 时， 进行更新的判断， 在存储 器 111 中写入判断结果。图 10 中示出这时的评价值与时间轴的关系。
图 10(a) 在更新区域探测结果的评价值超过了追踪结果的评价值时进行更新。在图 10(a)、 (b) 和 (c) 中， 实线表示追踪结果的评价值， 虚线表示更新区域探测结果的评价 值。
[ 数学式 3]
追踪结果评价值＜更新区域探测结果评价值
该情况下， 在是因为对象物体的样子变化且评价值降低而产生的现象并且引起追 踪失败时， 能够进行更新从而恢复。
图 10(b) 是更新区域探测结果的评价值变得大于阈值 th1 的情况下进行更新的 图。
[ 数学式 4]
th1 ＜更新区域探测结果评价值
该情况是保证了更新区域探测结果中的稳定性时。该情况下， 在更新区域探测结 果的位置修正追踪结果的位置。从而， 在能够使用更新区域探测结果充分地进行追踪的情 况下， 利用图 10(b) 的方式， 能够在不是这样的物体中顺利地选择出是哪个， 因此能构筑稳 定的系统。
另外， 关于更新的定时进行说明。颜色评价值的变化根据登记的颜色或对象物的 颜色的复杂度而不同。例如， 在平均彩度高的情况下， 根据颜色的追踪的评价值就高， 评价 值具有与样子变化一起慢慢降低的趋势。
因此， 在平均彩度高的物体中， 能降低圆形检测的频率， 从而关系到整体处理量的 削减。此外， 在平均彩度低的情况下， 利用色直方图的追踪困难， 具有评价值急剧降低的趋 势。因此， 在平均彩度低的情况下， 通过频繁地进行圆检测， 就能进行稳定的追踪。再有， 在 平均彩度低的情况下， 也可以将由圆检测所确定的更新区域设定为目标区域。
此外， 在上述中， 关于根据评价值的关系进行更新的方法进行了叙述， 但也有使用 基于颜色的追踪结果位置即目标区域与圆检测的结果位置即更新区域之间的距离关系进 行更新的方法。例如， 在假设检测到的圆半径的 2 倍范围内为容许范围时， 通过在颜色的追 踪结果位置 ( 追踪框的重心 ) 离开了该范围时对圆检测的位置进行更新， 能进行稳定的追 踪。再有， 不限于圆的倍数， 也可以使用欧几里德距离等任意的距离。这是因为， 该情况下， 即使设基于颜色特征的追踪的评价值和基于圆检测的评价值都高， 基于颜色特征的追踪不 是对象物而是误追踪的可能性也高。
位置修正电路 142 将追踪结果的目标区域的坐标和尺寸置换成更新区域探测结 果的坐标和尺寸， 保存在存储器 111 中。这时， 由于更新区域探测结果保存有圆的中心和半 径， 因此， 将从中心减去半径的值作为左上坐标， 将半径的 2 倍作为矩形框的高度， 以得到 矩形框的左上坐标、 高度和宽度。
此外， 如图 10(c) 所示， 在追踪结束判断电路 141 中， 在追踪结果的评价值和更新 区域探测结果的评价值低于阈值 th2 时， 将结束追踪的判断结果保存在存储器 111 中。
之后， 实施脸检测， 由初始特征量提取部 136 进行自动恢复， 或者向用户通知追踪 处理已结束， 并再次指定追踪物体位置， 通过使用这样的方法， 就能进行再追踪。
根据以上叙述， 即使在朝向了后面的情况下也能够追踪， 即使在这样的状态下， 也 当然能够通过追踪结果描绘电路进行追踪框的显示或使追踪结果位置模糊化等的 UI 控 制， 而且通过进行 AE·AF 等的控制或用摄像机控制电路 145 进行摄像机的控制， 能进行自动成帧·自动摄影。
在用程序执行了以上的处理的情况下， 成为如图 11 所示的步骤。对摄影到的输入 数据 (S801) 进行脸检测 (S802)。对脸检测出的结果提取初始登记特征 (S803)。在下一帧 中， 使用在步骤 S803 中登记的颜色特征进行追踪处理 (S804)， 确定目标区域。 之后， 使用作 为形状特征的圆进行圆检测， 进行更新区域的确定 (S805)。
根据基于颜色特征的追踪处理的评价值和使用了作为形状特征的圆的圆检测的 评价值， 判断是否结束追踪处理 (S806)。 在步骤 806 中， 在基于颜色特征量的追踪处理的评 价值和基于圆检测的评价值都低于阈值 th2 时， 判断为结束追踪。在判断为结束追踪处理 的情况下， 结束追踪处理， 结束追踪框的显示， 或者利用警报等向用户提示处理结束。 之后， 也可以在显示器中记载催促用户再次进行初始位置设定的显示， 或通过脸检测进行初始位 置设定， 并进行自动恢复 (S810)。在不结束的情况下， 如图 10(b) 所示， 使用阈值 th1， 即， 而在基于圆检测的评价值超过了阈值 th1 时， 更新颜色特征， 而与基于颜色特征的追踪处 理的评价值无关， 或者， 如图 10(a) 所示， 在基于圆检测的更新区域探测结果的评价值超过 了使用了颜色特征的追踪特征的评价值时， 判断为进行颜色特征的特征量的更新 (S807)。 在判断为进行特征量的更新的情况下， 使用更新区域探测结果的位置· 特征量， 对跟踪结果 的位置·特征量进行更新 (S808)。然后， 进行更新后的追踪结果位置的 LCD 显示和摄像机 控制 (S809)。之后， 返回到步骤 S804 的追踪处理， 反复进行步骤 S804 ～ S810 的处理。
关于该追踪处理方法和类似度计算方法， 不限于色直方图匹配方法， 可以是基于 最小平方距离的方法或者基于归一化相关的方法等。 此外， 作为搜索方法， 也可以不是简单 的扫描， 而是基于粒子过滤器的方法等。
此外， 在本实施方式中， 将颜色特征作为跟踪特征， 将形状特征作为更新区域探测 特征， 但在如非刚体且颜色变化少的物体这样的对颜色的变化稳定而形状不稳定的情况 下， 也可以将颜色特征作为更新区域探测结果特征， 将形状特征作为跟踪特征。再有， 在本 实施方式中， 利用了脸检测位置作为初始位置， 但也可以利用 AF 的位置作为初始位置。
再有， 将方框图 ( 图 4 等 ) 的各功能块典型地实现为作为集成电路的 LSI。也可以 将它们个别地单芯片化， 也可以包含其中一部分或全部地单芯片化。 例如， 也可以将存储器 以外的功能块单芯片化。
在此， 设定为 LSI， 但有时也根据集成度的不同而称作 IC、 系统 LSI、 超大 LSI、 超级 LSI。
此外， 电路集成化的方法不限于 LSI， 也可以用专用电路或通用处理器来实现。也 可以利用在制造 LSI 后可编程的 FPGA(Field Programmable Gate Array ： 现场可编程门阵 列 ) 和可重构 LSI 内部的电路单元的连接或设定的可重构处理器。
另外， 若出现了利用半导体技术的进步或派生的其他技术替换 LSI 的集成电路化 技术， 当然也可以使用该技术进行功能块的集成化。也可能适用生物技术等。
此外， 也可以不使各功能块中的、 保存成为编码或解码的对象的数据的单元单芯 片化， 而是成为另外的结构。
工业上的可利用性
本发明涉及的电子摄像机和图像处理方法具有物体的样子变化的对象的追踪功 能， 在利用追踪功能实现的最佳拍照摄影功能和 AE·AF 等摄像机控制、 图像的成帧中十分有用。此外， 在追踪摄影人物等对象物的监视摄像机中十分有用。