图像处理设备和图像处理方法 【技术领域】
本发明涉及一种图像处理设备和图像处理方法。更具体地， 本发明涉及一种用于 通过使用图像来追踪物体的方法。背景技术
用 于 追 踪 任 意 物 体 的 传 统 方 法 使 用 如 下 的 模 式 匹 配 法 (pattern matching method)， 其中该模式匹配法搜索与先前存储的模板图像的匹配度高的区域。另外， 传统的 物体追踪方法使用相对差分法， 其中在该相对差分法中， 顺次更新模板图像， 并基于当前帧 和前一帧之间的差分来识别物体的位置。 此外， 传统的物体追踪方法使用直方图匹配法， 其 中在该直方图匹配法中， 基于对与物体的颜色或亮度直方图的匹配度高的区域的搜索结果 来识别物体的位置。
如果使用上述模式匹配法， 则能够以高精度搜索静止物体。 然而， 使用模式匹配法 时追踪运动物体的性能不佳。 更具体地， 如果物体和追踪设备之间的距离改变， 如果物体旋 转， 或者如果追踪设备自身的姿势改变， 则模式匹配法不能以高精度追踪物体。
如果使用上述相对差分法， 如果其它物体在追踪对象物体前方移动， 或者如果追 踪对象物体已经离开摄像范围， 则不能适当地追踪该追踪对象物体。
如果使用直方图匹配法， 则可以追踪运动的追踪对象物体， 但如果仅基于颜色或 亮度直方图执行识别， 则识别追踪对象物体的性能低。 此外， 如果具有大致相同亮度水平的 类似颜色或区域大量分布在物体的背景中， 则直方图匹配法的追踪性能不是很好。
为了提高使用各种追踪方法时的追踪性能， 日本特开 2004-348273 号公报讨论 了如下的直方图匹配法， 其中该直方图匹配法生成参考区域的直方图和与该参考区域分 开设置的扩展参考区域的直方图， 并基于这些直方图来执行追踪。更具体地， 日本特开 2004-348273 号公报所讨论的方法生成诸如人物的面部附近的区域等的参考区域的直方图 以及诸如人物的颈部附近的区域等的扩展参考区域的其它直方图。
然而， 如果使用日本特开 2004-348273 号公报所讨论的方法， 则需要设置参考区 域和扩展参考区域这两个相互独立的区域作为要生成直方图的区域。因此， 如果物体隐藏 在扩展参考区域中的某物后方， 则追踪性能可能下降。 发明内容
根据本发明的一方面， 提供一种图像处理设备， 包括 ： 存储单元， 用于存储存在于 设置在图像上的追踪对象区域内部的每一个像素的属性以及与该像素邻接的像素的属性 ； 分配单元， 用于根据要评价的像素的属性和存在于所述追踪对象区域内部的像素的属性之 间的比较结果、 以及与所述要评价的像素邻接的像素的属性和与存在于所述追踪对象区域 内部的像素邻接的像素的属性之间的比较结果， 对所述要评价的像素分配评价值 ； 以及改 变单元， 用于基于所分配的评价值， 改变所述追踪对象区域。
根据本发明的另一方面， 提供一种图像处理方法， 包括以下步骤 ： 存储存在于设置在图像上的追踪对象区域内部的每一个像素的属性以及与该像素邻接的像素的属性 ； 根据 要评价的像素的属性和存在于所述追踪对象区域内部的像素的属性之间的比较结果、 以及 与所述要评价的像素邻接的像素的属性和与存在于所述追踪对象区域内部的像素邻接的 像素的属性之间的比较结果， 对所述要评价的像素分配评价值 ； 以及基于所分配的评价值， 改变所述追踪对象区域。
根据以下参考附图对典型实施例的详细说明， 本发明的其它特征和方面将变得明 显。 附图说明 包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、 特征和 方面， 并与说明书一起用来解释本发明的原理。
图 1 示出根据本发明第一实施例的摄像设备的基本结构的示例。
图 2A 示出将图像大致位于摄像范围的中央的动物设置为追踪对象物体的状态。 图 2B 示出被设置为追踪对象物体的动物已经移动的状态。
图 3 是示出由摄像设备所执行的用于对追踪对象物体进行追踪的处理的示例的 流程图。
图 4 是示出用于识别追踪对象物体的处理的示例的流程图。
图 5 示出图像和该图像的追踪对象区域中所包括的像素的示例。
图 6A 示出色相 (hue) 直方图的示例。图 6B 示出平均色相直方图的示例。
图 7A 示出亮度直方图的示例。图 7B 示出平均亮度直方图的示例。
图 8A 示出与 2 个粉色 (pink) 像素邻接的像素的示例。图 8B 示出与 3 个黄色 (yellow) 像素邻接的像素的示例。图 8C 示出与 2 个绿色 (green) 像素邻接的像素的示例。 图 8D 示出与 1 个蓝色 2(blue2) 像素邻接的像素的示例。
图 9A 示出与 1 个黑色 0(black0) 像素邻接的像素的示例。图 9B 示出与 12 个黑 色 1(black1) 像素邻接的像素的示例。图 9C 示出与 2 个灰色 2(gray2) 像素邻接的像素的 示例。图 9D 示出与 3 个白色 (white) 像素邻接的像素的示例。
图 10 示出与主直方图的色相直方图相对应的邻接直方图的示例。
图 11 示出与主直方图的亮度直方图相对应的邻接直方图的示例。
图 12A 和 12B 是示出图 3 所示的流程图中的步骤 S103 中的可追踪性判断处理的 示例的流程图。
图 13 是示出图 3 所示的流程图中的步骤 S105 中的继续追踪可行性判断处理的示 例的流程图。
图 14 是示出图 3 所示的流程图中的步骤 S107 中的追踪对象物体检测处理的示例 的流程图。
图 15 示意性示出用于对追踪对象区域进行追踪的方法的示例。
图 16A 示出要处理的像素与主直方图的彩色相匹配的状态的示例。图 16B 示出要 处理的像素与主直方图的非彩色相匹配的状态的示例。图 16C 示出要处理的像素的邻接像 素与邻接直方图中所包括的彩色或非彩色相匹配的状态的示例， 其中该要处理的像素与主 直方图的彩色相匹配。图 16D 示出要处理的像素的邻接像素与邻接直方图中所包括的彩色
或非彩色相匹配的状态的示例， 其中该要处理的像素与主直方图的非彩色相匹配。
图 17 示出评价值的计算结果的示例。
图 18 是示出由摄像设备所执行的用于对追踪对象物体进行追踪的处理的示例的 流程图。 具体实施方式
以下将参考附图详细说明本发明的各种典型实施例、 特征和方面。
图 1 示出根据本发明第一实施例的摄像设备 100 的基本结构的示例。 摄像设备 100 能够拍摄静止图像和运动图像这两者。参考图 1， 从被摄体反射的光通过包括调焦透镜、 变 倍透镜和固定透镜的摄像光学系统 101。由图像传感器 102 形成来自被摄体的反射光的图 像。
图像传感器 102 是光电转换元件， 用于将基于形成在光接收面上的图像的光信号 按存在于相应位置的各光检测像素转换成电信号。由图像传感器 102 将已在图像传感器 102 上形成其图像的光转换成电信号。 将该电信号输入至模拟 - 数字 (A/D) 转换器 103。 A/ D 转换器 103 将所输入的电信号转换成数字信号。 然后， 将该数字信号输入至图像处理电路 104。图像处理电路 104 对所输入的数字信号 ( 图像数据 ) 执行图像处理。 显示装置 105 是设置在摄像设备 100 的背面上的显示单元。显示装置 105 用作电 子取景器。另外， 显示装置 105 显示与摄像设备 100 的设置状况有关的信息。此外， 显示装 置 105 显示由摄像设备 100 所生成的缩略图图像。
摄像光学系统控制电路 106 生成镜头信息。该镜头信息包括被摄体距离、 基于与 变倍透镜组的位置有关的信息所获取的焦距、 以及基于光圈的开口直径所获取的 F 数。
系统控制器 107 包括微计算机。系统控制器 107 通过执行控制程序来控制整个摄 像设备 100 的操作。图像记录介质 108 记录图像数据。在本实施例中， 将详细说明在具有 上述结构的摄像设备 100 上执行的用于追踪任意物体的图像的方法的示例。
图 2A 和 2B 示出包括传统物体追踪方法不能适当地进行追踪的图像的场景的示 例。
参考图 2A， 将存在于画面 200 的中央附近的动物设置为追踪对象物体。对于用于 指定追踪对象物体的方法， 如果自动识别出满足预定颜色条件或亮度条件的区域， 并将该 区域设置为追踪对象物体， 也是有用的。另外， 如果用户在显示装置 105 中所包括的触摸面 板上的任意位置处触摸显示装置 105， 并将与用户所触摸的位置相对应的图像设置为追踪 对象物体， 也是有用的。
在图 2A 和 2B 各自所示的示例中， 假定 ： 将作为与动物腹部附近相对应的区域的区 域 202 设置为追踪对象区域， 之后该动物已经移动至其它位置， 由此该动物的方位已经改 变。
如果追踪对象物体进行了上述改变， 则将图 2A 所示的追踪对象区域 202 中所包括 的图像与动物已经移动至不同位置之后对应于该动物的腹部区域的区域 210 中所包括的 图像彼此进行比较的模式匹配法不能追踪该动物。
如图 2A 和 2B 所示， 由于追踪对象区域 202 的直方图 220 与动物已经移动至不同 位置之后对应于该动物的腹部区域的区域 210 的图像的另一直方图 222 相互不匹配， 因此
将这两个直方图进行比较的直方图匹配法不能适当地追踪该动物。
现在， 将参考下面的流程图来详细说明根据本实施例的用于追踪任意物体的方法 的示例。
在本实施例中， 系统控制器 107 执行与下面的流程图相对应的处理。然而， 如果由 除系统控制器 107 以外的组件 ( 例如， 图像处理电路 104) 来执行该处理的一部分或全部， 也是有用的。
图 3 是示出由摄像设备 100 执行的用于对追踪对象物体进行追踪的处理的示例的 主流程图。参考图 3， 在步骤 S101 中， 系统控制器 107 确定追踪对象物体的位置和大小。
如上所述， 可以自动识别追踪对象物体。 可选地， 用户可以通过经由电子取景器观 看来指定任意区域， 以确定追踪对象物体。 在已经确定了追踪对象物体的位置和大小之后， 处理进入步骤 S102。 在步骤 S102 中， 系统控制器 107 执行用于基于与追踪对象区域有关的 颜色信息和亮度信息来识别追踪对象物体的处理。
图 4 是示出图 3 所示的步骤 S102 中的用于识别追踪对象物体的处理的示例的流 程图。 参考图 4， 在步骤 S201 中， 系统控制器 107 生成追踪对象区域的直方图 ( 主直方图 )。
图 5 示出图像和该图像的追踪对象区域中所包括的像素的示例。参考图 5， 图像 300 包括由照相机拍摄的企鹅的场景。用户可以通过触摸追踪对象区域 302 上的触摸面板 指定图像 300 的一部分， 以确定追踪对象区域。 追踪对象区域 302 对应于图 5 在其右部所示的由粗线矩形所包围的区域 304。系 统控制器 107 生成区域 304 内部和外部的像素的直方图。
这些直方图包括色相直方图和亮度直方图。 根据各像素是彩色像素还是非彩色像 素， 对于色相直方图和亮度直方图各自取得分布。基于各像素的饱和度与其阈值的比较结 果来执行关于各像素是彩色像素还是非彩色像素的判断。在本实施例中， 系统控制器 107 生成追踪对象区域 302 中所包括的各区域以及存在于该追踪对象区域 302 外部的各区域的 直方图。
图 6A 示出色相直方图 ( 即， 彩色像素的直方图 ) 的示例。图 6B 示出平均色相直 方图的示例。平均色相直方图表示利用色相直方图所分类的像素的平均亮度、 平均饱和度 和平均色相。图 7A 示出亮度直方图 ( 即， 非彩色像素的直方图 ) 的示例。图 7B 示出平均 亮度直方图的示例。平均亮度直方图表示利用亮度直方图所分类的像素的平均亮度。在色 相直方图 400 中分类 ( 登记 ) 彩色像素。
系统控制器 107 针对存在于追踪对象区域 302 内部的各色相 ( 图 6A 中的 “色相” )， 计数存在于该追踪对象区域内部 ( 图 6A 中的 “内部” ) 的像素数和存在于该追踪对象区域 外部 ( 图 6A 中的 “外部” ) 的像素数。
在图 6A 和 6B 所示的示例中， 系统控制器 107 以每 40°角的分割单位 ( 分类单位 ) 生成色相直方图 400。然而， 如果分割单位根据期望的追踪精度而改变， 也是有用的。在亮 度直方图 440 中分类 ( 登记 ) 非彩色像素。
系统控制器 107 针对存在于追踪对象区域 302 内部的各亮度 Y， 计数存在于该追 踪对象区域内部 (“内部” ) 的像素数和存在于该追踪对象区域外部 (“外部” ) 的像素数。 在图 7A 和 7B 所示的示例中， 系统控制器 107 以 40LSB 为分割单位生成亮度直方图 440。然 而， 分割单位可以根据期望的追踪精度而改变。
在生成色相直方图 400 和亮度直方图 440 之后， 系统控制器 107 计算追踪对象区 域内部和外部的各色相的存在比率。 可以通过以下表达式来计算追踪对象区域内部和外部 的各色相的存在比率 ：
追踪对象区域内部和外部的各色相的存在比率 [％ ] ＝存在于追踪对象区域内部 的像素数 / 存在于追踪对象区域外部的像素数。
例如， 在图 6A 所示的示例中， 存在 15 个具有粉色色相的像素， 即追踪对象区域 302 内部的 2 个具有粉色色相的像素和追踪对象区域 302 外部的 13 个具有粉色色相的像素。 因 此， 其存在比率为 15％ ( ＝ (2/13)×100)。
然而， 如果追踪对象区域内存在一个或多个像素并且如果存在于追踪对象区域外 部的像素数为 0， 则存在比率为 100％。以上述方式计算存在比率。然而， 本发明不局限于 此。更具体地， 如果通过以下表达式计算存在比率， 也是有用的 ：
存在比率 [％ ] ＝ [ 存在于追踪对象区域内部的像素数 /( 存在于追踪对象区域内 部的像素数 + 存在于追踪对象区域外部的像素数 )]×100。
除了计算色相的分布以外， 系统控制器 107 还按存在于追踪对象区域 302 内部的 像素的直方图的分割单位， 计算以该分割单位所分类的像素的平均亮度 AveY、 平均饱和度 AveChroma 和平均色相 AveHue。 更具体地， 在图 6A 所示的色相直方图 400 中， 追踪对象区域 302 内部存在 3 个具 有黄色色相的像素。因此， 在图 6B 所示的平均色相直方图 420 中， 这 3 个像素的平均亮度 AveY 为 153LSB， 平均饱和度 AveChroma 为 55LSB， 并且平均色相 AveHue 为 113°。
类似地， 在图 7A 所示的直方图 440 中， 追踪对象区域 302 内部存在 3 个具有非彩 色色相 ( 白色色相 ) 的像素。因此， 在图 7B 所示的平均亮度直方图 480 中， 这 3 个像素的 平均亮度为 210LSB。
如上所述， 作为与存在于追踪对象区域 302 内部的彩色像素有关的信息， 获取色 相直方图 400 以及按色相直方图 400 所分类的平均亮度 AveY、 平均饱和度 AveChroma 和平 均色相 AveHue( 平均色相直方图 420)。 另外， 作为与存在于追踪对象区域 302 内部的非彩色 像素有关的信息， 获取亮度直方图 440 以及按亮度直方图 440 所分类的平均亮度 AveY( 平 均亮度直方图 480)。在以下说明中， 如果需要， 则将色相直方图 400、 平均色相直方图 420、 亮度直方图 440 和平均亮度直方图 480 统称为 “主直方图” 。
返回图 4， 在步骤 S202 中， 系统控制器 107 生成与按主直方图的色相直方图 400 和 亮度直方图 440 各自的分割单位所分类的各像素邻接的像素集合的直方图 500 和 520。在 以下说明中， 如果需要， 则将直方图 500 和 520 统称为 “邻接直方图” 。
图 8A ～ 8D 和图 9A ～ 9D 示意性示出要生成邻接直方图的像素的第一示例和第二 示例。如图 6A 和 6B 以及图 7A 和 7B 所示， 假定已经获取到 8 个分布， 其中这 8 个分布包括 ： 粉色、 黄色、 绿色和蓝色 2 这 4 个分布， 即与追踪对象区域 302 内部的彩色像素有关的信息 ； 以及黑色 0、 黑色 1、 灰色 2 和白色这 4 个分布， 即与追踪对象区域 302 内部的非彩色像素有 关的信息。图 8A ～ 8D 以及图 9A ～ 9D 示出具有这 8 个分布的各像素的邻接像素的示例。
参考图 8A， 由围绕 2 个粉色像素 550 和 552 的圆来表示与这 2 个粉色像素邻接的 像素。在粉色像素 550 周围分布有包括 1 个蓝色 2 像素、 1 个灰色 2 像素、 1 个黑色 1 像素、 2 个粉色像素、 1 个白色像素和 2 个绿色像素总共 8 个像素。另外， 在粉色像素 552 周围分
布有包括 1 个灰色 2 像素、 3 个黑色 1 像素、 1 个黑色 0 像素、 1 个白色像素、 1 个绿色像素和 1 个粉色像素总共 8 个像素。
系统控制器 107 基于围绕粉色像素 550 和 552 的 16 个像素来生成直方图， 其中这 16 个像素构成与粉色像素 550 和 552 邻接的像素集合。
类似地， 在图 8B 所示的示例中， 总共存在 24 个像素与 3 个黄色像素 554、 556 和 558 邻接。在图 8C 所示的示例中， 总共存在 16 个像素与 2 个绿色像素 560 和 562 邻接。在 图 8D 所示的示例中， 总共存在 8 个像素与 1 个蓝色 2 像素 564 邻接。
图 9A ～ 9D 示出与非彩色像素邻接的像素的示例。更具体地， 在图 9A ～ 9D 中示 出黑色 0 像素、 黑色 1 像素、 灰色 2 像素和白色像素的邻接像素。
在本实施例中， 对于图 5 所示的追踪对象区域 304 用的主直方图， 系统控制器 107 生成存在于追踪对象区域 304 内部的像素的直方图。另一方面， 对于邻接像素， 系统控制器 107 执行存在于比追踪对象区域 304 宽的区域中的邻接像素的识别。
利用上述结构， 根据本实施例的系统控制器 107 可以获取与邻接像素有关的信 息， 其中， 该信息包括与追踪对象物体和其背景之间的关系有关的信息。因此， 本实施例能 够获取适当的追踪结果。然而， 如果对于两者参考相同的区域， 也是有用的。
系统控制器 107 将包括图 8A ～ 8D 和图 9A ～ 9D 所示的与按主直方图的各分割单 位所分类的各像素相邻接的像素的像素集合的直方图 ( 邻接直方图 ) 与主直方图相关联。 此外， 系统控制器 107 按图 10 和 11 所示的格式存储邻接直方图和主直方图。
图 10 示出与主直方图的色相直方图相对应的邻接直方图的示例。图 11 示出与主 直方图的亮度直方图相对应的邻接直方图的示例。
在邻接直方图中， 作为与邻接像素的分布有关的信息， 系统控制器 107 可以从 彩 色 (“Color” ) 像 素 提 取 亮 度 (“Y” )、 饱 和 度 (saturation)(“色 度 (Chroma)” )和 色相 (“Hue” )， 并且可以获取它们各自的分布。此外， 系统控制器 107 可以基于非彩色 (“Colorless” ) 像素获取亮度 Y 的分布。
在本实施例中， 通过执行步骤 S201 和 S202 中的处理， 实现了存储单元。 更具体地， 通过执行步骤 S201 中的处理实现了主直方图存储单元的示例， 而通过执行步骤 S202 中的 处理实现了邻接直方图存储单元的示例。
在本实施例中， 如果要评价的像素是彩色像素， 则该像素的第一属性是色相 “Hue” ( )。另一方面， 如果要评价的像素是非彩色像素， 则该像素的第一属性是亮度 ( “Y” )。
在本实施例中， 如果要评价的像素的邻接像素是彩色像素， 则该邻接像素的第二 属性包括色相 (“Hue” )、 饱和度 (“色度” ) 和亮度 (“Y” )。另一方面， 如果要评价的像素 的邻接像素是非彩色像素， 则该邻接像素的第二属性是亮度 (“Y” )。
在图 4 的流程图所示的包括获取主直方图和邻接直方图的追踪对象物体识别处 理结束之后， 在步骤 S103( 图 3)， 系统控制器 107 执行用于判断是否可以对追踪对象物体进 行追踪的处理。
图 12A 和 12B 是示出图 3 所示的流程图中的步骤 S103 中的可追踪性判断处理的 示例的流程图。
参考图 12A 和 12B， 在步骤 S301 和 S302 中， 系统控制器 107 按以上参考图 4、 图 6A 和 6B 以及图 7A 和 7B 所述的方式， 针对存在于追踪对象区域内部或外部的像素生成包括色相直方图和亮度直方图的主直方图。
在图 12A 和 12B 所示的流程图中， “aHistColorTarget[m]” 表示图 6A 所示的色相 直方图 400 中的各色相 (“Hue” ) 的存在于追踪对象区域内部 (“内部” ) 的像素数。另 外， “aHistYTarget[n]” 表示图 7A 所示的亮度直方图 440 中的各亮度 Y 的存在于追踪对 象区域内部 (“内部” ) 的像素数。此外， “aHistColorOther[m]” 表示图 6A 所示的色相直 方图 400 中的各色相 (“Hue” ) 的存在于追踪对象区域外部 (“外部” ) 的像素数。此外， “aHistYOther[n]” 表示图 7A 所示的亮度直方图 440 中的各亮度 Y 的存在于追踪对象区域 外部 (“外部” ) 的像素数。另外， 系统控制器 107 基于上述值， 生成图 6B 所示的平均色相 直方图和图 7B 所示的平均亮度直方图。
在步骤 S303 中， 系统控制器 107 判断按色相直方图中所包括的分割单位像素是否 分布在追踪对象区域内部。在本实施例中， 步骤 S303 中使用的 “aHistColorTarget[i]” 表 示与色相直方图 400 中的特定色相 (“Hue” )(i) 相对应的存在于追踪对象区域内部 (“内 部” ) 的像素数的值。 更具体地， 在步骤 S303 中， 系统控制器 107 判断 aHistColorTarget[i] 是否大于 0。
如果在追踪对象区域内部存在具有色相 (i) 的一个或多个像素 ( 步骤 S303 中为 “是” )， 则处理进入步骤 S304。在步骤 S304 中， 系统控制器 107 针对色相 (“Hue” )(i) 计 算追踪对象区域内部或外部的存在比率。 如以上参考图 6A 和 7A 所述， 计算追踪对象区域内部或外部的色相的存在比率。 更具体地， 系统控制器 107 通过将针对色相 (“Hue” )(i) 的存在于追踪对象区域内部 (“内部” ) 的像素数 (aHistColorTarget[i]) 除以存在于追踪对象区域外部 (“外部” ) 的像素数 (aHistColorOther[i]) 获得的结果乘以 100， 来计算该存在比率。然而， 如果 aHistColorTarget[i] ≥ 1 并且如果 aHistColorOther[i] ＝ 0， 则存在比率为 100％。
在步骤 S305 中， 系统控制器 107 判断存在比率是否高于作为预定色相采用条件的 比率。如果判断为存在比率不高于作为预定色相采用条件的比率 ( 步骤 S305 中为 “否” )， 则判断为与追踪对象物体的颜色相同的颜色大量存在于背景中， 并且如果执行使用该颜色 的追踪， 则追踪的精度可能较低。因此， 在步骤 S306 中， 为了实现高追踪精度， 系统控制器 107 判断为不采用要处理的色相 Hue(i)。
另一方面， 如果判断为存在比率高于作为预定色相采用条件的比率， 则处理进入 步骤 S307。在步骤 S307 中， 系统控制器 107 判断为将采用要处理的色相 Hue(i)。
在步骤 S308 中， 系统控制器 107 存储处理对象色相 Hue(i) 的 “SumOKTarget” 和 “SumOKOther” 。在本实施例中， “SumOKTarget”表示存在于追踪对象区域内部的像素数 (“aHistColorTarget[i]” ) 的总数。此外， 在本实施例中， “SumOKOther” 表示存在于追踪 对象区域外部的像素数 (“aHistColorOther[i]” ) 的总数。在步骤 S309 中， 系统控制器 107 针对所有的色相 Hue(i) 重复步骤 S303 ～ S308 中的处理。
如上所述， 在本实施例中， 系统控制器 107 判断是否采用色相直方图的所有分割 单位的色相 Hue(i)。另外， 系统控制器 107 存储所采用的像素数的总和。
此外， 系统控制器 107 针对亮度直方图判断追踪对象区域内部和外部的像素的存 在比率是否高于作为预定亮度采用条件的比率。在步骤 S310 ～ S316 中， 系统控制器 107 判断是否采用亮度直方图的分割单位的亮度 Y(i)。
表示存在于追踪对象区域内部的像素的总数的 “SumOKTarget” 以及表示存在于追 踪对象区域外部的像素的总数的 “SumOKOther” 分别是将具有所采用的亮度 Y(i) 的像素数 和具有所采用的色相 Hue(i) 的像素数的总和相加所计算出的值。
因此， 由此产生的表示存在于追踪对象区域内部的像素的总数的 “SumOKTarget” 是具有所采用的色相 Hue(i) 的像素数的总和。此外， 由此产生的表示存在于追踪对象区域 外部的像素的总数的 “SumOKOther” 是具有所采用的亮度 Y(i) 的像素数的总和。
在本实施例中， 可以彼此独立地设置 “色相采用条件” 和 “亮度采用条件” 。 特别地， 与彩色相比， 不太容易使用非彩色作为追踪对象物体的特性。因此， 对于非彩色， 针对亮度 采用条件可以设置比色相采用条件更严格的采用条件。
另外， 尽管图中未示出， 然而代替设置彩色或非彩色的采用条件， 如果仅针对特定 颜色或亮度改变采用条件， 也是有用的。另外， 如果不执行步骤 S303 ～ S309 中的处理或步 骤 S310 ～ S316 中的处理， 也是有用的。
在按色相直方图和亮度直方图 ( 主直方图 ) 中的分割单位执行上述采用判断处理 之后， 处理进入步骤 S317。在步骤 S317 中， 系统控制器 107 确定所采用的存在于追踪对象 区域内部的彩色像素或非彩色像素的比率。
更具体地， 系统控制器 107 通过将作为所采用的存在于追踪对象区域内部的像素 的总数的 “SumOKTarget” 除以存在于框内的像素数所计算出的值乘以 100， 来计算该比率。
在步骤 S318 中， 系统控制器 107 判断该比率是否高于预定的框内条件。如果判断 为该比率不高于预定的框内条件 ( 步骤 S318 中为 “否” )， 则处理进入步骤 S319。在步骤 S319 中， 系统控制器 107 判断为尚未获取到追踪对象物体的适当特性， 并且不能追踪该追 踪对象物体。
另一方面， 如果判断为该比率高于框内条件 ( 步骤 S318 中为 “是” )， 则系统控制器 107 判断为已经获取到追踪对象物体的适当特性。然后， 处理进入步骤 S320。在步骤 S320 中， 系统控制器 107 计算所采用的彩色像素或非彩色像素在画面内的存在比率。
更具体地， 系统控制器 107 按以下方式计算该比率。首先， 系统控制器 107 将作为 存在于追踪对象区域内部的像素的总数的 SumOKTarget 与作为存在于追踪对象区域外部 的像素的总数的 SumOKOther 相加。然后， 系统控制器 107 将相加结果除以存在于画面内的 像素数。然后， 系统控制器 107 将相除结果乘以 100。
在步骤 S321 中， 系统控制器 107 判断按上述方式计算出的比率是否低于预定的整 个画面条件 B。如果判断为该比率不低于预定的整个画面条件 B( 步骤 S321 中为 “否” )， 则 处理进入步骤 S319。在步骤 S319 中， 系统控制器 107 判断为 ： 由于因大量要追踪的彩色像 素或非彩色像素存在于位于追踪对象区域外部的背景区域中而可能导致追踪性能下降， 因 此不能追踪该追踪对象物体。
另一方面， 如果判断为该比率低于预定的整个画面条件 B( 步骤 S321 中为 “是” )， 则处理进入步骤 S322。在步骤 S322 中， 系统控制器 107 判断为可以追踪该追踪对象物体。
如上所述， 系统控制器 107 在包括与各颜色和亮度有关的单个属性评价处理、 针 对存在于追踪对象区域内部的像素的评价处理以及针对整个画面中所包括的像素的评价 处理的多个阶段中， 判断是否能够追踪该追踪对象物体。 因此， 根据本实施例的系统控制器 107 能够可靠且适当地判断是否能够对追踪对象物体进行追踪。 然而， 不总是需要执行步骤S320 和 S321 中的整个画面评价。
返回图 3， 在步骤 S104 中， 系统控制器 107 基于以上所述的可追踪性判断处理的结 果判断是否能够对追踪对象区域进行追踪。如果判断为不能对追踪对象区域进行追踪 ( 步 骤 S104 中为 “否” )， 则根据图 3 的流程图的处理结束。另一方面， 如果判断为能够对追踪 对象区域进行追踪 ( 步骤 S104 中为 “是” )， 则开始追踪循环处理。
在该追踪循环处理中， 在步骤 S105 中， 系统控制器 107 判断是否可以进行继续追 踪。图 13 是示出图 3 所示的流程图中的步骤 S105 中的继续追踪可行性判断处理的示例的 流程图。
参考图 13， 在步骤 S401 中， 系统控制器 107 计算存在于画面内的图 6A 和 7A 所示 的直方图所采用的彩色像素和非彩色像素的比率。更具体地， 系统控制器 107 通过将作为 图 6A 和 7A 所示的直方图中采用的彩色像素和非彩色像素的总数的 “SumOKALL” 除以整个 画面中所包括的像素数所计算出的值乘以 100， 来计算该比率。在本实施例中， 像素的总数 “SumOKALL” 是通过将作为存在于追踪对象区域内部的像素的总数的 “SumOKTarget” 与作为 存在于追踪对象区域外部的像素的总数的 “SumOKOther” 相加所计算出的值。
在步骤 S402 中， 系统控制器 107 判断该比率是否低于预定的整个画面条件 C。 如果 判断为该比率不低于预定的整个画面条件 C( 步骤 S402 中为 “否” )， 则处理进入步骤 S403。 在步骤 S403 中， 系统控制器 107 判断为 ： 由于因大量要追踪的彩色像素或非彩色像素存在 于位于追踪对象区域外部的背景区域中而可能导致追踪性能下降， 因此不能对追踪对象物 体进行追踪。 另一方面， 如果判断为该比率低于预定的整个画面条件 C( 步骤 S402 中为 “是” )， 则处理进入步骤 S404。 在步骤 S404 中， 系统控制器 107 判断为能够对追踪对象物体进行追 踪。在本实施例中， 可以将 “整个画面条件 C” 设置为与 “整个画面条件 B” 不同的条件， 其 中该整个画面条件 B 是作为以上参考图 12B 所述的步骤 S321 中的处理的用于判断是否能 够对追踪对象物体进行追踪的最终判断条件。
通过使用比整个画面条件 B 更严格的整个画面条件 C， 根据本实施例的系统控制 器 107 能够在追踪开始之后背景的状况发生改变， 由此具有与追踪对象物体的色相或亮度 相同的色相或亮度的像素数增加时， 判断是否立即暂停追踪。
在图 13 所示的示例中， 将条件固定为整个画面条件 C。 然而， 如果条件根据追踪开 始之后所经过的时间而逐渐改变 ( 变严 )， 也是有用的。
另外， 如果针对仅基于色相追踪物体、 仅基于亮度追踪物体以及基于色相和亮度 这两者追踪物体的各种情况， 使步骤 S318 中使用的 “框内条件” ( 图 12B)、 步骤 S321 中使 用的 “整个画面条件 B” ( 图 12B) 和步骤 S402 中使用的 “整个画面条件 C” ( 图 13) 变严， 也是有用的。 另外， 如果进一步改变仅针对特定颜色的条件和仅针对特定亮度的条件， 也是 有用的。
返回图 3， 在步骤 S106 中， 系统控制器 107 基于继续追踪可行性判断处理的结果， 判断是否能够继续对追踪对象区域进行追踪。 如果判断为不能继续对追踪对象区域进行追 踪 ( 步骤 S106 中为 “否” )， 则图 3 的流程图所示的处理结束。另一方面， 如果判断为能够继 续对追踪对象区域进行追踪 ( 步骤 S106 中为 “是” )， 则处理进入步骤 S107。在步骤 S107 中， 系统控制器 107 执行追踪对象物体检测处理。
图 14 是示出图 3 所示的流程图中的步骤 S107 中的追踪对象物体检测处理的示例 的流程图。可以在整个画面上或仅在该画面内的任意区域上执行追踪对象物体检测处理。 然而， 在本实施例中， 假定在整个画面上执行追踪对象物体检测处理。
图 15 示意性示出用于通过执行追踪对象物体检测处理来对追踪对象区域进行追 踪的方法的示例。 在画面内对追踪对象物体进行追踪时可以设置各种起点、 方向或顺序。 然 而， 在本实施例中， 假定如图 15 所示， 从画面的左上部分开始水平地执行追踪对象物体的 追踪。然后， 对下面的行顺次执行追踪。
参考图 14， 在步骤 S501 中， 系统控制器 107 判断要处理的像素 ( 要评价的像素 ) 与分布在直方图中的像素是否匹配。更具体地， 在步骤 S501 中， 系统控制器 107 判断要处 理的像素是否是作为存在于追踪对象区域内部的像素的、 图 6A 和 7A 所示的主直方图中所 存储的彩色像素或非彩色像素。另外， 在步骤 S501 中， 系统控制器 107 判断要处理的像素 是否具有已存储在图 6B 和 7B 所示的平均直方图中的、 落入该平均直方图的预定范围内的 平均亮度、 平均饱和度或平均色相。
如果判断为要处理的像素与分布在主直方图中的像素不匹配 ( 步骤 S501 中为 “否” )， 则处理进入步骤 S506。另一方面， 如果判断为要处理的像素与分布在主直方图中的 像素匹配 ( 步骤 S501 中为 “是” )， 则处理进入步骤 S502。在步骤 S502 中， 系统控制器 107 对该像素的位置分配额定点数 (rating point)。
图 16A ～ 16D 示意性示出用于对要搜索的像素分配额定点数以检测追踪对象物体 的方法的示例。参考图 16A， 如果要处理的像素 ( 处理对象像素 )650 与主直方图中的彩色 匹配， 则系统控制器 107 对处理对象像素 650 分配 1 个额定点数。
另一方面， 如图 16B 所示， 如果处理对象像素 660 与主直方图中的非彩色匹配， 则 系统控制器 107 对处理对象像素 660 分配 0 个点数 ( 不对处理对象像素 660 分配额定点 数 )。
可选地， 采用以下结构也是有用的。更具体地， 在这种情况下， 如果处理对象像素 650 与主直方图中的彩色匹配， 则系统控制器 107 对处理对象像素 650 分配 2 个额定点数。 另一方面， 在这种情况下， 如果处理对象像素 650 与主直方图中的非彩色匹配， 则系统控制 器 107 分配 1 个点数， 该点数是比在彩色的情况下分配的额定点数小的额定点数。
在步骤 S503 中， 系统控制器 107 判断处理对象像素的邻接像素与分布在邻接直方 图中的像素是否匹配。更具体地， 对于与主直方图匹配的像素， 系统控制器 107 判断存在于 处理对象像素 610 周围的 8 个像素与图 10 和 11 所示的邻接直方图是否匹配。
如果判断为处理对象像素的邻接像素与分布在邻接直方图中的像素不匹配 ( 步 骤 S503 中为 “否” )， 则处理进入步骤 S505。另一方面， 如果判断为处理对象像素的邻接像 素与分布在邻接直方图中的像素匹配 ( 步骤 S503 中为 “是” )， 则处理进入步骤 S504。在步 骤 S504 中， 系统控制器 107 对该像素的位置分配额定点数。
更具体地， 如图 16C 所示， 如果分布在邻接直方图中且具有与同主直方图中的彩 色相匹配的彩色像素的色相不同的色相的彩色像素 652 与该同主直方图中的彩色相匹配 的彩色像素相邻接， 则系统控制器 107 分配 5 个点数。
另一方面， 如图 16C 所示， 如果分布在邻接直方图中且具有与同主直方图中的彩 色相匹配的彩色像素的色相相同的色相的彩色像素 654 与该同主直方图中的彩色相匹配的彩色像素相邻接， 则系统控制器 107 分配 4 个点数。
此外， 如图 16C 所示， 如果分布在邻接直方图中的非彩色像素 656 与同主直方图中 的彩色相匹配的彩色像素相邻接， 则系统控制器 107 分配 3 个点数。
另一方面， 如图 16D 所示， 如果分布在邻接直方图中的彩色像素 662 与同主直方图 中的非彩色相匹配的非彩色像素相邻接， 则系统控制器 107 分配 3 个点数。
此外， 如图 16D 所示， 如果具有与同主直方图中的非彩色相匹配的非彩色像素的 亮度不同的亮度的非彩色像素 664 与该同主直方图中的非彩色相匹配的非彩色像素相邻 接， 则系统控制器 107 分配 2 个点数。另一方面， 如图 16D 所示， 如果具有与同主直方图中 的非彩色相匹配的非彩色像素的亮度相同的亮度的非彩色像素 666 与该同主直方图中的 非彩色相匹配的非彩色像素相邻接， 则系统控制器 107 分配 2 个点数。
在判断处理对象像素的邻接像素是否与分布在图 10 和 11 所示的邻接直方图中的 任一像素相匹配时， 如果该邻接像素是彩色像素， 则如果仅基于色相来执行判断， 也是有用 的。可选地， 在这种情况下， 如果基于所有的色相、 饱和度 (“色度” ) 和亮度 Y 来执行判断， 也是有用的。
在图 16A ～ 16D 所示的例子中， 要分配的额定点数根据处理对象像素和与该处理 对象像素邻接的像素的组合而改变。 然而， 如果在上述所有情况下分配相同的额定点数， 也 是有用的。此外， 如果分配与上述额定点数不同的额定点数， 也是有用的。
在追踪对象物体检测处理中， 系统控制器 107 判断处理对象像素是否与分布在主 直方图中的任一像素相匹配、 以及与处理对象像素邻接的像素是否与分布在邻接直方图中 的任一像素相匹配。
在上述判断中， 系统控制器 107 不使用与主直方图和邻接直方图中所包括的像素 数有关的信息。因此， 可以从主直方图和邻接直方图中删除与像素数有关的信息。更具体 地， 在追踪对象物体检测处理中， 需要如下信息 ： 与追踪对象区域中所包括的各像素具有的 属性有关的信息以及与追踪对象区域中所包括的各像素的各邻接像素具有的属性有关的 信息。
换句话说， 在追踪对象物体检测处理中， 需要如下信息 ： 与追踪对象区域中所包括 的像素具有的属性有关的信息以及与追踪对象区域中所包括的各像素的邻接像素具有的 属性有关的信息。
如果追踪对象物体检测处理中所使用的分类数据可以包括上述信息， 则该分类数 据不局限于图 6A 和 6B 以及图 7A 和 7B 所示的主直方图。另外， 如果使用具有与以上所述 的格式不同的格式的主分类数据， 也是有用的。
另外， 邻接分类数据不局限于图 10 和 11 所示的邻接直方图。更具体地， 如果使用 具有与以上所述的格式不同的格式的邻接分类数据， 也是有用的。 更具体地， 代替生成并使 用图 6A 和 6B 以及图 7A 和 7B 所示的主直方图， 如果生成并使用仅表示存在于追踪对象区 域内部的像素所具有的色相的类型的主分类数据， 也是有用的。
此外， 代替生成并使用图 10 或 11 所示的邻接直方图， 如果系统控制器 107 生成并 使用仅表示存在于追踪对象区域内部的像素所具有的色相的类型以及邻接于该像素的所 有像素各自所具有的色相的类型的邻接分类数据， 也是有用的。
如以上参考图 15 以及图 16A ～ 16D 所述， 在本实施例中， 系统控制器 107 评价存在于画面内的要处理的像素和与该像素邻接的像素之间的关系。另外， 系统控制器 107 判 断处理对象像素和主直方图之间的匹配状况以及邻接像素和邻接直方图之间的匹配状况。 如果判断为它们彼此相匹配， 则系统控制器 107 对所评价的像素的位置分配额定点数。在 步骤 S505 中， 系统控制器 107 判断是否已对所有的邻接像素完全执行了上述处理。
如果判断为已对所有的邻接像素完全执行了上述处理 ( 步骤 S505 中为 “是” )， 则 处理进入步骤 S506。 在步骤 S506 中， 系统控制器 107 通过使用所分配的额定点数以及主直 方图的各分割单位的平均亮度、 平均饱和度和平均色相， 对所评价的像素的各位置计算评 价值， 其中已按以上参考图 6B 和 7B 所述的方式存储了平均亮度、 平均饱和度和平均色相。
更具体地， 如果所评价的像素为彩色像素， 则系统控制器 107 使用以下表达式 (1) 来计算评价值， 而如果所评价的像素是非彩色像素， 则系统控制器 107 使用以下表达式 (2) 来计算评价值 ：
其中， “ΔHue” 表示所评价的像素的色相与已存储在图 6B 和 7B 所示的平均直方 图中的平均色相之间的差， “ΔChroma” 表示所评价的像素的饱和度与先前存储在图 6B 和 7B 所示的平均直方图中的平均饱和度之间的差， “ΔY” 表示所评价的像素的亮度与先前存 储在图 6B 和 7B 所示的平均直方图中的平均亮度之间的差， 并且 “ΔDistance” 表示如下框 的位置与所评价的像素的位置之间的距离， 其中该框表示由显示装置 105 所显示的追踪对 象物体的位置。如果检测追踪对象物体的精度极高， 则距离 “ΔDistance” 是不必要的， 或 者 “ΔDistance” 可以非常小。
然而， 如果所评价的像素周围存在大量具有类似色相或亮度的像素， 则可以通过 将特定距离系数添加至表达式 (1) 和 (2) 的项来抑制由于检测追踪对象物体的低精度而可 能发生的框的显示的猎振 (hunting) 现象。
在表达式 (1) 和 (2) 中， 将不同的单位系的项彼此相加。因此， 为了保持它们之间 的平衡， 使用系数 “K0” ～ “K4” 。可选地， 为了简化处理， 如果使用常数作为表达式 (1) 和 (2) 各自的分母， 也是有用的。这是因为 ： 如果步骤 S501 中的判断的标准被设置得严格， 则 表达式 (1) 和 (2) 各自的分母中的 “ΔHue” 和 “ΔChroma” 的值的变化范围变小。
在步骤 S507 中， 系统控制器 107 判断是否已经完成对存在于画面内的所有像素的 评价值的计算。如果判断为尚未完成对存在于画面内的所有像素的评价值的计算 ( 步骤 S507 中为 “否” )， 则处理返回至步骤 S501。另一方面， 如果判断为已经完成对存在于画面 内的所有像素的评价值的计算 ( 步骤 S507 中为 “是” )， 则处理进入步骤 S508。
在步骤 S508 中， 系统控制器 107 使用计算出的评价值来识别追踪对象物体的位 置。更具体地， 如果系统控制器 107 搜索计算出的评价值达到其以像素为单位的峰值的位 置， 并将该位置设置为追踪对象物体的位置， 也是有用的。另外， 如果系统控制器 107 搜索 具有比预定值高的评价值的像素的集合的位置， 并将这些像素的集合的位置设置为追踪对 象物体的位置， 也是有用的。
然而， 如果不能确定出该评价值达到特定值的位置， 即如果通过使用计算出的评 价值不能识别出追踪对象物体的位置， 则系统控制器 107 不识别追踪对象物体的位置。
如果已经识别出追踪对象物体的位置， 则系统控制器 107 根据识别出的追踪对象 物体的位置来确定用于显示框的位置。如果尚未识别出追踪对象物体的位置， 则系统控制 器 107 不确定用于显示框的位置。
在本实施例中， 通过执行以上所述的步骤 S502、 S504 和 S506 中的处理， 实现了分 配单元的示例。另外， 在本实施例中， 通过执行步骤 S508 和 S509 中的处理， 实现了改变单 元的示例。
图 17 示出评价值的计算结果的示例。在图 17 所示的示例中， 示出了在图像已从 图 2A 所示的图像变为图 2B 所示的图像的情况下图 2B 所示的图像的评价值。
在图 17 所示的示例中， 纵轴和横轴分别表示图 2B 所示的图像在垂直方向上的坐 标和该图像在水平方向上的坐标。 垂直于与这两轴平行的平面的另一轴表示各坐标处的评 价值。
在图 2A 所示的例子中， 示出了确定追踪对象物体时的图像。系统控制器 107 将区 域 202 内的部分识别为追踪对象区域。另外， 系统控制器 107 生成该追踪对象区域的主直 方图和邻接直方图。 在图 2B 所示的示例中， 示出了追踪对象区域已经移动之后的图像。在该状态下计 算出的评价值具有图 17 所示的分布。结果， 系统控制器 107 可以在具有高评价值 612 的区 域中显示表示追踪对象区域的框。
在本实施例中， 在图 17 所示的示例中， 存在具有不同于评价值 612 的高评价值 620、 622 和 624 的多个区域。
假定表示当前所显示的追踪对象区域的框存在于具有评价值 620 的位置处。评价 值 620 低于评价值 612。此外， 具有评价值 620 的像素的位置离具有评价值 612 的像素较 近。因此， 可能已将框显示在该追踪对象物体上。
因此， 在这种情况下， 如果系统控制器 107 不改变显示该框的位置， 也是有用的。 更具体地， 代替将位置改变为评价值 612 的位置， 如果将该框显示在评价值 620 的位置处， 也是有用的。
返回图 3， 在步骤 S108 中， 系统控制器 107 判断作为图 14 所示的步骤 S508 的处理 结果， 是否已经检测到追踪对象区域。如果判断为已经检测到追踪对象区域 ( 步骤 S108 中 为 “是” )， 则处理进入步骤 S109。在步骤 S109 中， 系统控制器 107 在图 14 中的步骤 S509 中确定的框显示位置处显示框。然后， 处理返回至步骤 S105。
另一方面， 如果没有检测到追踪对象区域 ( 步骤 S108 中为 “否” )， 则处理进入步 骤 S110。在步骤 S110 中， 系统控制器 107 判断是否已发生超时 ( 即， 自判断为没有检测到 追踪对象区域的时刻起是否已经过预定时间 )。
如果判断为已发生超时 ( 步骤 S110 中为 “是” )， 则结束图 3 的流程图所示的处理。 另一方面， 如果判断为没有发生超时 ( 步骤 S110 中为 “否” )， 则处理返回至步骤 S105。
如上所述， 在本实施例中， 系统控制器 107 生成作为对存在于追踪对象区域内部 或外部的像素分类得到的主分类数据的直方图 ( 主直方图 )。更具体地， 对于彩色， 系统控 制器 107 生成色相直方图 400。对于非彩色， 系统控制器 107 生成亮度直方图 440。另外，
对于存在于追踪对象区域内部的各像素， 系统控制器 107 生成作为对与该像素邻接的像素 分类得到的邻接分类数据的直方图 500 和 520( 邻接直方图 )。
在检测追踪对象物体时， 如果主直方图中存在具有与处理对象像素的属性相对应 的属性的像素， 则系统控制器 107 增大该处理对象像素的评价值。另一方面， 如果邻接直方 图中存在具有与处理对象像素的邻接像素的属性相对应的属性的像素， 则系统控制器 107 增大该处理对象像素的评价值。
对于邻接直方图， 本实施例仅判断处理对象像素的邻接像素的属性， 而没有判断 邻接像素相对于处理对象像素的方位。 因此， 如果追踪对象物体的方位因转动而变化， 或者 如果追踪设备 ( 摄像设备 ) 自身在垂直方向或水平方向上的姿势已改变， 则可能不容易影 响评价值。
通过使用邻接直方图， 本实施例判断与各处理对象像素邻接的像素的属性。 因此， 即使追踪对象物体自身的形状已经变形， 本实施例仍能够提高追踪性能。
更具体地， 如果已经将直视前方的人物的面部设置为追踪对象物体， 并且如果该 追踪对象物体 ( 人物的面部 ) 倾斜朝向侧方， 则该人物的面部的图像的宽度减小。因此， 在 这种情况下， 人物的面部的图像的形状可能不同于该人物的面部被设置为追踪对象物体时 的形状。
另外， 如果已经将直视前方的人物的面部设置为追踪对象物体， 并且如果该人物 靠近追踪设备， 则人物的面部的图像的大小可能不同于该人物的面部被设置为追踪对象物 体时的大小。
例如， 关注与人物的眼角相对应的像素、 与眼睛的虹膜的外缘相对应的像素以及 与唇角相对应的像素这三个像素。 在该示例中， 如果人物的面部的方位改变， 或者如果人物 的面部靠近追踪设备， 则这三个像素之间的方向关系以及它们之间的相对距离发生改变。 然而， 在这种情况下， 容易理解， 各像素的属性以及与该像素邻接的像素的属性的变化量较 小。
在本实施例中， 系统控制器 107 对画面中所包括的所有像素执行上述评价值计 算。此外， 系统控制器 107 将包括具有高评价值的像素的区域设置为追踪对象区域。
利用上述结构， 在传统的追踪方法不能执行适当的追踪操作的状态下， 本实施例 能够提高追踪性能。
另外， 具有上述结构的本实施例无需存储追踪用的模板图像。 因此， 能够节省存储 容量。此外， 在图像分辨率低的情况下， 本实施例能够提高追踪性能。因此， 本实施例不需 要高的图像处理性能。
下面， 将详细说明本发明第二实施例。在本实施例中， 如果可以利用帧间差分法， 则通过帧间差分法来对追踪对象物体进行追踪。 另一方面， 在本实施例中， 如果不能利用帧 间差分法进行追踪， 则按与以上在第一实施例中所述的方式类似的方式来对追踪对象物体 进行追踪。
换句话说， 本实施例与上述第一实施例的不同点在于 ： 本实施例使用帧间差分法。 利用与以上参考图 1 ～ 17 所述的第一实施例的附图标记或符号相同的附图标记或符号来 设置与第一实施例的组件相同的本实施例的组件。 因此， 这里将不重复对这些组件的说明。
图 18 是示出由根据本实施例的摄像设备所执行的用于对追踪对象物体进行追踪的处理的示例的主流程图。
参考图 18， 在步骤 S1001 中， 系统控制器 107 确定追踪对象物体的位置和大小。 在 步骤 S1002 中， 系统控制器 107 执行追踪对象物体识别处理。在步骤 S1003 中， 系统控制器 107 执行可追踪性判断处理。在步骤 S1001 ～ S1003 中， 系统控制器 107 执行与图 3 的流程 图所示的步骤 S101 ～ S103 中的处理相同的处理。
在步骤 S1004 中， 系统控制器 107 通过使用帧间相对差分法对追踪对象区域进行 追踪。在帧间相对差分法期间， 系统控制器 107 使用存在于所指定的追踪位置处的图像数 据作为模板图像， 并从随后的图像帧中搜索要进行模式匹配的区域。
另外， 系统控制器 107 将存在于被检测为要进行模式匹配的区域的位置处的图像 数据更新为模板图像。此外， 系统控制器 107 继续从随后的帧图像中搜索要进行模式匹配 的区域。
如上所述， 在本实施例中， 系统控制器 107 在顺次更新模板图像的同时， 继续从随 后的帧图像对追踪对象物体进行追踪。 当使用帧间相对差分法时， 不能执行模式匹配， 并且 在一些情况下判断为不能对追踪对象物体进行追踪。
因此， 在步骤 S1005 中， 系统控制器 107 判断是否能够利用帧间相对差分法进行追 踪。 更具体地， 如果追踪对象物体的方位由于其转动已突然改变， 或者如果追踪设备自身在 垂直方向或水平方向上的姿势已改变， 并且如果由于这些原因而导致不能执行模式匹配， 则不能利用帧间相对差分法进行追踪。
如果判断为能够利用帧间相对差分法进行追踪 ( 步骤 S1005 中为 “是” )， 则处理返 回至步骤 S1004， 并且系统控制器 107 继续通过帧间相对差分法对追踪对象物体进行追踪。 另一方面， 如果判断为不能利用帧间相对差分法进行追踪 ( 步骤 S1005 中为 “否” )， 则处理 进入步骤 S1006。
在这种情况下， 在步骤 S1006 中， 系统控制器 107 执行继续追踪可行性判断处理。 在步骤 S1007 中， 系统控制器 107 判断是否能够继续对追踪对象物体进行追踪。在步骤 S1008 中， 系统控制器 107 执行追踪对象物体检测处理。 更具体地， 在步骤 S1009 中， 系统控 制器 107 判断是否已经检测到追踪对象物体。
如果判断为已经检测到追踪对象物体 ( 步骤 S1009 中为 “是” )， 则处理进入步骤 S1010。在步骤 S1010 中， 系统控制器 107 将框显示在框显示位置处。然后， 处理返回至步 骤 S1004。
在步骤 S1004 中， 系统控制器 107 从在步骤 S1008 中检测到的追踪对象区域起， 重 新开始通过帧间相对差分法对追踪对象物体进行追踪。另一方面， 如果尚未检测到追踪对 象区域， 则处理进入步骤 S1011。在步骤 S1011 中， 系统控制器 107 判断是否已发生超时。 如果判断为已发生超时 ( 步骤 S1011 中为 “是” )， 则结束根据图 18 的流程图的处理。另一 方面， 如果判断为尚未发生超时 ( 步骤 S1011 中为 “否” )， 则处理返回至步骤 S1006。
步骤 S1006 ～ S1011 中的处理与图 3 的流程图所示的步骤 S105 ～ S110 中的处理 相同。
如上所述， 在根据图 18 所示的流程图的处理中， 没有同时执行利用帧间相对差分 法的追踪和以上在第一实施例中所述的追踪。然而， 本发明不局限于此。更具体地， 如果将 这两个处理彼此并行地同时执行， 也是有用的。在这种情况下， 系统控制器 107 判断哪个处理的精度高， 并且使用精度较高的处理的结果来执行对追踪对象物体的追踪。 另外， 代替帧 间相对差分法， 如果使用诸如以上在背景技术中所述的方法等的任意其它追踪方法， 也是 有用的。
此外， 还可以通过向系统或装置提供存储有用于实现各实施例的功能的软件的程 序代码的存储介质 ( 或记录介质 ) 并通过利用该系统或装置的计算机 (CPU 或 MPU) 读取并 执行该存储介质中所存储的程序代码， 来实现本发明。 在这种情况下， 从存储介质读取的程 序代码自身实现了上述各实施例的功能。另外， 可以将实现本发明实施例的程序存储在计 算机可读存储介质上。
尽管已经参考各实施例说明了本发明， 但是应该理解， 本发明不限于所公开的实 施例。所附权利要求书的范围符合最宽的解释， 以包含所有这类修改、 等同结构和功能。