具有摄像机异常检测装置的监视用摄像机系统 技术领域 本发明涉及一种具有摄像机异常检测功能的图像监视系统， 其是具有从摄像机等 的摄像装置获取图像， 并通过图像识别来检测入侵者等功能的图像监视系统 ( 监视用摄像 机系统 )， 在该监视用摄像机系统中检测针对摄像机的妨碍行为和因设备异常而产生的图 像获取故障。
背景技术
图像监视系统具有通过图像识别从通过摄像机获取的图像检测出现在监视区域 内的人和车辆等移动物体的功能， 上述图像监视系统具有根据检测结果仅对出现了移动物 体的图像进行记录的功能， 并且能够通过在显示装置上显示警告图标以及使蜂鸣器等鸣动 来引起监视人员注意， 所以与以前的需要常时进行确认作业的监视系统相比， 能够减轻监 视业务的负担。 此外， 在发生了盗窃等不法行为的情况下， 由上述图像监视系统记录的图像 还能够在事后用于对犯罪行为进行取证。 针对上述图像监视系统， 为了不让上述图像监视系统获得可用作证据的图像， 作 案人会作出改变摄像机的摄像角度， 或者在摄像机前放置遮蔽物， 或者毁坏摄像机的镜头 等行为， 而这些行为已经引起了人们的关注。 在摄像机遭遇了上述行为时， 会导致摄像机发 生虽然能够获取图像信号， 但除非通过目视检测等进行确认， 否则无法获得有益图像的问 题。
此外， 在摄像机自身发生了故障时， 当然也无法获得图像， 所以可能导致图像监视 系统无法工作， 需要将设备异常通知监视人员等， 使得能够对摄像机的异常进行修理， 以使 图像监视系统恢复功能。
为了解决上述问题， 已知例如在专利文献 1 至专利文献 3 中公开了通过图像识别 来检测图像的变化， 以此来检测摄像机异常的方法。在专利文献 1 所公开的技术中， 作为辅 助照明， 设置有红外线 LED， 并且具有检测监视环境的亮度的光电传感器， 此外还具有通过 该等检测装置来检测摄像机的妨碍行为的装置。在专利文献 2 所公开的技术中， 首先通过 对基准图像和输入图像进行比较来计算各个像素的变化， 并根据其结果， 利用亮度的差分 或者分散来检测妨碍行为是通过遮住摄像机等来使得图像单色化为黑色和白色等颜色的 单色化妨碍行为还是通过改变摄像机的朝向等来使得整个图像出现变化的混合变化妨碍 行为。在专利文献 3 所公开的技术中， 将图像数据分割成多个数据块， 针对各个数据块计算 亮度值的标准偏差和变化量， 由此来检测针对摄像机的遮蔽行为。
专利文献
专利文献 1 ： 日本国专利特开 2001-6056 号公报
专利文献 2 ： 日本国专利特开 2008-77517 号公报
专利文献 3 ： 日本国专利特开 2009-193464 号公报
发明内容具有摄像机异常检测功能的监视用摄像机系统的主要目的是使得能够在检测到 针对摄像机的妨碍行为时， 立即向有关人员发出警告， 使得能够根据实际情况进行维修和 检查等。 也就是说， 需要根据摄像机异常的种类采取不同的处理方法， 例如在镜头遭到破坏 时进行镜头的更换， 在摄像机的角度被改变了时对摄像机重新进行调整等。 因此， 在进行摄 像机异常检测时， 重要的是不仅要能够检测出异常， 而且还要能够检测出摄像机异常的种 类。
在上述专利文献 1 至专利文献 3 的现有技术中， 采用根据来自红外线传感器等的 信息或者亮度值的变化进行检测的检测方法来检测针对摄像机的妨碍行为。因此， 在各种 摄像机异常中， 上述现有技术只能够检测出针对镜头的遮蔽行为。
可是， 作为具有摄像机异常检测功能的监视用摄像机系统， 要求能够解决各种摄 像机异常， 作为摄像机异常的种类， 例如有镜头的局部遮蔽、 镜头的整体遮蔽、 摄像角度偏 离 ( 摄像机方向偏离 )、 图像模糊 (blurring)、 杂波 (noise)、 晕光 (halation) 等。
此外， 在上述现有技术中还存在容易对正常的图像， 例如人物的动作等产生误报 警的问题。由于人物的动作也可能导致亮度发生变化， 所以在上述现有技术中在人物频繁 出入的场所等发生将人物的动作检测为摄像机异常的可能性高。
本发明的目的在于提供一种监视用摄像机系统， 其能够对上述问题作出改进， 通 过检测出监视用摄像机的异常并告知该异常的种类， 能够提高异常恢复和维修保养等业务 的效率。
上述课题以外的课题将在整个说明书和附图中加以说明。
为了解决上述课题， 在本发明中例如能够采用以下结构。
本发明的第一方面提供一种具有摄像机异常检测装置的监视用摄像机系统， 其是 具有根据获取图像和基准图像来检测摄像机异常的摄像机异常检测装置的监视用摄像机 系统， 所述具有摄像机异常检测装置的监视用摄像机系统具有 ：
生成或者选择作为比较对象的基准图像的基准图像更新单元 ；
将所述获取图像和所述基准图像分别分割成图像块的图像块分割单元 ；
从所述获取图像和所述基准图像分别提取各个图像的整体特征量的整体特征提 取单元 ；
从通过所述图像块分割单元进行了图像块分割的所述获取图像和所述基准图像 的分割成图像块后的图像中提取各个图像的图像块的特征量即图像块特征量的图像块特 征提取单元 ；
异常判断单元， 其计算所述基准图像的所述整体特征量与所述获取图像的所述整 体特征量之间的变化量以及所述基准图像的所述图像块特征量与所述获取图像的所述图 像块特征量之间的变化量， 并进行阈值判断， 由此来判断所述摄像机异常， 同时输出以各图 像块为单位表示所述摄像机异常的种类的信息 ；
摄像机异常分类单元， 其根据以所述各图像块为单位表示所述摄像机异常的种类 的信息， 并参照预先设定的所述摄像机异常的异常分类基准， 由此对所述摄像机异常进行 分类 ； 以及
输出部分， 其输出由所述摄像机异常分类单元进行了分类的摄像机异常。
根据本发明的第一方面的具有摄像机异常检测装置的监视用摄像机系统， 本发明的第二方面的具有摄像机异常检测装置的监视用摄像机系统可以构成为 ：
作为所述特征量， 使用图像特征量和统计特征量中的至少一种特征量， 作为所述 变化量， 使用差分以及 / 或者相关值，
所述异常判断单元将在所述阈值判断中被判断为发生了所述摄像机异常的区域 作为所述摄像机异常的异常候补区域进行输出。
根据本发明的第二方面的具有摄像机异常检测装置的监视用摄像机系统， 本发明 的第三方面的具有摄像机异常检测装置的监视用摄像机系统可以构成为 ：
还具有动作区域检测单元， 该动作区域检测单元根据所述获取图像和所述基准图 像， 在所述获取图像内检测与所述基准图像相比出现了动作的动作区域，
在所述异常候补区域不是所述动作区域， 并且异常的持续时间持续了规定时间以 上时， 所述异常判断单元将所述异常候补区域作为异常区域来计算， 当所述异常区域的面 积在阈值以上时， 判断为发生了所述摄像机异常。
根据本发明的第一方面至第三方面的任一方面的具有摄像机异常检测装置的监 视用摄像机系统， 本发明的第四方面的具有摄像机异常检测装置的监视用摄像机系统可以 构成为 ： 所述异常分类基准针对每一种所述摄像机异常具有表示是使用所述图像块特征 量还是使用所述整体特征量的信息、 用于判断所述摄像机异常的所述特征量以及用于判断 所述摄像机异常的优先度的信息。
根据本发明的第四方面的具有摄像机异常检测装置的监视用摄像机系统， 本发明 的第五方面的具有摄像机异常检测装置的监视用摄像机系统的特征在于可以构成为 ：
所述异常判断单元以通过所述图像块分割单元分割而形成的图像块为单位， 检测 由所述异常分类基准定义的所述摄像机异常，
在检测到多种所述摄像机异常时， 所述摄像机异常分类单元根据所述优先度对所 述摄像机异常进行分类。
根据本发明的第一方面至第五方面的任一方面的具有摄像机异常检测装置的监 视用摄像机系统， 本发明的第六方面的具有摄像机异常检测装置的监视用摄像机系统的特 征在于可以构成为 ：
所述异常分类基准针对每一种所述摄像机异常具有用于使摄像机从所述摄像机 异常恢复的维修作业的信息或者表示所述摄像机异常原因的信息。
根据本发明的第六方面的具有摄像机异常检测装置的监视用摄像机系统， 本发明 的第七方面的具有摄像机异常检测装置的监视用摄像机系统可以构成为 ：
所述输出部分在参照所述摄像机异常以外还参照所述异常分类基准， 以输出与所 述摄像机异常相对应的所述维修作业的信息或者所述原因的信息。
根据本发明的第一方面至第七方面的任一方面的具有摄像机异常检测装置的监 视用摄像机系统， 本发明的第八方面的具有摄像机异常检测装置的监视用摄像机系统可以 构成为 ：
所述输出部分将所述摄像机异常和所述获取图像保存在记录介质中。
上述结构只是一个结构例， 本发明在不脱离其技术思想的范围内可以进行适当的 变更。本发明的上述结构以外的结构例在本申请文件的说明书或者附图中加以说明。
发明效果
根据本发明， 能够提供一种有效的监视用摄像机系统， 其通过利用基准图像和输 入图像的整体特征量、 通过分割而得到的多个图像块的特征量以及动作区域， 能够检测出 镜头的局部遮蔽、 镜头的整体遮蔽、 摄像角度偏离 ( 摄像机方向偏离 )、 图像模糊、 杂波、 晕 光 (halation) 等各种摄像机异常， 并对上述各种异常进行分类， 由此能够提高异常恢复和 维修保养等业务的效率。
本发明的其它效果将在说明书中加以说明。 附图说明
图 1 是表示本发明的一实施方式的整体结构的结构图。 图 2 是表示本发明的识别部分的图。 图 3 是表示本发明的动作区域检测单元的处理顺序的图。 图 4 是表示本发明的基准图像更新单元的处理顺序的图。 图 5 是表示本发明的特征提取单元的图。 图 6 是表示本发明的图像块分割的图。 图 7 是表示在本发明中识别的摄像机异常示例的图。 图 8 是表示本发明的使用整体特征量判断异常时的处理顺序的图。 图 9 是表示本发明的使用各个图像块的特征量判断异常时的处理顺序的图。 图 10 是本发明的动作区域图像块、 异常候补图像块和异常区域图像块的模式图。 图 11 是表示本发明的异常判断单元的处理顺序的图。 图 12 是本发明的异常分类单元的说明图。 图 13 是本发明的异常分类基准的示例图。 图 14 是表示本发明的输出例的图。 图 15 是表示本发明的摄像机内置时的实施方式的图。 图 16 表示本发明的通过网络实施的实施方式的图。 符号说明 10 摄像机 11 镜头单元 12 摄像机控制部分 20 图像获取部分 30 识别部分 40 输出部分 50 输出装置 60 记录介质 70， 71 监视现场 80， 81， 82 网络 90 监视服务器 91 维修现场 300 动作区域检测单元301 基准图像更新单元 302 特征提取单元 303 异常判断单元 304 异常分类单元 3020 整体特征提取单元 3021 图像块特征提取单元 D100 基准图像 D101 差分图像 D102 动作区域图像 D103 输入图像 D104 输入特征图像 D105 基准特征图像 D106 异常候补图像 D107 输入图像块特征图像 D108 基准图像块特征图像 D109 异常区域图像具体实施方式
以下参照附图对本发明的实施例进行说明。在各个附图中， 相同或者类似的结构 要素采用相同的符号表示， 并省略其重复的说明。
图 1 是表示本发明的一实施方式的整体结构的结构图。图 1 表示将本发明应用于 由摄像机、 记录介质和输出装置构成的监视用摄像机系统 ( 图像监视系统 ) 时的结构。在 图像监视系统中， 作为硬件具有用于执行各种功能的电子计算机系统。该电子计算机系统 具有 CPU、 存储器和 LSI 等。图 1 的方块图不是表示硬件的构成单位， 而是表示由硬件和软 件构成的各种功能。
图 1 的监视用摄像机系统具有摄像机 10、 图像获取部分 20、 识别部分 30、 输出部分 40、 输出装置 50 以及记录介质 60， 在记录介质 60 中对从摄像机 10 获取的图像信号附加由 识别部分 30 获取的识别结果信息并进行保存。
摄像机 10 将由摄像机镜头、 CMOS 和 CCD 等摄像介质构成的摄像装置所获取的图 像信号输出到图像获取部分 20 中。其中， 图像信号能够作为一维排列或者二维排列的图像 数据获取， 为了降低杂波和闪烁等的影响， 作为前处理， 可以对该图像数据实施平滑化滤波 器处理、 轮廓强调用滤波器处理和浓度变换等的处理。此外， 还可以根据用途选择 RGB 彩色 和黑白色等数据形式。 并且还可以为了降低处理成本而以规定的大小对图像数据进行缩小 处理。
输出部分 40 将识别部分 30 的识别结果以及由摄像机 10 获取的图像信号输出到 输出装置 50 或者记录介质 60 中。输出装置 50 是输出警报等的输出装置， 例如在根据识别 部分 30 的识别结果而识别到摄像机出现异常时输出警报等。 作为输出装置 50， 可以选择警 报器、 扬声器、 指示灯和监视器等输出装置。
作为记录介质 60， 能够使用硬件驱动器和闪存存储器等的电子记录介质和磁带等。输出部分 40 可以包括 RGB 监视器输出和经由网络的数据输出等， 参数设定通过用户接 口进行。通过用户接口进行输入时可以使用鼠标和键盘等的输入器件等的接口功能。通过 用户接口进行输出时可以使用作为输出装置 50 之一的监视器进行。
识别部分 30 是本发明的重要部分。以下以识别部分 30 为中心进行详细说明。
以下， 参照图 2 对识别部分 30 进行说明。识别部分 30 由动作区域检测单元 300、 基准图像变更单元 301、 特征提取单元 302、 异常判断单元 303 以及异常分类单元 304 构成。 识别部分 30 具有通过异常分类单元 304 对监视用摄像机的异常进行分类并将其输出的功 能。以下按序对识别部分 30 中的各个单元进行详细说明。
动作区域检测单元 300 对由图像获取部分 20 获取的输入图像和在基准图像变更 单元 301 中预先生成的基准图像进行比较， 并生成动作区域图像。以下参照图 3 对动作区 域检测单元 300 的处理顺序进行说明。动作区域检测单元 300 将输入图像作为输入， 以像 素为单位或者以任意的图像块为单位进行运算。首先， 实施前处理 s10。实施前处理 s10 的 目的在于提高对动作区域的检测性能， 例如可以实施用于除去杂波的平滑化滤波器处理、 用于提高稳健性的边缘提取滤波器处理以及为了提高处理速度而进行的将图像缩小到任 意尺寸的图像缩小处理。此外， 预先将差分图像 D100 的所有的像素初始化为 0。
选择输入图像内的像素位置 (s11)， 执行用于提取动作区域的处理， 然后移动到下 一个像素， 对整个图像反复进行上述处理 (s14)。 以下， 为了方便起见， 对任意像素的运算进 行说明。
在任意的像素位置 p(x， y) 提取输入图像与预先获取的基准图像 D100 之间的差分 (s12)。例如在使用亮度值进行差分处理的场合下， 在假设输入图像的亮度值为 I(P)， 并且 假设基准图像 D100 之亮度值为 B(P) 时， 其差分 D(P) 为 D(P) ＝ |I(P)-B(P)|。在进行差分 处理时， 如果是边缘和颜色信息等作为图像信息获得的差分， 则可以根据实施环境使用任 意的信息来实施差分处理。
此后， 针对在差分处理 s12 中得到的差分 D(P) 执行阈值处理 (s13)。当差分 D(P) 在阈值以上时， 在差分图像 D101 的对应位置采用该差分值 (s13 的判断结果为 “是” 时 )， 并 进入到下一个像素 (s14)。 当差分 D(P) 小于阈值时， 则视为图像的变化小， 差分是因亮度的 变化和杂波而引起的差分， 此时， 维持 D(P) ＝ 0 不变 (s13 的判断结果为 “否” 时 )， 并进入 到下一个像素 (s14)。通过根据上述结果来构成图像， 能够得到差分图像 D101。此后， 对差 分图像 D101 进行后处理， 生成动作区域图像 D102(s15)。
在本实施例的后处理 s15 中执行二值图像处理， 通过膨胀收缩处理和能够根据二 值图像区域的合并和面积等进行滤波的标记处理 (labeling) 对动作区域进行整形。此时， 动作区域图像 D102 是由动作区域为 255 的值， 非动作区域为 0 的值构成的二值图像。在后 处理 s15 中， 例如也可以执行高斯滤波处理和杂波除去处理等处理。
以下参照图 4 对基准图像更新单元 301 进行说明。基准图像是作为基准使用的图 像， 相当于背景图像。 选择图像内的像素位置 (s20)， 以像素为单位对基准图像进行更新， 然 后进入移动到下一个图像， 针对整个图像反复进行上述处理 (s25)。 在图像内没有发生动作 和摄像机异常等时对基准图像进行更新。这样做的目的在于， 如果在图像内发生了动作和 摄像机异常等时对基准图像进行更新， 可能将混入有人物动作和摄像机异常等的图像获取 为基准图像， 从而可能会导致性能降低。 以下， 为了方便起见， 对任意像素的运算进行说明。在任意的像素位置 p(x， y)， 参照由动作区域检测单元 300 检测到的动作区域图像 D102， 判断在像素位置 p 是否有动作发生 (s21)。在本实施例中， 动作区域图像 D102 的值 为 0 或者 255。在处理步骤 s21 中， 判断动作区域图像 D102 的像素位置 p 的值是否为 255。 在判断为发生了动作时 (s21 的判断结果为 “是” 时 )， 不对基准图像 D100 进行更新而移动 到下一个图像位置 (s25)。
在判断为没有发生动作时 (s21 的判断结果为 “否” 时 )， 接下来使用异常区域图像 D109 来判断有无发生摄像机异常 (s22)。异常区域图像 D109 的生成方法在后述部分中加 以说明。此时， 在判断为发生了摄像机异常时 (s22 的判断结果为 “是” 时 )， 与步骤 s21 一 样， 不对基准图像 D100 进行更新而移动到下一个图像位置 (s25)。
在判断为没有发生摄像机异常时 (s22 的判断结果为 “否” 时 )， 在用于更新基准 图像的前处理 s23 中， 在被所述步骤判断为既没有动作区域也没有摄像机异常的图像位置 上， 从图像获取部分 20 获取输入图像 D103， 并进行用于更新基准图像的前处理。即使在所 述的动作区域图像 D102 和异常区域图像 D109 被判断为没有问题的情况下， 也可能有杂波 等外部干扰混入输入图像的情形， 所以在用于更新基准图像的前处理 s23 中对输入图像实 施杂波除去等处理。在本实施例中， 通过以像素位置为单位将输入图像 D103 实施任意帧平 均化来生成图像， 由此除去在短时间内产生的杂波。此外， 在本实施例中， 也可以对各个像 素实施统计处理、 平滑化滤波器等的滤波处理以及图像修正。 此后， 在更新处理 s24 中， 使用进行了用于更新基准图像的前处理 s23 的数据更新 当前所选择的像素位置处的基准图像 D100。 也就是说， 该像素位置处的基准图像 D100 是没 有混入人物等的动作和摄像机异常等的图像。对整个图像反复进行上述处理。
基准图像 D100 可以不使用基准图像变更单元 301 等自动更新的装置， 而可以由用 户自由进行设定。由此， 例如可以在指定的时间内通过对输入图像和所设定的基准图像进 行比较来检测出摄像机的异常。
以下参照图 5 对图 2 所示的特征提取单元 302 进行说明。特征提取单元 302 将从 图像获取部分 20 获取的输入图像和由基准图像变更单元 301 获取的基准图像作为输入， 提 取各个图像的特征量并将其输入到异常判断单元 303 中。以下对特征提取单元 302 进行说 明。在特征提取单元 302 中， 以不对输入图像和基准图像进行区分的方式对任意图像进行 特征提取处理。
在特征提取单元 302 中， 通过整体特征提取单元 3020 计算图像整体的特征量， 并 且由图像块特征提取单元 3022 提取通过图像块分割单元 3021 被分割成任意个图像块后的 各个图像块的特征量。以下首先对图像块分割单元 3021 进行说明， 然后对各个特征提取处 理进行说明。
以下参照图 6 对图像块分割单元 3021 进行说明。图 6(a) 表示输入图像 ( 或者基 准图像 )， 其是宽度 W× 高度 H 的图像数据。 通过图像块分割单元 3021 将输入图像 ( 或者基 准图像 ) 分割成任意数量的图像块。 图 6(b) 是表示分割后的图像块的图。 在水平方向上按 照 Nw 进行分割， 在垂直方向上按照 Nh 进行分割时， 1 个图像块的尺寸为 w( ＝ W/Nw)×h( ＝ H/Nh)， 图像块的总数为 N ＝ Nw×Nh。其中， 将各个图像块设定为 bn(N ＝ 0， 1，…， N)。
图像块的分割数与识别处理的灵敏度成比例， 希望更为详细地检测出摄像机异常 时， 可以将图像块的块数分割得多一点， 相反， 如果因为外部干扰多而希望将灵敏度设定得
低一点时， 可以将图像块的块数分割得少一点， 由此能够获得与使用环境相对应的检测结 果。
以下对整体特征提取单元 3020 和图像块特征提取单元 3022 中的图像特征量进行 说明。为了方便起见， 不对图像整体的处理和各个图像块的处理进行区分。
在本实施例的说明中， 将图像的特征大致分为图像特征量和统计特征量进行说 明。所谓的图像特征量指亮度图像、 微分图像、 RGB 表色系统和 HSV 表色系统等的彩色图像 等能够作为图像数据来获得的信息。亮度图像是只具有输入图像的亮度分量的图像。微 分图像是图像的轮廓信息由 Sobel( 索贝尔 ) 滤波器等边缘强调滤波器进行了强调的图像， 通过该图像能够获得边缘强度和边缘方向等的信息。此外， 增量编码图像 (incrementally encoded image) 等通过将相邻图像的亮度梯度编码为 0 或 1 而得到的图像也是微分图像 中的一种。RGB 图像和 HSV 图像是彩色图像中的一种表示形式， 也可以像 YCbCr 图像和 HLS 图像等那样根据环境来选择颜色空间。
所谓的统计特征量是指， 图像内的任意空间的统计量， 可以例举出平均值、 中间值 (median)、 分散值、 最大值和最小值等。在所述整体特征提取单元 3020 中， 该统计特征量为 图像整体的统计量， 在所述的图像块特征提取单元 3022 中， 该统计特征量为各个图像块的 统计量。 根据该等特征量的相似性而计算得到的相关特征量也是特征量中的一种， 在本发 明中， 作为不在特征提取单元 302 中计算， 而在异常判断单元 303 中算出的变化量的一种， 使用该相关特征量。例如， 正规化相关、 差分平方和、 差分绝对和、 直方图交叉值、 直方图距 离等图像特征量和统计特征量的相似性或者非相似性属于相关特征量。此外， 也可以使用 差分作为在异常判断单元 303 中算出的变化量。
在使用该等特征量时， 也可以根据实施环境将各种特征量组合起来使用。例如可 以任意地选择边缘图像中的边缘强度的分散值、 RGB 图像的 R 平均值、 基于颜色距离的类似 度等进行组合。
在整体特征提取单元 3020 和图像块特征提取单元 3022 中计算所述特征量。在整 体特征提取单元 3020 中计算图像整体的特征量， 在图像块特征提取单元 3022 中计算各个 图像块的特征量。在选择特征量时， 可以由用户根据希望检测的摄像机异常来选择不同的 特征量。这一部分在后述部分中加以说明。
以下对图 2 所示的异常判断单元 303 和异常分类单元 304 进行说明。异常判断单 元 303 使用在上述动作区域检测单元 300 中得到的图像内的动作信息和在特征提取单元 302 中得到的特征量来判断摄像机的异常。
以下， 首先参照图 7 对摄像机异常进行说明。图 7 是表示摄像机异常种类的示例 图。 图 7(a) 表示正常的图像， 图 7(b) 表示摄像机镜头的一部分被胶带或布帛块等物体遮住 时的示例图像。图 7(c) 表示整个摄像机镜头被遮住时的示例图像。在摄像机的镜头被遮 住时， 所得到的图像因遮住镜头的物体与摄像机镜头之间的间隙等的不同而不同。在遮住 镜头的物体与摄像机镜头相接触时， 所得到的图像灰暗， 随着遮住镜头的物体与摄像机镜 头之间的间隙增大， 所得到的图像的亮度增加。此外， 在遮蔽物上印有图案等时， 有时在图 像上会显示出该图案。并且， 在遮蔽物具有透光性时， 透过该遮蔽物可以拍摄到背景部分。 在本实施例中， 将上述情况也定义为镜头被遮蔽的情况。图 7(d) 表示摄像机的方向相对于
图 7(a) 的位置发生了变化时的摄像角度偏离示例的图像。在本发明中， 将摄像角度偏离的 范围定义为还包括因摄像机光轴的移动以及因摄像机的旋转和焦距等引起的视场范围的 偏离。图 7(e) 表示因摄像机的焦点没有对准而导致图像模糊时的示例图像。在该图像中， 因图像模糊而使得物体的轮廓变得模糊。此外， 有时轮廓还会因为镜头表面上的湿气和灰 尘等而变得模糊。在本实施例中， 这种情况也被定义为图像模糊。图 7(f) 表示在图像上出 现了杂波时的示例图像。 除此之外， 在摄像机镜头和摄像传感器等出现了缺陷时， 或者受到 线缆断线和周围设备的影响等时也会有杂波产生。另外， 图像还会因线缆等的故障而产生 模糊。在本发明中， 上述情况也被定义为杂波。图 7(g) 表示有照明光和反射光入射到图像 上而发生了晕光时的示例图像。当有光线入射到镜头内时， 图像的一部分或者整体会出现 晕光现象。图 7(h) 表示摄像机镜头的一部分沾上了污垢时的示例图像。当镜头上被喷射 了涂料等时， 会出现与图 7(b) 和图 7(c) 所示的整个镜头或者部分镜头被遮蔽时的状态相 类似的状态。上述的摄像机异常只是一例， 所得到的图像因对摄像机的妨碍行为的方法不 同而不同。另外， 上述定义还可以由用户进行变更。定义的变更可以通过改变后述的异常 判断的基准来实现。
以下对异常判断单元 303 进行说明。异常判断单元 303 中的处理步骤大致可以分 为计算图像特征变化的步骤和将异常候补区域与以上所述的动作区域的信息进行合并而 算出异常区域的步骤。以下按序对上述步骤进行说明。 以下参照图 8 以摄像角度偏离的检测顺序为例对特征变化的计算步骤进行说明。 在检测摄像角度偏离时使用整体图像的特征量。计算预先通过特征提取单元 302 获取的输 入特征图像 D104 与基准特征图像 D105 之间的变化量 (s31)。输入特征图像 D104 是由整体 特征提取单元 3020 从来自图像获取部分 20 的输入图像 D103 中提取出的整体特征量。此 外， 基准特征图像 D105 是由整体特征提取单元 3020 从来自基准图像更新单元 301 的基准 图像 D100 中提取出的整体特征量。摄像角度偏离的变化指图像整体的特征量中的输入图 像的整体特征量 ( 输入特征图像 D104) 与基准图像的特征量 ( 基准特征图像 D105) 之间的 相关值的下降。在本实施例中， 作为特征量， 选择亮度图像， 将输入特征图像 D104 与基准特 征图像 D105 形成为增量编码图像。所谓的增量编码图像是通过将亮度图像与相邻像素之 间的梯度编码为 0 或者 1 而得到的图像。在步骤 s31 中， 求出输入特征图像 D104 与基准特 征图像 D105 之间的相关值作为变化量。增量编码图像之间的相关值以 0 至 1 的实数表示 各个像素位置的编码之间的一致率。
此后， 在步骤 s32 中判断在步骤 s31 中求出的变化量是否在阈值以下。 已知在步骤 s31 中求出的变化量 ( 此时为相关值 ) 在输入特征图像 D104 与基准特征图像 D105 完全一 致时为 1， 在无相关性时为 0.5。因此， 将此时的阈值设定为 0.5 ～ 1 的值。在判断为变化 量在阈值以下， 也就是摄像角度发生了变化时 (s32 的判断结果为 “是” 时 )， 在异常候补图 像 D106 的全部像素或者全部图像块的信息区域中存储 “0” 以外的值。异常候补图像 D106 根据检测出的异常来变更预先设定的代入值。例如， 在每个像素和图像块具有 8 比特的存 储区域时， 针对各个比特分配异常分类， 例如将摄像角度偏离分配给 “00000001” ， 将遮蔽分 配给 “00000010” ， 并对比特的 ON/OFF 进行切换。 在此， 由于所检测的是摄像角度偏离， 所以 异常候补图像 D106 的最下位的比特为 1。此外， 也可以设置成在步骤 s31 中使用从 1 减去 相关值而得到的值作为变化量， 并且在步骤 s32 中， 在变化量在阈值以上时判断为摄像角
度发生了变化。在本实施例中， 根据增量码的变化 ( 相关值 ) 来求出摄像角度偏离的变化， 但也可以根据上述各种特征量和多种特征的组合来选择各种异常的特征量。此外， 也可以 设置成根据希望检测的异常的种类和所使用的特征量， 作为变化量算出相关值， 并且也可 以设置成根据希望检测的异常的种类和所使用的特征量， 作为变化量算出差分。
以下参照图 9 以遮蔽的检测顺序为例对各个图像块的特征量的使用方法进行说 明。在遮蔽中存在镜头被局部遮盖的情况， 所以有必要判断局部的变化。由此， 首先选择图 像块的位置 (s40)， 以图像块为单位计算输入图像块特征图像 D107 与基准图像块特征图像 D108 之间的变化 (s41)。其中， 输入图像块特征图像 D107 是由图像块特征提取单元 3022 从利用图像块分割单元 3021 对来自图像获取部分 20 的输入图像 D103 进行分割而得到的 各个图像中提取出的图像块特征量。基准图像块特征图像 D108 是由图像块特征提取单元 3022 从利用图像块分割单元 3021 对来自基准图像更新单元 301 的基准图像 D100 进行分割 而得到的各个图像中提取出的图像块特征量。此后， 对在步骤 s41 中求出的变化量进行阈 值判断 (s42)， 并算出异常候补图像 D106。针对所有的图像块反复进行上述步骤 (s43)。
所谓的遮蔽是指因遮蔽而导致背景图像的亮度与输入图像的亮度之间发生变化， 被遮蔽部分的图像的微分分量出现了下降的情况。在本实施例中， 针对各个图像块检测上 述变化。在图像块特征提取单元 3022 中， 计算各个图像块 bn 的平均亮度 A(bn)。此外， 计 算各个图像块 bn 的边缘强度的分散值 V(bn)。 也就是说， 输入图像块特征图像 D107 和基准 图像块特征图像 D108 使用平均亮度和边缘强度的分散值作为特征量。以下为了方便起见， 以任意图像块的运算为例进行说明。
假设输入图像的平均亮度为 A， 背景图像的平均亮度为 A’ ， 并且假设边缘强度的 分散值为 V， V’ 。通过计算式 D_A ＝ |A-A’ |， D_V ＝ |V-V’ | 来算出上述变化 ( 此时为差分 ) (s41)， 分别判断 D_A 和 D_V 是否在阈值以上 (s42)， 在阈值以上时， 在异常候补图像 D106 的 该图像块中代入 “0” 以外的值后进行输出。针对所有的图像块实施上述处理 (s43)。
在进行上述异常候补的计算时， 可以设置成针对每一种希望作为异常输出的现 象， 选择图像整体的特征量或者各个图像块的特征量， 并且选择变化计算方法， 由此来算出 异常候补图像 D106。在异常候补图像 D106 的各个图像块的信息区域的各个比特中分别存 储预先设定的值。在使用各个图像块的特征量的方法中， 也可以设置成根据希望检测的异 常的种类和所使用的特征量， 作为变化量算出相关值， 并且也可以设置成根据希望检测的 异常的种类和所使用的特征量， 作为变化量来算出差分。
在以上的说明中， 在计算图像整体的特征和各个图像块的特征时， 输出动作区域 图像 D102 和异常候补图像 D106。其中， 异常候补图像 D106 是以各个图像块为单位表示摄 像机异常种类的信息的一例。以下对使用该等图像来判断异常的异常判断单元 303 的处理 方法进行说明。该处理相当于在异常判断单元 303 中通过对异常候补的区域和动作区域的 信息进行合并来计算异常区域的步骤。图 10 表示本实施例的概念图。从图 10 的左侧起分 别为动作区域图像块、 异常候补图像块和异常区域图像块， 使用动作区域图像块和异常候 补图像块来计算异常区域图像块。
以下参照图 11 说明从异常判断到输出为止的流程。 在此， 选择图像块位置 (s50)， 针对各个图像块进行判断。对整个图像反复进行上述处理 (s53)。首先， 根据动作区域图 像 D102 判断图像块内是否发生了动作 (s51)。在此， 例如在图像块内在规定的阈值以上的像素内发生了动作时， 判断为图像块内发生了动作。在判断为发生了动作时 (s51 的判断 结果为 “是” 时 )， 移动到下一个图像块 (s53)。在判断为没有发生动作时 (s51 的判断结果 为 “否” 时 )， 下一步使用异常候补图像 D106 来判断异常的持续性。这一步骤的目的在于降 低误报警， 由于摄像机的异常在很多情况下在瞬间发生， 并且不会恢复到正常， 所以通过判 断异常的持续性能够降低误报警率。当异常的持续时间在阈值以下时 ( 或者小于阈值时 ) (s52 的判断结果为 “是” 时 )， 移动到下一个图像块 (s53)。此时， 在没有动作但持续时间大 于阈值的情况时 ( 或者在阈值以上时 )(s52 的判断结果为 “否” 时 )， 视为该图像块发生了 异常， 将异常候补图像 D106 的存储值代入异常区域图像 D109 的该图像块中。在以上的处 理中， 在异常候补图像 D106 的被判断为发生了异常的图像块中存储 “0” 以外的值， 在被判 断为正常的图像块中存储 “0” 的值。也就是说， 检测出了如图 10 所示的异常区域图像块那 样的异常区域。
此后， 计算异常区域图像 D109 中的存储有 “0” 以外的值的图像块的数量， 在图像 块的数量在阈值以上时， 判断为发生了摄像机异常 (s54)。 在判断为发生了摄像机异常时输 出检测到的异常 (s55)。 步骤 s54 中的判断是与摄像机异常的灵敏度相关联的判断， 通过提 高该阈值， 能够使得只在整个画面发生了异常时才输出检测到的异常。该阈值可以根据使 用环境任意进行设定。
以下对图 2 所示的异常分类单元 304 进行说明。图 12 是异常分类单元的说明图， 表示在异常判断单元 303 中检测出的各种异常的异常区域图像 D109 的输出例。该异常区 域图像 D109 也是以各个图像块为单位表示摄像机异常种类的信息的一例。由于摄像角度 偏离是在整个图像发生的现象， 所以摄像角度偏离是针对所有图像块的异常。图像模糊和 遮蔽有时在局部发生， 在图 12 中， 被判断为发生了局部异常的部位以斜线表示。在异常分 类单元 304 中将该等信息合并来计算最终的异常种类。图 13 表示异常分类基准的一例， 该 判断基准根据图 13 所示的优先度来设定。例如， 在局部遮蔽的判断中使用的特征量为图像 块特征量， 特征量包括平均亮度和边缘强度分散， 优先度为 1。在摄像角度偏离的判断中使 用的特征量是整体特征量， 特征量是增量码相关值， 优先度为 3。在图像模糊的判断中使用 的特征量是图像块特征量， 特征量是边缘强度、 边缘角度和平均亮度， 优先度为 2。此外， 也 可以设置成针对在进行图 8 和图 9 的处理时使用的各个特征量， 预先确定阈值、 阈值判断方 法 ( 阈值以上还是阈值以下 ) 等的信息。另外， 也可以设置成在进行图 8 和图 9 的处理时， 预先确定表示在进行变化量的计算时是计算差分还是计算相关值的信息。在图 13 中， 针对 标有 “增量码相关值” 和 “RGB 相关值” 等 “相关值” 的部分， 作为特征量， 使用增量码和 RGB 图像， 作为变化量， 算出其相关值， 针对没有标有 “相关值” 的部分， 求出其差分。但本发明 并不仅限于此， 也可以设置成作为特征量预先标明增量码和 RGB， 并另行设置针对各个特征 量确定作为变化量是算出差分还是算出相关值的信息。根据该等信息， 在针对每个图像块 输出有多个异常的场合， 按照优先顺序， 优先输出优先度高的特征量。其结果， 输出图 12 的 第二排所示的异常分类图像。 将该异常分类图像中的图像块数量最多的异常种类作为摄像 机异常， 通过图 2 所示的输出部分 40 输出到输出装置 50 和记录介质 60 等中。通过与图像 数据一起储存在记录介质 60 中， 能够确认和检索摄像机异常发生的日期和时间以及该异 常的种类。此外， 在本实施例中， 还设置有未图示的能够进行上述检索的检索装置。
在图 13 中， 还针对各种异常设定维修作业。例如， 在被判断为属于局部遮蔽和整体遮蔽时， 作为维修作业设定 “除去遮蔽物” ， 如果是摄像角度偏离， 则作为维修作业设定 “摄像机调整” 。该等设定能够根据用户的环境任意进行设定。
此外， 也可以对本实施例进行置换， 使得还能够针对各种异常来设定异常的原因， 并且使得在检测到异常时对该异常的原因进行通知。
图 14 表示通过图 1 所示的输出部分 40 和输出装置 50 输出摄像机异常和维修作 业的信息时的示例。通过确认监视用摄像机和记录图像的用户接口， 在显示窗口输出表示 哪台摄像机发生了异常的信息 (c10)， 并输出摄像机异常的种类 (c11)。根据图 13 的设定， 能够同时进行维修作业的信息的输出 (c12)。
在本实施例中， 如图 15 所示， 也可以像由镜头单元 11 和摄像机控制部分 12 构成 的摄像机那样设置成内置在设备内的形式。
并且， 如图 16 所示， 也可以设置成从设置有多个照相机的环境即监视现场 70， 71， 经由网络 80， 81， 82 向监视服务器 90 和维修现场 91 输出图像等的信息的形式， 并且也可以 设置成以任意的通知方法将摄像机异常的输出 ( 通知 ) 发送到远程的维修现场 91 的形式。
根据本发明， 能够提供一种高效率的监视用摄像机系统， 其通过利用基准图像和 输入图像的整体特征量、 通过分割而得到的多个图像块的特征量以及动作区域， 能够检测 出镜头的局部遮蔽、 镜头的整体遮蔽、 摄像角度偏离 ( 摄像机方向偏离 )、 图像模糊、 杂波、 晕光等各种摄像机异常， 并能够对上述各种异常进行分类， 此外还能够通知异常的种类、 维 修作业的信息以及导致摄像机异常的原因， 由此能够提高异常恢复和维修保养等业务的效 率。 以上通过实施例对本发明进行了说明， 但在上述实施例中说明的结构只不过是一 个示例， 本发明在不脱离其技术思想的范围内可以进行适当的变更。 另外， 在实施例中说明 的各种结构， 只要相互之间不存在矛盾， 也可以组合使用。