物体检测方法及物体检测装置.pdf

一种物体检测装置，检测成为物体检测对象的图像中所包含的物体图像，即使TV摄像机(1)的光轴方向和视场角产生变化的情况下，也可以进行正确的物体检测。物体检测对象图像视场变化检测装置，对与成为物体检测对象的图像的视场相关的变化(光轴方向和视场角的变化)进行检测，检测条件设定装置，基于由物体检测对象图像视场变化检测装置检测出的变化，来对检测物体图像时所使用的检测条件进行设定，物体图像检测装置，使用由检测条件设定装置设定的检测条件，检测出成为物体检测对象的图像中所包含的物体图像。

1.  一种物体检测方法，检测成为物体检测对象的图像中所包含的物体图像，其特征在于，具备：
物体检测对象图像视场变化检测步骤，对与成为物体检测对象的图像的视场相关的变化进行检测；和
检测条件设定步骤，基于由物体检测对象图像视场变化检测步骤检测出的变化，来对检测物体图像时所使用的检测条件进行设定；
物体图像检测步骤，使用由检测条件设定步骤设定的检测条件，检测出成为物体检测对象的图像中所包含的物体图像。

2.  权利要求1所述的物体检测方法中，其特征在于，
在物体检测对象图像视场变化检测步骤中，作为与成为物体检测对象的图像的视场相关的变化，对拍摄图像的装置的光轴方向的变化、和拍摄图像的装置的视场角变化中的一方或者两方进行检测。

3.  权利要求1或从属权利要求2所述的物体检测方法中，其特征在于，
对于比成为物体检测对象的图像宽的图像，设定检测条件，该检测条件作为对检测物体图像时所使用的检测条件进行设定的标准，
检测条件设定步骤，根据该成为标准的检测条件、和由物体检测对象图像视场变化检测步骤检测出的变化，来设定检测物体图像时所使用的检测条件。

4.  一种物体检测装置，检测成为物体检测对象的图像中所包含的物体图像，其特征在于，具备：
物体检测对象图像视场变化检测装置，对与成为物体检测对象的图像的视场相关的变化进行检测；和
检测条件设定装置，基于由物体检测对象图像视场变化检测装置检测出的变化，来对检测物体图像时所使用的检测条件进行设定；
物体图像检测装置，使用由检测条件设定装置设定的检测条件，检测出成为物体检测对象的图像中所包含的物体图像。

5.  根据权利要求4所述的物体检测装置，其特征在于，
物体检测对象图像视场变化检测装置，作为与成为物体检测对象的图像的视场相关的变化，对拍摄图像的装置的光轴方向的变化、和拍摄图像的装置的视场角变化中的一方或者两方进行检测。

6.  权利要求4或权利要求5所述的物体检测装置，其特征在于，
对于比成为物体检测对象的图像宽的图像，设定检测条件，该检测条件成为对检测物体图像时所使用的检测条件进行设定的标准，
检测条件设定装置，根据该成为标准的检测条件、和由物体检测对象图像视场变化检测装置检测出的变化，来设定检测物体图像时所使用的检测条件。

物体检测方法及物体检测装置
技术领域
本发明涉及例如使用摄像装置的物体检测装置，尤其涉及这样的物体检测装置和物体检测方法，其根据为监视摄像视场内的入镜物体而从摄像装置输入的图像信号，检测出应检测的对象物体。
背景技术
例如，使用电视摄像机(TV摄像机)等摄像装置，对物体进行监视。而且，正在研究由没有人监视的装置或系统自动进行监视的技术。
作为一个例子，在利用差分法的监视中，检测从TV摄像机等得到的图像和标准背景图像的亮度(或者象素值)差分，并监视在该检测值比规定的阈值大的变化区域中存在物体或者有其可能性。而且，作为物体的检测条件，例如，使用有关掩蔽区域的条件和有关大小判断的条件、有关警戒区域的条件等。
【特许文献1】：特开2002-135644号公报；
【特许文献2】：特开2002-279429号公报；
【非特许文献1】：田村秀行监修、[计算机图像处理入门]、总研出版、1985年、P.149-153；
【非特许文献2】：常谷茂之，其他，[利用了固定视点型摇动·倾斜立体摄像机的对象追踪]、信息处理学会计算机图像和影像媒体研究会的研究报告、2001年、No 127-15。
但是，在现有的物体检测装置和物体检测方法中，有这样的问题，例如TV摄像机的光轴方向和视场角发生变化时，不得不变更物体的检测条件，而且如果不做这样的变更，就不能进行正确的物体检测。
发明内容
本发明正是鉴于这样的现状而作出的，其目的在于提供一种物体检测装置和物体检测方法，其例如在TV摄像机的光轴方向和视场角产生变化的情况下，也可以进行正确的物体检测。
为了达到上述目的，如下所述，本发明的物体检测装置检测出成为物体检测对象的图像中所包含的物体图像。
也就是说，物体检测对象图像视场变化检测装置，对与成为物体检测对象的图像的视场相关的变化进行检测。检测条件设定装置，基于由物体检测对象图像视场变化检测装置检测出的变化，来对检测物体图像时所使用的检测条件进行设定。物体图像检测装置，使用由检测条件设定装置设定的检测条件，检测出成为物体检测对象的图像中所包含的物体图像。
因此，使用基于与成为物体检测对象的图像的视场相关的变化来设定的检测条件，来检测出该图像中所包含的物体图像，所以，例如，即使在产生与成为物体检测对象的图像的视场相关的变化的情况下，也可以进行正确的物体检测。
在此，成为物体检测对象的图像、物体、与成为物体检测对象的图像的视场相关的变化、检测条件，分别可以使用各种条件。
而且，在成为物体检测对象的图像中，产生与视场相关的变化时，利用检测条件设定装置来设定检测条件的方式，可以使用各种方式，例如，可以使用与该变化对应地校正检测条件的方式，或者也可以使用与该变化对应地对成为物体检测对象的图像进行校正的方式，或者也可以使用校正这两方的方式。
本发明的物体检测装置中，作为一个构成例，物体检测对象视场变化检测装置中，与成为物体检测对象的图像的视场相关的变化，对拍摄图像的装置(图像摄像装置)的光轴方向的变化、和拍摄图像的装置的视场角变化中的一方或者两方进行检测。
因此，例如，即使在拍摄图像地装置的光轴方向或视场角产生变化的情况下，也可以进行正确的物体检测。
在此，作为拍摄图像的装置，可以使用各种装置，例如，可以使用TV摄像机等。
此外，作为拍摄图像的装置的光轴方向的变化，例如，使用水平方向的变化或垂直方向的变化。作为一个例子，在将水平方向设为x轴方向，垂直方向设为Y轴方向时，可用X轴方向的坐标偏移量和Y轴方向的坐标偏移量表示光轴方向的变化量。
而且，作为拍摄图像的装置的视场角变化，例如可以使用水平方向的变化和垂直方向的变化。作为一个例子，当将水平方向设为x轴方向，垂直方向设为Y轴方向时，可用X轴方向坐标的的变宽或变狭以及Y轴方向坐标的变宽或变狭来表示视场角的变化量，或者可以用X轴方向的角度及Y轴方向的角度来表示视场角的变化量。
而且，拍摄图像的装置的光轴方向的变化和视场角的变化，例如，有时由人或装置带来的操作或控制产生，而且，例如有时由风等室外环境或室内环境产生。
本发明的物体检测装置中，作为一个构成例，对于比作为物体检测对象的图像宽的图像，设定检测条件，该检测条件成为对检测物体图像时所使用的检测条件进行设定的标准。此外，检测条件设定装置，根据该成为标准的检测条件、和由物体检测对象图像视场变化检测装置检测出的变化，来设定检测物体图像时所使用的检测条件。
因此，基于对与成为物体检测对象的图像相比较宽的图像设定的标准检测条件来设定检测条件，所以，例如，即使产生与成为物体检测对象的图像的视场相关的变化，也能设定适当的检测条件，可以适当地检测物体图像。
在此，作为比成为物体检测对象的图像宽的图像，可以使用各种图像，例如，可以使用视场比成为物体检测对象的图像的视场(例如画面)宽(例如画面)的图像，例如，可以使用在内部包含所有的成为物体检测对象的图像的图像。
而且，作为标准检测条件，也可以使用各种条件。
而且，作为标准检测条件，例如，对于比成为物体检测对象的图像宽的图像，可在宽范围内，分散设定具有相同作用的多个标准检测条件。此时，由于具有相同作用的多个标准检测条件可在宽范围内分散，因此，即使在产生与成为物体检测对象的图像的视场相关的变化的情况下，在很多情况下，该变化后的成为物体检测对象的图像中包含具有相同作用的多个标准检测条件中的1个或1个以上。
而且，成为标准的检测条件，例如，可变地或者事先固定地设定在装置上，或者由人可变的或者事先固定地进行设定，例如，存储在存储器中。
下面，进一步示出本发明的构成例。
例如，比成为物体检测对象的图像宽的图像被设定为监视区域图像，作为一例，合成多个图像来生成。而且，例如，用TV摄像机等摄像装置拍摄来取得多个图像。
作为一构成例，作为检测条件，可以使用模板、作为标准的背景图像(标准背景图像)、掩蔽区域、警戒区域、大小信息、速度信息中的1个以上。
作为一构成例，在比成为物体检测对象的图像宽的图像中，例如相互隔开(分散)多个模板来设定。
作为一构成例，从比成为物体检测对象的图像宽的图像中，提取针对物体检测对象的图像的标准背景图像。
作为一构成例，通过模板的匹配来检测光轴方向的变化量。例如，从作为物体检测对象图像中，检测出在标准背景图像中设定的模板和亮度或象素值一致或类似的部分，检测该模板和该检测部分的偏差量。之后，校正该偏差量，来消除成为物体检测对象的图像和标准背景图像等之间的光轴方向变化引起的偏差。
作为一构成例，根据视场角变化前的焦距和视场角变化后的焦距之比，检测出视场角的变化量(例如，表示几倍的值)。此外，例如，根据操作视场角的情况、拍摄成为物体检测对象的图像的摄像装置(例如摄像机)其视场角变化的情况、改变摄像装置的视场角的视场角变化装置(例如，摄像机云台或摄像镜头的控制)引起的视场角变化的情况，来检测视场角的变化量。之后，校正该视场角变化量，消除成为物体检测对象的图像和标准背景图像等之间的视场角变化所引起的偏差。
作为一构成例，检测成为物体检测对象的图像的亮度或象素值、和标准背景图像的亮度或象素值之间的差分，把该检测出的差分等于大于规定阈值或超过规定阈值的部分，作为变化部分而检测出。这种变化部分，可以认为有可能相当于移动或变化的物体的图像。
作为一构成例，在警戒区域，即使存在图像亮度或像素值的变化，也不检测为存在物体图像，即，不检测物体图像。
作为一构成例，关于警戒区域，在警戒区域内检测出包含一部分或全部的物体图像的情况、和在其他区域检测出物体图像的情况下，使得向人或装置通知物体检测的报告形式不同。
作为一构成例，关于应检测物体大小的信息，检测出在该大小的规定数倍范围内包含全部的物体图像，或者，检测出在该大小的规定数倍范围内至少包含一部分的物体图像。
作为一构成例，关于应检测物体的移动速度信息，检测出由该移动速度决定的范围内包含全部的物体图像，或者，检测出由该移动速度决定的范围内至少包含一部分的物体图像。
作为一构成例，物体图像检测装置判断物体检测对象图像中所包含的部分，是否满足由检测条件设定装置设定的检测条件，把判断为满足该检测条件的部分，作为包含于成为物体检测对象的图像中的物体图像(物体图像的部分)而检测出。
作为一构成例，检测条件设定装置根据由物体检测对象图像视场变化检测装置检测出的变化，对成为标准的检测条件、比成为物体检测对象的图像宽的图像、或成为物体检测对象的图像中的1个或1个以上校正，由此，对成为物体检测对象的图像，设定检测物体图像时所使用的检测条件。作为具体例子，检测条件设定装置对作为标准的检测条件的坐标、比作为物体检测对象的图像宽的图像的坐标、或成为物体检测对象的图像的坐标中的1个或1个以上进行校正，以补偿由物体检测对象图像视场变化检测装置检测出的变化，并把成为标准的检测条件的坐标和成为物体检测对象的图像坐标进行匹配，来对成为物体检测对象的图像设定检测条件。
发明效果
如上述说明，根据本发明的物体检测装置和物体检测方法，例如，对于比作为物体检测对象的图像宽的图像，设定标准检测条件，之后，例如，检测出称作光轴方向变化或视场角变化的、与作为物体检测对象的图像的视场相关的变化，并根据该检测出的变化，例如，设定检测条件，该检测条件在对称作掩蔽区域或警戒区域等的物体的图像进行检测时使用，并使用该设定的检测条件，来对成为物体检测对象的图像中所包含的物体图像进行检测，因此，例如，即使在成为物体检测对象的图像的视场产生称作光轴方向变化或视场角变化的变化时，也可以进行正确的物体检测。
附图说明
图1是表示本发明实施例的物体检测装置组成例子的图；
图2是表示使用了有关第1实施例差分法的物体检测方式处理流程的一个例图；
图3(A)是表示用于检测TV摄像机的光轴方向变化的模板位置的一例的图，图3(B)是用于说明模板匹配处理的一例的图；
图4是表示第2实施例的标准检测条件的设定处理流程的一例的图；
图5(A)～(I)示出各图像，是用于说明对监视区域图像进行合成处理的一例的图；
图6(A)是表示合成的监视区域图像和标准检测条件的一例所谓的图，图6(B)是用于说明TV摄像机的视场角或光轴方向的图。
图7是表示使用了第2实施例的差分法的物体检测方式的处理流程的一例的图；
图8(A)～(E)是用于说明掩蔽区域位置偏差校正处理及警戒区域校正处理的具体例的图；
图9(A)～(C)是表示由摄像装置得到的图像和检测条件的一例的图；
图10是表示差分法的处理步骤的一例的图；
图11是表示使用差分法的物体检测方式的处理流程一例的图；
图12(A)是表示有关差分法的监视区域的一例的图，图12(B)是表示差分法中检测出的变化区域的一例的图，图12(C)是表示有关差分法中掩蔽区域的一例的图；
图13(A)是于说明判断应检测物体的、标准大小的设定方法的一例的图，图13(B)是说明标准大小的补偿方法的一例的图。
具体实施方式
参照附图说明有关本发明的实施例。
在有关本实施例的物体检测装置和物体检测方法中，TV摄像机的视场角和光轴方向改变的情况下，检测其变化，并根据其变化，对称作掩蔽区域、警戒区域、应检测物体大小信息、应检测物体速度信息的检测条件进行校正。由此，在有关本实施例的物体检测装置和物体检测方法中，即使TV摄像机的视场角改变的情况和光轴方向改变的情况下，都可以自动检测其变化量，通过校正检测条件，可进行可靠性高且正确的物体检测。
图1表示本实施例物体检测装置(影像监视装置)硬件组成。
本实施例的物体检测装置，具备：摄像装置(TV摄像机)1、处理装置2、操作部3、外部存储装置4、输出监视器(监视器)5、警报灯6。
摄像装置1包括：摄像部11、电动旋转台(摄像机云台)12、变焦镜头(摄像镜头)13。
处理装置2包括：图像输入部(图像输入I/F)21、云台控制部(云台控制I/F)22、镜头控制部(镜头控制I/F)23、操作输入部(操作输入I/F)24、图像存储器25、小型处理装置MPU(Micro Processing Unit，即微处理单元)26、工作存储器27、外部输入输出部(外部输入输出I/F)28、图像输出部(图像输出I/F)29、警报输出部(警报输出I/F)30、数据总线31。
操作部3，具有操纵杆41和按钮42、43。
摄像部11和图像输入部21连接，摄像机云台12和云台控制部22连接，摄像镜头13和镜头控制部23连接，操作部3和操作输入部4连接，外部存储装置4和外部输出装置28连接，输出监视器5和图像输出部29连接，警报灯6和警报输出部30连接。而且，图像输入部21、云台控制部22、镜头控制部23、操作输入部24、图像存储器25、MPU26、工作存储器27、外部输入输出部28、图像输出部29及警报输出部30，和数据总线31连接。
搭载在摄像机云台12上并具有摄像镜头13的摄像部11(TV摄像机1)，拍摄监视对象(视场范围)。拍摄的影像信号，从图像输入部21通过数据总线31存储到图像存储器25。记录在外部存储装置4中的程序等数据，通过外部输入输出部28读取到工作存储器27，或者，相反，从工作存储器27存储到外部存储装置4。MPU26，根据保存在外部存储装置4中且在装置运行时下载到工作存储器27的程序，在工作存储器27中对存储在图像存储器25上的图像进行分析。MPU26，根据处理结果，进行如下动作：从数据总线31通过镜头控制部23控制摄像镜头13，或者通过云台控制部22控制摄像机云台12来改变摄像机11(TV摄像机)的摄像视场，或者通过图像输出部29向输出监视器5显示例如与入镜物体的检测结果相关的图像，或者通过警报输出部30点亮警报灯6。
而且，本例中，摄像装置1和处理装置2例如通过电缆非常靠近地设置，不过也可以使用其他各种配置，例如，也可以采用摄像装置1通过网络等与位于远处的处理装置2连接。
下面示出的实施例中，以上述图1所示的物体检测装置的硬件结构为例，进行说明。
实施例1
说明有关本发明第1实施例的物体检测装置及物体检测方法。
图2是说明本实施例的处理程序的流程图。
该图所示的处理过程，例如包括进行与应用图11所示的差分法的监视方式的处理过程相同动作的步骤S1(初始化处理)、步骤S2(图像输入处理)、步骤S5(差分处理)、步骤S6(二值化处理)、步骤S8(掩蔽处理)、步骤S9(标记处理)、步骤S10(处理图像显示)、步骤S14(物体存在判断处理)、步骤S15(警报·监视显示处理)，并在所述步骤上追加规定的步骤S3、S4、S7、S11、S12、S13的处理步骤来构成。为此，本例中，对于与图11所示的处理程序不同的处理步骤(S3、S4、S7、S11、S12、S13)进行了详细说明，对于相同的处理步骤省略或简化说明。
首先，进行初始化处理(步骤S1)、图像输入处理(步骤S2)。
然后，在光轴方向变化量检测步骤中，通过模板匹配法检测TV摄像机1的光轴方向的变化(步骤S3)。
参照图3，说明这种检测处理。
该图(A)示出在图像71的模板匹配中使用的模板的位置81，该图(B)示出由于TV摄像机1的抖动等，而光轴方向发生变化的瞬间的图像72。
首先，如该图(A)所示，事先在监视区域内设定模板位置81。作为模板位置81，例如建筑物的屋顶或房檐等，指定不会被风摇动的部分。其次，把标准背景图像的模板位置81的图像作为模板图像，在输入图像中检测出与模板图像一致程度最高的位置。作为一致程度，例如可以适用标准相关值r(Δx、Δy)，这个由式1表示。
【式1】
r ( Δx , Δy ) = Σ i , j ∈ D | f ( x 0 + Δx + i , y 0 + Δy + j ) - f ( x 0 + Δx , y 0 + Δy ) ‾ | · | g ( x 0 + i , y 0 + j ) - g ( x 0 , y 0 ) ‾ | Σ i , j ∈ D | f ( x 0 + Δx + i , y 0 + Δy + j ) - f ( x 0 + Δx , y 0 + Δy ) ‾ | 2 · Σ i , j ∈ D | g ( x 0 + i , y 0 + j ) - g ( x 0 , y 0 ) ‾ | 2 ]]>
f ( x 0 + Δx , y 0 + Δy ) ‾ = 1 | D | Σ i , j ∈ D f ( x 0 + Δx + i , y 0 + Δy + j ) ]]>
g ( x 0 , y 0 ) ‾ = 1 | D | Σ i , j ∈ D g ( x 0 + i , y 0 + j ) ]]>
这里，f(x，y)表示输入图像，g(x，y)表示模板图像(标准背景图像的部分图像)，例如，对于图像的坐标轴，把图像的左上设定为原点(0，0)，(x0，y0)表示模板位置81的左上坐标，D表示模板图像的大小(例如，横50象素、纵40象素)。标准相关值r(Δx、Δy)，取[-1≤r(Δx、Δy)≤+1]的值，在输入图像和模板图像完全一致的情况下，成为“+1，0”)。模板匹配处理是这样的处理，即，当在检索范围(横Mx，纵My)内扫描Δx、Δy时，即改变为[-Mx≤Δx≤+Mx，-My≤Δy≤+My]时，检测标准相关值r(Δx、Δy)变最大的位置的变化量(Δx、Δy)。
而且，检索范围Mx、My，表示被检测TV摄像机的光轴方向变化的最大量，可以通过实验求得，例如，Mx＝50，My＝50(例如参照非特许文献1)。
图3(B)中，位置81是设定的模板位置，位置82是由模板匹配法检测到的位置。也就是说，设定检测条件时处于位置81的模板图像，由于TV摄像机1的抖动等而光轴方向发生变化，移动到位置82。因此，模板匹配时得到的一致程度最大的位置变化量(Δx、Δy)，就是TV摄像机光轴方向的变化量。
下面，在标准背景图像位置校正步骤中，根据TV摄像机1的光轴方向的变化量(Δx、Δy)，成为[g’(x，y)＝g(x-Δx、y-Δy)]的平行移动，并校正相对于标准背景图像的输入图像的位置偏移(步骤S4)。这里，g(x，y)表示校正前的标准背景图像，g’(x，y)表示校正后的标准背景图像。进行这种校正的理由是因为，本实施例中，输入图像的亮度变化区域的检测使用了差分法，当因TV摄像机1的抖动等原因而光轴方向发生变化时，输入图像和标准背景图像之间产生位置偏差，如果在该状态下直接进行差分处理，则在产生位置偏差的地方产生大的差分。
然后，使用校正了位置的标准背景图像进行差分处理(步骤S5)，进行二值化处理(步骤S6)。
之后，在掩蔽区域位置偏差校正处理步骤，与上述标准背景图像位置校正步骤同样，对因TV摄像机1的光轴方向的变化而产生的输入图像和掩蔽区域之间的位置偏差进行校正(步骤S7)。
例如，设掩蔽区域为m(x，y)时，进行成为[m’(x，y)＝m(x-Δx、y-Δy)]的图像的平行移动，校正位置偏差。这里，m(x，y)表示校正前的掩蔽区域，m’(x，y)表示校正后的掩蔽区域。这样，即使在产生TV摄像机1的光轴方向的变化的情况下，也不必加宽设定掩蔽区域，也可进运行掩蔽处理。
然后，使用校正了位置的掩蔽区域来进行掩蔽处理(步骤S8)，进行标记处理(步骤S9)，进行处理图像显示处理(步骤S10)。
然后，在警戒区域校正步骤，将警戒区域的位置平行移动TV摄像机1的光轴方向的变化量(Δx，Δy)大小(步骤S11)。本例中，如图12所示的警戒区域201，以矩形设定警戒区域，利用左上坐标和右下坐标(也就是说处于对角关系的2个顶点坐标)来指定该矩形。也就是说，在将校正前的警戒区域设为[左上坐标(wx0，wy0)-右下坐标(wx1，wy1)]时，将校正后的警戒区域设为[左上坐标(wx0-Δx，wy0-Δy)-右下坐标(Wx1-Δx，wy1-Δy)]，由此可校正警戒区域。
然后，在大小条件计算步骤，例如，对如参照图13所说明的应检测物体的标准大小进行校正(步骤S12)。该校正如下进行，即，例如在式2及式3中，对事先设定的标准物体的位置y1、y2，进行[y1’＝y1-Δy，y2’＝y2-Δy]的变换，并把由此得到的结果，如[y1＝y1’，y2＝y2’]代入y1、y2来适用于式2及式3。
然后，在速度条件计算步骤，根据由大小条件计算步骤得到的标准大小dx3、dy3，例如把dx3、dy3的2/3值作为应检测的物体的速度信息。
然后，如上所述，利用已校正的物体的检测条件，判断物体是否存在(步骤S14)，如果判断为存在，则进行警报输出和监视器的显示(步骤S15)。
通过如上所述的步骤S4(标准背景图像的位置校正)、步骤S7(掩蔽区域的位置校正)、步骤S11(警戒区域的位置校正)、步骤S12(大小条件的校正)、步骤S13(速度条件的计算)的各处理，在本例的物体检测装置和物体检测方法中，例如，即使是TV摄像机1由于风抖动的情况、或操作TV摄像机1时TV摄像机1的光轴方向改变的情况下，也自动检测出TV摄像机1光轴方向的变化量，可根据光轴方向的变化量校正检测条件。因此，依据TV摄像机1的光轴方向的变化，可以消除如下情况，并可以进行可靠性高的正确的物体检测，可消除的情况包括：例如由于不得不加宽设定盲区而可可检测物体的范围变小的情况，或者，不能正确进行变化区域大小的判断或不能正确判断警戒区域内是否存在的情况。
如上所述，本例中，可以检测TV摄像机1的抖动并进行校正。
这里，本例中，通过将物体检测条件的基础标准背景图像、掩蔽区域、警戒区域、有关大小条件的设定值y1、y2等的位置稍微移动，来进行了校正，但作为其他组成例，可以采用不校正成为物体检测条件的基础的信息，而移动输入图像方来进行校正。
而且，本例中，没有考虑TV摄像机1的摄像镜头13的镜头控制，但作为其他实施例，可以将计算焦距的变化量r，并将掩蔽区域等的大小设为r倍的处理组合起来进行。
实施例2
说明第2实施例的物体检测装置及物体检测方法。
本例的物体检测装置及物体检测方法中，在事先制作的监视区域图像上，设定掩蔽区域、警戒区域、大小信息的标准检测条件，监视人员在操作TV摄像机1的视场角和光轴方向时，基于监视区域图像上设定的标准检测条件来计算监视条件。
图4是标准检测条件的设定处理流程图。
利用图4，说明标准检测条件的设定处理流程的例子。
首先，在初始化步骤中，进行用于执行设定处理的外部设备、参数、图像存储器等的初始化(步骤S21)。
然后，在设定读入处理步骤中，例如，读出记录在外部存储装置4上的标准检测条件的设定(步骤S22)。这里，在初次设定标准检测条件的情况下，以初始化处理步骤中初始化的标准检测条件状态开始设定作业，第2次之后，读出最后设定的标准检测条件，开始设定作业。
然后，从摄像机云台控制步骤(步骤S28)到区域扫描结束判断步骤(步骤S25)为止，进行由TV摄像机1的标准视场角输入规定范围的图像的处理。
具体地说，在摄像机云台控制步骤中，例如为了把标准视场角的50％范围分9次扫描，而控制云台(步骤S23)。作为一例，作为摄像象素使用1/2型CCD(象素尺寸横6.4mm、纵4.8mm)，设焦距为10mm的情况下，标准视场角成为横方向35.5°、纵方向27.0°。在摄像机云台控制步骤，每运行处理时，控制摄像机云台12，使其从标准视场角向左移动17.75°及向上移动13.50°、向上移动13.50°、向右移动17.75°及向上移动13.50°、向左移动17.75°、不动、向右移动17.75°、向左移动17.75°及向下移动13.50°、向下移动13.50°、向右移动17.75°及向下移动13.50°。
然后，在图像输入步骤中，从TV摄像机1得到例如横320象素、纵240象素的输入图像(步骤S24)。
然后，在区域扫描结束(终结)判断步骤中，当摄像机云台控制运行了规定次数(本例中是9次)的情况下，转移到图像合成处理步骤(步骤S26)，另外，当没有运行规定次数时，转移到(步骤S25)摄像机云台控制步骤(步骤S23)。
当上述处理结束时，可以得到图5(A)～(I)所示的各图像91～99。
然后，在图像合成处理步骤中，将图5所示的图像91～99合成，作为1帧图像(步骤S26)。
本例中，通过将各图像91～99合成为图像尺寸的50％左右重叠，由此可以生成图6所示的1帧图像。这样合成的图像是将标准视场角的上下左右扩展50％的图像，说明中将该图像称作监视区域图像。
这里，本例中，以扫描次数9次、重叠量50％制作监视区域图像，但也可以采用其他形式，例如，扫描次数设为25次(横向、纵向各5次)或将重叠量提高为75％等。而且，当将监视区域图像设定为相对于标准视场角过宽时，有时由于摄像机视差的影响而图像合成比较困难，因此，例如，监视区域图像最好设定为相对于标准视场角在上下左右留有50％左右。而且，例如，由于使用了视点固定型摄像机，也有可能消除这种视差问题。视点固定型摄像机是设置为即使进行摇动倾斜控制，视点位置也保持一定的摄像机，当使用这种摄像机时，即使光轴方向变化，摄像机的视点位置也不会变化，不会发生视差。也在研究应用这种视点固定型摄像机的装置(例如，参照非特许文献2)。
然后，在掩蔽区域设定步骤，对通过图像合成处理步骤合成的监视区域图像设定掩蔽区域(步骤S27)。掩蔽区域是这样指定的，即，例如，通过由监视人员利用操作部(操作器)3指定多边形的顶点，如图6(A)所示的监视区域图像101中的区域111，指定为包括可能因风等而抖动的草木部分。
然后，在掩蔽设定结束判断步骤中，例如以可以选择“是”/”否”(“是”或“不是”)的形式，询问监视人员掩蔽区域111的设定操作是否结束，监视人员通过操作部3的操作，当掩蔽区域111的设定结束时选择“是”，当掩蔽区域111的设定没有结束时选择“否”(步骤S28)。这样，在掩蔽设定结束判断步骤中，当“是”被选择时，转移到警戒区域设定步骤(步骤S29)，当“否”被选择时，转移到掩蔽设定步骤(步骤S27)。
然后，在警戒区域设定步骤，例如，在建筑物的入口和场地门等上，作为具体例子，指定如图6(A)所示的监视区域图像101中的区域112、区域113、区域114等，特别指定警戒等级高的区域(步骤S29)。在这种警戒区域112～114中是否存在入镜物体的信息，被反映到警报·监视显示步骤(图7的步骤S58)的警报种类，例如，当警戒区域112～114内存在入镜物体时，警报灯6亮红色，当警戒区域112～114内没有入镜物体时，警报灯6亮黄色。
然后，警戒区域设定结束判断步骤中，和上述的掩蔽设定结束判断步骤一样(步骤S28)，让监视人员选择警戒区域112～114的设定是否结束，在警戒区域112～114的设定结束的情况下，转移到大小设定步骤(步骤S31)，在警戒区域112～114的设定没有结束的情况下，转移到(步骤S30)警戒区域设定步骤(步骤S29)。
然后，在大小设定步骤中，例如，如参照图13所进行的说明，设定入镜物体的标准大小(步骤S31)。图6(A)所示的例子中，由矩形115、矩形116来设定。也就是说，应根据监视人员设定的矩形115、矩形116，来决定图13所示的y1、y2等的值，结束用于进行式2及式3的运算的参数准备。
然后，大小设定结束判断步骤中，和上述的掩蔽设定结束判断步骤同样(步骤S28)，让监视人员选择入镜物体的标准大小设定是否结束，在大小设定结束了的情况下，转移到模板设定步骤(步骤S32)，在模板设定没有结束的情况下，转移到(步骤S32)大小设定步骤(步骤S31)。
然后，在模板设定步骤中，设定为检测出TV摄像机1的光轴方向变化的模板位置(步骤S33)。作为模板位置，例如，建筑物的屋顶和房檐等指定不会被风摇动的部分。本例中，作为理想形式，如图6(A)所示的多个矩形117、矩形118、矩形119、矩形120，设定多个模板位置。其理由是，即使在操作TV摄像机1的摄像镜头13的情况和光轴方向变化了的情况下，也可以至少反映1个或1个以上的模板。而且，由于使用多个模板进行匹配，还可以提高匹配精度(例如，参照特许文献1)。
然后，在模板设定结束判断步骤中，和上述掩蔽设定结束判断步骤(步骤S28)一样，让监视人员选择用于检测TV摄像机1的光轴方向变化的模板位置设定是否结束，在模板的位置设定结束了的情况下，转移到设定保存处理步骤(步骤S35)，在模板的位置设定没有结束的情况下，转移到(步骤S34)模板设定步骤(步骤S33)。
然后，在设定保存处理步骤中，将从上述摄像机云台控制步骤(步骤S23)到模板设定结束判断步骤(S34)为止得到的图像、和成为标准的检测条件信息，例如保存到外部存储装置4。
如上所述，上标准检测条件的设定结束。
图7是说明有关本例处理过程的流程图。
该图所示的处理过程，例如包括：进行与应用图2所示的差分法的监视方式的处理过程一样动作的步骤S41(初始化处理)、步骤S43(图像输入处理)、步骤S48(差分处理)、步骤S49(二值化处理)、步骤S51(掩蔽处理)、步骤S52(标记处理)、步骤S53(处理图像显示)、步骤S57(物体存在判断处理)、步骤S58(警报·监视显示处理)，以及将与图2示出的其他步骤S3、S4、S7、S11、S12、S13的处理一样的处理，转换到监视区域图像101的坐标系来执行的步骤S46(光轴方向变化量检测处理)、步骤S47(标准背景画面位置校正处理)、步骤S50(掩蔽位置偏差校正处理)、步骤S54(警戒区域校正处理)、步骤S55(大小条件计算处理)、步骤S56(速度条件计算处理)的处理步骤，再追加规定的步骤S42、S44、S45的处理步骤。为此，本例中，对于与图2所示的处理过程不同的处理步骤(S42、S44、S45)进行详细的说明，对于相同的处理步骤省略或简化说明。
首先，进行初始化处理(步骤S41)。
其次，在摄像机云台控制步骤中，由监视人员输入操作部3的操作，控制摄像机云台12及摄像镜头13(步骤S42)。摄像机云台控制步骤中，例如，当监视人员上下左右移动操作部3的操纵杆41等时，与此连动地控制摄像机云台12，并上下左右地改变TV摄像机1的光轴。而且，当监视人员按下附属于操作部3的按钮42、43时，加长或缩短镜头12的焦距。由此，可以放大或缩小镜头，可以改变TV摄像机1的视场角。
而且，本例中，作为摄像机云台控制步骤，通过用户的操作来进行摄像机的摇动·倾斜和变焦控制，但作为其他构成例，也可以根据检测出的物体在图像上的位置、大小或移动量等，来自动进行摇动·倾斜和变焦控制。
然后，进行图像输入处理(步骤S43)。
然后，在视场角变化计算步骤中，根据设定标准检测条件时的摄像镜头12的焦距和视场角操作后的摄像镜头12的焦距之比，计算TV摄像机1的视场角变化(步骤S44)。例如，当在设定标准检测条件时的摄像镜头12的焦距f0为10mm，视场角变化后的摄像镜头12的焦距为12mmd的情况下，作为视场角的变化量r，变化为f＝f1÷f0＝1.2倍(视场的角度是横方向由35.49°变为29.96°)。
然后，在监视区域图像尺寸校正步骤中，为了校正TV摄像机1的视场角变化，监视区域图像s(x，y)的大小放r倍，将其设为s’(x，y)，校正监视区域图像的大小(步骤S45)。这里，本例中，关于监视区域图像，示出了在将图像的水平方向设为x轴，图像的垂直方向为设y轴，监视区域图像的左上点为原点(0、0)时的坐标s(x，y)。而且，本例中，以监视区域图像的坐标系为标准进行处理。
下面，在光轴方向变化量检测步骤中，使用设定在监视区域图像上的检测光轴方向变化的模板，检测当前的TV摄像机1的光轴变化(步骤S46)。
例如，当将设定在监视区域图像s(x，y)上的模板位置设为(xt，yt)，其纵横大小设为(sx，sy)时，在由上述监视区域图像尺寸校正步骤(步骤S45)校正了视场角变化的监视区域图像s’(x，y)上，模板的位置成为(r×xt，r×yt)，其纵横大小成为(r×sx，r×sy)。使用校正了这个视场角变化的监视区域图像s’(x，y)上的模板，由模板匹配法来扫描输入图像，并检测匹配的位置(xm，ym)。
匹配的位置(xm，ym)，由于和校正了视场角变化的监视区域图像s’(x，y)上的模板位置(r×xt，r×yt)一致，因此，即使在TV摄像机1抖动而摄像机的光轴时时刻刻发生变化的情况下，在监视区域图像中，也可以把模板捕捉在一定的位置上。
也就是说，即使因TV摄像机1抖动而摄像机的光轴发生变化，也可以在监视区域图像s’(x，y)上决定输入图像的位置。而且，输入图像的左上坐标，以监视区域图像s’(x，y)上的(r×xt-xm，r×yt-ym)表示。也就是，上述的匹配位置(xm，ym)以输入图像上的模板位置的左上坐标(这里，坐标轴以输入图像的左上为原点(0，0))表示，该匹配位置和监视区域图像s’(x，y)上的模板位置(r×xt，r×yt)一致，因此，输入图像的左上坐标在监视区域图像s’(x，y)上成为(r×xt-xm，r×yt-ym)。
而且，把输入图像变换为监视区域图像s’(x，y)上的坐标系并与监视区域图像s’(x，y)上设定的标准检测条件进行比较评价，由此，即使在操作了TV摄像机1的视场角的情况和TV摄像机1抖动的情况下，也可以运行入镜物体的检测处理。
这里，在上述的光轴方向变化量检测处理(步骤S46)中，如图6(A)所示，准备多个模板117～120，从中利用任意个模板进行与输入图像的匹配，决定匹配位置。示出该处理的(图案例1)、(图案例2)、(图案例3)。
(图案例1)中，使用所有的模板与输入图像进行匹配，指定标准相关值变最大的位置(xm，ym)和这时使用的模板。而且，该图案例中，也有处理时间变长的情况。
(图案例2)中，只把存在于输入图像内部的模板作为对象进行匹配，指定标准相关值变最大的位置(xm，ym)。例如，关于图6(A)的监视区域图像坐标系的输入图像大小和位置，可以根据从初始位置摇动倾斜了多少的摄像机云台12的控制信息、摄像镜头13的焦距信息，来唯一地决定。为此，可以选择输入图像内的模板。
(图案例3)中，相对上述的(图案例2)，更加考虑TV摄像机1的抖动。具体地说，设定比输入图像相比(例如，稍大)较大的范围，只把存在该范围内的模板作为对象进行匹配，指定标准相关值变最大的位置(xm，ym)。
然后，在标准背景图像位置校正步骤中，从监视区域图像s’(x，y)例如提取(r×xt-xm，r×yt-ym)～(r×xt-xm+319，r×yt-ym+239)范围的图像，将其设为标准背景图像(步骤S47)。而且，本例中，设所处理图像的尺寸为横320象素，纵240象素。
这里，在图2所示的标准背景图像位置校正处理(步骤S4)中，平行移动事先制作的标准背景图像，来校正TV摄像机1的光轴方向的变化，因此，对于因平行移动而象素从图像中超出，进而处理中所能使用的象素减少的情况，在本例的标准背景图像位置校正处理(步骤S47)中，从比所要处理的图像宽的范围制作的监视区域图像中提取标准背景图像，因此，不必减少象素，就可以进行差分处理。
然后，进行差分处理(步骤S48)，进行二值化处理(步骤849)。
然后，在掩蔽区域位置偏差校正步骤中，和上述的标准背景图像位置校正步骤(步骤S47)同样，以(r×xt-xm，r×yt-ym)～(r×xt-xm+319，r×yt-ym+239)的范围，提取设定在监视区域图像s’(x，y)上的掩蔽区域，并继续作为掩蔽处理步骤(步骤S51)的掩蔽图像适用(步骤S50)。
然后进行掩蔽处理(步骤S51)，进行标记处理(步骤S52)。
然后，在警戒区域校正步骤中，和上述的标准背景图像位置校正步骤(S47)同样，以(r×xt-xm，r×yt-ym)～(r×xt-xm+319，r×yt-ym+239)范围，提取设定在监视区域图像s’(x，y)上的警戒区域，并继续在物体存在判断步骤(步骤S57)中，作为警戒区域内是否存在入镜物体的判断条件来适用(步骤S54)。
这里，图8示出上述掩蔽区域位置偏差校正处理(步骤S50)及警戒区域校正处理(步骤S54)的具体例。
该图(A)示出对监视区域图像131设定的掩蔽区域(或警戒区域)141的例子。该图(B)中示出输入图像的范围142。而且，图(C)中示出用斜线表示根据输入图像范围142从掩蔽区域(或者警戒区域)141切出来的区域。作为一个例子，如该图(D)所示，可以使用掌握有关输入图像掩蔽区域各顶点坐标的形式，作为其他例，如该图(E)所示，可以使用扫描输入图像的各象素来掌握掩蔽区域内的象素的形式，或者其他形式。
然后，在大小条件计算步骤中，把由差分法检测出的变化区域的外接矩形(例如，图10D所示的矩形184)坐标，转换为监视区域图像s’(x，y)上的坐标，并计算入镜物体的标准大小(步骤S55)。这里，例如，假设检测出了如图13B所示的外接矩形223，则从检测结果得到的图像的下端到外接矩形223的下端为止的距离y3，在校正了视场角的监视区域图像s’(x，y)上的距离y3’＝480-(r×yt-ym+240)，在监视区域图像s(x，y)上的坐标系中y3”＝y3’÷r。而且，设输入图像的尺寸为横320象素、纵240象素，监视区域图像的尺寸为横640象素、纵480象素(放大标准视场角的上下左右50％)。这样，作为y＝y3”适用式2及式3，由此算出监视区域图像s(x，y)上的标准大小dx3、dy3，在输入图像上，可以算出标准大小为dx3’＝dx3×r、dy3’＝dy3×r。
然后，在速度条件计算步骤中，例如，在上述的大小条件计算步骤中算出来的，在输入图像上的标准大小dx3’、dy3’的2/3倍值作为应检测物体速度的信息(步骤S56)。
然后，进行物体存在判断处理(步骤S57)，进行警报·监视显示处理(步骤S58)。在警戒区域校正处理(步骤S54)、大小条件计算处理(步骤S55)、速度条件算出处理(步骤S56)中算出的检测条件，在物体存在判断处理(步骤S57)中使用，判断由差分法检测出的变化区域是否是应检测物体。
如上所述，本例中，可以检测TV摄像机1的抖动和焦距的变化，并进行校正。而且，本例中，对宽的视场角事先准备检测条件，由此可以进行适当的校正。
这里，本例中显示的是，根据镜头焦距的变化量r来校正监视区域图像大小的结构，但作为其他组成例，也可以采用将输入图像的大小设定为1/r倍的结构。
而且，本例中，通过从图4所示的摄像机云台控制处理(步骤S23)到图像合成处理(步骤S26)的处理，示出了由图5所示的多个图像91～99组成的图像组经合成而生成图6(A)所示的监视区域图像101，但作为其他例子，也可以采用对摄像镜头13进行变焦，把相当于图6(A)所示的图像101的视场角的图像，通过1次摄像来取得。此外，以图6(B)为例子进行说明，在以图像102的视场角摄像取得监视区域图像的情况下，也可以采用比通常处理中的视场角(例如，运行图7流程时图像121和图像122的视场角)可以得到高精度(高象素)图像的摄影模式。
而且，参照由图5所示的由图像91～99合成图6(A)所示的监视区域图像101的例子，展示从摇动·倾斜·变焦控制量计算绝对坐标的方法的一个例子。
也就是说，本例中，作为摄像元件使用了1/2型CCD(元件尺寸是横6.4mm、纵4.8mm)，以焦距为10mm合成图6(A)所示的监视区域图像101。这种情况下，输入图像的视场角是横方向35.5°、纵方向27.0°，以上下左右50％的重叠量进行合成，因此，监视区域图像101具有横方向71.0°，纵方向54.0°的视场角。而且，如果设输入图像的象素数是横320象素、纵240象素，则监视区域图像101由横640象素、纵480象素组成。因此，监视区域图像101，相当于一象素具有横0.055°/pix、纵0.056°/pix的分辨率。作为一个例子，将监视区域图像101的中心设为TV摄像机1的方向原点(摇动0°、倾斜0°)，通过摄像机云台12的操作，使摇动变为-5°，倾斜变为+3°，焦距变为15mm。这样，输入图像的中心，在监视区域图像101的坐标系上移动到(640÷2-5÷0.055，480÷2+3÷0.056)。而且，由于焦距变动，输入图像的视场角是横方向24.1°、纵方向18.2°，因此，输入图像的视场角在监视区域图像101的坐标系中，相当于横24.1÷0.055＝438象素，纵18.2÷0.056＝325象素。也就是说，可知输入图像处于监视区域图像101的(229-438÷2，294-325÷2)～(229+438÷2，294+325÷2)＝(10，13 1)～(448，456)的范围。
再示出根据模板或者摇动·倾斜·变焦控制量以外的信息，可以指定绝对坐标的方法的一例。
也就是说，可以由使用摇动·倾斜·变焦控制量及模板的匹配处理来计算绝对坐标，作为其他组成例子，例如，也可以采用着眼于门等存在于监视区域内的特定物体，根据门把的位置和门的可看见的大小等，来计算绝对坐标。例如，可以代替使用变焦控制量，而使用在视场角变化前和视场角变化后着眼物体在图像上的可见大小的变化量，来检测视场角的变化量。
这样，除了使用模板掌握当前输入图像的位置和大小外，例如，还可以不使用模板，而根据摄像机的旋转(摇动、倾斜)信息和变焦信息，掌握当前输入图像的位置和大小。而且，如果是摄像机的旋转信息和变焦信息，例如，不能对应于摄像机的抖动。而且，使用模板进行处理时，也可以并用摄像机的旋转(摇动、倾斜)信息等。
而且，不依靠模板或者摄像机的旋转(摇动·倾斜)信息和变焦信息，也可以进行能够掌握相对于标准位置的当前输入图像位置的其他处理，由此，可以使用事先以宽视场角准备的检测条件。
此外，示出检测条件的替换和更新方法的一例。
也就是说，本例中，使用对监视区域图像101设定的1种检测条件来进行了对入镜物体监视，但作为其他例子，也可以使用多个检测条件。例如，设定白天用、傍晚用、夜用的检测条件，可在每一时间进行切换，而且，根据风力计等来自外部传感器的信息，在没有风时，暂时使掩蔽区域无效。而且，根据入镜物体的检测处理结果，例如，可以将入镜物体以外的检测区域、即输入图像的亮度和标准背景图像的亮度之差成为规定阈值以上的区域追加为掩蔽区域，来更新检测条件。
下面，示出有关以上实施例(第1实施例～第2实施例)的效果的具体例子。
参照图6(A)、(B)及图9(A)、(B)、(C)，示出本实施例的效果。
图6(A)，如参照图4所作的说明，示出在监视区域图像101和监视区域图像101上设定的各种检测条件111～120的例子。图6(B)，示出标准视场角121、监视人员的视场角122、光轴方向操作带来的摄像装置1的摄像范围102的例子。
图9(A)示出把视场角、光轴方向的操作前的视场角的检测条件161～163重叠在输入图像151上来显示的情况。图9(B)示出将在适用本发明第1实施例处理的情况下所得到的检测条件161a～161c，重叠在输入图像152上而显示的情况。图9(C)示出将适用本发明第2实施例的处理的情况下所得到的检测条件164、162a、165～167，重叠在输入图像153上来显示的情况。
图6(A)中，示出检测掩蔽区域111、警戒区域112～114、应检测的入镜物体的标准大小115、116、用于检测光轴方向变化的模板117～120。作为一个例子，假设通常监视对象是出入建筑物入口的入镜物体，使用图6(B)所示的视场角121，有时，监视人员通常为了同时监视建筑物的入口和场地门，变更为图6(B)所示的视场角122。这里，图9A所示的图像151就是平常的视场角，对该视场角，设定掩蔽区域161、警戒区域162、用于检测光轴的变化的模板163。这时，如果设监视人员把视角变更为图6(B)所示的视场角122，例如，对过去检测条件适用本发明的第1实施例的处理时(这里，还考虑镜头控制)，将检测条件仅平行移动TV摄像机1的光轴方向的变化量，因此，检测条件如图9(B)所示。
图9(B)中，在掩蔽区域161a，不能全部覆盖草木存在的区域，草木的一部分存在于掩蔽区域161a的外部，为此，有可能把草木抖动误检测为入镜物体出来。而且，根据视场角的变化，实际上是摄入警戒区域的场地门，而在此没有作为警戒区域来设定，将实际上位于警戒区域内的入镜物体判断为不存在于警戒区域内。而且，为检测TV摄像机1的光轴方向的变化的模板163a，超出图像152之外，不能稳定进行光轴方向变化量检测处理。
另外，在将本发明第2实施例的处理适用在检测条件的情况下，如图9(C)所示，从设定在监视区域图像上的标准检测条件，可以适当地算出掩蔽区域164、警戒区域162a、165、用于检测TV摄像机1的光轴方向的变化的模板166、167。因此，即使是引起TV摄像机1的视场角操作或光轴方向的变化的情况下，如果是监视区域图像内的范围，就可以消除不能充分设定盲区的问题、和不能适当设定警戒区域的问题、以及不能稳定检测TV摄像机1的光轴方向变化的问题。而且，可以配合TV摄像机1的视场角的操作、和结合光轴方向的变化来计算检测条件，因此，可以进行可靠性高的正确的物体检测。
如以上实施例(第1实施例～第2实施例)所示，本例中，根据从摄像装置1依次输入的图像信号检测摄像视场内的物体的物体检测装置和物体检测方法中，进行：检测上述图像信号的变化区域的变化区域检测处理；和检测该摄像装置1的光轴方向变化量的光轴方向变化量检测处理；和根据该光轴方向的变化计算用于检测摄像视场内物体的检测条件的检测条件计算处理；判断上述变化区域是否满足该检测条件的物体判断处理。由此，检测上述摄像装置1的摄像视场内的物体。
而且，在本实施例中，在根据从摄像装置1依次输入的图像信号，检测摄像视场内的物体的物体检测方法中，进行：检测上述图像信号的变化区域的变化区域检测处理；和检测该摄像装置1的视场角变化量的视场角变化量检测处理；根据该视场角变化，计算用于检测摄像视场内的物体的检测条件的检测条件计算处理；以及，判断上述变化区域是否满足该检测条件的物体判断处理，并检测上述摄像装置1的摄像视场内的物体。
而且，本实施例的物体检测装置和物体检测方法中，例如，上述摄像装置1具有改变该摄像装置1的视场角的摄像机云台12的装置。而且，在上述检测条件计算处理中，在控制上述摄像机云台12来改变该摄像装置1的视场角时，计算检测条件。
而且，本实施例的物体检测装置和物体检测方法中，例如，上述摄像装置1，具有改变该摄像装置1的视场角的摄像机云台12装置。然后，进行监视区域图像制作处理，即，控制上述摄像机云台12来改变该摄像装置1的视场角，同时根据所输入的图像信号，制作监视区域图像。而且，依据上述检测条件计算处理算出的检测条件，是基于对上述监视区域图像设定的标准检测条件及上述摄像装置1的视场角进行计算。
而且，本实施例的物体检测装置和物体检测方法，例如，作为上述检测条件，至少包含：指定不进行物体检测的区域的掩蔽区域；和区分被检测物体重要度的警戒区域；和表示应检测物体大小的大小信息；和表示应检测物体的移动速度的速度信息中的1个。
而且，本实施例的物体检测装置和物体检测方法，例如，上述掩蔽区域，可以用在上述监视区域图像上至少具有3点以上顶点的多边形表示。而且，在上述检测处理条件计算处理中，根据上述视场角变化及上述光轴方向变化，把该顶点的坐标从上述监视区域图像中的坐标转换为输入图像的坐标。
而且，本实施例的物体检测装置和物体检测方法中，例如，对之前检测的物体的重要度进行区分的警戒区域，用上述监视区域图像上的矩形表示。而且，在上述检测条件计算处理中，根据上述视场角变化及上述光轴方向变化，把该矩形坐标，从上述监视区域图像坐标转换为输入图像的坐标。
而且，本实施例的物体检测装置和物体检测方法中，例如，对表示应检测的物体的大小信息，用上述监视区域图像上的矩形表示。而且，在上述检测条件计算处理中，根据上述视场角变化及上述光轴方向变化，把该矩形坐标，从上述监视区域图像坐标转换为输入图像的坐标。
而且，在本实施例的物体检测装置中，例如，基于上述大小信息计算出上述速度信息。
而且，本实施例中，根据从摄像装置1依次输入的图像信号，检测摄像视场内的检测物体的物体检测装置和物体检测方法中，具有：依次摄入监视区域范围的摄像装置1；和改变摄像装置1的视场角的摄像机云台12的装置；和把摄像装置1取得的影像信号依次转换为图像信号的图像输入接口21；和处理通过该图像输入接口21转换的上述图像信号的处理功能。而且，该处理功能，例如，检测上述图像信号的变化区域，并检测该摄像装置1的光轴方向的变化和视场角的变化，根据该光轴方向变化和该视场角变化，计算用于检测摄像视场内的物体的检测条件，并判断上述变化区域是否满足该检测条件，由此检测上述摄像装置1的摄像视场内的物体。
因此，本实施例的物体检测装置和物体检测方法中，例如，从TV摄像机1拍摄的图像信号检测出变化区域，并检测该TV摄像机的光轴方向的变化和视场角的变化，且根据该光轴方向变化和该视场角变化，来计算检测摄像视场内物体的检测条件，并判断上述变化区域是否满足该检测条件，由此，即使是该TV摄像机1的光轴方向和视场角变化的情况下，也可以控制其影响，从而测检物体。
作为具体例子，过去有时不能根据TV摄像机1的光轴方向变化或视场角操作，来适用事先设定的检测条件。而且，这种情况下，发生不能充分设定盲区的问题、和不能正确进行变化区域的大小判断、或警戒区域内是否存在的判断等问题，而且，不得不重新设定和修改检测条件。
对此，本实施例中，检测TV摄像机1的光轴方向变化和视场角操作，根据变化量来计算出检测条件，由此，可以控制TV摄像机1的光轴方向变化和视场角变化的影响，可以提供能进行可靠性高的正确的物体检测的物体检测装置和物体检测方法。
这样，本实施例中，计算摄像机的位置偏差(移动量)，例如，对于掩蔽区域和警戒区域、背景图像等物体的检测条件，校正该掩蔽区域等的坐标，由此，通过将该检测条件仅移动上述计算出的偏差量，就可正确地进行物体检测。
又，作为一构成例，在捕捉宽视场的图像中，设定物体的检测条件，而且，根据取得输入图像时摄像机的视场角、方向(宽视场图像上的位置)，计算输入图像用的检测条件，由此可以正确进行物体检测。而且，作为捕捉宽视场的图像，例如，可以使用连接多幅图像的合成图像。
又，作为一构成例，不根据取得输入图像时的摄像机视场角、方向，通常为了包含1个以上的输入图像中设定的模板，而在捕捉宽视场的图像上，设定多个用于检测位置偏差的模板。
而且，本实施例的物体检测装置和物体检测方法中，由摄像装置1拍摄的图像(输入图像)构成物体检测对象的图像，由摄像装置1拍摄的多个图像的合成结果(监视区域图像)构成与作为物体检测对象的图像宽的图像，例如由人等入镜物体的图像构成作为检测对象的物体的图像。而且，本实施例的物体检测装置和物体检测方法中，作为检测条件，使用模板、标准背景图像、掩蔽区域、警戒区域、大小信息、速度信息，此外，成为标准的检测条件被设定在监视区域图像中，根据该标准检测条件，对输入图像设定用于检测物体图像的检测条件。
又，本实施例的物体检测装置和物体检测方法中，例如，根据模板匹配结果、云台控制部23的动作、具体控制部23的动作等，由MPU26检测输入图像的光轴方向的变化和视场角变化的功能，构成物体检测对象图像视场变化检测装置，例如，由MPU26校正坐标并对输入图像设定检测条件的功能，构成检测条件设定装置；由MPU26使用检测条件从输入图像检测如移动的物体的图像的功能，构成物体图像检测装置；而且，由摄像装置1的摄像部11等的功能，构成摄像装置；由摄像装置1的摄像云台12的功能或摄像镜头13的功能，构成图像变化装置。
下面，说明本发明的技术背景。而且，这里所记述的事项，并不限定所有现有技术。
过去广泛使用TV摄像机等摄像装置的物体监视装置。使用这种物体监视装置的监视系统中，对进入监视视场内的人或汽车等入镜物体的检测，在由监视人员(操作员)边看显示在监视器上的图像边进行的有人检测时，由于监视人员的熟练度、健康状态等原因产生监视能力差，有时也产生入镜物体逃掉等问题。于是，要求不是过去的有人监视，而是从摄像机等图像输入装置输入的图像自动检测入镜物体，可以得到规定的通知或警报处置的系统。
为了实现这种系统，必须具有使用规定的监视方式检测入镜物体等应检测物体对象的功能。作为这种监视方式的一个例子，过去广泛应用称作差分法的方式。所谓差分法，就是把由TV摄像机等得到的输入图像和事先制作的标准背景图像即没有映入应检测物体的图像进行比较，求得每个象素的亮度值的差分，用规定的阈值来对该差分值进行阈值处理，把差分值大的区域作为变化区域检测出。
参照图10及图11，说明上述差分法的处理。图10是说明通过差分法检测变化区域的步骤的一例的图，图11是表示应用了差分法的监视方式的典型的处理步骤的一例的流程图。
首先，使用图10，说明通过差分法检测出从摄像装置依次输入的输入图像的亮度变化区域的步骤的一例。
该图中，(A)图像171是的摄像装置依次输入的输入图像，(B)图像172是事先准备的没有反映应检测对象物体的图像。
通过以2张图像171及图像172作为输入的差分器(减法器)175，计算每个象素值的亮度值差分，来(C)求得差分图像173。之后，以差分图像173为输入的二值化器176，用阈值Th(由实验决定，例如Th＝20)对差分图像173的各象素进行阈值处理，把不足阈值Th的象素的象素值设为“0”，另外，把阈值Th以上的象素的象素值设为“255”，(D)求得二值化图像174。由此，映入输入图像171的人形物体181，作为由差分器175产生差分的区域182(输入图像的亮度变化区域)来进行计算，由二值化器176，作为象素值“255”的图像183进行检测。对于差分法的处理，正进行各种研究(例如参照特性文献2)。
下面，使用图11的流程图，说明应用了上述差分方式的典型物体检测方式的处理步骤。
该图中，在初始化处理步骤，进行用于运行依据差分法的监视方式的外部设备、参数、图像存储器等的初始化(步骤S61)。在图像输入步骤，从TV摄像机得到例如横320象素、纵240象素的输入图像(步骤S62)。在差分处理步骤，计算(步骤S63)在图像输入步骤得到的输入图像(图像171)和事先制作的标准背景图像(图像172)之间的每个象素亮度值的差分(图像173)。在二值化处理步骤中，把差分处理步骤中得到的差分图像的象素值(差分值)不足规定阈值Th(例如Th＝20)的象素的象素值设为“0”，把阈值Th以上的象素的象素值设为“255”，得到二值化图像(图像174)(步骤S64)。而且，本例中，1个象素的象素值以8比特计算，也就是说，1象素具有“0”到“255”的值。
根据上述的从图像输入步骤到二值化处理之间的处理(步骤S61～步骤S64)，检测上述图10所示的输入图像中的亮度变化区域。
其次，在掩蔽处理步骤中，对由二值化处理步骤得到的二值化图像，把事先设定的掩蔽区域(作为不检测物体的盲区处理的区域)中的具有“255”象素值的象素的象素值校正为“0”(步骤S65)。
这里，参照图12，说明这种掩蔽处理的必要性。
该图(A)表示监视区域191，假设检测出侵入到该监视区域191内的入镜物体的用途。监视区域191内，映入建筑物的入口、草木等。该图(B)，在监视区域192中，表示的是适用差分法时检测的输入图像的亮度变化区域。该图(B)中，除了应检测的物体202之外，还可以检测出输入图像和标准背景图像中亮度产生差的被风摇动的草木区域203、204，并判断为输入图像中存在3个物体202、203、204。在发生这种现象的情况下，从过去就应用设定如该图(C)的监视区域193所示的掩蔽区域205，并把掩蔽区域205内作为盲区(不进行物体存在判断的区域)来进行处理的方法。这种掩蔽处理不限于差分法，在各种物体检测方法中使用，作为提高监视方式性能的方法被广泛使用。
然后，在标记处理步骤中，检测在掩蔽处理步骤得到的被修正的二值化图像中的象素值是“255”的象素块，对各个块标上标号以示区别(步骤S66)。在处理图像显示步骤中，例如，把由标记处理步骤中标示号码的象素值是“255”的象素块，和输入图像重叠显示，并显示为从视觉上易区分由差分法检测的输入图像的亮度变化区域(步骤S67)。
然后，判断由差分法检测的输入图像的亮度变化区域中是否映入了应检测物体。具体地说，在物体存在判断步骤中，分别针对标号的变化区域，根据大小、面积、速度、检测位置等检测条件，判断该变化区域是否和检测条件一致，当检测条件一致时，判定为存在应检测物体而转移到警报、监视显示步骤，当不符合检测条件时，判定为不存在应检测物体，转移到图像输入步骤(步骤S68)。
例如，作为检测条件使用变化区域标准大小的情况下，对标号的变化区域183，计算外接的矩形184，求得外接矩形184的幅度dx、高度dy，与检测条件标准大小进行比较(参照上述图10)。但是，应检测物体，由于在画面上观测的位置可看见大小在变化，因此，检测条件的标准大小，也需要根据画面上的位置来进行校正。
参照图13，说明这种校正处理。
该图(A)示出在区域211中，在监视系统的设置时设定的应检测物体的标准大小。应检测物体的标准大小，实际拍摄映入远离TV摄像机的物体和映入离TV摄像机比较近的位置的物体，根据其大小来设定。该图(A)中，物体221是在远离摄像机的位置所拍摄的物体像，物体222是在离摄像机比较近的位置所拍摄的物体像。该图(A)中，清楚地重叠显示2个图像。这里，作为应检测的物体大小信息，对各个物体221及物体222，记录检测位置y1、y2、外接矩形的幅度dx1、dx2、外接矩形的高度dy1、dy2。例如，假设是在该图(B)的区域212所示的位置拍摄物体。这时，由于在该图(A)所示的位置上不存在物体223，因此，有必要从上述应检测物体的标准大小信息，推测物体223位置的标准大小。标准大小的推测是基于检测位置y1、y2、y3通过内插来进行。物体223的在位置y＝y3拍摄的物体标准大小dx3、dy3，依据式2及式3计算。由此，可以计算在任意位置检测的物体的标准大小。
【式2】
dx 3 = dx 1 - dx 2 y 1 - y 2 ( y - y 2 ) + dx 2 ]]>
【式3】
dy 3 = dy 1 - dy 2 y 1 - y 2 ( y - y 2 ) + dy 2 ]]>
在上述的物体存在判断步骤中，对由上述图10所示的差分法检测的变化区域183，计算检测位置y，根据检测位置y，由上述式2及式3求得标准大小dx3、dy3。由此，即使是没有设定应检测物体的标准大小的位置，也可以内插计算作为标准的大小。然后，对标准大小dx3、dy3设定容许量(例如，x方向上rx，y方向上ry)，当变化区域183的外接矩形184的宽度dx和高度dy满足[dx3-rx≤dx≤dx3+rx，dy3-ry≤dy≤dy3+ry]时，判断为该变化区域183上存在应检测的物体。
这里，rx、ry例如作为[rx＝0.5×dx3，ry＝0.3×dy3]算出，分别允许对标准大小可以变动50％、30％的大小变动。也就是说，在横方向标准大小的50％～150％的范围，纵方向在标准大小的70％～130％的范围，在这些范围的大小变化区域判断为存在应检测物体。
这里，在以上的说明中，作为应检测物体的检测条件使用了应检测物体的标准大小，但也可以计算从TV摄像机依次输入的输入图像中的变化区域的位置变化量(也就是说有效移动速度)，并根据该位置变化量来判断是否为应检测物体。这种情况下，例如，如果将应检测物体的移动速度设为5km/h(1.4m/s)，将输入图像以100ms的周期输入，则每次输入图像时的应检测物体就移动1.4m。这时，假设应检测物体的横宽为0.5m，则仅移动由上述式2计算的标准大小的dx3的大约1/3量。因此，作为是否是应检测物体的判断中，例如，在变化区域的位置变化量是dx3的2/3(具有2倍余量的例子)以下的情况下，判断为是应检测物体。由于这样，例如可以区分监视区域内的应检测的人和不是应检测的车辆。
在上述的物体存在判断步骤中，当判断为存在应检测的物体时，在下面警报·监视显示步骤中，例如，对发现入镜物体的情况响警报来通知监视人员(步骤S69)。而且，在警报·监视显示步骤中，也可以如上述图12(A)所示，在监视区域内设定警戒区域201，当该警戒区域201内包含变化区域202的一部分时，认为检测的物体存在于重要度比较高的位置(上述图12的例子中，把建筑物的入口作为警戒区域)，亮出红色的警报灯以引起监视人员的注意，如果该警戒区域201内不包含变化区域202的一部分时，亮出黄色的警报灯。
在上述的使用差分法的过去方式中，事先设定应检测物体的标准大小、警戒区域的检测条件，在检测输入图像的亮度变化区域时或判断检测的变化区域中是否存在应检测物体时，使用该检测条件。这些检测条件，例如，在改变TV摄像机的视场角和光轴方向时的情况下，需要重新设定为适当的值。即，为了变更监视区域，操作摄像镜头(例如，图1的摄像镜头13)或摄像机云台(例如，图1摄像机云台12)，来改变TV摄像机的视场角和光轴方向时，有必要再设定上述检测条件。因此，在检测条件的再设定作业中，发生不能进行入镜物体的监视业务等问题。还有，在室外等，如果摄像机因风被摇动的情况下等，TV摄像机的光轴方向变化，输入图像产生偏差。这种情况下，会判断为输入图像中存在移动物体，在过去的方法中，对此类问题，加宽设定掩蔽区域，或加大设定对标准大小的容许量(上述的例子中是rx，ry)，或者加宽设定警戒区域。因此，不得不加宽设定盲区，发生下述问题，即，可检测物体的范围变窄和变化区域的大小判断不能正确进行，以及警戒区域内是否存在的判断不能正确进行等问题。这种问题，不限于依据差分法的物体检测方法，是使用掩蔽区域的方式、对检测的区域进行大小判断的方式、设定警戒区域，以警戒区域的内外改变警报种类等方式中所共同存在的问题。
如上所述，在过去以来广泛使用的物体检测方法中，有：例如改变了TV摄像机的视场角或光轴方向的情况等时不得不再设定检测条件的问题；此外，由于摄像机的抖动等原因而光轴方向变更的情况下，不得不加宽设定盲区，可检测物体的范围变窄等问题；变化区域的大小判断或者警戒区域内是否存在的判断，不能正确进行的问题。
对此，在本发明实施例的物体检测装置和物体检测方法中，例如，即使在变更了TV摄像机的视场角和光轴方向的情况下，或TV摄像机被抖动而光轴方向变化的情况下，都可以检测其变化而进行校正，由此可以进行可靠性高的正确的物体检测。
这里，本发明实施例的物体检测装置和物体检测方法等的构成，不限于上述情况，可以使用各种构成。而且，本发明可以作为例如运行本发明的处理方法或方式，或实现这种方法和方式的程序或记录该程序的记录介质等提供，而且，可以作为各种装置或系统进行提供。
又，作为本发明的适用领域，并不限于上述情况，本发明可适用于各种领域。
又，作为本发明的物体检测装置和物体检测方法等中进行的各种处理，例如，也可以在具备处理器和存储器等的硬件资源中，由处理器执行存储于ROM(Read Only Memory：只读存储器)中的控制程序，由此进行控制，而且，例如，也可以构成为用于运行该处理的各功能装置相互独立的硬件电路。
而且，本发明，可以作为存储了上述控制程序的软盘(登录商标)或CD-ROM等计算机可读的记录介质和该程序本身来把握，可以把该控制程序从该记录介质输入到计算机由处理器运行，由此执行本发明的处理。