监视设备.pdf

本发明提供了一种监视设备，其使监视者能够通过简易的操作直观地监视建筑物中的侵入者等。多个摄像机(1)对建筑物内成像。提供显示单元(4)来根据摄像机(1)的摄像机参数和建筑物结构数据来把所摄取的图像纹理映射到楼层、通道表面和墙面上。

1.  一种监视设备，通过由安装在要监视的建筑物的多个位置上的摄像机摄取建筑物的图像来监视建筑物，该设备包括：
存储部分，存储控制多个摄像机所必须的摄像机参数和建筑物的结构数据；
图像合成部分，根据存储在该存储部分中的摄像机参数和建筑物结构数据通过纹理映射对由多个摄像机摄取的图像进行合成；以及
显示单元，显示所合成的图像。

2.  根据权利要求1的监视设备，其中，所述多个摄像机具有夜视近红外成像功能，以及
所述监视设备还包括：
多个夜视近红外照明单元，安装于建筑物内部；
近红外照明控制单元，个别地分别控制多个夜视近红外照明单元；
反射标志器，安装在建筑物内部；以及
校正单元，通过分析在个别地接通/关断所述多个近红外照明单元时摄取的多个图像，来校正摄像机参数。

3.  根据权利要求1的监视设备，其中，按多个楼层来划分建筑物中的拍摄区域，以及
所述监视设备还包括：
感测单元，根据由多个摄像机摄取的图像来感测建筑物中是否存在异常情况；
图像选择单元，从所摄取的图像中选择由安装了摄取到从中感测到异常情况的图像的摄像机的楼层上的多个摄像机所摄取的图像。

4.  根据权利要求1到3中的任何一个的监视设备，其中，所述多个摄像机的部分或全部具有控制姿态和视角的功能；
其中，具有该功能的摄像机包括这样的单元，该单元连同所摄取的图像一起发送在拍摄时间点检测的姿态信息和视角信息；以及
其中，所述显示单元包括这样的单元，该单元根据所发送的姿态信息和视角信息通过纹理映射将所摄取的图像粘贴到建筑物结构数据上，并显示结果图像。

5.  根据权利要求1到4中的任何一个的监视设备，其中，配备了感测单元，该感测单元从由多个摄像机摄取的图像中感测到建筑物中是否有异常情况存在；
其中，所述多个摄像机中的一部分具有控制姿态和视角的功能；以及
其中，提供把具有控制姿态和视角的功能、并安装在摄取到从中感测到异常情况的图像的摄像机附近的摄像机的控制界面优先提供给监视者的功能。

监视设备
技术领域
本发明涉及一种利用安装在多个位置的摄像机来监视建筑物内部等的监视设备。
背景技术
在现有技术中，在建筑物内部的各个位置上提供摄像机、并在一个位置上集中监视这些摄像机的图像的监视设备已投入实际应用。然而，在监视者同时监视由这些摄像机摄取的多个监视图像时，例如，该监视者可能会漏看侵入者。此外，监视者有时也难以直观地了解由多个所显示的监视图像监视的是建筑物的什么地方。
这样的倾向随着所监视的建筑物的规模增大和摄像机数目的增加而增加。因此，人的负担就增加了，例如，必须增加监视者的数目，并且要求监视者事先要有关于建筑物内房间布局等的知识。
因此，作为减少这样的人的负担的方法，提出了专利文献1所提出的监视设备。该监视设备是这样构建的，使得根据由多个摄像机摄取的监视地点的图像来感测侵入者，并将由感测到侵入者的摄像机输出的图像显示在监视器A上，并且此外，当在侵入者前进方向周围的预定区域中安装了其它的摄像机时，为监视器B提供显示所选择的摄像机的输出图像的功能。由于能够利用这个功能向监视者有选择地提供感测到侵入者的摄像机的图像、以及预期将随后拍摄侵入者的摄像机的图像，因此，能实现如减少人的负担的优点(例如，见专利文献1)。
专利文献1：JP-A-10-49498
发明内容
本发明要解决的问题
然而，在此监视设备中，不能消除这样的缺点，即监视者难以通过所显示的监视图像来直观地了解建筑物的什么地方被监视。而且，由于要求监视者应在短时间内做出对侵入者的检查、识别等的决定，因此，在检查或识别入侵者时有可能导致错误或遗漏，并且错误可能甚至遗留到预测侵入者将前进的方向。
根据上面的情况提出了本发明，本发明的目的是提供一种监视设备，以便使监视者能够有效地监视要监视的建筑物内部等而不会有失误。
解决问题的方案
本发明的监视设备通过由安装在要监视的建筑物的多个位置上的摄像机摄取建筑物的图像来监视建筑物，该设备包括：存储部分，用于存储控制多个摄像机所必须的摄像机参数、以及建筑物的结构数据；图像合成部分，用于根据存储在存储部分中的摄像机参数和建筑物的结构数据来通过纹理映射合成由多个摄像机摄取的图像；以及显示单元，用于显示合成图像。根据此配置，提供了显示单元，它能根据建筑物的结构数据并通过纹理映射将摄取的图像粘贴到建筑物的楼层表面、通道表面、或墙表面上，并显示结果图像。因此，监视者一看就能够直观掌握每个图像所监视的是建筑物内的什么地方。
此外，在本发明的监视设备中，多个摄像机具有夜视近红外成像功能，该系统还包括：多个夜视近红外照明单元，装配在建筑物内部；近红外照明控制单元，用于个别地分别控制多个夜视近红外照明单元；反射标志器，装配在建筑物内部；校正单元，在个别地接通/关断多个近红外照明单元时，通过分析多个摄取的图像来校正摄像机参数。根据此配置，即使在移动摄像机和增加摄像机的数目的时候，也能容易地实现显示单元通过纹理映射来把摄取的图像粘贴到建筑物结构数据上并显示结果图像的功能。
此外，在本发明的监视设备中，建筑物中的拍摄区由多个楼层来划分，该系统还包括：感测单元，从由多个摄像机摄取的图像来感测建筑物内是否存在异常情况；以及图像选择单元，用于从楼层上的多个摄像机中选择图像，在该楼层上装有摄像机，该摄像机摄取到从中感测到异常情况的图像。根据此配置，在施加纹理映射之后，能够仅从安装在感测到异常情况的楼层上的摄像机中选择并显示图像。因此，能够消除由于其它楼层上的图像干扰而遗漏异常区域的情况，并且因而能够进行准确的监视。
此外，在本发明的监视设备中，多个摄像机的一部分或全部具有控制姿态和视角的功能，具有此功能的摄像机具有如下装置，该装置和所摄取的图像一起发送在拍摄的时间点检测的姿态信息和视角信息；上述显示单元具有如下装置，该装置根据所发送的姿态信息和视角信息并通过纹理映射将摄取的图像粘贴到建筑物结构数据上，然后显示结果图像。根据此配置，在与建筑物结构相关的数据上合成摄取图像的摄像机的位置和姿态，并显示。因此，监视者一看就能够直观地掌握每个图像所监视的是建筑物内部的什么地方。
而且，在本发明的监视设备中，装配了感测单元，它从由多个摄像机摄取的图像来感测建筑物内是否存在异常情况；多个摄像机中有一部分具有控制姿态和视角的功能、以及把摄取到从中感测到异常情况的图像的摄像机的、和具有控制姿态和视角的功能并安装在上述摄取到从中感测到异常情况的图像的摄像机附近的摄像机的控制界面优先展示给监视者的功能。根据此配置，将位于感测到异常情况的位置附近并且其姿态和视角能够控制的摄像机的控制界面优先展示给监视者。因此，监视者能够容易地检查到异常情况。
本发明的优点
根据本发明，由于监视者能够无失误地有效监视在复杂设施中的许多监视摄像机的图像，并在感测到侵入者等时，在显示器中选择和合成在感测到侵入者的位置附近的图像，因此能够提供很少可能会遗漏侵入者的监视设备。而且，当提供能够摄取感测到侵入者的位置的移动摄像机时，提供能够选择这样的移动摄像机并优先控制这样的移动摄像机的界面，因此能够提供能快速而又仔细地检查侵入者的监视设备。以此方式，由于能够在大规模复杂的建筑物内有效地、确定地监视大量的监视摄像机的图像，因此能够提供这样的监视设备，其只需要少量的人的负担和少量人员来监视，而且只需要低的运行成本。
附图说明
图1是结构方块图，该图示出了根据本发明第一实施例的监视设备。
图2是说明图，该图示出了在第一实施例中的线框的合成。
图3是说明图，该图示出了第一实施例中通过纹理映射来合成由视频摄像机摄取的图像的情况。
图4包括图4(A)和4(B)示出了由根据第一实施例的监视设备摄取的建筑物的结构数据的情况，其中，图4(A)是说明图，它示出了具有多个楼层的建筑物的整体内部情况，图4(B)是说明图，它示出了只显示由楼层指定指令指定的楼层的图像的情况。
图5是结构方块图，该图示出了根据本发明第二实施例的监视设备。
图6是说明图，该图示出了在本发明第二实施例中建筑物的结构数据，在该建筑物上安装有具有可移动到另一地方的无线电发送单元的近红外摄像机。
图7是说明图，该图示出了在本发明第二实施例中成像范围内的标志器R1到R4。
图8是结构方块图，该图示出了根据本发明第三实施例的监视设备。
图9是说明图，该图示出了第三实施例中投影在构成建筑物设施的各个楼层的楼层表面上的图像。
图10(A)是说明图，该图示出了在构成建筑物设施的各个楼层中、由楼层信息指定的楼层，图10(B)是说明图，该图示出了通过在由移动目标感测位置信息指示的位置上设置隔板(screen)而执行纹理映射的情况。
图11是结构方块图，该图示出了根据本发明第四实施例的监视设备。
图12是结构方块图，该图示出了根据本发明第五实施例的监视设备。
图13是说明图，该图示出根据在本发明第五实施例的监视设备的显示单元上的显示例子。
符号说明：
1   摄像机(视频摄像机、近红外摄像机)
1A，1C，1E  固定摄像机
1G，1H，1I  移动摄像机
11  无线电发送单元
12  近红外发光二极管(LED)
13  近红外照明控制系统
2   存储部分
3   图像合成部分(图像合成单元)
31  校准器
32  楼层合成部分
33  移动目标感测部分
4   显示单元
5   界面(区域/指定方向的控制单元)
6   界面(移动摄像机控制单元)
C1，C2  旋转指令
C3  楼层指定指令
D1  摄像机参数数据
D2  建筑物结构数据
D3  建筑物内部数据
D4  方向数据
I1  合成的图像信号
I2  选择的图像信号
L1，L2  位置
M   监视者
P1～P3  图像
P4  移动目标图像
P5  合成的图像
P6  可移动的摄像机图像
R   近红外反射标志器
S   隔板
YF  线框
α  通过逆投影得到的区域
具体实施方式
以下，参照附图来详细说明本发明的实施例。
(第一实施例)
图1示出了根据本发明的第一实施例的监视设备。该监视设备包括：多个视频摄像机1，安装在要监视的建筑物中；存储部分2，用于存储摄像机参数数据D1和建筑物结构数据D2；图像合成部分3，构成图像合成单元，该图像合成单元利用从视频摄像机1输入的图像信息，并根据数据D1、D2来合成摄取的图像；显示单元4，用于显示从图像合成部分3中输出的图像；界面5，作为控制单元，监视者M利用其来控制显示单元4附近的建筑物内的显示区域，并在他/她观察结构数据时控制该区域和指定的方向。
在本实施例中的视频摄像机1总共由六个摄像机组成，从第一视频摄像机1A到第六视频摄像机1F。将这些视频摄像机的输出连接到图像合成部分3的输入，以分别向图像合成部分3输出图像信息。
存储部分2存储视频摄像机1A到1E的摄像控制所必须的信息，例如视角和拍摄方向等，作为摄像机参数数据D1，此外，还存储摄像机拍摄所必须的建筑物内部信息，例如所监视的建筑物内部的房间布置、内部设备布置等，作为建筑物结构数据D2，如此等等。存储部分2电连接到图像合成部分3。
图像合成部分3通过将纹理映射应用到建筑物的楼层、通道或墙的表面来合成摄取的图像。其中，“纹理映射”表示粘贴图像来以三维计算机图形表现物体的表面纹理。
下面将参照图2到图4来说明根据本发明实施例的监视设备的操作。
首先，如图2所示，图像合成部分3通过使用建筑物结构数据D2来合成建筑物示意结构的线框YF。然后，图像合成部分3根据摄像机参数数据D1来在线框YF上合成各个摄像机的位置、视角、方向等。此外，图像合成部分3合成由各个摄像机摄取的图像，即，如图3所示，应用纹理映射将视频摄像机1摄取的图像粘贴到通过摄像机参数沿方向数据D4进行逆投影而得到的区域α上，作为建筑物内部数据D3，例如，建筑物的楼层表面数据、通道表面数据、墙面数据等。其中，“线框”是在计算机上处理三维图形所用的立体表现方法之一。可以列举例如仅用表示轮廓的线来表现立体形状的方法。例如，仅用边和曲面来描绘立方体等，也可用网状线来描绘类似的物体。在此情况下，能够实现如下的优越性，即所需的信息量小，并能以高速度来绘制图形。此外，“逆投影”是指这样的操作，尽管本来通过将从真实世界中物体反射的光通过镜头投射到诸如CCD之类的成像面上来形成由摄像机摄取的图像，但是在此将由摄像机摄取的图像在相反的方向上虚拟地投射到楼层表面数据等上。
在此情况下，如图4(A)所示，监视者M能够通过经由界面5发出旋转指令C1，C2而自由地控制方向，在该方向上，这样的监视者观察建筑物的结构数据。此外，如果建筑物有多个楼层，从观察方向来说，有时监视者难以看到下面的楼层，这是因为在观察中上面楼层的图像遮蔽了下面楼层的图像。因此，如图4(B)所示，监视者M能够通过经由界面5发出楼层指定指令C3，通过纹理映射只将视频摄像机1的图像粘贴到建筑物结构数据上，并能显示结果图像。
根据上述的配置，本实施例的监视设备有显示单元，其能根据建筑物的结构数据通过纹理映射将摄取的图像粘贴到建筑物的楼层表面、通道表面或墙面上，并显示结果图像。由于这个缘故，监视者M一看就能直观地掌握每个图像所监视的是建筑物内的什么地方。结果，尽管扩大了建筑物的规模或者建筑物变得复杂，或者摄像机的数目增加，监视者M仍能够无失误地有效监视建筑物的内部。
(第二实施例)
下面将参照图5来说明本发明的第二实施例。在本实施例中，如在第一实施例中那样，用相同的标号来表示相同的部分，并不再对它们作多余的说明。
如图5所示，和第一实施例不同，根据本发明的第二实施例的监视设备采用近红外摄像机1作为安装在建筑物内的摄像机。此外，为每个近红外摄像机提供了无线电发送单元11，并将每个近红外摄像机1特有的摄取图像、镜头和视角数据发送给图像合成部分3。
此外，每个近红外摄像机1具有夜视近红外成像功能，在建筑物天花板的各个部分安装了多个照明用的近红外LED(发光二极管)12，以与各个近红外摄像机相对应。而且，在本实施例的监视设备中，还提供了近红外照明控制系统13，其能够个别地接通/关断这些多个近红外LED 12。此近红外照明控制系统13可由图像合成部分3来控制。此外，在本发明的监视设备中，提供了与图像合成部分3相连的校准器31，作为用于将图像合成部分3调整到最佳状态的装置。在建筑物中的通道和楼层的多个位置上装配了近红外反射标志器R。
下面，将参照图6和图7来说明根据本实施例的监视设备的操作。
本实施例的监视设备执行与第一实施例几乎类似的操作。然而，如图6所示，例如，由于在近红外摄像机1上安装了无线电发射单元11，因此，可容易地将近红外摄像机1B移动到其它地方。
在按这样的方式移动摄像机的情况下，监视者M利用校准器31向图像合成部分3发出校准指令。此时，通过由近红外照明控制系统13个别地接通/关断多个近红外LED 12，图像合成部分3检查由近红外摄像机1在那时摄取的图像，从而决定摄像机摄取在近红外LED 12照明的区域中的图像。而且，如图7所示，通过从图像感测在成像范围中的标志器R1到R4，来测量摄像机1B的姿态和成像方向D4。可以根据结果来校正摄像机参数数据D2。
根据上述的配置，即使在摄像机移动或增加摄像机数目的情况下，如第一实施例那样，能够容易地实现显示单元4的如下功能，即根据建筑物结构数据D1，利用纹理映射，将摄取的图像粘贴到建筑物的楼层表面、通道表面或墙体表面上，并显示结果图像。因此，即使在频繁改变诸如展览厅、仓库等建筑物的布局的结构中，也能满意地实现本发明的功能。
在此情况下，为了通过接通/关断近红外LED 12来指定照亮拍摄范围的近红外LED 12，m次接通/关断模式的图像是足够的，其中，
n＜2^m，
m是整数，
n是照明设备个数。此外，如果使得近红外反射标志器R在可见光中难以察觉，则能够防止它们破坏建筑物内的景观。
(第三实施例)
下面，将参照图8来说明本发明的第三实施例。在本实施例中，用相同的标号来标明与第一实施例中相同的部分，不再作多余的说明。
如图8所示，与第一实施例不同，在根据本实施例的监视设备中，在图像合成部分33中提供了楼层合成部分32和移动目标感测部分33。楼层合成部分32合成投影在构成建筑物设施的各个楼层表面上的图像。移动目标感测部分33感测在合成图像中的移动目标，其中，所述的合成图像由楼层合成部分32投影在楼层表面上。
更具体地说，楼层合成部分32合成投影在构成建筑物设施的各个楼层表面上的图像P1到P3(见图9)，并与图像合成部分3的输出相连接。此外，将移动目标感测部分33的输入与楼层合成部分32的输出相连，并将该输出与图像合成部分3的输入相连。
下面，将参照图9和图10来说明根据本实施例的监视设备的操作。本实施例的监视设备执行与第一实施例几乎相似的操作。在此情况下，如图9所示，由于在图像合成部分3中提供了楼层合成部分82和移动目标感测部分83，因而，在感测到移动目标的图像P4时，将楼层信息D5(见图10(A))和移动目标感测位置信息(未显示)反馈给图像合成部分3。
然后，如图10(A)所示，在图像合成部分3中，仅通过在由楼层信息D5指定的楼层上的摄像机摄取的图像通过纹理映射与建筑物结构数据D2相合成。此外，如图10(B)所示，此时，通过在由移动目标感测位置信息(未示出)指示的位置L1上设置隔板S，来执行纹理映射。因而，能够防止如下缺点，即在合成时侵入者的图像陷入楼层表面或类似情况。
根据本实施例，利用上述的结构，监视设备能够自动感测异常情况，而且显示从中感测到异常情况的楼层的图像。因此，监视者能够观察出现了某些问题的整个楼层，并能容易地检查侵入者。而且，即使在侵入者进入另一摄像机的拍摄范围时，监视者也能观察出现某些问题的整个楼层，并且不会漏看侵入者。
此外，由于使用由楼层合成部分32得到的楼层的合成图像来感测移动目标，因此，能够减少在各个摄像机的拍摄范围彼此重叠时引起的浪费，并能有效地进行感测。此外，由于使用了投影在各个楼层表面上的合成图像，因此，在感测移动目标时，监视者能够容易地识别其位置。
(第四实施例)
下面，将参照图11来说明本发明的第四实施例。在本实施例中，用相同的标号来标明与第一实施例中的相同的部分，不再作多余的说明。
在本实施例的监视设备中，与第一实施例不同，使用能够执行摇射(pan)、倾斜和变焦操作的移动摄像机1G、1H、1I作为摄像机1的一部分。把在拍摄时间点检测的摄像机参数信息、和拍摄的图像从这些移动摄像机1G、1H、1I发送给图像合成部分3。然后，图像合成部分3根据这些所发送的摄像机参数信息，顺序更新摄像机参数数据D1，并在纹理映射中利用这些数据来将所摄取的图像粘贴到建筑物的楼层表面、通道表面和墙面上。
根据本实施例，由于监视者能够通过利用能执行摇射、倾斜和变焦操作的移动摄像机1G、1H、1I来监视建筑物内部，因而能够大大地扩大所监视的区域。此外，在仅仅使用由能执行摇射、倾斜和变焦操作的移动摄像机1G、1H、1I摄取的图像的情况下，与使用固定摄像机1A、1C、1E的情况相比，监视者难以掌握摄像机正在拍摄的是什么地方。因此，本实施例能够改进这样的缺点，并在安全方面更为有效。
(第五实施例)
下面，将参照图12来说明本发明的第五实施例。在本实施例中，用相同的标号来标明与第一实施例和第三实施例中的相同的部分，不再作多余的说明。
在本实施例的监视设备中，与第三实施例相同，安装有多个视频摄像机1、存储部分2、图像合成部分3、显示单元设备4和界面5。此外，在图像合成部分3还提供了：楼层合成部分32，用于合成投影在构成上述建筑物的楼层的表面上的图像；以及移动目标感测部分33，用于感测投影在楼层表面上的合成图像中的移动目标。
在第五实施例的监视设备中，像第四实施例那样，利用能执行摇射、倾斜和变焦操作的移动摄像机1G、1H、1I作为摄像机1的一部分。把在拍摄的时间点检测的摄像机参数信息、和拍摄的图像从这些移动摄像机1G、1H、1I发送给图像合成部分3。然后，图像合成部分3根据这些所发送的摄像机参数信息来顺序更新摄像机参数数据D1，并在纹理映射中利用该数据来将所摄取的图像粘贴到建筑物的楼层表面、通道表面和墙面上。
而且，在第五实施例的监视设备中，提供了能由监视者M控制的界面6。该界面6选择能摄取所感测到的移动目标位置的图像的移动摄像机1G、1H、1I，并在移动目标感测部分33感测移动目标时，在所感测到的移动目标位置方向上控制移动摄像机1G、1H、1I，并将所选择的移动摄像机1G、1H、1I优先展示给监视者。
将通过纹理映射得到的合成图像信号I1、和所选择的移动摄像机的图像信号I2从图像合成部分3同时输出到显示单元4。在此，在图13中示出了在显示单元4上所显示的例子。
在图13的显示例子中，除了通过纹理映射得到的合成图像、和所选择的移动摄像机的图像之外，在显示单元4的显示屏幕上还同时显示界面5和界面6的各个参数状态，通过界面5监视者M能够控制其观察建筑物结构数据所沿的方向，通过界面6监视者M能够控制移动摄像机1G、1H、1I。
在没有感测到移动目标时，显示由监视者M指定的楼层或移动摄像机1G、1H、1I的图像。相反，在感测到移动目标时，则自动指定能摄取所感测的楼层和移动目标的图像的移动摄像机，并显示各个合成图像P5以及由所选择的移动摄像机摄取的图像P6。具体而言，加强显示在合成图像P5中的所选择的移动摄像机的位置L2。因此，监视者M能够通过使用变焦来详细检查移动目标，并同时控制所选择的移动摄像机1G、1H、1I。
因此，根据本实施例，利用上述的配置，监视者能够直观地掌握建筑物中感测到移动目标的位置，并且，监视者也能够利用移动摄像机1G、1H、1I来详细而快速地检查该位置。结果，监视者不会漏看移动目标，并能更有效和可靠地实行监视。
参照具体实施例详细地说明了本发明。但是，对那些本领域技术人员而言，在不脱离本发明精神和范围的情况下，可以进行各种变形和修改。
本申请基于2004年10月6日提交的日本专利申请(专利申请No.2004-293345)，现将其内容归并于此，作为引用。
工业实用性
本发明具有：多个摄像机，用于摄取要监视的建筑物内部的图像；以及显示单元，用于根据多个摄像机的摄像机参数和建筑物结构数据，将纹理映射应用到所摄取的图像上，并显示结果图像；而且，监视者也能够无失误地有效监视建筑物的内部。因此，能消除监视者难以直观了解由所显示的监视图像所监视的是建筑物内的什么地方的缺点，并且在检查或识别侵入者时，不存在引起错误或遗漏的可能性，也不存在将错误遗留到预测侵入者将前进的方向的可能性。因此，本发明适合于用于确保安全的监视摄像机系统。