相机间联系关系信息生成装置 【技术领域】
本发明涉及相机间联系关系信息生成装置，该装置能够在例如以多个监视相机构成的监视系统跟踪人物的情况中，高可靠性地估计在相机之间的联系关系。
背景技术
在用于使用来自多个相机的监视视频执行大范围监视的系统中，已经提出了一种通过基于提前掌握的在拍摄区域和各个相机的布置之间的对应关系来自动地切换画面上所显示的相机视频而跟踪人物等的系统(例如，参见专利文献1)。
专利文献1：JP-A-2005-12415(第4页至第14页、图1)
【发明内容】
本发明的要解决的问题
在通过多个相机监视广泛范围的情况中，多个相机之间的联系处理成为必要。特定地，在对相机之间的人物进行对照的情况中，通过使用关于相机之间的联系关系(拓扑)的信息来改善人物的对照精度。用于获取该联系关系信息的方法还包括用于手动地提前给出消息的方法，但是存在由于相机的数目很大而造成的处理复杂的问题。而且，存在一种用于使用由各个相机观测到的对象来自动地进行估计的方法，但是存在如下的问题，即，由于在基于每个相机所提取的所有对象的出现时间和消失时间的频率分布来估计的方法中，误对应的数据很大，所以精度低。
因此，鉴于以上的传统问题，作了本发明，并且本发明的目标是要提供一种相机间联系关系信息生成装置，该装置能够改善由于相机间的误对应而造成的有无联系关系的精度的降低，并且使用仅相似被摄体对，例如人物对，来高可靠性地进行相机间联系关系的估计。
用于解决问题的手段
本发明的相机间联系关系信息生成装置的特征在于，包括：特征量提取装置，该特征量提取装置用于从由多个相机捕捉的视频提取被摄体的特征量；In/Out点提取装置，该In/Out点提取装置用于提取由多个相机捕捉的每个视频中的指示被摄体所出现的点的In点和指示被摄体从其消失的点的Out点；In/Out区域形成装置，该In/Out区域形成装置用于基于由In/Out点提取装置提取的In点来形成包括In点的In区域，并且基于由In/Out点提取装置提取的Out点来形成包括Out点的Out区域；相关值计算装置，该相关值计算装置用于在由In/Out区域形成装置所形成的Out区域中所包括的Out点和所形成的In区域中所包括的In点的多个组合的每一个中，通过获得由特征量提取装置所提取的被摄体的每个特征量的相似度的总和来计算相关值；频率直方图创建装置，该频率直方图创建装置用于基于由相关值计算装置所计算的相关值来创建频率直方图；以及联系关系信息生成装置，该联系关系信息生成装置用于提取由频率直方图创建装置所创建的频率直方图的峰值，并且估计多个相机之间有无联系关系，以及生成联系关系信息。
根据上述构造，将人物信息用作被摄体信息能够可靠性地完成相机之间联系关系的估计。
本发明的相机间联系关系信息生成装置地特征在于，包括：显示装置，该显示装置用于显示由多个相机捕捉的视频；以及显示控制装置，该显示控制装置用于控制显示装置的显示形式。
根据上述构造，能够基于指示估计的相机之间有无联系关系的联系关系信息来执行能够进行人物跟踪等的适当的画面显示。
本发明的相机间联系关系信息生成装置的特征在于，在显示在与多个相机的一个相机的Out区域对应的显示装置的显示位置中移动的被摄体的情况中，根据由联系关系信息生成装置生成的联系关系信息，显示控制装置突出与具有显示移动之后的被摄体的高概率的多个相机的其它相机的In区域对应的显示装置的显示位置。
根据上述构造，在跟踪人物的情况中，能够视觉地掌握接下来出现的相机号和出现区域候选，并且还无需执行诸如切换相机这样的复杂操作，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的相机间联系关系信息生成装置的特征在于，在显示在与多个相机的一个相机的Out区域对应的显示装置的显示区域中移动的被摄体的情况中，根据由联系关系信息生成装置生成的联系关系信息，显示控制装置使与多个相机的其它相机对应的显示装置的显示面积大于正常的显示面积。
根据上述的构造，无需执行诸如切换相机这样的复杂操作，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的相机间联系关系信息生成装置的特征在于，在显示在与多个相机的一个相机的Out区域对应的显示装置的显示位置中移动的被摄体的情况中，根据由联系关系信息生成装置生成的联系关系信息，显示控制装置改变与相机的每一个对应的显示装置的显示位置，使得与具有显示移动后的被摄体的高概率的多个相机的其它相机的In区域对应的显示装置的显示位置和与该一个相机的Out区域对应的显示装置的显示位置相邻。
根据上述构造，无需执行诸如切换相机这样的复杂操作，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的相机间联系关系信息生成装置的特征在于，由联系关系信息生成装置生成的联系关系信息包括多个相机的一个相机的任意区域和其它相机的任意区域之间的移动时间信息，并且显示控制装置根据联系关系信息，将与该一个相机对应的显示装置的显示位置和与其它相机对应的显示装置的显示位置分离。
根据上述构造，易于视觉地掌握相机之间的联系关系，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的相机间联系关系信息生成装置的特征在于，当多个相机的一个相机的拍摄范围与其它相机的拍摄范围重叠时，根据由联系关系信息生成装置生成的联系关系信息，显示控制装置将与该一个相机对应的显示装置的显示位置和与其它相机对应的显示装置的显示位置重叠。
根据上述构造，易于视觉地掌握相机之间的拍摄范围关系，使得降低监视器上的监视负载，并且能够容易并且精确地执行人物跟踪等。
本发明的优点
根据本发明，仅使用相似被摄体对例如人物对来估计联系关系，使得改善由于相机之间的误对应而造成的有无联系关系在精度上的降低，并且能够高可靠性地完成相机之间的联系关系的估计。而且，通过提前形成In/Out区域并且进行每区域的路径估计，能够在防止由于增加路径的数目而造成的失败的同时，适当地执行使用相机之间的联系关系信息的相机之间的人物跟踪(监视)等。
【附图说明】
图1是示出本发明第一实施例中的相机间联系关系信息生成装置的内部构造的框图。
图2是描述其中形成In区域的情况的图示(In点收集)。
图3是描述其中形成In区域的情况的图示(区域分割)。
图4是描述其中形成In区域的情况的图示(椭圆近似)。
图5是描述其中形成In区域的情况的图示(整合处理)。
图6是示出多个相机之间的人物的移动示例的图示。
图7是概念地示出其中出现Out点的候选的时间范围的示意图。
图8是描述通过频率直方图创建部所创建的直方图的对应对的图表的情况的图示。
图9是示出由于步行速度而造成的到达时间上的差异的发生的图示。
图10是示出具有多个峰值的直方图示例的图示。
图11是示出本发明第二实施例中的相机间联系关系信息生成装置的内部构造的框图。
图12是概念地示出相机之间的联系关系信息的图示。
图13是示出多个相机之间的人物的移动示例的图示。
图14是概念地示出其中出现Out点的候选的时间范围的示意图。
图15是示出突出具有出现的高概率的区域的显示示例的图示。
图16是示出放大和显示具有出现的高概率的区域的显示示例的图示。
图17是示出显示具有出现的高概率的区域以便于与移动之前的视频相邻的显示示例的图示。
图18是示出基于相机之间的联系关系而布置视频的显示示例的图示(分离)。
图19是示出基于相机之间的联系关系而布置视频的显示示例的图示(重叠)。
附图数字和标记的描述
10接口部
21特征量提取部
22In/Out点提取部
23In/Out区域形成部
24相关值计算部
25频率直方图创建部
26联系关系信息生成部
27参数设置部
30数据库
40显示控制部
50显示部
100、101相机间联系关系信息生成装置
200、201、202监视相机
300网络线路
【具体实施方式】
下文中，将利用附图来详细描述本发明实施例中的相机间联系关系信息生成装置。
第一实施例
图1是示出本发明第一实施例中的相机间联系关系信息生成装置的内部构造的框图。相机间联系关系信息生成装置100主要包括：接口(I/F)部10、特征量提取部21、In/Out点提取部22、In/Out区域形成部23、相关值计算部24、频率直方图创建部25、联系关系信息生成部26、参数设置部27、数据库30、显示控制部40、显示部50等。
相机间联系关系信息生成装置100通过网络线路300等从多个监视相机(三个相机200到202作为示例在附图中示出)获取视频，并且执行下述的控制或判定，以及在装置内部的显示部50上显示视频。
接口部10通过网络线路300等从多个相机200、201、202获取视频。
特征量提取部21提取由相机的每一个所捕捉的视频中的人物的特征量。提取的特征量是关于身体高度、速度、颜色、纹理等的信息。
在由每个相机所观测到的人物信息中，In/Out点提取部22将出现在相机视野的点识别为In点，并且将从相机视野消失的点识别为Out点，并且一定时段地收集每个相机的In/Out点信息。
为了确定基于获得的In/Out点集合的In/Out区域，In/Out区域形成部23通过k均值(k-means)算法等的区域分割处理来提取作为In/Out区域候选群组的In/Out区域。然后，整合在In/Out区域候选群组中的具有少In/Out点信息的区域或邻近其它区域的区域，并且确定最后的In/Out区域。
图2到图5是，作为上述In/Out区域形成部23和In/Out点提取部22的功能部的动作示例，描述In区域形成情况的图示。
首先，In/Out点提取部22收集任何时间内所测量的In点(图2)。接下来，将图像区域初始地分割成12个区域(3乘4)，并且利用包括在每个区域内的In点信息通过k均值方法来执行区域分割处理(图3)。进一步地，使用初始的分割结果来应用k均值方法，并且通过将包括在12个分割的区域的每一个中的In点信息作为元素，做出通过奇异值分解完成的每个区域的椭圆近似。而且，当包括在每个区域中的In点信息少于预设的阈值时，In点信息被认为是噪声区域并且被消去(图4)。
然后，In/Out区域形成部23相对于被近似为椭圆的每个区域来执行整合处理。重复利用阈值或大于该阈值的值来整合邻近区域的处理，并且持续该处理直至被整合的区域完成。使用被整合的区域内的In点的集合，做出通过奇异值分解完成的椭圆近似，并且获取最终的In点区域(图5)。
相关值计算部24计算相关值，用于使用以以上方式获得的出现区域(In区域)和消失区域(Out区域)来估计每个区域之间的对应关系。通过每个相机观测到的关于人物的In/Out点信息具有各种特征量，诸如，时间、重心、高度、水平宽度、颜色信息。当在相机的拍摄范围中不存在重叠时，相对于具有联系关系的区域，从某个消失区域消失的人物在一定时段后出现在具有联系关系的出现区域中(当在相机的拍摄范围中存在重叠时，该人物在一定时段之前出现在出现区域中)。从与在一定时段内出现的人物有关的信息中仅选择具有相似的特征量的人物为相应候选，并且在联系关系的估计中被使用。通过下面的公式1来以相关值来评估In/Out点中的人物特征量的相似度。
[数学公式1]
(公式1)：
这里，wi表示每个特征量的权重系数，并且相似度i表示每个特征量的相似度，并且t表示搜索时间窗。即，通过加权的相似度的特征量的种类的总和(即，i)来计算预定搜索时间窗中的相关值。在联系关系的估计处理中，仅使用与具有来自上述评估公式的阈值或大于该阈值的相似度的人物相关的信息。
频率直方图创建部25将获得的In/Out点对放入相机之间的每一In/out区域所构建的In/Out点对应频率分布中。具有联系关系的In区域和Out区域对实际上在根据区域之间距离的时间的附近具有对应频率的峰值，并且能够通过检测其峰值来确定有无联系关系。
这里将利用示例来描述In/Out区域的对应处理。
图6是示出在多个相机之间人物的移动示例的图示。从某个相机消失的人物再次出现在另一个相机。在图6的示例中，在时间t6时从由相机1(下文中称为Cam 1)的Out 1示出的地点(下文中简单地称为Out 1)消失的人物在时间t10时出现在由相机2(下文中称为Cam 2)的In 3示出的地点(下文中简单地称为In 3)。在假设在由每个相机所捕捉的区中不存在重叠部分的情况中，认为出现在In点的人物通常对应于在过去的一定时间内从任何相机消失的人物(Out点)。因此，能够通过获得在相机之间对应的人物对并且测量该人物对进行对应所需要的时间来估计多个相机之间的区域对应，即，多个相机之间的联系关系。另外，图7是概念地示出其中出现Out点的候选的时间范围的示意图。
频率直方图创建部25创建直方图，其中，相对于每个相机的所有In区域和Out区域的组合来绘制In点/Out点的对应点。图8是描述由频率直方图创建部25所创建的直方图的对应对的图表的情况的图示。该图示示出相对于图6中示出的人物移动示例得到对应于In 3的Out区域的过程。如从图6和图7判定的，对应于In 3的Out区域包括Out1、Out 6和Out 5，使得Out区域被保持为对应候选。
在图示的示例中，Out 1具有联系关系，使得对于In 3/Out 1的特定时间部分的很多人物对被计数。另外，存在如下的情况，即，其中，从其它Out点的出现时刻的关系，不考虑联系关系的不存在，In/Out点的对应对出现，但是这种对应相对于特定直方图元素不太可能具有峰值。在以上过程中执行绘制并且最终定位具有如图8的下部中示出的峰值(由附图中的椭圆所示的峰值)的直方图元素。
联系关系信息生成部26提取该直方图元素，并且估计相机间有无联系关系，以及生成联系关系信息。
另外，在图8的直方图的示例中，示出了一个峰值的情况，但是实际的行走速度根据人物或物体而变化(参见图9)。因此，在本实施例的相机间联系关系信息生成装置100中，还能够通过假设当得到从某个相机到另一个相机的移动时间时具有多个速度，来执行多个移动时间计算。如图10所示，多个峰值对应于人物行走速度中的变化，并且还能够作为人物、自行车、汽车等种类的变化来把握。
参数设置部分27设置在上述的各种计算中所使用的参数。而且，数据库30保持在计算中所使用的各种数据、相机间联系关系信息等。
第二实施例
图11是示出本发明的第二实施例中的相机间联系关系信息生成装置的内部构造的框图。第二实施例与第一实施例的相机间联系关系信息生成装置101不同在于，由联系关系信息生成部26所生成的联系关系信息被反馈到相关值计算部24，并且计算下述的相似度标准。由于其它构造与第一实施例相同，所以省略详细解释。
下面将描述以上构造的相机间联系关系信息生成装置101的相似度标准计算动作。相关值计算部24基于第一实施例中所描述的联系关系信息来确定人物A和人物B之间的相似度。通过下面的公式2来计算相似度标准。
[数学公式2]
(公式2)
这里，wi表示特征量的每一个的权重系数，并且相似度i表示特征量的每一个的相似度。
而且，基于下面的公式3来确定相同人物确定标准。
[数学公式3]
(公式3)：
如公式2中所示，身体高度、速度、颜色和纹理的相似度计算的积和乘以联系关系信息(联系关系AB的联系概率)。即，将其中人物A出现的相机的区域号和其中人物B消失的相机的区域号的联系概率用作权。这里所使用的联系关系AB的联系概率是指示第一实施例中所描述的相机之间的估计的联系关系的信息，并且布置在如图12中所示的矩阵。
例如，当联系概率是80％时，相似度计算的积和乘以值80％，并且获得最后的相似度值。相关值计算部24执行多个对应候选和相似度计算作为在相机中新出现的人物A的对应候选，并且在超过阈值(MATCH_TH)的候选中选择具有最大值的候选作为对应人物。
当在多个相机之间跟踪人物时，从某个相机消失的人物通常在一定时间后出现在另一个相机。换言之，作为在相机中新出现人物A的对应候选，直至现在从每个相机消失的人物可被拾取为对应候选。下文中将描述由相关值计算部24执行的人物相关候选的选择动作。
图13是示出多个相机之间的人物的移动示例的图示。当在时间t10时新的人物出现在Cam 2的In 3(称为基准In点)时，对应于该In点的人物成为从任何相机消失的人物(称为Out点)。对应于基准In点的Out点的候选成为对于过去的TH时间从In点消失的Out点。从图14明显的是，在从t10开始回到TH时间的范围内出现的Out 1(t6)、Out 6(t5)和Out 4(t4)成为Out点的候选。分别计算关于这三个候选的相似度，并且关联具有最高相似度的并且超过确定标准的阈值的候选。
接下来，将描述本发明实施例中的相机间联系关系信息生成装置的显示控制处理。
例如，在基于如第二实施例中所描述的相同人物确定标准来跟踪移动人物的情况中，显示控制部40执行下面的显示控制，使得监视器能够容易地执行监视。
(1)根据相机间联系关系信息突出具有接下来移动的高概率的相机的拍摄区域。例如，在其中布置了9个监视相机并且用被分割成9部分的画面来正常地显示来自每个相机的视频的示例中，当在Cam 6的内部的某个区域中出现从Cam 1到右侧移动的人物的概率很高时，如图15中所示，突出该区域。(2)根据相机间联系关系信息来放大并且显示具有接下来移动的高概率的相机的视频。例如，当在Cam 6内部的某个区域中出现从Cam 1到右侧移动的人物的概率很高时，如图16中所示较大地显示Cam 6的图像。(3)根据相机间联系关系信息，用修改的布置来显示视频，使得具有接下来移动的高概率的相机的视频与移动之前的相机视频的显示相邻。例如，当在Cam 3内部出现从Cam 1消失的人物的概率很高时，如图17中所示，Cam 3的图像的布置被改变到Cam 1的右侧并且显示该图像。
通过如上所述的显示控制，即使当人物从某个相机的拍摄范围移动到另一个相机的拍摄范围时，监视器能够容易地跟踪该人物。另外，即使在上述第一实施中在跟踪移动的人物的情况中，也能够由显示控制部40来执行这种显示控制。
接下来，将描述本发明实施例中的相机间联系关系信息生成装置的映射显示。
在本发明实施例中的相机间联系关系信息生成装置中，基于获取的相机间联系关系信息来布置根据联系关系的视频。例如，当某个相机的Out点和某个相机的In点之间的联系的概率很高并且在对应区域中的人物的消失和出现之间存在时间距离时，显示控制部40如图18中所示分离并且显示两个相机的视频。另一方面，当某个相机的Out点和某个相机的In点之间的联系的概率很高并且在对应区域中的人物的消失和出现同时时(当两个相机的拍摄范围重叠时)，显示控制部40适当地重叠并且显示两个相机的视频，如图19中所示。
通过上述的显示控制，即使当人物从某个相机的拍摄范围移动到另一个相机的拍摄范围时，监视器也能够容易执行视觉识别并且跟踪该人物。另外，即使在上述第一实施例中在跟踪移动的人物的情况中，也能够通过显示控制部40来执行根据这种映射显示的显示控制。
已经参考具体实施例详细描述了本发明，但是对于本领域技术人员来说明显的是，能够在不脱离本发明的精神和范围的情况下做出各种改变或修改。
本发明基于2007年3月6日提交的日本专利申请(专利申请No.2007-055473)，并且该专利申请的内容通过引用被并入这里。
工业实用性
根据本发明的相机间联系关系信息生成装置具有能够通过借助于高可靠性的联系关系的估计来预测被摄体的移动目的地来缩小对应目的地的效果，并且可用于使用多个相机来执行大范围监视的监视系统等。