《用于监视场景中的活动重点的可视化的方法.pdf》由会员分享，可在线阅读，更多相关《用于监视场景中的活动重点的可视化的方法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102834848 A (43)申请公布日 2012.12.19 C N 1 0 2 8 3 4 8 4 8 A *CN102834848A* (21)申请号 201180015355.2 (22)申请日 2011.03.21 102010003336.7 2010.03.26 DE G06T 7/20(2006.01) H04N 7/18(2006.01) (71)申请人罗伯特博世有限公司 地址德国斯图加特 (72)发明人 D戈特施拉克 (74)专利代理机构永新专利商标代理有限公司 72002 代理人曾立 (54) 发明名称 用于监视场景中的活动重点的可视化的方法 。
2、(57) 摘要 本发明提出一种用于由至少一个监视装置 （111，111，111”）监视的监视场景中的活动重点 的可视化的方法，其中，通过所述至少一个监视 装置辨识和/或跟踪（102，102，102”）运动对 象（112，112，112”），求得（103，103，103”）所 述运动对象（112，112，112”）的空间定位（113， 113，113”），确定活动重点以及进行所述运动对 象（112，112，112”）的可视化。 (30)优先权数据 (85)PCT申请进入国家阶段日 2012.09.24 (86)PCT申请的申请数据 PCT/EP2011/054191 2011.03.21 (87。
3、)PCT申请的公布数据 WO2011/117170 DE 2011.09.29 (51)Int.Cl. 权利要求书1页 说明书4页 附图2页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 4 页 附图 2 页 1/1页 2 1.用于由至少一个监视装置（111，111，111”；210）监视的监视场景中的活动重点 （220，230，240，250）的可视化（200）的方法，所述方法具有以下步骤： a）通过所述至少一个监视装置（111，111，111”；210）辨识和/或跟踪（102，102， 102”）运动对象（112，112，112”）， b）求得（1。
4、03，103，103”）所述监视场景中的所述运动对象（112，112，112”）的空间定 位（113，113，113”），以及 c）确定和可视化（200）所述监视场景中的所述运动对象（112，112，112”）的活动重点 （220，230，240，250）。 2.根据权利要求1所述的方法，其中，基于所识别的运动对象（112，112，112”）的 数量、速度、加速度和/或单位时间内的加速度变化来确定所述活动重点（220，230，240， 250）。 3.根据权利要求1或2所述的方法，其中，借助于颜色编码和/或大小编码来可视化所 述活动重点（220，230，240，250），其中，给活动的度量分配。
5、颜色或者大小。 4.根据以上权利要求中任一项所述的方法，其中，基于运动的集中和/或运动轨迹的 集中来进行所述活动重点（220，230，240，250）的确定。 5.根据以上权利要求中任一项所述的方法，其中，使用具有彼此至少部分重叠的监 视区域的监视装置（111，111，111”；210）和/或具有彼此不重叠的监视区域的监视装置 （111，111，111”；210）。 6.根据以上权利要求中任一项所述的方法，其中，实时地执行所述方法。 7.根据以上权利要求中任一项所述的方法，其中，使用至少一个监视摄像机（111， 111，111”；210）和/或至少一个运动传感器作为监视装置。 8.根据以上权利。
6、要求中任一项所述的方法，其中，为了可视化，使用3D场景模型 （201）、尤其是可导航的3D场景模型。 9.监视系统，所述监视系统被设置用于实施根据以上权利要求中任一项所述的方法， 所述监视系统具有至少一个用于监视一个监视场景的监视装置（111，111，111”；210）、用 于标识和/或跟踪（102，102，102”）运动对象（112，112，112”）的装置、用于求得（103， 103，103”）所述运动对象（112，112，112”）的空间定位（113，113，113”）的装置和用于确 定和可视化（200）所述运动对象（112，112，112”）的活动重点（220，230，240，250）。
7、的装置。 权 利 要 求 书CN 102834848 A 1/4页 3 用于监视场景中的活动重点的可视化的方法 技术领域 0001 本发明涉及一种用于由至少一个监视装置监视的监视场景中的活动重点的可视 化的方法以及相应的监视系统。 背景技术 0002 监视系统用于控制重要区域并且通常包括多个监视装置，例如监视摄像机，其设 置在重要区域处用于拍摄监视场景。替代地或附加地，例如也可以使用激光或红外支持的 运动传感器，例如运动报警器或光栅。作为其他示例可以述及踏板，所述踏板在踩踏时触发 一个信号。监视场景例如可以包括停车场、交叉路口、道路、广场，也可以包括楼房、工厂、医 院等等中的区域。由监视装置拍。
8、摄的数据例如图像数据流汇聚到监视中心中，在那里 或者自动地或者通过监视人员分析处理所述图像数据流。 0003 尤其是图像数据流的手动分析处理时常非常困难，因为尤其是在具有多个运动对 象的监视场景中例如在道路场景中必须监视相应较大数量的运动对象，并且由此所显 示的监视场景的图像质量例如由于照明变化、气候影响或监视摄像机的污染往往是不够 的。通常，受监视的监视场景包含三维对象，其中运动过程往往由对象遮挡并且由此不能实 现直接的观察。因此，监视人员的电子支持是符合目的的。 0004 普遍公知的是，将由多摄像机网络检测的监视场景显示为三维模型（以下称作3D 场景模型）。这类3D场景模型可以具有任意的抽。
9、象程度，例如可以将所监视的房屋、信号、 道路等等的表面显示为抽象的面结构。在一个3D场景模型中，也可以实现三维对象的抽 象的、格栅状的再现，从而通过监视装置检测到的、但在3D场景模型的瞬时视图中被遮挡 的对象可被识别。在这类3D场景模型中存在交互导航的可能性，例如通过相应的计算机系 统。 0005 在此，由DE 10 2007 048 857 A1公开了一种方法，所述方法能够使三维场景模型 具有接近真实的纹理，其中能够以规律的或不规律的间隔更新所述纹理。 0006 由WO 2009/068336A2公开了一种基于模型的对象3D定位。为此借助经校准的摄 像机来拍摄所述对象，其中所述对象的3D位置。
10、确定为视线与所述场景模型的交点。 0007 由Sankaranarayanan等在2009年7月递交的公开文献“Modeling and Visualization of Human Activities for Multi-Camera Networks”（EURASIP Journal on Image and Video Processing）可以得出一种系统，借助所述系统能够实现在图像中识 别到的人员运动在3D场景模型中的投影。在使用场景的3D结构和摄像机校准的先验知识 的情况下，所述系统能够定位运动通过所述场景的人员。通过如下方式确定感兴趣的活动： 在自学习方法范畴内将所述活动的模型。
11、与观察进行比较。 0008 Wang等在“Correspondence-Free Multi-Camera Activity Analysis and Scene Modeling”（Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2008）中说明了相同定向的运动的关系，由此活动重点也可显 示在密集的场景中。但是在此不包括3D场景模型的使用。 说 明 书CN 102834848 A 2/4页 4 0009 在由现有技术中已知的方法中，在存在多个运动对象时各个轨迹的。
12、显示往往很不 清楚明了并且由此最后导致较小的信息量。通常也不能检测到由对象遮挡的运动或者仅仅 由单个摄像机检测的运动。此外，在存在错误的对象一致性时，即在摄像机没有绝对精确地 调准时，轨迹的质量往往显著地降低。 0010 因此，还存在用于尤其是多摄像机网络中的活动重点的可视化的方法的需求，所 述多摄像机网络克服了现有技术的所述缺点。 发明内容 0011 根据本发明提出了具有独立权利要求的特征的方法以及监视系统。有利构型是从 属权利要求以及以下描述的主题。 0012 本发明尤其可以用作视频监视技术领域中用于多摄像机网络中活动重点的实时 可视化的系统。 0013 为了理解，所使用的概念“运动呈现”。
13、和“活动重点”可以不仅包括运动密度而且 包括运动强度。运动密度可以涉及运动对象的数量。如果存在大量的运动对象的运动，则 运动密度高。运动强度例如也可以涉及运动对象的速度。根据需要，强调监视场景中的运 动密度或运动强度是感兴趣的。例如快速的但与其他对象分开运动的单个对象可以要求更 详细的检查，或者可以替代地要求有针对性地观察具有高密度运动对象的区域。 0014 本发明的优点 0015 借助于根据本发明的方法，通过监视装置、尤其是通过多个经校准的摄像机（无重 叠的可视区域的单独摄像机和具有重叠的可视区域的摄像机）的视频材料的图像分析能够 实现对象识别和对象跟踪。此外，同样可以使用其他监视装置，例如。
14、运动传感器。 0016 基于所识别的人员运动和对象运动确定的活动重点可以映射（投影）到所监视的 场景的虚拟3D模型中。由此，可以直接在3D模型中直接视觉地突出强调具有高运动呈现 或者具有活动重点的区域。通过3D场景模型中的交互导航的优选可能性，可以进行这类具 有高运动呈现或者活动重点的区域的直接控制，以便更详细地观测这些区域。 0017 例如如同在申请人的WO 2009/068336A2中描述的那样进行所识别的人员 运动和对象运动映射到所监视的场景的虚拟3D模型中，在此关于实施的细节参照WO 2009/068336A2。对于在那里公开的基于模型的3D定位，借助经校准的摄像机来拍摄对象， 其中所。
15、述对象的3D位置被确定为视线与所述场景模型的交点。也可以通过简单的地面模 型进行2D-3D映射，在所述地面模型中将在图像中识别到的对象借助于摄像机校准信息直 接投影到地平面上。在其他类型的传感器（例如运动报警器）中可能不需要映射，因为传感 器数据可以被直接接收到模型中，只要传感器在场景模型中的位置是已知的。 0018 原则上可以由分别生成的图像材料产生3D模型，但例如也可以事先例如通过 测量数据和/或CAD软件提供3D模型。 0019 所提出的方法在相应的系统中有利地、抽象地表示一种活动（例如运动呈现或者 活动重点）。多个空间接近对象的运动可以被汇聚起来，以便辨识活动重点。可以通过突出 强调的。
16、区域的大小及其颜色编码活动的量。尤其是，作为量的度量可以使用运动对象的数 量、速度、加速度和/或单位时间内的加速度变化。活动重点的这类视觉显示可以与虚拟的 3D模型的图像叠加，从而即使在对象遮挡的情况下运动呈现保持可识别。尤其是可以在假 说 明 书CN 102834848 A 3/4页 5 颜色显示中（活动大小的颜色编码）进行可视化。 0020 因此，所提出的措施在密集场景中也能够实现运动强度的清楚显示。因为在根据 本发明的方法范畴中可以优选通过单个摄像机检测运动，摄像机之间可能错误的对象匹配 仅仅起次要作用。 0021 根据本发明的方法的范畴内的显示可以具有任意的抽象程度，从而不再由于过度 。
17、实际的显示而偏离重要的运动。与之前提到的现有技术的方法相比，可以使用最新数量的 活动对象并且实时地分析处理。 0022 在由Sankaranarayanan等公开的方法中例如不可能识别被遮挡的场景区域（例 如墙壁后面）中的活动。在那里提出的真实感显示由于大量的纹理细节以及由于复杂的人 员模型而偏离真正的运动。由此，运动不太明显，使得尤其是在手动地分析处理监控场景或 者相应的图像数据流的范畴内可能识别不到运动或者过晚地识别到运动。通过根据本发明 提出的用于活动重点的实时可视化的抽象方法克服了所述缺点。 0023 与之前提到的Wang等的公开文献不同，观察者现在能够将通过单独的摄像机（即 通过与其。
18、他摄像机不具有重叠的可视范围的摄像机）拍摄的运动对象（运动呈现）视觉地包 含到总上下文中。同样，与此相反地，不再需要较长时间间隔上的运动的累积。 0024 因此，通过根据本发明的措施，通过与3D图像叠加的活动显示在3D模型的被遮挡 的区域中也产生直接的、视觉的运动反馈。通过借助视觉手段、例如颜色来编码运动呈现的 量，可以实现可能的临界的运动过程的非常快速且清楚的显示。 0025 本发明的其他优点和构型由说明书和附图得出。 0026 可理解的是，以上提到的和以下还要解释的特征不仅可用于分别说明的组合而且 可用于其他组合或单独应用，而不脱离本发明的保护范围。 附图说明 0027 根据实施例在附图中。
19、示意性地示出并且以下参考附图详细地描述本发明。 0028 图1示出根据本发明一个特别优选的实施方式的方法的示意图。 0029 图2示出根据本发明一个特别优选的实施方式的活动重点的可视化。 具体实施方式 0030 在图1中示意性地示出根据本发明的一个特别优选的实施方式的方法并且总体 地标记为100。在图100中示出了三个并行运行的子方法150、150和150”，这些子方法分 别配置给各个监视装置。可理解的是，在本发明的范畴中，也可以运行其他数量的并行的监 视子方法，这些监视子方法分别配置给自己的监视装置。同样能够实现子方法的集中。清 楚起见，以下仅仅说明子方法150。 0031 在一个可选的步骤。
20、101中，通过在此被构造为监视摄像机的监视装置111进行图 像拍摄，即生成图像材料。监视装置111尤其是经校准的，从而其位置、定向、焦距等是已知 的。 0032 在步骤102中，例如通过配置给监视装置111的分析处理装置进行图像材料中运 动对象的识别和/或运动对象的轨迹112的产生。在步骤103中进行在前面的步骤102中 识别的对象或者在3D场景模型中识别的对象112的空间定位113。例如为了3D定位借助 说 明 书CN 102834848 A 4/4页 6 经校准的摄像机111拍摄一个对象，其中所述对象的3D位置确定为视线与场景模型的交 点。关于实施的进一步细节，在此可以参阅申请人的WO 2。
21、009/068336A2。优选从CAD数据 中获得场景模型。 0033 在步骤110中，各个子方法150、150和150”被集中并且用于运动对象的运动重 点的可视化，如在以下附图2中说明的那样。在图2中示出活动重点的可视化（如其在一个 特别优选的实施方式的范畴内进行的那样）并且总体上标记为200。 0034 在图2中示出了三维场景模型中的所识别的或者所确定的活动重点的示图，如其 基于本发明例如可以在一个计算机屏幕上获得的那样。在计算机屏幕上首先示出了3D场 景模型201，所述3D场景模型在当前示例中以一个透视视角显示多个房间。例如可以从CAD 数据中获得所述3D场景模型。相应的分析处理系统的观。
22、察者或者使用者观察计算机屏幕， 在所述计算机屏幕上显示一个虚拟的3D场景，在此显现为建筑物。这些房间在确定的位置 上装备有经校准且经调节的摄像机作为图像拍摄装置，其位置在此被示出（可选地）并且在 3D场景模型内分别以210表示。 0035 如果由摄像机210（例如基于根据图1的优选实施方式）识别到对象，则根据本发 明的一个优选实施方式通过显示活动重点来进行表示。 0036 根据图2示出四个活动重点220、230、240和250，这些活动重点（与热图像或等高 线类似地）表示所识别的活动。在当前示例中，作为活动的度量使用运动对象的数量。可 以看到，对于250仅仅存在低的活动，这可以相应于一个运动对。
23、象。对于240存在较高的活 动，这例如可以相应于两个运动对象。对于230存在更高且在空间上更强分布的活动，由此 可以推断出在所述位置230上多个对象在较大的区域中运动。最后，在位置220处存在非 常高但集中的活动，由此可以推断出非常多的运动对象位于所述位置处。 0037 作为活动重点的替代度量可以使用运动速度。在此情况下，以较高的强度显示较 快运动的对象并且以较低的强度显示较慢运动的对象。 0038 例如可以作为运动对象周围的关于相应度量标准化的钟形曲线提供强度分布，其 中相邻对象的强度可以相应地相加。在优选的实施方式中，运动对象的数量用作活动的度 量。但也可理解的是，速度、加速度和/或单位时间内的加速度变化也可以用作度量，它们 被数学地处理尤其是被累加、但也可以被平均等等。根据一个优选的实施方式，与热图 像类似地彩色地示出活动水平，其中例如可以红色至黄色地表示高的活动并且绿色至蓝色 地表示低的活动。 说 明 书CN 102834848 A 1/2页 7 图1 说 明 书 附 图CN 102834848 A 2/2页 8 图2 说 明 书 附 图CN 102834848 A 。