《在视频监控中利用用户输入对视频数据加图形书签.pdf》由会员分享，可在线阅读，更多相关《在视频监控中利用用户输入对视频数据加图形书签.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102457718 A (43)申请公布日 2012.05.16 C N 1 0 2 4 5 7 7 1 8 A *CN102457718A* (21)申请号 201110372563.X (22)申请日 2011.10.14 12/904430 2010.10.14 US H04N 7/18(2006.01) G08B 25/00(2006.01) (71)申请人霍尼韦尔国际公司 地址美国新泽西州 (72)发明人 DS姆 (74)专利代理机构中国专利代理(香港)有限公 司 72001 代理人刘春元 蒋骏 (54) 发明名称 在视频监控中利用用户输入对视频数据加图 形。
2、书签 (57) 摘要 本发明涉及在视频监控中利用用户输入对视 频数据加图形书签。提供了用于处理视频的方法 及装置。该方法包括步骤：保安系统提供保安区 域的视频；保安人员监视所提供的视频；保安人 员通过所监视视频的显示器向所监视视频的一个 或多个帧叠加标识；以及保安系统将一个或多个 视频帧和标识保存在存储设备的一组相应文件 中，其中视频帧占据该组相应文件中的第一文件 并且标识占据该组文件中的第二文件，其中第一 和第二文件是不同的并且其中所述标识通过交叉 引用与对应的一个或多个视频帧相关。 (30)优先权数据 (51)Int.Cl. 权利要求书2页 说明书4页 附图7页 (19)中华人民共和国国家。
3、知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 4 页 附图 7 页 1/2页 2 1.一种方法，包括： 保安系统提供保安区域的视频； 保安人员监视所提供的视频； 所述保安人员通过所监视视频的显示器，向所监视视频的一个或多个帧上叠加标识； 以及 所述保安系统将一个或多个视频帧和标识保存在存储设备的一组相应文件中，其中所 述视频帧占据该组相应文件中的第一文件并且所述标识占据该组文件中的第二文件，其中 第一文件和第二文件是不同的，并且其中所述标识通过交叉引用与对应的一个或多个视频 帧相关。 2.如权利要求1所述的方法，其中所述叠加的标识进一步包括由所述保安人员画的 线。 3.如权利要。
4、求1所述的方法，其中所述叠加的标识进一步包括由所述保安人员画的 圈。 4.如权利要求1所述的方法，其中所述叠加的标识进一步包括文本。 5.如权利要求1所述的方法，其中所述保存的标识进一步包括与所述一个或多个视频 帧一起保存的元数据。 6.如权利要求1所述的方法，进一步包括描绘所述保存的视频的时间线。 7.如权利要求6所述的方法，进一步包括在所述时间线的对应位置上描绘所述叠加的 标识的标记。 8.如权利要求7所述的方法，进一步包括人员选择所述时间线上的位置，并且保安系 统显示视频的所选择位置的一个或多个帧和与所选择位置相关联的任何叠加的标识。 9.一种装置，包括： 保安系统，所述保安系统提供保安。
5、区域的视频； 用户输入端，所述用户输入端将所述保安区域的视频显示给保安人员以及接受来自保 安人员的标识； 所述保安系统的一个或多个处理器，其通过所监视视频的显示器，将所接受的标识叠 加到所监视视频的一个或多个帧上；以及 所述保安系统的一个或多个处理器：其将一个或多个视频帧和标识保存在存储设备的 一组相应文件中，其中所述视频帧占据该组相应文件中的第一文件，并且所述标识占据该 组文件中的第二文件，其中第一文件和第二文件是不同的，并且所述标识通过交叉引用与 对应的一个或多个视频帧相关。 10.如权利要求9所述的装置，其中所述叠加的标识进一步包括由所述保安人员画的 线。 11.如权利要求9所述的装置，。
6、其中所述叠加的标识进一步包括由所述保安人员画的 圈。 12.如权利要求9所述的装置，其中所述叠加的标识进一步包括文本。 13.如权利要求9所述的装置，其中所述保存的标识进一步包括与所述一个或多个视 频帧一起保存的元数据。 14.如权利要求9所述的装置，进一步包括描绘所述保存的视频的时间线。 权 利 要 求 书CN 102457718 A 2/2页 3 15.如权利要求14所述的装置，进一步包括在所述时间线的对应位置上描绘所述叠加 的标识的标记。 权 利 要 求 书CN 102457718 A 1/4页 4 在视频监控中利用用户输入对视频数据加图形书签 技术领域 0001 本发明的领域涉及保安系。
7、统，并且尤其涉及保安区域的视频监视。 背景技术 0002 保安系统被人们所熟知。这类系统典型地包括定义和保护一保安区域的物理屏障 (例如，墙、门等)，以及设置在保安区域周边或内部的用于检测入侵者的多个传感器。所 述传感器可以包括一个或多个设置于门或窗上的开关。所述传感器也可以包括被动红外 (PIR)检测器、运动检测器和多个保安摄像机。 0003 所述保安摄像机可以在本地或远程地对入侵者进行监视。可替换地，每个视频摄 像机的视频流可以由计算机处理器逐帧地进行分析以基于连续帧之间的不同来检测入侵 者的运动。 0004 保安系统的所述传感器典型地连接到一个普通的控制面板。可以由占有者通过所 述控制面。
8、板上的用户接口对所述控制面板进行设防(arm)或撤防(disarm)。一旦设防，所 述控制面板就可以监视每个传感器。在入侵传感器激活时，所述控制面板可以激活本地警 报和/或发送警报信号到中央监视站。 0005 虽然这类系统可以很好的工作，但是它们往往不是它们可以的那么有效。例如，保 安空间的一些区域常常所述保安空间的一般使用过程中被人所入侵。虽然计算机处理器能 够处理连续的图像来检测至少一些异常事件，但是还是有一些计算机处理器不能检测的事 件。因此，存在着对收容检测和记录可疑活动的可能性的能力的视频处理方法的需要。 附图说明 0006 图1描绘(depict)了按照本发明的所说明实施例的大体示。
9、出的具有视频监视的 保安系统； 0007 图2是图1的视频监视系统所使用的方法步骤的流程图； 0008 图3描绘了可以被图1的系统使用的多个视频窗口和软键控制面板。 0009 图4描绘了主要CCTV(闭路电视)操作者使用图1的系统针对可疑活动而回顾视 频； 0010 图5描绘了主要CCTV操作者对图4中感兴趣的区域进行标识(mark)； 0011 图6描绘了CCTV操作者添加文本框作为对图4的感兴趣的区域的进一步标识； 0012 图7描绘了在图3中示出的时间线上的标识(marking)的时间位置的识别。 具体实施方式 0013 图1描绘了按照本发明的所说明实施例大体示出的保安系统10。在警报系。
10、统10 中可以包括多个用来检测对保安区域12的未授权进入的传感器设备(传感器)14、16。还 可以包括检测传感器14、16的激活的警报面板18。 0014 与所述警报面板18相关联的设备还可以有用户接口20。所述用户接口20可以包 说 明 书CN 102457718 A 2/4页 5 括键盘22和显示器24，通过所述键盘和显示器，用户可以对系统10设防和撤防。 0015 在系统10内可以包括多个视频监视设备(例如，摄像机)26、28。所述视频监视设 备26、28又可以连接到视频处理器30。 0016 在所述视频处理器30中，可以处理来自监视设备26、28的视频来检测保安漏洞。 例如，至少一些所。
11、述监视设备26、28可以用来检测视场内的运动，并且作为响应，响应于所 述运动而发送通知到所述警报面板18。可替换地，监视设备26、28视场内的至少一些区域 可以被划为禁区，其中有人进入该禁区时可以触发警报或其他警告。 0017 当设防时，所述警报面板18可以针对触发事件而监视所述传感器14、16和监视设 备。触发事件是指传感器14、16的激活，或者基于来自所述监视设备26、28中的一个的视 频通过视频处理器30检测到入侵者。在收到来自所述设备14、16、26、28中的一个的触发 事件的通知时，所述警报面板18可以激活本地报警器来提醒授权用户：所述保护区域12被 入侵。此外，所述警报面板18可以。
12、发送警报消息32到中央监视站34。响应于所述警报信 息32，所述中央监视站可以派遣警察或私人保安人员。 0018 除了处理来自传感器16、18和监视设备26、28的事件，所述警报面板18和视频处 理器30也可以将来自监视设备26、28的视频提供给一个或多个显示器24。保安人员可以 在本地或通过中央监视站34实时直接查看所述一个或多个显示器24。 0019 保安人员可以实时地在所述显示器12上监视所述保安系统10从所述监视设备 26、28接收的视频，与此同时，将所述视频保存为视频文件42。正如本领域技术人员所熟知 的那样，实时视频的直接监视对于检测一些形式的犯罪活动可能是有必要的。例如(也正 如。
13、本领域技术人员所熟知的那样)，人类观测者比任何计算机处理器更适于检测可疑活动。 0020 例如，现有技术中用于检测犯罪/可疑活动的视频分析的自动化方法，局限于在 创建算法中所使用的假设以及假设所基于的参数。即使所述假设是基于正当理由，在实施 所述算法中使用的配置、宽容度和阈值等级可能依然得不到期望的结果。因为人类CCTV操 作者的头脑远远超过现有的方法，所以使用人类CCTV操作者回顾和标识视频可以避免这 些缺陷。 0021 在所述实施例中，保安系统10中的标识特征允许保安人员可以标识所述视频帧 以供其他保安人员进一步实时回顾或为了其他取证目的。在这方面，在所述视频处理器30 中的一个或多个子处。
14、理器36、38可以监视和记录来自保安人员的输入，并将所述输入保存 在与所述被标识视频的图像文件42分离的标识文件中。例如，第一屏幕监视处理器可以针 对来自监视该显示器的人员的标识输入而监视显示器12。在这方面，所述屏幕监视处理器 可以检测(通过电容或电阻的变化)人员与显示器表面的接触。所述人员可以通过他/她 的手指或者可替换地可以用于标识接触的指示笔(stylus)来实现接触。当所述屏幕监视 处理器检测到这样的电容或电阻变化时，所述屏幕监视处理器可以向文件处理器36、38发 送通知。作为响应，所述文件处理器可以立即打开存储器中的视频标识文件40，并开始保存 一组接触位置的坐标。除了保存接触的坐。
15、标，所述文件处理器还可以存储帧标识符(例如， 接触的时间和所述监视设备26、28的标识符)。帧标识符允许保存到所述文件中任何标识 与相关联的一个或多个帧共同地显示。一旦向所述标识文件40中添加标识，这个标识会继 续在后续的帧中显示，直到所述人员(添加所述标识的那个人)激活复位按钮为止。 0022 应该注意的是，所述标识文件40是与所述视频文件42分离的。这就允许所述标 说 明 书CN 102457718 A 3/4页 6 识可以被构建为虚拟玻璃层的形式，所述虚拟玻璃层可以在所述人员标识所述显示器12 的位置处叠加在视频上，但是并不改变基本视频文件。这是很重要的，因为如果证明所述可 疑活动是无辜。
16、的，则可以在不影响所述基本视频文件的情况下删除所述标识(和标识文件 40)。 0023 此外，在所述视频处理器30内在后台运行的可以是标识显示处理器36、38。所述 显示处理器36、38读取所述标识文件40，将所述标识文件40和所述基本视频帧相关，并显 示在所述一个或多个视频帧上叠加的标识。 0024 所述视频处理器30也可以基本上实时地流送(stream)来自所述监视设备26、28 的视频和任何相关联标识文件40的内容。这允许其他(例如，监督)人员可以通过另一显 示器44查看与首先觉察到所述可疑活动的人员看到的相同的视频帧。例如，主要责任是监 视视频的保安人员(也就是主要观察者或CCTV操作。
17、者)可以在来自所述设备26、28之一的 视频显示上觉察到可疑活动，并可以在所述显示器12的一部分上将所述可疑活动圈起来。 所述主要人员可以呼叫他/她的监督者并提醒监督者所述可疑活动。所述监督者可以在他 /她的显示器44上选择来自设备26、28的视频。由于来自所述文件40的标识信息与来自 所述设备26、28的源视频同时被流送，所以所述监督者也被呈现以由所述主要CCTV操作者 添加到视频的标识。 0025 此外，也可以会有与视频的特定部分(也就是一个或多个帧)相关联的多个标识 文件40。例如，如果所述监督者将接触他/她的屏幕，那么文件处理器36可以为所述监督 者立即打开另一标识文件40。可替换地，。
18、所述监督者可以激活组合键，并且所述监督者添加 的标识可以与来自主要CCTV操作者的标识组合到单个文件40中。 0026 一般而言，通过所述标识处理器作为图形信息提供的标识可以被提供为多种格式 的任何一种(例如，几何形状、线条、箭头标识、曲线、文本信息等)。当所述标识被提供为文 本时，所述用户可以简单在显示器24上放置指示笔，并在显示器24或相关联的键盘上激活 文本软键。作为响应，所述标识处理器可以创建文本框48并接收来自与显示器相关联的键 盘的信息。文本框48的使用允许所述用户输入描述标识原因或标识区域46可疑原因的文 本。 0027 图3-7描绘了使用所述系统10的例子。图2是描绘与所述例子。
19、相关联的步骤的 流程图。 0028 如图2和3所示，主要观察者(CCTV操作者)可以通过客户端应用30、36、38来监 视104一组摄像机而开始102。在这种情况下，来自多个监视设备26、28的视频可以同时在 显示器24上的相应多个视频窗口中显示。沿所述显示器24的底部为所述显示器24提供 了软键控制面板122。所述CCTV操作者已经激活软键128来选择摄像机21在所述显示器 24的中心显示视频。 0029 沿着所述控制面板的底部显示的是可选择时间线124，用于为显示的视频帧选择 时刻。指示器126描绘了当前正在显示的所选择时间段。当正在显示实时视频时，所述指 示器126仅仅指示当前的时间。 。
20、0030 当观看视频时，所述CCTV操作者为了在图像中的任何可疑活动106的指示，可以 不断地回顾视频。在这种情况下，可疑行为可以是没有被所述视频处理器30检测到的一些 意想不到的行为108。有时，所述CCTV操作者可以识别视频窗口之一中的可疑行为，如在图 说 明 书CN 102457718 A 4/4页 7 4中标为130的气球所指示的。 0031 图5示出了由所述CCTV操作者执行的一系列步骤的结果。例如，视图可以在所述 显示器24上放置指示笔，以及所述处理器30可以在视频之上加载110数据层。在这种情 况下，所述CCTV操作者可以在视频帧的感兴趣区域中将可疑活动圈起来，如图5中标为132。
21、 的气球所指示的。所述CCTV操作者还可以激活所述文本处理器36、38并且输入所述可疑 活动的描述，如图5中标为134的标签134所指示的。所述用户可以添加其他文本框作为 参考点，如图5中标为136的气球所指示的。 0032 图6示出了图5的例子的延续。在图6中，所述视图已经删除了图5的圈，并已经 添加了指示与图5中标识的活动相关联的活动的箭头。在这种情况下，所述CCTV操作者已 经添加了示出与图5中标识的一组人中的一个相关联的活动的箭头，如图6中标为138的 气球所指示的。所述CCTV操作者还已经添加了解释箭头含义的文本框，如标为142的气球 所指示的。 0033 在这个例子中，假定所述CC。
22、TV操作者已经提醒他/她的监督者并且所述监督者也 正在观看所述视频窗口。在这种情况下，所述监督者已经就另一感兴趣区域对视频帧进行 了标识，如标为140的气球所指示的。 0034 如图6所指示的，所述标识特征允许所述主要CCTV操作者和监督者从不同位置标 识相同的一个或多个视频帧。在这种情况下，所述主要CCTV操作者和监督者能够看到由他 方输入的标识以及他们自己的标识。 0035 图7示出了图5的活动以及所述控制面板122。如图7所示，每当所述主要视图 (或他/她的监督者)标识图像时，位置指示器(例如，星星)被添加到所述时间线124来 指示所述标识的位置，如标为144的气球所指示的。标识的关键帧。
23、(显示为小得多的图像) 也可以在所述时间线124上示出，如标为146的气球所指示的。 0036 大体上，图7示出了可以被提供用于稍后回顾的图像。在这种情况下，所述主要 CCTV操作者(或他/她的监督者)已经从所述时间线124中选择了与图5相关联的时刻 (帧)。这样，为了回顾所述活动和确认所述事件的可疑性，或寻找最初可能没有觉察到的 任何犯罪的视觉证据，所述主要CCTV操作者(或他/她的监督者)可以稍后通过显示处理 器来访问文件40、42。 0037 为了说明实现和使用本发明的方式，已经描述了用于标识视频的方法和装置的具 体实施例。应当理解，本发明的其他变型及修改的实施方式及其各个方面对本领域技。
24、术人 员来说是显而易见的，并且本发明不限于所描述的具体实施例。因此，本申请预期涵盖本发 明，以及落入在此公开并要求保护的基本基础原理的真实精神和范围之内的任何修改、变 型或等效替换。 说 明 书CN 102457718 A 1/7页 8 图1 说 明 书 附 图CN 102457718 A 2/7页 9 图2 说 明 书 附 图CN 102457718 A 3/7页 10 图3 说 明 书 附 图CN 102457718 A 10 4/7页 11 图4 说 明 书 附 图CN 102457718 A 11 5/7页 12 图5 说 明 书 附 图CN 102457718 A 12 6/7页 13 图6 说 明 书 附 图CN 102457718 A 13 7/7页 14 图7 说 明 书 附 图CN 102457718 A 14 。