促进视频监控中的人物搜索.pdf

上传人:GAME****980 文档编号:4707920 上传时间:2018-10-30 格式:PDF 页数:17 大小:1.84MB
返回 下载 相关 举报
摘要
申请专利号:

CN201180036745.8

申请日:

2011.07.27

公开号:

CN103052987A

公开日:

2013.04.17

当前法律状态:

撤回

有效性:

无权

法律详情:

发明专利申请公布后的视为撤回 IPC(主分类):G11B 27/10申请公布日:20130417|||实质审查的生效IPC(主分类):G11B 27/10申请日:20110727|||公开

IPC分类号:

G11B27/10; G11B27/34; G06F17/30; G06K9/00; G06T7/00

主分类号:

G11B27/10

申请人:

国际商业机器公司

发明人:

L·M·布朗; R·S·福瑞斯; A·汉普伯; D·娃凯尔罗

地址:

美国纽约

优先权:

2010.07.28 US 12/845,116

专利代理机构:

中国国际贸易促进委员会专利商标事务所 11038

代理人:

党建华

PDF下载: PDF下载
内容摘要

本发明涉及促进视频监控中的人物搜索,具体提供了用于促进人员的视频监控搜索的技术。上述技术包括:维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据库;对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引;以及使用该一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像机俘获的一个或多个图像,以促进人员的视频监控搜索。

权利要求书

权利要求书一种促进人员的视频监控搜索的方法,其中该方法包括:
维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据库;
对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引;以及
使用该一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像机俘获的一个或多个图像,以促进人员的视频监控搜索。
如权利要求1所述的方法,其中标索引包括:由最佳化模块执行的分级和排序,其中该分级基于返回该数据库中的每个人员的可能性评估的最佳化结果。
如权利要求1所述的方法,其中剪除包括:将从该一个或多个视频摄像机俘获的一个或多个图像挑选到一子集。
如权利要求1所述的方法,其中维护数据库包括:将在摄像机中见到的每个人员连同该人员的一个或多个检测的属性中的每个属性记录在该数据库中。
如权利要求1所述的方法,其中资格信息中的一项或多项包括:与每个属性相关联的检测准确度等级。
如权利要求1所述的方法,其中资格信息中的一项或多项包括经验信息、历史信息和误差信息中的至少一个。
如权利要求1所述的方法,其中资格信息中的一项或多项包括由用户提供的与属性相关联的信息。
如权利要求1所述的方法,其中资格信息中的一项或多项包括两个或更多属性之间的相关性。
如权利要求1所述的方法,其中一个或多个属性包括以下中至少之一:衣服类型、衬衫颜色、裤子颜色、太阳镜的存在、眼镜的存在、胡须的存在、小胡子的存在、帽子的存在、鼻子类型、鬓角、衣物类型、肤色、眼睛颜色、所携带包的存在、以及同伴的不存在或存在。
如权利要求1所述的方法,进一步包括使用用户接口以使得用户能够提供关于该人员的信息。
如权利要求1所述的方法,进一步包括向用户发送针对该人员的搜索中的一个或多个候选者的集合,其中一个或多个候选者的集合是基于每个候选者的联合机率按照其可能性的次序发送给用户的。
如权利要求1所述的方法,进一步包括如果未寻找到人员,则反复以下处理直至寻找到满意的匹配或彻底搜索完该数据库为止:使用该一个或多个属性和资格信息中的一项或多项剪除从该一个或多个视频摄像机俘获的一个或多个图像,以促进人员的视频监控搜索。
如权利要求1所述的方法,进一步包括如果未寻找到该人员,则修改属性描述和检测,且基于一个或多个属性与相应误差分布之间的相关性而寻找最可能的特征集合。
如权利要求1所述的方法,进一步包括如果在该一个或多个视频摄像机俘获的一个图像中寻找到人员,则重复以下处理:使用该一个或多个属性和资格信息中的一项或多项剪除从该一个或多个视频摄像机俘获的一个或多个图像,以促进在该一个或多个视频摄像机俘获的第二图像中的人员的视频监控搜索。
如权利要求14所述的方法,进一步包括基于来自该一个或多个视频摄像机俘获的该一个图像的结果而使用该人员的更新的描述。
如权利要求1所述的方法,进一步包括提供一系统,其中该系统包括一个或多个相异软件模块,该一个或多个相异软件模块中的每一个都体现于有形计算机可读可记录存储介质上,且其中该一个或多个相异软件模块包括在硬件处理器上执行的人员描述项模块和搜索最佳化模块。
一种促进人员的视频监控搜索的计算机程序产品,其包括有形计算机可读可记录存储介质,该有形计算机可读可记录存储介质包括计算机可用程序代码,该计算机程序产品包括:
用于维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据库的计算机可用程序代码;
用于对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引的计算机可用程序代码;以及
用于使用该一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像机俘获的一个或多个图像,以促进人员的视频监控搜索的计算机可用程序代码。
如权利要求17所述的计算机程序产品,其中资格信息中的一项或多项包括以下中至少之一:与每个属性相关联的检测准确度等级、经验信息、历史信息、误差信息、由用户提供的与属性相关联的信息、以及两个或更多属性之间的相关性。
如权利要求17所述的计算机程序产品,还包括:
用于使用用户接口以使得用户能够提供关于该人员的信息的计算机可用程序代码;以及
用于向用户发送针对该人员的搜索中的一个或多个候选者的集合的计算机可用程序代码,其中一个或多个候选者的集合是基于每个候选者的联合机率按照其可能性的次序发送给用户的。
如权利要求17所述的计算机程序产品,进一步包括用于如果未寻找到该人员,则修改属性描述和检测,且基于一个或多个属性与相应误差分布之间的相关性而寻找最可能的特征集合的计算机可用程序代码。
一种促进人员的视频监控搜索的系统,包括:
存储器;以及
至少一个处理器,该至少一个处理器耦接到该存储器且操作以:
维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据库;
对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引;以及
使用该一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像机俘获的一个或多个图像,以促进人员的视频监控搜索。
如权利要求21所述的系统,其中资格信息中的一项或多项包括以下中至少之一:与每个属性相关联的检测准确度等级、经验信息、历史信息、误差信息、由用户提供的与属性相关联的信息、以及两个或更多属性之间的相关性。
如权利要求21所述的系统,其中该耦接到存储器的至少一个处理器进一步操作以:
使用用户接口以使得用户能够提供关于该人员的信息;以及
向用户发送针对该人员的搜索中的一个或多个候选者的集合,其中一个或多个候选者的集合是基于每个候选者的联合机率按照其可能性的次序发送给用户的。
如权利要求21所述的系统,其中该耦接到存储器的至少一个处理器进一步操作以:如果未寻找到该人员,则修改属性描述和检测,且基于一个或多个属性与相应误差分布之间的相关性而寻找最可能的特征集合。
一种促进人员的视频监控搜索的装置,该装置包括:
用于维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据库的部件;
用于对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引的部件;以及
用于使用该一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像机俘获的一个或多个图像,以促进人员的视频监控搜索的部件。

说明书

说明书促进视频监控中的人物搜索
技术领域
本发明的实施例大体而言涉及信息技术,且更具体地,涉及视频监控。
背景技术
在任何指定或延长时间周期内从大量视频监控摄像机中寻找或定位特定人员或嫌疑人可以是挑战性的。现有方法包括手动地搜寻视频。然而,甚至当可以从每个摄像机的视图提取单个人物时,用户将需要在时间周期内考虑每个摄像机中的每个人员以寻找匹配的人员。这样的方法过于耗时,且始终不能准确地知道或执行搜索准则。
发明内容
本发明的原理及实施例提供用于促进视频监控中的人物搜索的技术。根据本发明的一方面的用于促进人员的视频监控搜索的例示性方法(其可以是计算机实施的)可包括以下步骤:维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据库;对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引;以及使用该一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像机俘获的一个或多个图像,以促进人员的视频监控搜索。
本发明的一个或多个实施例或其组件可以以计算机产品的形式来实施,该计算机产品包括有形计算机可读存储介质,该有形计算机可读存储介质具有用于执行指示的上述方法步骤的计算机可用程序代码。此外,本发明的一个或多个实施例或其组件可以以装置的形式来实施,该装置包括存储器和至少一个处理器,该至少一个处理器耦接到该存储器且操作以执行例示性方法步骤。
又另外,在另一方面中,本发明的一个或多个实施例或其组件可以以用于进行本文中所描述的上述方法步骤中的一个或多个的部件的形式来实施;上述部件可包括(i)(多个)硬件模块,(ii)(多个)软件模块,或(iii)硬件模块与软件模块的组合;(i)至(iii)中任一实施本文中所阐述的特定技术,且上述软件模块存储在有形计算机可读存储介质(或多个这样的介质)中。
通过结合附图阅读本发明说明性实施例的以下详细描述,将明了本发明的这些及其它目的、特征及优点。
附图说明
仅通过例子,参考下面的附图将描述本发明的优选实施例,其中:
图1是说明根据本发明的实施例的多维特征空间的图;
图2是说明根据本发明的实施例的属性不准确度的图;
图3是说明根据本发明的实施例的未寻找到嫌疑人场景的图;
图4是说明根据本发明的方面的例示性实施例的方块图;
图5是说明根据本发明的实施例的、用于促进人员的视频监控搜索的技术的流程图;以及
图6是例示性计算机系统的系统图,本发明的至少一实施例可在该例示性计算机系统上实施。
具体实施方式
本发明的原理包括促进视频监控中的人物搜索。本发明的一个或多个实施例包括在从视频监控摄像机提取的人物属性的数据库中使用灵活的索引,以及使用人员属性、在寻找特定人员时上述人员属性的相关准确度及上述人员属性与由用户提供的信息的关联性来智能地剪除此空间。
另外,本发明的一个或多个实施例可包括用户接口,在该用户接口中,用户在多个层级上提供关于人员的信息(例如,多个尺度,诸如人员有多高、人员穿着何种衣物、面部特性等)。此信息与关于提取的属性的分布及其在寻找人员中的效用的信息组合用以将最可能候选者的集合递送给用户。如果未寻找到该人员,则本发明的一个或多个实施例可包括反复该处理,直到寻找到令人满意的匹配或彻底搜索完该数据库为止。
因而,且如本文中所描述的,本发明的一个或多个实施例包括促进在任何指定或延长时间周期内从多个视频监控摄像机中寻找或定位特定人员(或嫌疑人、失踪人员等)。如本文中进一步描述的,本发明的一个或多个实施例包括在用户引导搜索的情况下使用属性准确度的量度、搜索空间挑选及与其它量度的相关性,以及使用多层剪除。并非为用户提供适合描述的所有可能人物,而是如本文中所使用的,挑选指首先为用户给出最可能适合者(例如基于量测的准确程度,元素的可能有用程度、辨别元素的方式等)。
并且,如上文所注释的,本发明的一个或多个实施例包括多层剪除。关于多层剪除,本发明的一个或多个实施例可提供用户搜索结果,且基于反馈(例如,是否寻找到讨论中的个人或类似的某人)可重新计算结果的下一个集合。
基于就关于人员/嫌疑人的定位的已知信息而言针对在给定时间范围中且在有关位置中的特定摄像机中见到的人物所存储的数据,使用特定特征空间的统计。基于最后见到人员的时间、人员在何方向上及以何速度行进,智能地剪除该空间(机率取决于距原始摄像机的距离,时间取决于距离及原始时间,进入摄像机中的方向取决于人员行进的方向,等等)。
本发明的一个或多个实施例可包括使用传感器和/或多光谱属性检测器来进行人物搜索。仅以实例说明,实例传感器和/或检测器可在Hampapur等人的Multi‑scale Tracking for Smart Video Surveillance(IEEE Transactions on Signal Processing,2005年3月,第22卷第2期)中找到。
基于哪些特征具有较佳挑选能力,首先返回最可能为讨论中的人员/嫌疑人的人物的图像和/或关键帧。图1是说明根据本发明的实施例的多维特征空间的图。作为说明,图1描绘太阳镜属性检测区102、小胡子属性检测区104及红色衬衫属性检测区106。如图1中所进一步描绘的,上述检测区的部分“1”指示红色衬衫、太阳镜及小胡子的存在。上述检测区的部分“2”指示太阳镜及小胡子的存在。另外,上述检测区的部分“3”指示红色衬衫及小胡子的存在,而上述检测区的部分“4”指示小胡子的存在。在本发明的一个或多个实施例中,上述区是基于其挑选能力的,挑选能力是在最佳化模块中基于三个输入(例如参见图4中的组件410)而计算的。
如图1所说明的,每个特征可以是关于人员可检测的属性,诸如,例如衬衫/裤子颜色、太阳镜、眼镜、面部毛发(胡须、小胡子)、帽子、肤色、眼睛颜色、携带包、独自行走等。摄像机中见到的每个人员连同其检测的属性被记录在数据库中。而且,在本发明的一个或多个实施例中,接口按照人物的可能性及挑选能力的次序显示具有属性的人物。
另外,本发明的一个或多个实施例包括具有其预测准确度的资格信息,这是例如因为在本领域中,常常难以准确地检测属性且该情形取决于每个属性。图2是说明根据本发明的实施例的属性不准确度的图。作为说明,图2描绘太阳镜属性检测区202、小胡子属性检测区210及红色衬衫属性检测区206。虚线区(即,区204、区208及区212)包括与其它属性有关的属性检测误差。例如,如果人员佩戴太阳镜,则检测小胡子可能更困难些。
例如,对于系统而言,检测红色衬衫可能比检测胡须更容易(胡须常常由于脸向下而混淆,这是由于脸具有阴影)。本发明的一个或多个实施例也可考虑属性之间的相关性。例如,如果检测到红色衬衫,则衬衫不可能为黑色衬衫,但其较有可能为橙色衬衫。
如图2中所进一步描绘的,上述检测区的部分“1”指示红色衬衫、太阳镜及小胡子的存在。上述检测区的部分“2”指示红色衬衫及小胡子的存在。另外,上述检测区的部分“3”指示太阳镜及小胡子的存在,而上述检测区的部分“4”指示太阳镜的存在。
如果未寻找到感兴趣的人员/嫌疑人,则本发明的一个或多个实施例可包括给予用户较有可能的候选者。在本发明的一个或多个实施例中,考虑到用户的描述不准确的可能性(例如,人员摘下太阳镜、看似具有胡须,等等),基于其联合机率按照其可能性次序给出可能的候选者。
图3是说明根据本发明的实施例的未寻找到嫌疑人的场景的图。作为说明,图3描绘橙色衬衫属性检测区302、太阳镜属性检测区304、小胡子属性检测区306及红色衬衫属性检测区308。如图3中所进一步描绘的,上述检测区的部分“1“指示红色衬衫、橙色衬衫及小胡子的存在。上述检测区的部分”2“指示橙色衬衫及小胡子的存在。另外,上述检测区的部分”3“指示红色衬衫、橙色衬衫及太阳镜的存在。
如本文中所描述的,本发明的一个或多个实施例可包括使用接口按照属性的可能性、最大挑选能力及与相关属性的相关性的次序显示具有属性的人物。针对未寻找到感兴趣的人员/嫌疑人的情况,以实例说明,本发明的一个或多个实施例可包括:扩宽搜索,审核和/或修改描述及检测,以及基于属性与其误差分布之间的相关性而寻找最可能的特征集合。若果寻找到人员,则可重复搜索以例如基于更多准确描述(来自结果)及更新的位置、移动方向等而在下一个位置中寻找该人员。
图4是说明根据本发明的方面的例示性实施例的方块图。作为说明,图4描绘人员描述项模块402、经验可能性模块404、历史可能性模块406、属性误差函数模块408、搜索最佳化模块410、搜索结果模块412及用户反馈模块414。
人员描述模块402接收来自用户的输入,其将产生属性清单,诸如佩戴太阳镜、穿蓝色衬衫、有胡须等。人员描述项模块402将该属性清单发送给经验可能性模块404、历史可能性模块406及属性误差函数模块408。给定待搜索的一摄像机集合及时间周期,经验可能性模块404识别具有上述属性中每一个的人物的数目及关于量测此属性的置信度。经验可能性基于属性在数据库中的绝对和相对分布及相关性。给定一人类属性集合,历史可能性模块406计算关于在一般人群中寻找到这些属性(以及上述属性的相关性)的统计。以实例说明,本发明的一个或多个实施例可考虑一般人群的平均、中间及标准偏差(或非参数性分布)以计算具有一给定属性集合的样本的可能性。
给定量测的其它属性以及经验和历史可能性,属性误差函数模块408针对每一属性确定关于测量该属性的误差。该模块使用计算机视觉识别技术(诸如,用属性的实例训练的学习算法)确定属性是否存在。在本发明的一个或多个实施例中,置信度等级基于识别测量结果。例如,如果待量测的属性为“小胡子”,则用具有小胡子的人物的实例训练系统。然而,在训练中,确定由于阴影产生的嘴唇周围的黑色区域常常造成错误识别率。识别的准确度较低,特别针对除嘴唇上的黑暗之外存在很少其它证据的状况。
经验可能性模块404、历史可能性模块406及属性误差函数模块408将属性分数发送给搜索最佳化模块410。发送所有分数且在最佳化中使用上述分数。
搜索最佳化模块410使挑选能力最大化,以为用户提供最可能为候选者的结果且辅助搜索。如本文中所描述的,搜索最佳化模块410返回最可能为感兴趣的人员的人物的子集。在本发明的一个或多个实施例中,显示上述结果(例如,经由接口按照可能性的等级次序),使得用户可确定是否寻找到可能的嫌疑人。搜索结果模块412产生结果,上述结果可例如以分批(例如,经排序且分级的分批)出现。在本发明的一个或多个实施例中,搜索结果的第一集合为第一最佳化的结果。如本文中所描述的,这些搜索结果可包括最可能为候选者或辅助搜索。因而,本发明的一个或多个实施例包括使用不同准则(即,经验、历史、属性误差),继之以最佳化,以促进人物搜索。另外,用户反馈模块414接收来自用户的关于上述结果是否有用的输入且将该输入转送回搜索最佳化模块410。
图5是说明根据本发明的实施例的、用于促进人员的视频监控搜索的技术的流程图。步骤502包括维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据库。该步骤例如可使用人员描述项模块来进行。维护数据库可包括将在摄像机中见到的每个人员连同该人员的一个或多个所检测属性中的每个属性记录在该数据库中。
以实例说明且非限制,属性可包括衣服类型、衬衫颜色、裤子颜色、太阳镜的存在、眼镜的存在、胡须的存在、小胡子的存在、帽子的存在、鼻子类型、鬓角、衣物类型、肤色、眼睛颜色、所携带包的存在、同伴的不存在或存在等。
步骤504包括对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引(例如使用灵活索引)。该步骤例如可使用搜索最佳化模块来进行。标索引例如可包括由最佳化模块执行的分级及排序,其中该分级基于返回该数据库中每个人员的可能性评估的最佳化结果。
步骤506包括使用该一个或多个属性和资格信息中的一项或多项剪除从该一个或多个视频摄像机俘获的一个或多个图像,以促进人员的视频监控搜索。在本发明的一个或多个实施例中,该步骤例如可通过消除不太有用的结果而减少搜索结果来进行。剪除例如可包括将从上述视频摄像机俘获的上述图像挑选(或减少)到一子集。而且,资格信息例如可包括经验信息、历史信息、误差信息、与每一属性相关联的检测准确度等级、由用户提供的与属性相关联的信息、两个或更多属性之间的相关性,等等。
图5中所描绘的技术也可包括使用用户接口以使用户能够提供关于人员的信息,以及为用户发送(例如,经由该接口)针对人员搜索中的一个或多个候选者的集合。可基于每一候选者的联合机率按照候选者的次序将该候选者集合发送给用户。并且,可在候选者集合的平衡之前将最可能的候选者的一个或多个图像发送给用户。
本发明的一个或多个实施例可另外包括如果未寻找到人员,则反复以下处理直至寻找到令人满意的匹配或彻底搜索完数据库为止:使用该一个或多个属性和资格信息中的项来剪除从上述视频摄像机俘获的图像,以促进该人员的视频监控搜索。另外,本发明的一个或多个实施例可包括如果未寻找到该人员,则修改属性描述及检测,且基于一个或多个属性与对应误差分布之间的相关性而寻找最可能的特征集合。
图5中所描绘的技术也可包括如果在上述视频摄像机俘获的一个图像中寻找到人员,则重复以下处理:使用该一个或多个属性和资格信息中的项剪除从上述视频摄像机俘获的图像,以促进在上述视频摄像机俘获的第二图像中的人员的视频监控搜索。另外,本发明的一个或多个实施例包括基于来自上述视频摄像机俘获的该一个图像的结果而使用人员的更新描述(更新位置、移动方向等)。
如本文中所描述的,图5中所描绘的技术也可包括提供系统,其中该系统包括相异软件模块,上述相异软件模块中的每个体现在有形计算机可读可记录存储介质上。例如,所有上述模块(或上述模块的任何子集)可处于相同介质上,或每一模块可处于不同介质上。上述模块可包括诸图中所示的组件中的任一或全部。在一个或多个实施例中,上述模块包括例如可在一个或多个硬件处理器上运行的人员描述项模块、经验可能性模块、历史可能性模块、属性误差函数模块、搜索最佳化模块、搜索结果模块及用户回馈模块。
接着可使用该系统的上述相异软件模块(如上文所描述的,在该一个或多个硬件处理器上执行)执行上述方法步骤。另外,计算机程序产品可包括有形计算机可读可记录存储介质,该有形计算机可读可记录存储介质具有适于被执行以进行本文中所描述的一个或多个方法步骤的代码,该一个或多个方法步骤包括提供具有相异软件模块的系统。
另外,图5中所描绘的技术可经由计算机程序产品来实施,该计算机程序产品可包括存储于数据处理系统中的计算机可读存储介质中的计算机可用程序代码,且其中该计算机可用程序代码经由网络从远程数据处理系统下载。而且,在本发明的一个或多个实施例中,该计算机程序产品可包括储于服务器数据处理系统中的计算机可读存储介质中的计算机可用程序代码,且其中该计算机可用程序代码经由网络下载到远程数据处理系统以供在具有远程系统的计算机可读存储介质中使用。
如本领域技术人员将了解的,本发明的方面可体现为系统、方法或计算机程序产品。因此,本发明的方面可采用完全硬件实施例、完全软件实施例(包括固件、常驻软件、微码等)或组合软体与硬件方面的实施例的形式,上述实施例在本文中皆可大体上被称作“电路”、“模块”或“系统”。此外,本发明的方面可采用体现在一个或多个计算机可读介质中的计算机程序产品的形式,该一个或多个计算机可读介质上具有体现于其上的计算机可读程序代码。
本发明的一个或多个实施例或其组件可以装置的形式来实施,该装置包括存储器及至少一个处理器,该至少一个处理器耦接到该存储器且操作以执行例示性方法步骤。
一个或多个实施例可利用在通用计算机或工作站上运行的软件。参看图6,此实施方案例如可使用处理器602、存储器604及例如由显示器606及键盘608形成的输入/输出接口。如本文中所使用的术语“处理器”意欲包括任何处理器件,诸如,例如包括中央处理单元(CPU)和/或其它形式的处理电路的处理器件。另外,术语“处理器”可指多个于一个单个处理器。术语“存储器”意欲包括与处理器或CPU相关联的存储器,诸如随机存取存储器(RAM)、只读存储器(ROM)、固定存储器器件(例如,硬盘驱动器)、可移动存储器器件(例如,磁盘)、闪存等。另外,如本文中所使用的词组“输入/输出接口”意欲包括例如用于将数据输入到处理单元的一个或多个机构(例如,鼠标),及用于提供与处理单元相关联的结果的一个或多个机构(例如,打印机)。处理器602、存储器604及输入/输出接口(诸如,显示器606和键盘608)可例如经由总线610互连以作为数据处理单元612的部分。也可将合适的互连例如经由总线610提供到网络接口614(诸如,网卡,其可被提供以与计算机网络接口)及提供到介质接口616(诸如,磁盘或CD‑ROM驱动器(其可被提供以与介质618接口)。
因此,如本文中所描述的,包括用于执行本发明方法的指令或代码的计算机软件可存储在相关联的存储器器件(例如,ROM、固定或可移动存储器)中的一个或多个中,且当准备利用时,部分或全部加载(例如,到RAM中)且由CPU来实施。此软件可包括(但不限于)固件、常驻软件、微码等。
适合于存储和/或执行程序代码的数据处理系统将包括至少一个处理器602,其直接地耦接至或经由系统总线610间接地耦接至存储器组件604。上述存储器组件可包括在程序代码的实际实施期间所使用的本地存储器、大容量存储器及高速缓存,上述高速缓存提供至少一些程序代码的暂时存储以便减少在实施期间必须从大容量存储器检索代码的次数。
输入/输出或I/O器件(包括但不限于键盘608、显示器606、指点器件等)可直接地(诸如,经由总线610)耦接至系统或经由介入I/O控制器(为清晰起见而省略了)而耦接至系统。
网络适配器(诸如,网络接口614)也可耦接至系统以使得数据处理系统能够经由介入的私人或公用网络而变得耦接至其它数据处理系统或远程打印机或存储器件。调制解调器、缆线调制解调器及以太网络卡仅为当前可用网络适配器类型中的少数几种。
如本文中所使用的(包括权利要求书),“服务器”包括运行服务器程序的实体数据处理系统(例如,如图6中所示的系统612)。应理解,此实体服务器可能包括或可能不包括显示器及键盘。
如所注释的,本发明的方面可采用体现于一个或多个计算机可读介质中的计算机程序产品的形式,该一个或多个计算机可读介质上具有体现于其上的计算机可读程序代码。可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是(例如,但不限于)电子、磁、光、电磁、红外或半导体系统、装置或器件,或前述各者的任何合适组合。介质区块618为非限制性实例。计算机可读存储介质的更特定实例(非穷尽清单)将包括以下各者:具有一条或多条导线的电连接件、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD‑ROM)、光学存储器件、磁性存储器件或前述各者的任何合适组合。在本文件的上下文中,计算机可读存储介质可以是可含有或存储供指令执行系统、装置或器件使用或结合指令执行系统、装置或器件使用的程序的任何有形介质。
计算机可读信号介质可包括传播的数据信号,该传播的数据信号具有体现于其中(例如,在基频中或作为载波的部分)的计算机可读程序代码。此传播的信号可采用多种形式中的任一种,包括(但不限于)电磁、光学或其任何合适组合。计算机可读信号介质可以是并非计算机可读存储介质且可传达、传播或输送供指令执行系统、装置或器件使用或结合指令执行系统、装置或器件使用的程序的任何计算机可读介质。
体现于计算机可读介质上的程序代码可使用任何适当介质来传输,包括(但不限于)无线、有线、光纤缆线、射频(RF)等,或前述各者的任何合适组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++等,还包括常规的过程式程序设计语言—诸如”C”程序设计语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
下面将参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,这些计算机程序指令通过计算机或其它可编程数据处理装置执行,产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机、其它可编程数据处理装置或其它装置以特定方式工作的计算机可读介质中,这样,存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令的制造品。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、组件、区段或代码的一部分,所述模块、组件、区段或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续示出的方框实际上可以基本并行地执行,或者它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应注意,本文中所描述的方法中的任何方法可包括提供包括体现于计算机可读储存介质上的相异软件模块的系统的额外步骤;上述模块例如可包括图4中所示的组件中的任一或全部。接着可使用系统的相异软件模块和/或子模块(如上文所描述的,在一个或多个硬件处理器602上执行)进行上述方法步骤。另外,计算机程序产品可包括计算机可读存储介质,该计算机可读存储介质具有适于被实施以进行本文中所描述的一个或多个方法步骤的代码,上述方法步骤包括提供具有相异软件模块的系统。
在任何状况下,应理解,本文中所说明的组件可以硬件、软件或其组合的各种形式来实施;例如,(多个)特殊应用集成电路(ASIC)、功能电路、具有相关联存储器的一个或多个适当编程的通用数字计算机等。给定本文中所提供的本发明的教导,本领域技术人员将能够预期本发明组件的其它实施方案。
本文中所使用的术语仅用于描述特定实施例的目的且不打算作为本发明的限制。如本文中所使用的,除非上下文另有清楚地指示,否则单数形式“一”及“该”意欲也包括复数形式。应进一步理解,术语“包括”在用于本说明书中时指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在,但并不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或增加。
下文权利要求书中的所有构件或步骤加功能组件的对应结构、材料、动作及等效物意欲包括用于结合如特别所主张的其它所主张组件一起执行功能的任何结构、材料或动作。已出于说明及描述的目的呈现了本发明的描述,但该描述不打算是穷尽的或是限制所揭示形式下的本发明。在不脱离本发明范畴及精神的情况下,许多修改及变化对于本领域普通技术员将显而易见。选择并描述实施例以便最佳地解释本发明的原理及实际应用,且使其他本领域普通技术员能够理解本发明的各种实施例,上述实施例具有如适合于所预期的特定用途的各种修改。
本发明的至少一个实施例可提供一个或多个有益效果,诸如,例如使用人员属性及上述人员属性在寻找特定人员时的相关联准确度来智能地剪除人物属性数据库。
将了解且应理解,上文所描述的本发明的例示性实施例可以以若干不同方式来实施。给定本文中所提供的本发明的教导,本领域普通技术人员将能够预期本发明的其它实施方案。实际上,尽管本文中已参看附图描述了本发明的说明性实施例,但应理解,本发明不限于那些精确实施例,且本领域普通技术人员可作出各种其它改变及修改。

促进视频监控中的人物搜索.pdf_第1页
第1页 / 共17页
促进视频监控中的人物搜索.pdf_第2页
第2页 / 共17页
促进视频监控中的人物搜索.pdf_第3页
第3页 / 共17页
点击查看更多>>
资源描述

《促进视频监控中的人物搜索.pdf》由会员分享,可在线阅读,更多相关《促进视频监控中的人物搜索.pdf(17页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 103052987 A (43)申请公布日 2013.04.17 CN 103052987 A *CN103052987A* (21)申请号 201180036745.8 (22)申请日 2011.07.27 12/845,116 2010.07.28 US G11B 27/10(2006.01) G11B 27/34(2006.01) G06F 17/30(2006.01) G06K 9/00(2006.01) G06T 7/00(2006.01) (71)申请人 国际商业机器公司 地址 美国纽约 (72)发明人 LM布朗 RS福瑞斯 A汉普伯 D娃凯尔罗 (74)。

2、专利代理机构 中国国际贸易促进委员会专 利商标事务所 11038 代理人 党建华 (54) 发明名称 促进视频监控中的人物搜索 (57) 摘要 本发明涉及促进视频监控中的人物搜索, 具 体提供了用于促进人员的视频监控搜索的技术。 上述技术包括 : 维护一个或多个视频摄像机上俘 获的一个或多个人物的一个或多个属性的数据 库 ; 对数据库中的从该一个或多个视频摄像机提 取的一个或多个属性标索引 ; 以及使用该一个或 多个属性和资格信息中的一项或多项剪除从一个 或多个视频摄像机俘获的一个或多个图像, 以促 进人员的视频监控搜索。 (30)优先权数据 (85)PCT申请进入国家阶段日 2013.01.。

3、28 (86)PCT申请的申请数据 PCT/EP2011/062910 2011.07.27 (87)PCT申请的公布数据 WO2012/013706 EN 2012.02.02 (51)Int.Cl. 权利要求书 3 页 说明书 8 页 附图 5 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 8 页 附图 5 页 1/3 页 2 1. 一种促进人员的视频监控搜索的方法, 其中该方法包括 : 维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据库 ; 对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引 ; 以及 使用该一。

4、个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像机俘 获的一个或多个图像, 以促进人员的视频监控搜索。 2. 如权利要求 1 所述的方法, 其中标索引包括 : 由最佳化模块执行的分级和排序, 其中 该分级基于返回该数据库中的每个人员的可能性评估的最佳化结果。 3. 如权利要求 1 所述的方法, 其中剪除包括 : 将从该一个或多个视频摄像机俘获的一 个或多个图像挑选到一子集。 4. 如权利要求 1 所述的方法, 其中维护数据库包括 : 将在摄像机中见到的每个人员连 同该人员的一个或多个检测的属性中的每个属性记录在该数据库中。 5. 如权利要求 1 所述的方法, 其中资格信息中的一项或。

5、多项包括 : 与每个属性相关联 的检测准确度等级。 6. 如权利要求 1 所述的方法, 其中资格信息中的一项或多项包括经验信息、 历史信息 和误差信息中的至少一个。 7. 如权利要求 1 所述的方法, 其中资格信息中的一项或多项包括由用户提供的与属性 相关联的信息。 8. 如权利要求 1 所述的方法, 其中资格信息中的一项或多项包括两个或更多属性之间 的相关性。 9. 如权利要求 1 所述的方法, 其中一个或多个属性包括以下中至少之一 : 衣服类型、 衬 衫颜色、 裤子颜色、 太阳镜的存在、 眼镜的存在、 胡须的存在、 小胡子的存在、 帽子的存在、 鼻 子类型、 鬓角、 衣物类型、 肤色、 眼。

6、睛颜色、 所携带包的存在、 以及同伴的不存在或存在。 10. 如权利要求 1 所述的方法, 进一步包括使用用户接口以使得用户能够提供关于该 人员的信息。 11. 如权利要求 1 所述的方法, 进一步包括向用户发送针对该人员的搜索中的一个或 多个候选者的集合, 其中一个或多个候选者的集合是基于每个候选者的联合机率按照其可 能性的次序发送给用户的。 12. 如权利要求 1 所述的方法, 进一步包括如果未寻找到人员, 则反复以下处理直至寻 找到满意的匹配或彻底搜索完该数据库为止 : 使用该一个或多个属性和资格信息中的一项 或多项剪除从该一个或多个视频摄像机俘获的一个或多个图像, 以促进人员的视频监控。

7、搜 索。 13. 如权利要求 1 所述的方法, 进一步包括如果未寻找到该人员, 则修改属性描述和检 测, 且基于一个或多个属性与相应误差分布之间的相关性而寻找最可能的特征集合。 14. 如权利要求 1 所述的方法, 进一步包括如果在该一个或多个视频摄像机俘获的一 个图像中寻找到人员, 则重复以下处理 : 使用该一个或多个属性和资格信息中的一项或多 项剪除从该一个或多个视频摄像机俘获的一个或多个图像, 以促进在该一个或多个视频摄 像机俘获的第二图像中的人员的视频监控搜索。 15. 如权利要求 14 所述的方法, 进一步包括基于来自该一个或多个视频摄像机俘获的 该一个图像的结果而使用该人员的更新的。

8、描述。 权 利 要 求 书 CN 103052987 A 2 2/3 页 3 16. 如权利要求 1 所述的方法, 进一步包括提供一系统, 其中该系统包括一个或多个相 异软件模块, 该一个或多个相异软件模块中的每一个都体现于有形计算机可读可记录存储 介质上, 且其中该一个或多个相异软件模块包括在硬件处理器上执行的人员描述项模块和 搜索最佳化模块。 17. 一种促进人员的视频监控搜索的计算机程序产品, 其包括有形计算机可读可记录 存储介质, 该有形计算机可读可记录存储介质包括计算机可用程序代码, 该计算机程序产 品包括 : 用于维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据。

9、 库的计算机可用程序代码 ; 用于对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引的计算 机可用程序代码 ; 以及 用于使用该一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像 机俘获的一个或多个图像, 以促进人员的视频监控搜索的计算机可用程序代码。 18. 如权利要求 17 所述的计算机程序产品, 其中资格信息中的一项或多项包括以下中 至少之一 : 与每个属性相关联的检测准确度等级、 经验信息、 历史信息、 误差信息、 由用户提 供的与属性相关联的信息、 以及两个或更多属性之间的相关性。 19. 如权利要求 17 所述的计算机程序产品, 还包括 : 用于使用用户接口。

10、以使得用户能够提供关于该人员的信息的计算机可用程序代码 ; 以 及 用于向用户发送针对该人员的搜索中的一个或多个候选者的集合的计算机可用程序 代码, 其中一个或多个候选者的集合是基于每个候选者的联合机率按照其可能性的次序发 送给用户的。 20. 如权利要求 17 所述的计算机程序产品, 进一步包括用于如果未寻找到该人员, 则 修改属性描述和检测, 且基于一个或多个属性与相应误差分布之间的相关性而寻找最可能 的特征集合的计算机可用程序代码。 21. 一种促进人员的视频监控搜索的系统, 包括 : 存储器 ; 以及 至少一个处理器, 该至少一个处理器耦接到该存储器且操作以 : 维护一个或多个视频摄像。

11、机上俘获的一个或多个人物的一个或多个属性的数据库 ; 对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引 ; 以及 使用该一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像机俘 获的一个或多个图像, 以促进人员的视频监控搜索。 22. 如权利要求 21 所述的系统, 其中资格信息中的一项或多项包括以下中至少之一 : 与每个属性相关联的检测准确度等级、 经验信息、 历史信息、 误差信息、 由用户提供的与属 性相关联的信息、 以及两个或更多属性之间的相关性。 23. 如权利要求 21 所述的系统, 其中该耦接到存储器的至少一个处理器进一步操作 以 : 使用用户接口以使得用户。

12、能够提供关于该人员的信息 ; 以及 向用户发送针对该人员的搜索中的一个或多个候选者的集合, 其中一个或多个候选者 权 利 要 求 书 CN 103052987 A 3 3/3 页 4 的集合是基于每个候选者的联合机率按照其可能性的次序发送给用户的。 24. 如权利要求 21 所述的系统, 其中该耦接到存储器的至少一个处理器进一步操作 以 : 如果未寻找到该人员, 则修改属性描述和检测, 且基于一个或多个属性与相应误差分布 之间的相关性而寻找最可能的特征集合。 25. 一种促进人员的视频监控搜索的装置, 该装置包括 : 用于维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据 库。

13、的部件 ; 用于对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引的部件 ; 以及 用于使用该一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像 机俘获的一个或多个图像, 以促进人员的视频监控搜索的部件。 权 利 要 求 书 CN 103052987 A 4 1/8 页 5 促进视频监控中的人物搜索 技术领域 0001 本发明的实施例大体而言涉及信息技术, 且更具体地, 涉及视频监控。 背景技术 0002 在任何指定或延长时间周期内从大量视频监控摄像机中寻找或定位特定人员或 嫌疑人可以是挑战性的。现有方法包括手动地搜寻视频。然而, 甚至当可以从每个摄像机 的视图提取单个。

14、人物时, 用户将需要在时间周期内考虑每个摄像机中的每个人员以寻找匹 配的人员。这样的方法过于耗时, 且始终不能准确地知道或执行搜索准则。 发明内容 0003 本发明的原理及实施例提供用于促进视频监控中的人物搜索的技术。 根据本发明 的一方面的用于促进人员的视频监控搜索的例示性方法(其可以是计算机实施的)可包括 以下步骤 : 维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性的数据 库 ; 对数据库中的从该一个或多个视频摄像机提取的一个或多个属性标索引 ; 以及使用该 一个或多个属性和资格信息中的一项或多项剪除从一个或多个视频摄像机俘获的一个或 多个图像, 以促进人员的视频监控搜索。。

15、 0004 本发明的一个或多个实施例或其组件可以以计算机产品的形式来实施, 该计算机 产品包括有形计算机可读存储介质, 该有形计算机可读存储介质具有用于执行指示的上述 方法步骤的计算机可用程序代码。此外, 本发明的一个或多个实施例或其组件可以以装置 的形式来实施, 该装置包括存储器和至少一个处理器, 该至少一个处理器耦接到该存储器 且操作以执行例示性方法步骤。 0005 又另外, 在另一方面中, 本发明的一个或多个实施例或其组件可以以用于进行本 文中所描述的上述方法步骤中的一个或多个的部件的形式来实施 ; 上述部件可包括 (i) ( 多个 ) 硬件模块, (ii)( 多个 ) 软件模块, 或 。

16、(iii) 硬件模块与软件模块的组合 ; (i) 至 (iii) 中任一实施本文中所阐述的特定技术, 且上述软件模块存储在有形计算机可读存储 介质 ( 或多个这样的介质 ) 中。 0006 通过结合附图阅读本发明说明性实施例的以下详细描述, 将明了本发明的这些及 其它目的、 特征及优点。 附图说明 0007 仅通过例子, 参考下面的附图将描述本发明的优选实施例, 其中 : 0008 图 1 是说明根据本发明的实施例的多维特征空间的图 ; 0009 图 2 是说明根据本发明的实施例的属性不准确度的图 ; 0010 图 3 是说明根据本发明的实施例的未寻找到嫌疑人场景的图 ; 0011 图 4 是。

17、说明根据本发明的方面的例示性实施例的方块图 ; 0012 图 5 是说明根据本发明的实施例的、 用于促进人员的视频监控搜索的技术的流程 说 明 书 CN 103052987 A 5 2/8 页 6 图 ; 以及 0013 图 6 是例示性计算机系统的系统图, 本发明的至少一实施例可在该例示性计算机 系统上实施。 具体实施方式 0014 本发明的原理包括促进视频监控中的人物搜索。 本发明的一个或多个实施例包括 在从视频监控摄像机提取的人物属性的数据库中使用灵活的索引, 以及使用人员属性、 在 寻找特定人员时上述人员属性的相关准确度及上述人员属性与由用户提供的信息的关联 性来智能地剪除此空间。 0。

18、015 另外, 本发明的一个或多个实施例可包括用户接口, 在该用户接口中, 用户在多个 层级上提供关于人员的信息 ( 例如, 多个尺度, 诸如人员有多高、 人员穿着何种衣物、 面部 特性等 )。此信息与关于提取的属性的分布及其在寻找人员中的效用的信息组合用以将最 可能候选者的集合递送给用户。如果未寻找到该人员, 则本发明的一个或多个实施例可包 括反复该处理, 直到寻找到令人满意的匹配或彻底搜索完该数据库为止。 0016 因而, 且如本文中所描述的, 本发明的一个或多个实施例包括促进在任何指定或 延长时间周期内从多个视频监控摄像机中寻找或定位特定人员 ( 或嫌疑人、 失踪人员等 )。 如本文中进。

19、一步描述的, 本发明的一个或多个实施例包括在用户引导搜索的情况下使用属 性准确度的量度、 搜索空间挑选及与其它量度的相关性, 以及使用多层剪除。 并非为用户提 供适合描述的所有可能人物, 而是如本文中所使用的, 挑选指首先为用户给出最可能适合 者 ( 例如基于量测的准确程度, 元素的可能有用程度、 辨别元素的方式等 )。 0017 并且, 如上文所注释的, 本发明的一个或多个实施例包括多层剪除。关于多层剪 除, 本发明的一个或多个实施例可提供用户搜索结果, 且基于反馈 ( 例如, 是否寻找到讨论 中的个人或类似的某人 ) 可重新计算结果的下一个集合。 0018 基于就关于人员 / 嫌疑人的定位。

20、的已知信息而言针对在给定时间范围中且在有 关位置中的特定摄像机中见到的人物所存储的数据, 使用特定特征空间的统计。基于最后 见到人员的时间、 人员在何方向上及以何速度行进, 智能地剪除该空间 ( 机率取决于距原 始摄像机的距离, 时间取决于距离及原始时间, 进入摄像机中的方向取决于人员行进的方 向, 等等 )。 0019 本发明的一个或多个实施例可包括使用传感器和 / 或多光谱属性检测器来进行 人物搜索。仅以实例说明, 实例传感器和 / 或检测器可在 Hampapur 等人的 Multi-scale Tracking for Smart Video Surveillance(IEEE Tran。

21、sactions on Signal Processing, 2005 年 3 月, 第 22 卷第 2 期 ) 中找到。 0020 基于哪些特征具有较佳挑选能力, 首先返回最可能为讨论中的人员 / 嫌疑人的人 物的图像和/或关键帧。 图1是说明根据本发明的实施例的多维特征空间的图。 作为说明, 图 1 描绘太阳镜属性检测区 102、 小胡子属性检测区 104 及红色衬衫属性检测区 106。如图 1 中所进一步描绘的, 上述检测区的部分 “1” 指示红色衬衫、 太阳镜及小胡子的存在。上述 检测区的部分 “2” 指示太阳镜及小胡子的存在。另外, 上述检测区的部分 “3” 指示红色衬 衫及小胡子的。

22、存在, 而上述检测区的部分 “4” 指示小胡子的存在。在本发明的一个或多个 实施例中, 上述区是基于其挑选能力的, 挑选能力是在最佳化模块中基于三个输入 ( 例如 说 明 书 CN 103052987 A 6 3/8 页 7 参见图 4 中的组件 410) 而计算的。 0021 如图 1 所说明的, 每个特征可以是关于人员可检测的属性, 诸如, 例如衬衫 / 裤子 颜色、 太阳镜、 眼镜、 面部毛发 ( 胡须、 小胡子 )、 帽子、 肤色、 眼睛颜色、 携带包、 独自行走等。 摄像机中见到的每个人员连同其检测的属性被记录在数据库中。而且, 在本发明的一个或 多个实施例中, 接口按照人物的可能性。

23、及挑选能力的次序显示具有属性的人物。 0022 另外, 本发明的一个或多个实施例包括具有其预测准确度的资格信息, 这是例如 因为在本领域中, 常常难以准确地检测属性且该情形取决于每个属性。图 2 是说明根据本 发明的实施例的属性不准确度的图。作为说明, 图 2 描绘太阳镜属性检测区 202、 小胡子属 性检测区 210 及红色衬衫属性检测区 206。虚线区 ( 即, 区 204、 区 208 及区 212) 包括与其 它属性有关的属性检测误差。例如, 如果人员佩戴太阳镜, 则检测小胡子可能更困难些。 0023 例如, 对于系统而言, 检测红色衬衫可能比检测胡须更容易 ( 胡须常常由于脸向 下而。

24、混淆, 这是由于脸具有阴影 )。本发明的一个或多个实施例也可考虑属性之间的相关 性。例如, 如果检测到红色衬衫, 则衬衫不可能为黑色衬衫, 但其较有可能为橙色衬衫。 0024 如图 2 中所进一步描绘的, 上述检测区的部分 “1” 指示红色衬衫、 太阳镜及小胡子 的存在。上述检测区的部分 “2” 指示红色衬衫及小胡子的存在。另外, 上述检测区的部分 “3” 指示太阳镜及小胡子的存在, 而上述检测区的部分 “4” 指示太阳镜的存在。 0025 如果未寻找到感兴趣的人员 / 嫌疑人, 则本发明的一个或多个实施例可包括给予 用户较有可能的候选者。在本发明的一个或多个实施例中, 考虑到用户的描述不准确。

25、的可 能性 ( 例如, 人员摘下太阳镜、 看似具有胡须, 等等 ), 基于其联合机率按照其可能性次序给 出可能的候选者。 0026 图 3 是说明根据本发明的实施例的未寻找到嫌疑人的场景的图。作为说明, 图 3 描绘橙色衬衫属性检测区 302、 太阳镜属性检测区 304、 小胡子属性检测区 306 及红色衬衫 属性检测区 308。如图 3 中所进一步描绘的, 上述检测区的部分 “1“指示红色衬衫、 橙色衬 衫及小胡子的存在。上述检测区的部分” 2“指示橙色衬衫及小胡子的存在。另外, 上述检 测区的部分” 3“指示红色衬衫、 橙色衬衫及太阳镜的存在。 0027 如本文中所描述的, 本发明的一个或。

26、多个实施例可包括使用接口按照属性的可能 性、 最大挑选能力及与相关属性的相关性的次序显示具有属性的人物。针对未寻找到感兴 趣的人员 / 嫌疑人的情况, 以实例说明, 本发明的一个或多个实施例可包括 : 扩宽搜索, 审 核和 / 或修改描述及检测, 以及基于属性与其误差分布之间的相关性而寻找最可能的特征 集合。若果寻找到人员, 则可重复搜索以例如基于更多准确描述 ( 来自结果 ) 及更新的位 置、 移动方向等而在下一个位置中寻找该人员。 0028 图 4 是说明根据本发明的方面的例示性实施例的方块图。作为说明, 图 4 描绘人 员描述项模块402、 经验可能性模块404、 历史可能性模块406、。

27、 属性误差函数模块408、 搜索 最佳化模块 410、 搜索结果模块 412 及用户反馈模块 414。 0029 人员描述模块 402 接收来自用户的输入, 其将产生属性清单, 诸如佩戴太阳镜、 穿 蓝色衬衫、 有胡须等。人员描述项模块 402 将该属性清单发送给经验可能性模块 404、 历史 可能性模块406及属性误差函数模块408。 给定待搜索的一摄像机集合及时间周期, 经验可 能性模块 404 识别具有上述属性中每一个的人物的数目及关于量测此属性的置信度。经验 可能性基于属性在数据库中的绝对和相对分布及相关性。给定一人类属性集合, 历史可能 说 明 书 CN 103052987 A 7 。

28、4/8 页 8 性模块 406 计算关于在一般人群中寻找到这些属性 ( 以及上述属性的相关性 ) 的统计。以 实例说明, 本发明的一个或多个实施例可考虑一般人群的平均、 中间及标准偏差 ( 或非参 数性分布 ) 以计算具有一给定属性集合的样本的可能性。 0030 给定量测的其它属性以及经验和历史可能性, 属性误差函数模块 408 针对每一属 性确定关于测量该属性的误差。该模块使用计算机视觉识别技术 ( 诸如, 用属性的实例训 练的学习算法 ) 确定属性是否存在。在本发明的一个或多个实施例中, 置信度等级基于识 别测量结果。例如, 如果待量测的属性为 “小胡子” , 则用具有小胡子的人物的实例训。

29、练系 统。然而, 在训练中, 确定由于阴影产生的嘴唇周围的黑色区域常常造成错误识别率。识别 的准确度较低, 特别针对除嘴唇上的黑暗之外存在很少其它证据的状况。 0031 经验可能性模块404、 历史可能性模块406及属性误差函数模块408将属性分数发 送给搜索最佳化模块 410。发送所有分数且在最佳化中使用上述分数。 0032 搜索最佳化模块 410 使挑选能力最大化, 以为用户提供最可能为候选者的结果且 辅助搜索。如本文中所描述的, 搜索最佳化模块 410 返回最可能为感兴趣的人员的人物的 子集。在本发明的一个或多个实施例中, 显示上述结果 ( 例如, 经由接口按照可能性的等级 次序 ), 。

30、使得用户可确定是否寻找到可能的嫌疑人。搜索结果模块 412 产生结果, 上述结果 可例如以分批 ( 例如, 经排序且分级的分批 ) 出现。在本发明的一个或多个实施例中, 搜索 结果的第一集合为第一最佳化的结果。如本文中所描述的, 这些搜索结果可包括最可能为 候选者或辅助搜索。因而, 本发明的一个或多个实施例包括使用不同准则 ( 即, 经验、 历史、 属性误差), 继之以最佳化, 以促进人物搜索。 另外, 用户反馈模块414接收来自用户的关于 上述结果是否有用的输入且将该输入转送回搜索最佳化模块 410。 0033 图 5 是说明根据本发明的实施例的、 用于促进人员的视频监控搜索的技术的流程 图。

31、。步骤 502 包括维护一个或多个视频摄像机上俘获的一个或多个人物的一个或多个属性 的数据库。该步骤例如可使用人员描述项模块来进行。维护数据库可包括将在摄像机中见 到的每个人员连同该人员的一个或多个所检测属性中的每个属性记录在该数据库中。 0034 以实例说明且非限制, 属性可包括衣服类型、 衬衫颜色、 裤子颜色、 太阳镜的存在、 眼镜的存在、 胡须的存在、 小胡子的存在、 帽子的存在、 鼻子类型、 鬓角、 衣物类型、 肤色、 眼 睛颜色、 所携带包的存在、 同伴的不存在或存在等。 0035 步骤 504 包括对数据库中的从该一个或多个视频摄像机提取的一个或多个属性 标索引 ( 例如使用灵活索。

32、引 )。该步骤例如可使用搜索最佳化模块来进行。标索引例如可 包括由最佳化模块执行的分级及排序, 其中该分级基于返回该数据库中每个人员的可能性 评估的最佳化结果。 0036 步骤 506 包括使用该一个或多个属性和资格信息中的一项或多项剪除从该一个 或多个视频摄像机俘获的一个或多个图像, 以促进人员的视频监控搜索。在本发明的一个 或多个实施例中, 该步骤例如可通过消除不太有用的结果而减少搜索结果来进行。剪除例 如可包括将从上述视频摄像机俘获的上述图像挑选 ( 或减少 ) 到一子集。而且, 资格信息 例如可包括经验信息、 历史信息、 误差信息、 与每一属性相关联的检测准确度等级、 由用户 提供的与。

33、属性相关联的信息、 两个或更多属性之间的相关性, 等等。 0037 图 5 中所描绘的技术也可包括使用用户接口以使用户能够提供关于人员的信息, 以及为用户发送 ( 例如, 经由该接口 ) 针对人员搜索中的一个或多个候选者的集合。可基 说 明 书 CN 103052987 A 8 5/8 页 9 于每一候选者的联合机率按照候选者的次序将该候选者集合发送给用户。并且, 可在候选 者集合的平衡之前将最可能的候选者的一个或多个图像发送给用户。 0038 本发明的一个或多个实施例可另外包括如果未寻找到人员, 则反复以下处理直至 寻找到令人满意的匹配或彻底搜索完数据库为止 : 使用该一个或多个属性和资格信。

34、息中的 项来剪除从上述视频摄像机俘获的图像, 以促进该人员的视频监控搜索。 另外, 本发明的一 个或多个实施例可包括如果未寻找到该人员, 则修改属性描述及检测, 且基于一个或多个 属性与对应误差分布之间的相关性而寻找最可能的特征集合。 0039 图 5 中所描绘的技术也可包括如果在上述视频摄像机俘获的一个图像中寻找到 人员, 则重复以下处理 : 使用该一个或多个属性和资格信息中的项剪除从上述视频摄像机 俘获的图像, 以促进在上述视频摄像机俘获的第二图像中的人员的视频监控搜索。 另外, 本 发明的一个或多个实施例包括基于来自上述视频摄像机俘获的该一个图像的结果而使用 人员的更新描述 ( 更新位置。

35、、 移动方向等 )。 0040 如本文中所描述的, 图 5 中所描绘的技术也可包括提供系统, 其中该系统包括相 异软件模块, 上述相异软件模块中的每个体现在有形计算机可读可记录存储介质上。 例如, 所有上述模块 ( 或上述模块的任何子集 ) 可处于相同介质上, 或每一模块可处于不同介质 上。上述模块可包括诸图中所示的组件中的任一或全部。在一个或多个实施例中, 上述模 块包括例如可在一个或多个硬件处理器上运行的人员描述项模块、 经验可能性模块、 历史 可能性模块、 属性误差函数模块、 搜索最佳化模块、 搜索结果模块及用户回馈模块。 0041 接着可使用该系统的上述相异软件模块 ( 如上文所描述的。

36、, 在该一个或多个硬件 处理器上执行 ) 执行上述方法步骤。另外, 计算机程序产品可包括有形计算机可读可记录 存储介质, 该有形计算机可读可记录存储介质具有适于被执行以进行本文中所描述的一个 或多个方法步骤的代码, 该一个或多个方法步骤包括提供具有相异软件模块的系统。 0042 另外, 图 5 中所描绘的技术可经由计算机程序产品来实施, 该计算机程序产品可 包括存储于数据处理系统中的计算机可读存储介质中的计算机可用程序代码, 且其中该计 算机可用程序代码经由网络从远程数据处理系统下载。而且, 在本发明的一个或多个实施 例中, 该计算机程序产品可包括储于服务器数据处理系统中的计算机可读存储介质中。

37、的计 算机可用程序代码, 且其中该计算机可用程序代码经由网络下载到远程数据处理系统以供 在具有远程系统的计算机可读存储介质中使用。 0043 如本领域技术人员将了解的, 本发明的方面可体现为系统、 方法或计算机程序产 品。因此, 本发明的方面可采用完全硬件实施例、 完全软件实施例 ( 包括固件、 常驻软件、 微码等 ) 或组合软体与硬件方面的实施例的形式, 上述实施例在本文中皆可大体上被称作 “电路” 、“模块” 或 “系统” 。此外, 本发明的方面可采用体现在一个或多个计算机可读介质 中的计算机程序产品的形式, 该一个或多个计算机可读介质上具有体现于其上的计算机可 读程序代码。 0044 本。

38、发明的一个或多个实施例或其组件可以装置的形式来实施, 该装置包括存储器 及至少一个处理器, 该至少一个处理器耦接到该存储器且操作以执行例示性方法步骤。 0045 一个或多个实施例可利用在通用计算机或工作站上运行的软件。 参看图6, 此实施 方案例如可使用处理器602、 存储器604及例如由显示器606及键盘608形成的输入/输出 接口。如本文中所使用的术语 “处理器” 意欲包括任何处理器件, 诸如, 例如包括中央处理 说 明 书 CN 103052987 A 9 6/8 页 10 单元 (CPU) 和 / 或其它形式的处理电路的处理器件。另外, 术语 “处理器” 可指多个于一个 单个处理器。术。

39、语 “存储器” 意欲包括与处理器或 CPU 相关联的存储器, 诸如随机存取存储 器(RAM)、 只读存储器(ROM)、 固定存储器器件(例如, 硬盘驱动器)、 可移动存储器器件(例 如, 磁盘 )、 闪存等。另外, 如本文中所使用的词组 “输入 / 输出接口” 意欲包括例如用于将 数据输入到处理单元的一个或多个机构 ( 例如, 鼠标 ), 及用于提供与处理单元相关联的结 果的一个或多个机构 ( 例如, 打印机 )。处理器 602、 存储器 604 及输入 / 输出接口 ( 诸如, 显示器 606 和键盘 608) 可例如经由总线 610 互连以作为数据处理单元 612 的部分。也可 将合适的互。

40、连例如经由总线 610 提供到网络接口 614( 诸如, 网卡, 其可被提供以与计算机 网络接口)及提供到介质接口616(诸如, 磁盘或CD-ROM驱动器(其可被提供以与介质618 接口 )。 0046 因此, 如本文中所描述的, 包括用于执行本发明方法的指令或代码的计算机软件 可存储在相关联的存储器器件(例如, ROM、 固定或可移动存储器)中的一个或多个中, 且当 准备利用时, 部分或全部加载 ( 例如, 到 RAM 中 ) 且由 CPU 来实施。此软件可包括 ( 但不限 于 ) 固件、 常驻软件、 微码等。 0047 适合于存储和 / 或执行程序代码的数据处理系统将包括至少一个处理器 6。

41、02, 其 直接地耦接至或经由系统总线 610 间接地耦接至存储器组件 604。上述存储器组件可包括 在程序代码的实际实施期间所使用的本地存储器、 大容量存储器及高速缓存, 上述高速缓 存提供至少一些程序代码的暂时存储以便减少在实施期间必须从大容量存储器检索代码 的次数。 0048 输入 / 输出或 I/O 器件 ( 包括但不限于键盘 608、 显示器 606、 指点器件等 ) 可直 接地 ( 诸如, 经由总线 610) 耦接至系统或经由介入 I/O 控制器 ( 为清晰起见而省略了 ) 而 耦接至系统。 0049 网络适配器(诸如, 网络接口614)也可耦接至系统以使得数据处理系统能够经由 介。

42、入的私人或公用网络而变得耦接至其它数据处理系统或远程打印机或存储器件。 调制解 调器、 缆线调制解调器及以太网络卡仅为当前可用网络适配器类型中的少数几种。 0050 如本文中所使用的 ( 包括权利要求书 ),“服务器” 包括运行服务器程序的实体数 据处理系统(例如, 如图6中所示的系统612)。 应理解, 此实体服务器可能包括或可能不包 括显示器及键盘。 0051 如所注释的, 本发明的方面可采用体现于一个或多个计算机可读介质中的计算机 程序产品的形式, 该一个或多个计算机可读介质上具有体现于其上的计算机可读程序代 码。可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信。

43、 号介质或计算机可读存储介质。计算机可读存储介质可以是 ( 例如, 但不限于 ) 电子、 磁、 光、 电磁、 红外或半导体系统、 装置或器件, 或前述各者的任何合适组合。介质区块 618 为 非限制性实例。计算机可读存储介质的更特定实例 ( 非穷尽清单 ) 将包括以下各者 : 具有 一条或多条导线的电连接件、 便携式计算机磁盘、 硬盘、 随机存取存储器 (RAM)、 只读存储器 (ROM)、 可擦除可编程只读存储器(EPROM或闪存)、 光纤、 便携式光盘只读存储器(CD-ROM)、 光学存储器件、 磁性存储器件或前述各者的任何合适组合。 在本文件的上下文中, 计算机可 读存储介质可以是可含有。

44、或存储供指令执行系统、 装置或器件使用或结合指令执行系统、 装置或器件使用的程序的任何有形介质。 说 明 书 CN 103052987 A 10 7/8 页 11 0052 计算机可读信号介质可包括传播的数据信号, 该传播的数据信号具有体现于其中 (例如, 在基频中或作为载波的部分)的计算机可读程序代码。 此传播的信号可采用多种形 式中的任一种, 包括 ( 但不限于 ) 电磁、 光学或其任何合适组合。计算机可读信号介质可以 是并非计算机可读存储介质且可传达、 传播或输送供指令执行系统、 装置或器件使用或结 合指令执行系统、 装置或器件使用的程序的任何计算机可读介质。 0053 体现于计算机可读。

45、介质上的程序代码可使用任何适当介质来传输, 包括 ( 但不限 于 ) 无线、 有线、 光纤缆线、 射频 (RF) 等, 或前述各者的任何合适组合。 0054 可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机 程序代码, 所述程序设计语言包括面向对象的程序设计语言诸如 Java、 Smalltalk、 C+ 等, 还包括常规的过程式程序设计语言诸如” C” 程序设计语言或类似的程序设计语言。程 序代码可以完全地在用户计算机上执行、 部分地在用户计算机上执行、 作为一个独立的软 件包执行、 部分在用户计算机上部分在远程计算机上执行、 或者完全在远程计算机或服务 器上执行。在涉及。

46、远程计算机的情形中, 远程计算机可以通过任意种类的网络包括局 域网 (LAN) 或广域网 (WAN)连接到用户计算机, 或者, 可以连接到外部计算机 (例如利用 因特网服务提供商来通过因特网连接) 。 0055 下面将参照本发明实施例的方法、 装置 (系统) 和计算机程序产品的流程图和 / 或 框图描述本发明。应当理解, 流程图和 / 或框图的每个方框以及流程图和 / 或框图中各方 框的组合, 都可以由计算机程序指令实现。 这些计算机程序指令可以提供给通用计算机、 专 用计算机或其它可编程数据处理装置的处理器, 从而生产出一种机器, 这些计算机程序指 令通过计算机或其它可编程数据处理装置执行,。

47、 产生了实现流程图和 / 或框图中的方框中 规定的功能 / 操作的装置。 0056 也可以把这些计算机程序指令存储在能使得计算机、 其它可编程数据处理装置或 其它装置以特定方式工作的计算机可读介质中, 这样, 存储在计算机可读介质中的指令就 产生出一个包括实现流程图和 / 或框图中的方框中规定的功能 / 操作的指令的制造品。 0057 也可以把计算机程序指令加载到计算机、 其它可编程数据处理装置、 或其它设备 上, 使得在计算机、 其它可编程数据处理装置或其它设备上执行一系列操作步骤, 以产生计 算机实现的过程, 从而使得在计算机或其它可编程装置上执行的指令提供实现流程图和 / 或框图中的方框。

48、中规定的功能 / 操作的过程。 0058 附图中的流程图和框图显示了根据本发明的多个实施例的系统、 方法和计算机程 序产品的可能实现的体系架构、 功能和操作。 在这点上, 流程图或框图中的每个方框可以代 表一个模块、 组件、 区段或代码的一部分, 所述模块、 组件、 区段或代码的一部分包括一个或 多个用于实现规定的逻辑功能的可执行指令。 也应当注意, 在有些作为替换的实现中, 方框 中所标注的功能也可以以不同于附图中所标注的顺序发生。例如, 两个连续示出的方框实 际上可以基本并行地执行, 或者它们有时也可以按相反的顺序执行, 这依所涉及的功能而 定。也要注意的是, 框图和 / 或流程图中的每个。

49、方框、 以及框图和 / 或流程图中的方框的组 合, 可以用执行规定的功能或操作的专用的基于硬件的系统来实现, 或者可以用专用硬件 与计算机指令的组合来实现。 0059 应注意, 本文中所描述的方法中的任何方法可包括提供包括体现于计算机可读储 存介质上的相异软件模块的系统的额外步骤 ; 上述模块例如可包括图 4 中所示的组件中的 说 明 书 CN 103052987 A 11 8/8 页 12 任一或全部。接着可使用系统的相异软件模块和 / 或子模块 ( 如上文所描述的, 在一个或 多个硬件处理器 602 上执行 ) 进行上述方法步骤。另外, 计算机程序产品可包括计算机可 读存储介质, 该计算机可读存储介质具有适于被实施以进行本文中所描述的一个或多个方 法步骤的代码, 上述方法步骤包括提供具有相异软件模块的系统。 0060 在任何状况下, 应理解, 本文中所说明的组件可以硬件、 软件或其组合的各种形式 来实施 ; 例如, (多个)特殊应用集成电路(ASIC)、 功能电路、 具有相关联存储器的一个或多 个适当编程的通用数字计算。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 信息存储


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1