物体检测方法和物体检测装置.pdf

上传人:1****2 文档编号:5779026 上传时间:2019-03-18 格式:PDF 页数:28 大小:933.30KB
返回 下载 相关 举报
摘要
申请专利号:

CN201310121632.9

申请日:

2013.03.29

公开号:

CN103366171A

公开日:

2013.10.23

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06K 9/46申请日:20130329|||公开

IPC分类号:

G06K9/46; G06K9/60

主分类号:

G06K9/46

申请人:

佳能株式会社

发明人:

塚本健二; 鸟居宽; 真继优和

地址:

日本东京大田区下丸子3-30-2

优先权:

2012.03.30 JP 2012-082379

专利代理机构:

北京怡丰知识产权代理有限公司 11293

代理人:

迟军

PDF下载: PDF下载
内容摘要

本发明公开了一种物体检测方法和物体检测装置。物体检测方法包括:图像获取步骤,其获取包括目标物体的图像;分层图像生成步骤,其通过以多个不同的比例尺放大和/或缩小所述图像而生成多个分层图像;第一检测步骤,其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测区域;选择步骤,其基于检测到的第一检测区域和预先学习的学习数据选择所述分层图像的至少一层;第二检测步骤,其检测在选中的分层图像中的目标物体的至少一部分区域作为第二检测区域;以及合成步骤,其将在第一检测步骤中检测到的检测结果和在第二检测步骤中检测到的检测结果合成。

权利要求书

权利要求书
1.  一种物体检测方法,包括:
图像获取步骤,其获取包括目标物体的图像;
分层图像生成步骤,其通过以多个不同的比例尺放大和/或缩小所述图像而生成多个分层图像;
第一检测步骤,其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测区域;
选择步骤,其基于检测到的第一检测区域和预先学习的学习数据选择所述分层图像的至少一层;
第二检测步骤,其检测在选择步骤中选择的分层图像中的目标物体的至少一部分区域作为第二检测区域;以及
合成步骤,其将在第一检测步骤中检测到的检测结果和在第二检测步骤中检测到的检测结果合成。

2.  根据权利要求1所述的物体检测方法,其中合成步骤包括:根据第一检测区域和第二检测区域之间的重合度将合成步骤中的结果确定为目标物体的区域。

3.  根据权利要求1所述的物体检测方法,其中分层图像生成步骤包括生成分层图像的每层的特征量。

4.  根据权利要求3所述的物体检测方法,其中第一检测步骤包括对每个分层图像的特征量执行检测处理。

5.  根据权利要求4所述的物体检测方法,其中第二检测步骤包括通过滑动预先学习过的每个模型的窗口在各位置处执行检测。

6.  根据权利要求1所述的物体检测方法,其中第一检测步骤和第二检测步骤包括分别利用不同的模型执行检测。

7.  根据权利要求1所述的物体检测方法,其中选择步骤包括:根据第一检测步骤的检测结果的位置以及在第二检测步骤中使用的模型的尺寸限制在第二检测步骤中执行的检测处理的处理范围。

8.  根据权利要求1所述的物体检测方法,其中第一检测步骤包括检测包括头部的区域;以及第二检测步骤包括检测人的身体。

9.  根据权利要求1所述的物体检测方法,进一步包括:第一估计步骤,其基于第一检测区域的坐标和尺寸估计第一估计区域;以及第二估计步骤,其基于第二检测区域的坐标和尺寸估计第二估计区域。

10.  根据权利要求9所述的物体检测方法,其中合成步骤包括:根据第一估计步骤获取的第一估计区域和第二估计步骤获取的第二估计区域之间的重合度,将合成步骤的结果确定为目标物体的区域。

11.  根据权利要求1所述的物体检测方法,进一步包括:输出步骤,其根据合成 步骤的结果输出目标物体的检测结果。

12.  一种物体检测装置,包括:
图像获取单元,用于获取包括目标物体的图像;
分层图像生成单元,其通过以多个不同的比例尺放大和/或缩小所述图像而生成分层图像;
第一检测单元,其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测区域;
选择单元,其基于检测到的第一检测区域和预先学习的学习数据选择所述分层图像的至少一层;
第二检测单元,其检测在选择步骤中选择的所述层的分层图像中的目标物体的至少一部分区域作为第二检测区域;以及
合成单元,其将在第一检测步骤中检测到的检测结果和在第二检测步骤中检测到的检测结果合成。

说明书

说明书物体检测方法和物体检测装置
技术领域
本发明涉及一种用于在执行高速检测处理的同时保持精确度的方法以及一种物体检测装置。
背景技术
作为从图像中检测目标的传统方法之一,有这样一种方法,该方法包括:利用预先学习的模型执行检测处理;基于检测结果限制进行目标搜索的层的范围;然后基于更准确的模型执行检测处理。
日本专利申请JP4498296讨论了这样一种方法,该方法包括:在分层图像上执行第一检测;然后针对下一个输入图像仅在从第一检测中检测出的相同的分层图像上执行第二检测。
但是,根据日本专利申请JP4498296讨论的方法,被搜索的层仅限于同一层,但是对于下一个输入图像同一层并不总是具有最高的被检测的可能性。另外,如果在第一检测和第二检测中使用了不同的模型,那么很可能检测到的目标中的层并不总是在第一检测和第二检测中的同一层,因此导致了这样的问题:整体上的检测精确度被降低了。
发明内容
本发明的一个方面提供了一种物体检测方法,其包括:图像的图像获取步骤,其获取包括目标物体;分层图像生成步骤,其通过以多个不同的比例尺放大和/或缩小所述图像而生成多个分层图像;第一检测步骤,其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测区域;选择步骤,其基于检测到的第一检测区域和预先学习的学习数据选择所述分层图像的至少一层;第二检测步骤,其检测在选择步骤中选择的分层图像中的目标物体的至少一部分区域作为第二检测区域;以及合成步骤,其将在第一检测步骤中检测到的检测结果和在第二检测步骤中检测到的检测结果合成。
根据本发明的示例性实施方式,可以加快整个处理而同时保持监测的精确度。
根据下述示例性实施例的详细描述并结合附图,本发明的其他特征及各方面将显而易见。
附图说明
附图包含在说明书中并构成说明书的一部分,附图描述了本发明的示例性实施方式、特征和各方面,并和说明书一起用于解释本发明的原理。
图1展示了本发明的第一示例性实施方式的物体检测装置的配置。
图2展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图3展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图4展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图5展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图6展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。
图7是流程图,展示了本发明的第一示例性实施方式的物体检测方法的处理步骤。
图8展示了本发明的第二示例性实施方式的物体检测装置的配置。
图9展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图10展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图11展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图12展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图13展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图14展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。
图15展示了本发明的第三示例性实施方式的物体检测装置的配置。
图16展示了本发明的第三示例性实施方式的物体检测方法的一个处理步骤。
具体实施方式
以下将结合附图详细描述本发明的各种示例性实施方式、特征以及各方面。
本发明的第一示例性实施方式的物体检测方法是用于稳定地检测存在于图像中的目标的方法。图像获取单元可以利用使用照相机、视频照相机或网络照相机捕捉的图像,或者利用预先捕捉并存储的图像。
下面根据下述例子来描述本示例性实施方式:所述例子捕捉包括人的图像,并检测用户希望从获取的图像中检测的人。在本示例性实施方式中,检测目标是人,但不限于此。例如,本发明也可用于检测动物或植物等。
图1展示了本示例性实施方式的物体检测装置100的轮廓。
如图1所示,本示例性实施方式的物体检测装置100包括图像获取单元101、特征量生成单元102、第一检测单元103、第一估计单元104、层限制单元105、第二检测单元106、第二估计单元107以及合成单元108。
图像获取单元101从照相机或者从预先捕捉的图像中获取图像。然后获取的图像被发送至特征量生成单元102。
特征量生成单元102通过以图2所示的预定比例尺放大/缩小图像获取单元101获取的图像生成分层图像201,并为每个分层图像生成一个特征量。这里,术语“分 层图像”是指通过以预定比例尺放大/缩小图像生成的图像。生成的特征量可以是梯度方向直方图(HOG)特征量、类哈尔(Haar-like)特征量、色彩特征量或者通过将上述特征量合成而生成的图像。生成的层特征量被输入至第一检测单元103和层限制单元105。
第一检测单元103执行对每个分层图像201的特征量进行检测处理,所述特征量201由特征量生成单元102生成。
如图3所示,在本示例性实施方式中,第一检测单元103基于分层图像302的特征量检测人的头部周围区域,所述分层图像302是分层图像201的其中之一。这里所说的术语“头部周围区域”用于表示不仅包括人的头部、甚至还包括肩膀的区域。检测目标不限于人的头部周围区域,也可以是胳膊、躯干、腿等。另外,在本示例性实施方式中,检测处理是在单个图像层上执行的,但是也可以在更多或者所有分层图像上执行。
作为检测物体的方法,可利用已知的技术执行检测处理,例如《HOG+超向量机》(Super Vector Machine,SVM)(引用文献:《人体检测的梯度方向直方图(Histograms of Oriented Gradients for Human Detection)》,作者N.Dalal,发表于2005年的《计算机视觉与模式识别》(CVPR))、《隐式形状模型》(ISM)(《利用隐式形状模型分类和分割组合对象(Combined Object Categorization and Segmentation with an Implicit Shape Model)》,作者B.Leibe,发表于2004年的“计算机视觉欧洲大会”(ECCV))或《隐生超向量机》(Latent-SVM)(《Object Detection with Discriminatively Trained Part Based Models》,作者P.Felzenszwalb、R.Girshick、D.McAllester、D.Ramanan,发表于电气及电子工程师学会的《模式分析及机器智能》(PAMI),2010年第9期第32卷)。第一检测单元103检测分层图像302的特征量的结果303,所述分层图像302是分层图像201的其中之一。
另外,第一检测单元103也可以执行检测处理,用于检测由图像获取单元101获取的图像上的目标物体的区域。在此情况下,第一检测单元103可利用已知的技术执行检测处理,例如模式匹配。
由第一检测单元103检测到的头部周围区域的检测结果303被发送给第一估计单元104。
第一估计单元104利用从第一检测单元103获取的检测结果303估计特定部分区域。在本示例性实施方式中,第一估计单元104估计头部区域作为特定部分区域。正如下文所述,术语“头部区域”仅用于表示头部,而上面描述的头部周围区域是指不仅包括头部、甚至还包括肩膀的区域。在本示例性实施方式中,第一检测单元103检测头部周围区域,而第一估计单元104仅估计头部区域。但是,不用说,如果第一检测单元103检测到了头部周围区域以外的区域,那么第一估计单元104估计的区域就不再是头部区域了。
下文将描述用于估计头部区域的方法。作为估计头部区域的方法,可以利用头部周围区域的检测结果303的位置坐标,根据下列等式(1)计算出头部区域:
x~1y~1x~2y~2=x1y1x2y2+Ap---(1)]]>
在等式(1)中,x1和y1代表检测结果303的左上角的坐标,x2和y2代表检测结果303的右下角的坐标。
在等式(1)中,“A”代表以矩阵形式表达的检测结果,所述矩阵由包括从头部到肩膀的区域的根滤波器以及多个各自代表根滤波器的一部分的部分滤波器3031-3034组成。另外,在检测结果被转换成矩阵形式时,能够计算出每个部分滤波器3031-3034的中心坐标以及被检测位置处的检测结果303的中心坐标之间的差值。
作为差值的坐标的横坐标由检测结果303的宽度w标准化,纵坐标由检测结果303的高度h标准化。各个部分滤波器3031-3034的标准化后的中心坐标x,y以矩阵形式表示(行包括一个检测结果的每个部分滤波器的标准化后的坐标,列包括每个检测结果)。也就是等式(1)中的“A”。
在等式(1)中,“p”代表基于通过对学习数据以及头部的实际尺寸执行检测处理而得到的检测结果由用于头部区域的尺寸的线性预测的各种系数(与标准化后的各个部分滤波器的中心坐标相乘的一系列系数)组成的矢量。术语“学习数据”是指一组图像,每张图像都显示预先准备的人的图像。
如图3所示,第一估计单元104估计头部检测结果303中的头部区域,然后可以获取估计结果304。作为估计结果的头部区域304被输出至层限制单元105以及合成单元108。
基于特征量生成单元102生成的特征量以及由第一估计单元104估计的头部区域304,层限制单元105判定第二检测单元106将执行检测处理的层。作为判定方法,层限制单元105利用等式(2)计算所述层。
图4展示了作为检测结果的直方图的分布图表405,在所述检测结果中,关于上述学习数据,横轴对应于第一检测单元103的检测结果的层,纵轴对应于第二检测单元106检测到的层。
另外,图4展示了作为检测结果的直方图的分布图表406,在所述检测结果中,关于上述学习数据,横轴对应于第一估计单元104估计的头部区域的宽度尺寸中的线性预测估计的层,纵轴对应于第二检测单元106检测到的结果的层。
如图4所示,基于头部区域的尺寸显示适合检测的层的分布。可以确定,利用头部区域估计结果层的分布在图表中被限制了。根据上述确定的内容,基于从学习数据中获取的分布图表406,利用最小平方法能够计算出系数coeff。
coeff1coeff2coeff3=A-1B---(2)]]>
在等式(2)中,“A”代表通过求学习数据中的头部区域的尺寸的对数得到的结果组成的矩阵,“B”代表由第二检测单元106的检测结果中的层组成的矩阵。
利用计算出的系数coeff,根据等式(3)可确定层。
层=coeff1*log(宽度)+coeff2*log(高度)+coeff3
(3)
在等式(3)中,“宽度”代表头部区域的宽度,“高度”代表头部区域的高度。
仅对分层图像507的特征量执行检测处理,分层图像507的特征量与从等式(3)获得的层一致或最接近。不对层509的特征量执行检测处理,层509是不同于分层图像507的层。
被限制的分层图像507被输出至第二检测单元106。
基于特征量生成单元102和层限制单元105,第二检测单元106仅对被限制的分层图像507的特征量执行检测处理。本示例性实施方式检测人的整个身体。更不用说,由第二检测单元106检测的目标不限于人的整个身体。
作为检测处理方法,通过滑动模型508的窗口在各个位置处执行检测处理,所述模型508已经通过学习方法被预先学习过,例如SVM或增强法。
如图6所示,通过检测处理获取检测结果610-612。获取的检测结果610-612被输出至第二估计单元107。
第二估计单元107估计第二检测单元106获取的、以矩形区域的形式表示的各个检测结果610-612中的特定部分区域。在本示例性实施方式中,第二估计单元107估计头部区域作为特定部分。更不用说,由第二估计单元107估计的特定部分不限于头部区域,也可以是和第一估计单元104估计的区域相同的区域。这是因为合成单元108(下文将描述)能够将第一估计单元104估计的区域和第二估计单元107估计的区域合成。
作为估计的方法,可以通过第一估计单元104利用等式(1)计算出特定部分区域。如图6所示,以计算出的矩形区域表示的头部区域620-622被输出至合成单元108。
合成单元108将第一估计单元104获取的头部区域203以及第二估计单元107获取的头部区域620-622合成,然后输出最终的检测结果。
作为合成方法,合成单元108计算头部区域203和各个头部区域620-622之间的重合度,然后选择具有最高重合度的头部区域作为从其中检测相同目标的帧。
如图6所示,头部区域203和头部区域620具有最高重合度,因此选择这两个检测结果作为一个组合,然后检测结果610被作为最终检测结果输出。检测结果611-612被判定为错误检测,因此不会被输出。
本示例性实施方式的配置方式就是这样。
下面,结合图7所示的流程图描述本示例性实施方式的物体检测装置100执行的 处理。本流程图的程序代码被存储在未示出的存储器中,例如随机存取存储器(RAM)或只读存储器(ROM),并由未示出的中央处理单元(CPU)等读取、执行。
在步骤S100中,开始整个处理。首先,处理推进至步骤S101,在该步骤中图像获取单元101从照相机或图像文件中等获取图像。获取到的图像被发送至特征量生成单元102。然后,处理推进至步骤S102。
在步骤S102中,通过对图像获取单元101获取的图像执行图像放大/缩小处理,特征量生成单元102生成分层图像201,并生成各分层图像的特征量。
生成的特征量可以是HOG特征量、类哈尔特征量或色彩特征量。
作为上述处理的结果,可以获得层特征量。生成的特征量被输出至第一检测单元103以及层限制单元105。然后,处理推进至步骤S103。
在步骤S103中,第一检测单元103执行检测处理。第一检测单元103对分层图像302的特征量执行检测处理,所述特征量是分层图像201的特征量之一。
另外,第一检测单元103可对分层图像201的生成的特征量执行检测处理,或例如通过模式匹配对图像获取单元101获取的图像执行检测处理。
作为检测方法,第一检测单元103利用已知的技术,例如HOG+SVM或ISM。另外在本示例性实施方式中,第一检测单元103检测人的头部区域。但是,本发明不限于此。经过检测处理获得的检测结果303被输出至第一估计单元104。然后,处理推进至步骤S104。
在步骤S104中,判定是否可以获得第一检测结果。如果没有检测结果(在步骤S104中为“否”),那么处理结束。如果有检测结果(在步骤S104中为“是”),那么处理推进至步骤S105。
在步骤S105中,第一估计单元104从第一检测单元103获取的检测结果303中估计特定部分区域。
在本示例性实施方式中,第一估计单元104估计头部区域作为特定部分。但是在本发明中,特定部分区域不限于头部区域。第一估计单元104利用等式(1)估计检测结果303中的头部区域304。
完成整个头部区域估计处理后,获取的头部区域304被输出至层限制单元105和合成单元108。然后,处理推进至步骤S106。
在步骤S106中,层限制单元105限制这样的层:在该层上,利用第一估计单元104估计的头部区域304,第二检测单元106将对特征量生成单元102生成的特征量执行检测处理。
作为限制层的方法,层限制单元105利用等式(2)计算系数,同时通过合成第一估计单元104和第二估计单元107获取的结果设置最终结果,作为学习数据,并根据等式(3)计算头部区域的线性预测中的层和所述系数。
这样就有可能确定最适合于第二检测单元106执行检测处理的层的特征量。如图5所示,根据确定的层将被执行检测处理的分层图像507的特征量和未被执行检测处 理的分层图像509的特征量分离。然后,处理推进至步骤S107。
在步骤S107中,第二检测单元106执行检测处理。
作为检测方法,通过滑动模型508的窗口在各个位置处执行检测处理,所述模型508已经通过学习方法被预先学习过,例如SVM或增强法。另外,在本示例性实施方式中,所述模型检测人的整个身体,但本发明不限于人的整个身体。
如图6所示,经过第二检测单元106的检测处理后,获取检测结果610-612。检测结果610-612被输出至第二估计单元107。然后,处理推进至步骤S108。
在步骤S108中,第二估计单元107从第二检测单元106获取的检测结果610-612中的每一个估计特定部分。
在本示例性实施方式中,第二估计单元107估计头部区域作为特定部分,但是本发明不限于此。作为估计头部区域的方法,第二估计单元107通过第一估计单元104利用等式(1)执行估计。
如图6所示,由第二估计单元107估计的头部区域估计结果610-612被获取。获取的头部区域估计结果610-612被输出至合成单元108。然后,处理推进至步骤S109。
在步骤S109中,合成单元108将第一估计单元104估计的头部区域203和第二估计单元107估计的头部区域620-622合成。
作为合成处理方法,合成单元108计算头部区域203和头部区域620-622中的每一个之间的重合度,然后选择具有最高重合度的合成结果作为从其中检测相同目标的头部帧。
如图6所示,头部区域203和头部区域620具有最高重合度,因此选择这两个检测帧作为一个组合,然后检测结果610被作为最终检测结果输出。另外,检测结果611-612被合成单元108作为虚假检测处理。
然后,整个处理结束。
图8展示了本发明第二示例性实施方式的物体检测装置800的轮廓。
如图8所示,物体检测装置800包括图像获取单元801、特征量生成单元802、具有多个检测模型的第一检测单元803、第一估计单元804、层限制单元805、具有多个检测模型的第二检测单元806、第二估计单元807以及合成单元808。
图像获取单元801从照相机或者从预先捕捉的图像中获取图像901。然后获取的图像901被发送至特征量生成单元802。
特征量生成单元802通过以图10所示的预定比例尺放大/缩小图像获取单元801获取的图像901生成分层图像1002,并为分层图像1002的每层生成一个特征量。生成的特征量可以是HOG特征量、类哈尔(Haar-like)特征量或色彩特征量。
生成的层特征量被输入至第一检测单元803和层限制单元805。
第一检测单元803对特征量执行检测处理。如图10所示,第一检测单元803具有多个人的头部区域作为模型,并通过滑动每个模型的窗口在每个位置处对分层图像 1001的特征量执行检测处理,从而检测目标物体的区域。在本示例性实施方式中,第一检测单元803检测人的头部周围区域。这里所说的术语“头部周围区域”用于表示不仅包括人的头部、甚至还包括肩膀的区域。检测目标不限于人的头部周围区域,也可以是胳膊、躯干、腿等。
利用在第一示例性实施方式中描述的已知技术检测头部区域。
第一检测单元803检测分层图像1001的特征量中的结果1104-1106。检测结果1104-1106被发送至第一估计单元804。
第一估计单元804基于第一检测单元803获取的头部周围区域的检测结果1104-1106估计特定部分区域。在本示例性实施方式中,第一估计单元804估计头部区域,但本发明不限于此。
作为估计头部区域的方法,可以利用第一检测单元803的检测结果的位置坐标通过以下等式(4)获得头部区域:
x~1y~1x~2y~2=x1y1x2y2+Apm---(4)]]>
在等式(4)中,x1和y1代表检测结果的左上角的坐标,x2和y2代表检测结果的右下角的坐标。
在等式(4)中,“A”代表矩阵,所述矩阵是基于中心坐标和根滤波器的尺寸将单次检测结果中的部分滤波器的左上角的坐标和右下角的坐标标准化处理后得到的值转换而来的。另外,“Pm”代表从学习中获取的系数组成的矢量(“m”代表模型的序号)。此时,每个模型的“Pm”的参数是这样计算出来的:对具有作为正确答案的头部帧以及作为一组的第二检测单元806的一帧的学习数据执行最小平方法。
如图11所示,头部区域的估计结果1114-1116被从头部区域的检测结果1104-1106中评估出来。头部区域的估计结果1114-1116被输出至层限制单元805和合成单元808。
层限制单元805确定这样的层:在该层上,根据第一估计单元804估计的头部帧1114-1116,第二检测单元806将对分层图像1002的特征量执行检测处理。
图12展示了从合成单元808输出的关于学习数据的最终检测结果的分布情况,每个分布图代表当时的头部区域的尺寸以及对应于检测到从第二检测单元806输出结果的特征量的层。
分布图1201代表处于直立位置的人的整个身体。分布图1202代表处于前倾位置的人的整个身体。分布图1203代表处于蹲坐位置的人的整个身体。如果有不同于上述方式的姿势,不同的层适合于从头部区域的尺寸中估计。因此,对于每个模型而言,都用最小平方法获得系数,所述系数可根据等式(5)计算出:
coeff1mcoeff2mcoeff3m=Am-1Bm---(5)]]>
在等式(5)中,“Am”代表通过求每个模型的学习数据中的头部帧的尺寸的对数得到的结果组成的矩阵,“Bm”代表由第二检测单元806对每个模型的检测结果中的层组成的矩阵。
利用计算出的系数,根据等式(6)计算出会被执行检测处理的层。
层m=coeff1m*log(宽度)+coeff2m*log(高度)+coeff3m
(6)
通过计算该头部区域的系数的加权和,判定最适合将由第二检测单元806执行的检测处理的层是有可能的。如图13所示,根据确定的层1307,将被执行检测处理的层1307和未被执行检测处理的层1308分离。
取决于特征量生成单元802和层限制单元805,第二检测单元806仅对被限制的分层图像1307执行检测处理。
如图13所示,作为检测处理方法,通过滑动每个模型1309的窗口在各个位置处执行检测处理,所述模型1309已经通过学习方法被预先学习过,例如SVM或增强法。在本示例性实施方式中,所述模型检测人的整个身体,但是本发明不限于此。
另外,在本示例性实施方式中,例如,第二检测单元806利用某个模型检测处于直立位置的人,而利用另一个模型检测处于蹲坐位置的人。利用这种方式,第二检测单元806可以利用不同的模型检测姿势改变的人的身体。如图14所示,通过检测处理,具有不同姿势的人的整个身体的检测结果1410-1415被获取。获取的检测结果1410-1415被输出至第二估计单元807。
第二估计单元807从第二检测单元806获取的检测结果1410-1415中估计特定部分区域。在本示例性实施方式中,第二估计单元807估计头部区域,但是本发明不限于此。更不用说,由第二估计单元807估计的特定部分区域也不限于头部区域,也可以和第一估计单元804估计的区域相同。这是因为合成单元808(下文描述)将第一估计单元804估计的区域和第二估计单元807估计的区域合成。
作为估计方法,第二估计单元807利用等式(4)估计每个模型的头部区域,等式(4)也被第一估计单元804使用。然后,获取的头部帧1420-1425被输出至合成单元808。
合成单元808以与第一示例性实施方式相似的方式将第一估计单元804的头部区域1114-1116和第二估计单元807的头部区域1420-1425合成。最后,在本示例性实施方式中,区域1410、1411、1412被作为最终检测结果输出。
本示例性实施方式的配置就是这样。
图15展示了本发明的第三示例性实施方式的物体检测装置1500的轮廓。
如图15所示,物体检测装置1500包括以下单元:图像获取单元801、特征量生成单元802、具有多个检测模型的第一检测单元803、第一估计单元804、层/范围限制单元1505、具有多个检测模型的第二检测单元1506、第二估计单元807以及合成单元808。
在本示例性实施方式中,在层/范围限制单元1505限制层以及第二检测单元1506将利用的各模型的检测处理范围以后,第二检测单元1506根据所述限制执行检测处理。层/范围限制单元1505判定分层图像的特征量,在所述分层图像上,基于从第一估计单元804获取的头部区域的估计尺寸和位置,对各模型执行检测处理。
首先,层/范围限制单元1505利用等式(6)计算层,以便计算处于直立位置的人的分层图像1601。
然后,层/范围限制单元1505判定从头部估计区域位置1602起的检测处理范围1604,以及判定模型1603的滤波器尺寸,从而允许彻底检索包括以头部估计区域位置1602为中心的、头部估计区域位置1602的上、下、右、左方的模型1603的滤波器的范围。此时,检测处理范围1604可以作为一个区域存储在存储器中,或者作为地图保存,在该地图中检测处理范围1604的内部被标示出来。
第二检测单元1506仅利用对应于判定的检测处理范围1604的模型执行检测处理。
类似地,对于处于蹲坐位置的人,层/范围限制单元1505关注于分层图像1605的特征量,并判定从头部区域1606的位置起的检测处理范围1608,以及判定模型1607的尺寸。对于处于前倾位置的人,层/范围限制单元1505也关注于分层图像1609的特征量,并判定从头部区域1610的位置起的检测处理范围1612,以及判定模型1611的尺寸。
根据上述配置,可以加快整个检测处理。
上文已描述了示例性实施方式的各种情况,作为第一至第三实施方式,但这是仅仅是下述配置的例子而已。基于下述配置的其他实施方式也在本发明的范围内。
首先,获取包括目标物体的图像(图像获取步骤)。然后,以多个不同的放大率放大/缩小所述图像,以生成分层图像(分层图像生成步骤)。然后,基于所述分层图像检测目标物体的至少一部分区域(第一检测步骤)。然后,基于在第一检测步骤中检测的第一检测区域估计第一特定部分区域(第一估计步骤)。然后,基于第一特定部分区域和预先学习的学习数据限制分层图像的层(层限制步骤)。然后,在层限制步骤中被限制的层的分层图像中检测目标物体的至少一部分区域(第二检测步骤)。然后,基于在第二检测步骤中检测的第二检测区域估计第二特定部分区域(第二估计步骤)。然后,将在第一估计步骤中估计的估计结果和在第二估计步骤中估计的估计结果合成,以确定合成结果,作为目标物体的特定部分区域(合成步骤)。
虽然上文已详细描述了多个示例性实施方式,但是本发明也可通过以下列形式实施,例如系统、装置、方法、程序或存储介质。特别地,本发明可以应用在由多个装置组成的系统中或由单个设备组成的装置中。
本发明的各方面还可以通过系统或装置的、用于读出并执行记录在存储介质(例 如,非临时性计算机可读存储介质)上的计算机可执行指令以完成本发明中一个或多个实施方式功能的计算机来实现;所述发明的各方面也可以通过方法来实现,该方法的各步骤由系统或装置的计算机、通过如从存储介质读出并执行计算机可执行指令以完成本发明一个或多个实施方式功能来执行。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)及其他电路中的一个或多个,也可以包括独立计算机网络或独立计算机处理器网络。计算机可执行指令可以从例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)及分布式计算系统存储器、光盘(例如激光唱片(CD)、数字化通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置、存储卡等中的一个或多个。
虽然已经结合示例性实施方式描述了本发明,应当认识到,本发明并不局限于公开的示例性实施方式。下列权利要求的范围应当适合最广泛的解释,以便囊括所有改动、等同结构和功能。

物体检测方法和物体检测装置.pdf_第1页
第1页 / 共28页
物体检测方法和物体检测装置.pdf_第2页
第2页 / 共28页
物体检测方法和物体检测装置.pdf_第3页
第3页 / 共28页
点击查看更多>>
资源描述

《物体检测方法和物体检测装置.pdf》由会员分享,可在线阅读,更多相关《物体检测方法和物体检测装置.pdf(28页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 103366171 A (43)申请公布日 2013.10.23 CN 103366171 A *CN103366171A* (21)申请号 201310121632.9 (22)申请日 2013.03.29 2012-082379 2012.03.30 JP G06K 9/46(2006.01) G06K 9/60(2006.01) (71)申请人 佳能株式会社 地址 日本东京大田区下丸子 3-30-2 (72)发明人 塚本健二 鸟居宽 真继优和 (74)专利代理机构 北京怡丰知识产权代理有限 公司 11293 代理人 迟军 (54) 发明名称 物体检测方法和物体检。

2、测装置 (57) 摘要 本发明公开了一种物体检测方法和物体检测 装置。物体检测方法包括 : 图像获取步骤, 其获取 包括目标物体的图像 ; 分层图像生成步骤, 其通 过以多个不同的比例尺放大和 / 或缩小所述图像 而生成多个分层图像 ; 第一检测步骤, 其从每个 所述分层图像检测目标物体的至少一部分区域作 为第一检测区域 ; 选择步骤, 其基于检测到的第 一检测区域和预先学习的学习数据选择所述分层 图像的至少一层 ; 第二检测步骤, 其检测在选中 的分层图像中的目标物体的至少一部分区域作为 第二检测区域 ; 以及合成步骤, 其将在第一检测 步骤中检测到的检测结果和在第二检测步骤中检 测到的检测。

3、结果合成。 (30)优先权数据 (51)Int.Cl. 权利要求书 2 页 说明书 10 页 附图 15 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书10页 附图15页 (10)申请公布号 CN 103366171 A CN 103366171 A *CN103366171A* 1/2 页 2 1. 一种物体检测方法, 包括 : 图像获取步骤, 其获取包括目标物体的图像 ; 分层图像生成步骤, 其通过以多个不同的比例尺放大和 / 或缩小所述图像而生成多个 分层图像 ; 第一检测步骤, 其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测 区域 。

4、; 选择步骤, 其基于检测到的第一检测区域和预先学习的学习数据选择所述分层图像的 至少一层 ; 第二检测步骤, 其检测在选择步骤中选择的分层图像中的目标物体的至少一部分区域 作为第二检测区域 ; 以及 合成步骤, 其将在第一检测步骤中检测到的检测结果和在第二检测步骤中检测到的检 测结果合成。 2. 根据权利要求 1 所述的物体检测方法, 其中合成步骤包括 : 根据第一检测区域和第 二检测区域之间的重合度将合成步骤中的结果确定为目标物体的区域。 3. 根据权利要求 1 所述的物体检测方法, 其中分层图像生成步骤包括生成分层图像的 每层的特征量。 4. 根据权利要求 3 所述的物体检测方法, 其中。

5、第一检测步骤包括对每个分层图像的特 征量执行检测处理。 5. 根据权利要求 4 所述的物体检测方法, 其中第二检测步骤包括通过滑动预先学习过 的每个模型的窗口在各位置处执行检测。 6. 根据权利要求 1 所述的物体检测方法, 其中第一检测步骤和第二检测步骤包括分别 利用不同的模型执行检测。 7. 根据权利要求 1 所述的物体检测方法, 其中选择步骤包括 : 根据第一检测步骤的检 测结果的位置以及在第二检测步骤中使用的模型的尺寸限制在第二检测步骤中执行的检 测处理的处理范围。 8. 根据权利要求 1 所述的物体检测方法, 其中第一检测步骤包括检测包括头部的区 域 ; 以及第二检测步骤包括检测人的。

6、身体。 9. 根据权利要求 1 所述的物体检测方法, 进一步包括 : 第一估计步骤, 其基于第一检测 区域的坐标和尺寸估计第一估计区域 ; 以及第二估计步骤, 其基于第二检测区域的坐标和 尺寸估计第二估计区域。 10. 根据权利要求 9 所述的物体检测方法, 其中合成步骤包括 : 根据第一估计步骤获取 的第一估计区域和第二估计步骤获取的第二估计区域之间的重合度, 将合成步骤的结果确 定为目标物体的区域。 11. 根据权利要求 1 所述的物体检测方法, 进一步包括 : 输出步骤, 其根据合成步骤的 结果输出目标物体的检测结果。 12. 一种物体检测装置, 包括 : 图像获取单元, 用于获取包括目。

7、标物体的图像 ; 分层图像生成单元, 其通过以多个不同的比例尺放大和 / 或缩小所述图像而生成分层 图像 ; 权 利 要 求 书 CN 103366171 A 2 2/2 页 3 第一检测单元, 其从每个所述分层图像检测目标物体的至少一部分区域作为第一检测 区域 ; 选择单元, 其基于检测到的第一检测区域和预先学习的学习数据选择所述分层图像的 至少一层 ; 第二检测单元, 其检测在选择步骤中选择的所述层的分层图像中的目标物体的至少一 部分区域作为第二检测区域 ; 以及 合成单元, 其将在第一检测步骤中检测到的检测结果和在第二检测步骤中检测到的检 测结果合成。 权 利 要 求 书 CN 1033。

8、66171 A 3 1/10 页 4 物体检测方法和物体检测装置 技术领域 0001 本发明涉及一种用于在执行高速检测处理的同时保持精确度的方法以及一种物 体检测装置。 背景技术 0002 作为从图像中检测目标的传统方法之一, 有这样一种方法, 该方法包括 : 利用预先 学习的模型执行检测处理 ; 基于检测结果限制进行目标搜索的层的范围 ; 然后基于更准确 的模型执行检测处理。 0003 日本专利申请 JP4498296 讨论了这样一种方法, 该方法包括 : 在分层图像上执行 第一检测 ; 然后针对下一个输入图像仅在从第一检测中检测出的相同的分层图像上执行第 二检测。 0004 但是, 根据日。

9、本专利申请 JP4498296 讨论的方法, 被搜索的层仅限于同一层, 但是 对于下一个输入图像同一层并不总是具有最高的被检测的可能性。另外, 如果在第一检测 和第二检测中使用了不同的模型, 那么很可能检测到的目标中的层并不总是在第一检测和 第二检测中的同一层, 因此导致了这样的问题 : 整体上的检测精确度被降低了。 发明内容 0005 本发明的一个方面提供了一种物体检测方法, 其包括 : 图像的图像获取步骤, 其获 取包括目标物体 ; 分层图像生成步骤, 其通过以多个不同的比例尺放大和 / 或缩小所述图 像而生成多个分层图像 ; 第一检测步骤, 其从每个所述分层图像检测目标物体的至少一部 分。

10、区域作为第一检测区域 ; 选择步骤, 其基于检测到的第一检测区域和预先学习的学习数 据选择所述分层图像的至少一层 ; 第二检测步骤, 其检测在选择步骤中选择的分层图像中 的目标物体的至少一部分区域作为第二检测区域 ; 以及合成步骤, 其将在第一检测步骤中 检测到的检测结果和在第二检测步骤中检测到的检测结果合成。 0006 根据本发明的示例性实施方式, 可以加快整个处理而同时保持监测的精确度。 0007 根据下述示例性实施例的详细描述并结合附图, 本发明的其他特征及各方面将显 而易见。 附图说明 0008 附图包含在说明书中并构成说明书的一部分, 附图描述了本发明的示例性实施方 式、 特征和各方。

11、面, 并和说明书一起用于解释本发明的原理。 0009 图 1 展示了本发明的第一示例性实施方式的物体检测装置的配置。 0010 图 2 展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。 0011 图 3 展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。 0012 图 4 展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。 0013 图 5 展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。 说 明 书 CN 103366171 A 4 2/10 页 5 0014 图 6 展示了本发明的第一示例性实施方式的物体检测方法的一个处理步骤。 0015。

12、 图 7 是流程图, 展示了本发明的第一示例性实施方式的物体检测方法的处理步 骤。 0016 图 8 展示了本发明的第二示例性实施方式的物体检测装置的配置。 0017 图 9 展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。 0018 图 10 展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。 0019 图 11 展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。 0020 图 12 展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。 0021 图 13 展示了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。 0022 图 14 展示。

13、了本发明的第二示例性实施方式的物体检测方法的一个处理步骤。 0023 图 15 展示了本发明的第三示例性实施方式的物体检测装置的配置。 0024 图 16 展示了本发明的第三示例性实施方式的物体检测方法的一个处理步骤。 具体实施方式 0025 以下将结合附图详细描述本发明的各种示例性实施方式、 特征以及各方面。 0026 本发明的第一示例性实施方式的物体检测方法是用于稳定地检测存在于图像中 的目标的方法。 图像获取单元可以利用使用照相机、 视频照相机或网络照相机捕捉的图像, 或者利用预先捕捉并存储的图像。 0027 下面根据下述例子来描述本示例性实施方式 : 所述例子捕捉包括人的图像, 并检 。

14、测用户希望从获取的图像中检测的人。在本示例性实施方式中, 检测目标是人, 但不限于 此。例如, 本发明也可用于检测动物或植物等。 0028 图 1 展示了本示例性实施方式的物体检测装置 100 的轮廓。 0029 如图 1 所示, 本示例性实施方式的物体检测装置 100 包括图像获取单元 101、 特征 量生成单元102、 第一检测单元103、 第一估计单元104、 层限制单元105、 第二检测单元106、 第二估计单元 107 以及合成单元 108。 0030 图像获取单元 101 从照相机或者从预先捕捉的图像中获取图像。然后获取的图像 被发送至特征量生成单元 102。 0031 特征量生成。

15、单元 102 通过以图 2 所示的预定比例尺放大 / 缩小图像获取单元 101 获取的图像生成分层图像 201, 并为每个分层图像生成一个特征量。这里, 术语 “分层图像” 是指通过以预定比例尺放大 / 缩小图像生成的图像。生成的特征量可以是梯度方向直方图 (HOG) 特征量、 类哈尔 (Haar-like) 特征量、 色彩特征量或者通过将上述特征量合成而生成 的图像。生成的层特征量被输入至第一检测单元 103 和层限制单元 105。 0032 第一检测单元 103 执行对每个分层图像 201 的特征量进行检测处理, 所述特征量 201 由特征量生成单元 102 生成。 0033 如图 3 所。

16、示, 在本示例性实施方式中, 第一检测单元 103 基于分层图像 302 的特征 量检测人的头部周围区域, 所述分层图像 302 是分层图像 201 的其中之一。这里所说的术 语 “头部周围区域” 用于表示不仅包括人的头部、 甚至还包括肩膀的区域。检测目标不限于 人的头部周围区域, 也可以是胳膊、 躯干、 腿等。另外, 在本示例性实施方式中, 检测处理是 在单个图像层上执行的, 但是也可以在更多或者所有分层图像上执行。 说 明 书 CN 103366171 A 5 3/10 页 6 0034 作为检测物体的方法, 可利用已知的技术执行检测处理, 例如 HOG+ 超向量机 (Super Vect。

17、or Machine, SVM)( 引用文献 :人体检测的梯度方向直方图 (Histograms of Oriented Gradients for Human Detection) , 作者 N.Dalal, 发表于 2005 年的 计算机 视觉与模式识别 (CVPR)、隐式形状模型 (ISM)(利用隐式形状模型分类和分割组合 对象 (Combined Object Categorization and Segmentation with an Implicit Shape Model) , 作者 B.Leibe, 发表于 2004 年的 “计算机视觉欧洲大会” (ECCV) 或 隐生超向量。

18、 机 (Latent-SVM)(Object Detection with Discriminatively Trained Part Based Models , 作者 P.Felzenszwalb、 R.Girshick、 D.McAllester、 D.Ramanan, 发表于电气及电子 工程师学会的 模式分析及机器智能 (PAMI), 2010 年第 9 期第 32 卷 )。第一检测单元 103 检测分层图像 302 的特征量的结果 303, 所述分层图像 302 是分层图像 201 的其中之一。 0035 另外, 第一检测单元103也可以执行检测处理, 用于检测由图像获取单元101获。

19、取 的图像上的目标物体的区域。在此情况下, 第一检测单元 103 可利用已知的技术执行检测 处理, 例如模式匹配。 0036 由第一检测单元103检测到的头部周围区域的检测结果303被发送给第一估计单 元 104。 0037 第一估计单元 104 利用从第一检测单元 103 获取的检测结果 303 估计特定部分区 域。在本示例性实施方式中, 第一估计单元 104 估计头部区域作为特定部分区域。正如下 文所述, 术语 “头部区域” 仅用于表示头部, 而上面描述的头部周围区域是指不仅包括头部、 甚至还包括肩膀的区域。在本示例性实施方式中, 第一检测单元 103 检测头部周围区域, 而 第一估计单元。

20、 104 仅估计头部区域。但是, 不用说, 如果第一检测单元 103 检测到了头部周 围区域以外的区域, 那么第一估计单元 104 估计的区域就不再是头部区域了。 0038 下文将描述用于估计头部区域的方法。作为估计头部区域的方法, 可以利用头部 周围区域的检测结果 303 的位置坐标, 根据下列等式 (1) 计算出头部区域 : 0039 0040 在等式 (1) 中, x1和 y1代表检测结果 303 的左上角的坐标, x2和 y2代表检测结果 303 的右下角的坐标。 0041 在等式 (1) 中,“A” 代表以矩阵形式表达的检测结果, 所述矩阵由包括从头部到肩 膀的区域的根滤波器以及多个。

21、各自代表根滤波器的一部分的部分滤波器 3031-3034 组成。 另外, 在检测结果被转换成矩阵形式时, 能够计算出每个部分滤波器 3031-3034 的中心坐 标以及被检测位置处的检测结果 303 的中心坐标之间的差值。 0042 作为差值的坐标的横坐标由检测结果303的宽度w标准化, 纵坐标由检测结果303 的高度 h 标准化。各个部分滤波器 3031-3034 的标准化后的中心坐标 x, y 以矩阵形式表示 ( 行包括一个检测结果的每个部分滤波器的标准化后的坐标, 列包括每个检测结果 )。也就 是等式 (1) 中的 “A” 。 0043 在等式 (1) 中,“p” 代表基于通过对学习数据。

22、以及头部的实际尺寸执行检测处理 而得到的检测结果由用于头部区域的尺寸的线性预测的各种系数 ( 与标准化后的各个部 说 明 书 CN 103366171 A 6 4/10 页 7 分滤波器的中心坐标相乘的一系列系数 ) 组成的矢量。术语 “学习数据” 是指一组图像, 每 张图像都显示预先准备的人的图像。 0044 如图 3 所示, 第一估计单元 104 估计头部检测结果 303 中的头部区域, 然后可以 获取估计结果 304。作为估计结果的头部区域 304 被输出至层限制单元 105 以及合成单元 108。 0045 基于特征量生成单元102生成的特征量以及由第一估计单元104估计的头部区域 3。

23、04, 层限制单元 105 判定第二检测单元 106 将执行检测处理的层。作为判定方法, 层限制 单元 105 利用等式 (2) 计算所述层。 0046 图 4 展示了作为检测结果的直方图的分布图表 405, 在所述检测结果中, 关于上述 学习数据, 横轴对应于第一检测单元103的检测结果的层, 纵轴对应于第二检测单元106检 测到的层。 0047 另外, 图 4 展示了作为检测结果的直方图的分布图表 406, 在所述检测结果中, 关 于上述学习数据, 横轴对应于第一估计单元 104 估计的头部区域的宽度尺寸中的线性预测 估计的层, 纵轴对应于第二检测单元 106 检测到的结果的层。 0048。

24、 如图 4 所示, 基于头部区域的尺寸显示适合检测的层的分布。可以确定, 利用头部 区域估计结果层的分布在图表中被限制了。根据上述确定的内容, 基于从学习数据中获取 的分布图表 406, 利用最小平方法能够计算出系数 coeff。 0049 0050 在等式 (2) 中,“A” 代表通过求学习数据中的头部区域的尺寸的对数得到的结果 组成的矩阵,“B” 代表由第二检测单元 106 的检测结果中的层组成的矩阵。 0051 利用计算出的系数 coeff, 根据等式 (3) 可确定层。 0052 层 coeff1*log( 宽度 )+coeff2*log( 高度 )+coeff3 0053 (3) 0。

25、054 在等式 (3) 中,“宽度” 代表头部区域的宽度,“高度” 代表头部区域的高度。 0055 仅对分层图像 507 的特征量执行检测处理, 分层图像 507 的特征量与从等式 (3) 获得的层一致或最接近。 不对层509的特征量执行检测处理, 层509是不同于分层图像507 的层。 0056 被限制的分层图像 507 被输出至第二检测单元 106。 0057 基于特征量生成单元102和层限制单元105, 第二检测单元106仅对被限制的分层 图像 507 的特征量执行检测处理。本示例性实施方式检测人的整个身体。更不用说, 由第 二检测单元 106 检测的目标不限于人的整个身体。 0058 。

26、作为检测处理方法, 通过滑动模型 508 的窗口在各个位置处执行检测处理, 所述 模型 508 已经通过学习方法被预先学习过, 例如 SVM 或增强法。 0059 如图6所示, 通过检测处理获取检测结果610-612。 获取的检测结果610-612被输 出至第二估计单元 107。 0060 第二估计单元 107 估计第二检测单元 106 获取的、 以矩形区域的形式表示的各个 检测结果 610-612 中的特定部分区域。在本示例性实施方式中, 第二估计单元 107 估计头 说 明 书 CN 103366171 A 7 5/10 页 8 部区域作为特定部分。更不用说, 由第二估计单元 107 估计。

27、的特定部分不限于头部区域, 也 可以是和第一估计单元104估计的区域相同的区域。 这是因为合成单元108(下文将描述) 能够将第一估计单元 104 估计的区域和第二估计单元 107 估计的区域合成。 0061 作为估计的方法, 可以通过第一估计单元104利用等式(1)计算出特定部分区域。 如图 6 所示, 以计算出的矩形区域表示的头部区域 620-622 被输出至合成单元 108。 0062 合成单元 108 将第一估计单元 104 获取的头部区域 203 以及第二估计单元 107 获 取的头部区域 620-622 合成, 然后输出最终的检测结果。 0063 作为合成方法, 合成单元 108 。

28、计算头部区域 203 和各个头部区域 620-622 之间的 重合度, 然后选择具有最高重合度的头部区域作为从其中检测相同目标的帧。 0064 如图 6 所示, 头部区域 203 和头部区域 620 具有最高重合度, 因此选择这两个检测 结果作为一个组合, 然后检测结果 610 被作为最终检测结果输出。检测结果 611-612 被判 定为错误检测, 因此不会被输出。 0065 本示例性实施方式的配置方式就是这样。 0066 下面, 结合图 7 所示的流程图描述本示例性实施方式的物体检测装置 100 执行的 处理。本流程图的程序代码被存储在未示出的存储器中, 例如随机存取存储器 (RAM) 或只。

29、 读存储器 (ROM), 并由未示出的中央处理单元 (CPU) 等读取、 执行。 0067 在步骤S100中, 开始整个处理。 首先, 处理推进至步骤S101, 在该步骤中图像获取 单元101从照相机或图像文件中等获取图像。 获取到的图像被发送至特征量生成单元102。 然后, 处理推进至步骤 S102。 0068 在步骤 S102 中, 通过对图像获取单元 101 获取的图像执行图像放大 / 缩小处理, 特征量生成单元 102 生成分层图像 201, 并生成各分层图像的特征量。 0069 生成的特征量可以是 HOG 特征量、 类哈尔特征量或色彩特征量。 0070 作为上述处理的结果, 可以获得。

30、层特征量。生成的特征量被输出至第一检测单元 103 以及层限制单元 105。然后, 处理推进至步骤 S103。 0071 在步骤 S103 中, 第一检测单元 103 执行检测处理。第一检测单元 103 对分层图像 302 的特征量执行检测处理, 所述特征量是分层图像 201 的特征量之一。 0072 另外, 第一检测单元103可对分层图像201的生成的特征量执行检测处理, 或例如 通过模式匹配对图像获取单元 101 获取的图像执行检测处理。 0073 作为检测方法, 第一检测单元 103 利用已知的技术, 例如 HOG+SVM 或 ISM。另外在 本示例性实施方式中, 第一检测单元 103 。

31、检测人的头部区域。但是, 本发明不限于此。经过 检测处理获得的检测结果 303 被输出至第一估计单元 104。然后, 处理推进至步骤 S104。 0074 在步骤 S104 中, 判定是否可以获得第一检测结果。如果没有检测结果 ( 在步骤 S104 中为 “否” ), 那么处理结束。如果有检测结果 ( 在步骤 S104 中为 “是” ), 那么处理推 进至步骤 S105。 0075 在步骤 S105 中, 第一估计单元 104 从第一检测单元 103 获取的检测结果 303 中估 计特定部分区域。 0076 在本示例性实施方式中, 第一估计单元 104 估计头部区域作为特定部分。但是在 本发明。

32、中, 特定部分区域不限于头部区域。第一估计单元 104 利用等式 (1) 估计检测结果 303 中的头部区域 304。 说 明 书 CN 103366171 A 8 6/10 页 9 0077 完成整个头部区域估计处理后, 获取的头部区域 304 被输出至层限制单元 105 和 合成单元 108。然后, 处理推进至步骤 S106。 0078 在步骤 S106 中, 层限制单元 105 限制这样的层 : 在该层上, 利用第一估计单元 104 估计的头部区域304, 第二检测单元106将对特征量生成单元102生成的特征量执行检测处 理。 0079 作为限制层的方法, 层限制单元105利用等式(2)。

33、计算系数, 同时通过合成第一估 计单元 104 和第二估计单元 107 获取的结果设置最终结果, 作为学习数据, 并根据等式 (3) 计算头部区域的线性预测中的层和所述系数。 0080 这样就有可能确定最适合于第二检测单元 106 执行检测处理的层的特征量。如图 5 所示, 根据确定的层将被执行检测处理的分层图像 507 的特征量和未被执行检测处理的 分层图像 509 的特征量分离。然后, 处理推进至步骤 S107。 0081 在步骤 S107 中, 第二检测单元 106 执行检测处理。 0082 作为检测方法, 通过滑动模型 508 的窗口在各个位置处执行检测处理, 所述模型 508已经通过。

34、学习方法被预先学习过, 例如SVM或增强法。 另外, 在本示例性实施方式中, 所 述模型检测人的整个身体, 但本发明不限于人的整个身体。 0083 如图 6 所示, 经过第二检测单元 106 的检测处理后, 获取检测结果 610-612。检测 结果 610-612 被输出至第二估计单元 107。然后, 处理推进至步骤 S108。 0084 在步骤 S108 中, 第二估计单元 107 从第二检测单元 106 获取的检测结果 610-612 中的每一个估计特定部分。 0085 在本示例性实施方式中, 第二估计单元 107 估计头部区域作为特定部分, 但是本 发明不限于此。作为估计头部区域的方法,。

35、 第二估计单元 107 通过第一估计单元 104 利用 等式 (1) 执行估计。 0086 如图 6 所示, 由第二估计单元 107 估计的头部区域估计结果 610-612 被获取。获 取的头部区域估计结果 610-612 被输出至合成单元 108。然后, 处理推进至步骤 S109。 0087 在步骤 S109 中, 合成单元 108 将第一估计单元 104 估计的头部区域 203 和第二估 计单元 107 估计的头部区域 620-622 合成。 0088 作为合成处理方法, 合成单元 108 计算头部区域 203 和头部区域 620-622 中的每 一个之间的重合度, 然后选择具有最高重合度。

36、的合成结果作为从其中检测相同目标的头部 帧。 0089 如图 6 所示, 头部区域 203 和头部区域 620 具有最高重合度, 因此选择这两个检测 帧作为一个组合, 然后检测结果 610 被作为最终检测结果输出。另外, 检测结果 611-612 被 合成单元 108 作为虚假检测处理。 0090 然后, 整个处理结束。 0091 图 8 展示了本发明第二示例性实施方式的物体检测装置 800 的轮廓。 0092 如图 8 所示, 物体检测装置 800 包括图像获取单元 801、 特征量生成单元 802、 具有 多个检测模型的第一检测单元 803、 第一估计单元 804、 层限制单元 805、 。

37、具有多个检测模型 的第二检测单元 806、 第二估计单元 807 以及合成单元 808。 0093 图像获取单元 801 从照相机或者从预先捕捉的图像中获取图像 901。然后获取的 图像 901 被发送至特征量生成单元 802。 说 明 书 CN 103366171 A 9 7/10 页 10 0094 特征量生成单元802通过以图10所示的预定比例尺放大/缩小图像获取单元801 获取的图像901生成分层图像1002, 并为分层图像1002的每层生成一个特征量。 生成的特 征量可以是 HOG 特征量、 类哈尔 (Haar-like) 特征量或色彩特征量。 0095 生成的层特征量被输入至第一检。

38、测单元 803 和层限制单元 805。 0096 第一检测单元 803 对特征量执行检测处理。如图 10 所示, 第一检测单元 803 具 有多个人的头部区域作为模型, 并通过滑动每个模型的窗口在每个位置处对分层图像 1001 的特征量执行检测处理, 从而检测目标物体的区域。 在本示例性实施方式中, 第一检测单元 803检测人的头部周围区域。 这里所说的术语 “头部周围区域” 用于表示不仅包括人的头部、 甚至还包括肩膀的区域。检测目标不限于人的头部周围区域, 也可以是胳膊、 躯干、 腿等。 0097 利用在第一示例性实施方式中描述的已知技术检测头部区域。 0098 第一检测单元 803 检测分。

39、层图像 1001 的特征量中的结果 1104-1106。检测结果 1104-1106 被发送至第一估计单元 804。 0099 第一估计单元 804 基于第一检测单元 803 获取的头部周围区域的检测结果 1104-1106 估计特定部分区域。在本示例性实施方式中, 第一估计单元 804 估计头部区域, 但本发明不限于此。 0100 作为估计头部区域的方法, 可以利用第一检测单元 803 的检测结果的位置坐标通 过以下等式 (4) 获得头部区域 : 0101 0102 在等式 (4) 中, x1和 y1代表检测结果的左上角的坐标, x2和 y2代表检测结果的右 下角的坐标。 0103 在等式 。

40、(4) 中,“A” 代表矩阵, 所述矩阵是基于中心坐标和根滤波器的尺寸将单次 检测结果中的部分滤波器的左上角的坐标和右下角的坐标标准化处理后得到的值转换而 来的。另外,“Pm” 代表从学习中获取的系数组成的矢量 (“m” 代表模型的序号 )。此时, 每 个模型的 “Pm” 的参数是这样计算出来的 : 对具有作为正确答案的头部帧以及作为一组的 第二检测单元 806 的一帧的学习数据执行最小平方法。 0104 如图 11 所示, 头部区域的估计结果 1114-1116 被从头部区域的检测结果 1104-1106 中评估出来。头部区域的估计结果 1114-1116 被输出至层限制单元 805 和合成。

41、 单元 808。 0105 层限制单元 805 确定这样的层 : 在该层上, 根据第一估计单元 804 估计的头部帧 1114-1116, 第二检测单元 806 将对分层图像 1002 的特征量执行检测处理。 0106 图12展示了从合成单元808输出的关于学习数据的最终检测结果的分布情况, 每 个分布图代表当时的头部区域的尺寸以及对应于检测到从第二检测单元 806 输出结果的 特征量的层。 0107 分布图 1201 代表处于直立位置的人的整个身体。分布图 1202 代表处于前倾位置 的人的整个身体。分布图 1203 代表处于蹲坐位置的人的整个身体。如果有不同于上述方 说 明 书 CN 10。

42、3366171 A 10 8/10 页 11 式的姿势, 不同的层适合于从头部区域的尺寸中估计。因此, 对于每个模型而言, 都用最小 平方法获得系数, 所述系数可根据等式 (5) 计算出 : 0108 0109 在等式 (5) 中,“Am” 代表通过求每个模型的学习数据中的头部帧的尺寸的对数得 到的结果组成的矩阵,“Bm” 代表由第二检测单元 806 对每个模型的检测结果中的层组成的 矩阵。 0110 利用计算出的系数, 根据等式 (6) 计算出会被执行检测处理的层。 0111 层 m coeff1m*log( 宽度 )+coeff2m*log( 高度 )+coeff3m 0112 (6) 0。

43、113 通过计算该头部区域的系数的加权和, 判定最适合将由第二检测单元 806 执行的 检测处理的层是有可能的。如图 13 所示, 根据确定的层 1307, 将被执行检测处理的层 1307 和未被执行检测处理的层 1308 分离。 0114 取决于特征量生成单元802和层限制单元805, 第二检测单元806仅对被限制的分 层图像 1307 执行检测处理。 0115 如图13所示, 作为检测处理方法, 通过滑动每个模型1309的窗口在各个位置处执 行检测处理, 所述模型 1309 已经通过学习方法被预先学习过, 例如 SVM 或增强法。在本示 例性实施方式中, 所述模型检测人的整个身体, 但是本。

44、发明不限于此。 0116 另外, 在本示例性实施方式中, 例如, 第二检测单元 806 利用某个模型检测处于直 立位置的人, 而利用另一个模型检测处于蹲坐位置的人。利用这种方式, 第二检测单元 806 可以利用不同的模型检测姿势改变的人的身体。如图 14 所示, 通过检测处理, 具有不同姿 势的人的整个身体的检测结果 1410-1415 被获取。获取的检测结果 1410-1415 被输出至第 二估计单元 807。 0117 第二估计单元 807 从第二检测单元 806 获取的检测结果 1410-1415 中估计特定部 分区域。在本示例性实施方式中, 第二估计单元 807 估计头部区域, 但是本。

45、发明不限于此。 更不用说, 由第二估计单元 807 估计的特定部分区域也不限于头部区域, 也可以和第一估 计单元 804 估计的区域相同。这是因为合成单元 808( 下文描述 ) 将第一估计单元 804 估 计的区域和第二估计单元 807 估计的区域合成。 0118 作为估计方法, 第二估计单元 807 利用等式 (4) 估计每个模型的头部区域, 等式 (4) 也被第一估计单元 804 使用。然后, 获取的头部帧 1420-1425 被输出至合成单元 808。 0119 合成单元808以与第一示例性实施方式相似的方式将第一估计单元804的头部区 域 1114-1116 和第二估计单元 807 。

46、的头部区域 1420-1425 合成。最后, 在本示例性实施方 式中, 区域 1410、 1411、 1412 被作为最终检测结果输出。 0120 本示例性实施方式的配置就是这样。 0121 图 15 展示了本发明的第三示例性实施方式的物体检测装置 1500 的轮廓。 0122 如图 15 所示, 物体检测装置 1500 包括以下单元 : 图像获取单元 801、 特征量生成 单元 802、 具有多个检测模型的第一检测单元 803、 第一估计单元 804、 层 / 范围限制单元 1505、 具有多个检测模型的第二检测单元 1506、 第二估计单元 807 以及合成单元 808。 说 明 书 CN。

47、 103366171 A 11 9/10 页 12 0123 在本示例性实施方式中, 在层/范围限制单元1505限制层以及第二检测单元1506 将利用的各模型的检测处理范围以后, 第二检测单元 1506 根据所述限制执行检测处理。层 /范围限制单元1505判定分层图像的特征量, 在所述分层图像上, 基于从第一估计单元804 获取的头部区域的估计尺寸和位置, 对各模型执行检测处理。 0124 首先, 层 / 范围限制单元 1505 利用等式 (6) 计算层, 以便计算处于直立位置的人 的分层图像 1601。 0125 然后, 层 / 范围限制单元 1505 判定从头部估计区域位置 1602 起的。

48、检测处理范围 1604, 以及判定模型 1603 的滤波器尺寸, 从而允许彻底检索包括以头部估计区域位置 1602 为中心的、 头部估计区域位置 1602 的上、 下、 右、 左方的模型 1603 的滤波器的范围。此时, 检测处理范围 1604 可以作为一个区域存储在存储器中, 或者作为地图保存, 在该地图中检 测处理范围 1604 的内部被标示出来。 0126 第二检测单元 1506 仅利用对应于判定的检测处理范围 1604 的模型执行检测处 理。 0127 类似地, 对于处于蹲坐位置的人, 层 / 范围限制单元 1505 关注于分层图像 1605 的 特征量, 并判定从头部区域 1606 。

49、的位置起的检测处理范围 1608, 以及判定模型 1607 的尺 寸。对于处于前倾位置的人, 层 / 范围限制单元 1505 也关注于分层图像 1609 的特征量, 并 判定从头部区域 1610 的位置起的检测处理范围 1612, 以及判定模型 1611 的尺寸。 0128 根据上述配置, 可以加快整个检测处理。 0129 上文已描述了示例性实施方式的各种情况, 作为第一至第三实施方式, 但这是仅 仅是下述配置的例子而已。基于下述配置的其他实施方式也在本发明的范围内。 0130 首先, 获取包括目标物体的图像 ( 图像获取步骤 )。然后, 以多个不同的放大率放 大 / 缩小所述图像, 以生成分层图像 ( 分层图像生成步骤 )。然后,。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1