车辆周围监测装置.pdf

1、(10)申请公布号 CN 102906801 A (43)申请公布日 2013.01.30 C N 1 0 2 9 0 6 8 0 1 A *CN102906801A* (21)申请号 201180026101.0 (22)申请日 2011.05.30 2010-129841 2010.06.07 JP G08G 1/16(2006.01) G06T 1/00(2006.01) G06T 7/60(2006.01) H04N 7/18(2006.01) (71)申请人本田技研工业株式会社 地址日本东京都 (72)发明人相村诚 长冈伸治 (74)专利代理机构北京华夏正合知识产权代理 事务所(普通

2、合伙) 11017 代理人韩登营 栗涛 (54) 发明名称 车辆周围监测装置 (57) 摘要 本发明提供一种车辆周围监测装置，具有：获 取车辆周围的图像的摄像机构；对拍到的灰度图 像进行多值化处理的机构；在经多值化处理的图 像中含候选被监测对象的区域内用第1边缘抽 出框检出多个水平边缘的机构；头部上端检测机 构，其将多个水平边缘中边缘强度最大的水平边 缘的位置检为被监测对象的头部的上端位置；用 从被监测对象的头部的上端位置向下延伸的第2 边缘抽出框检出多个垂直边缘的机构；头部下端 检测机构，其根据多个垂直边缘的位置变化检出 被监测对象的头部的下端位置；根据被监测对象 的头部的上端位置和头部的下

3、端位置的间隔确定 被监测对象的头部区域的机构；经多值化处理的 图像中含被监测对象的头部区域，至少根据该头 部区域来判定被监测对象是否是规定的被监测对 象的机构。 (30)优先权数据 (85)PCT申请进入国家阶段日 2012.11.26 (86)PCT申请的申请数据 PCT/JP2011/003007 2011.05.30 (87)PCT申请的公布数据 WO2011/155152 JA 2011.12.15 (51)Int.Cl. 权利要求书1页 说明书5页 附图5页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 5 页 附图 5 页 1/1页 2 1

4、.一种车辆周围监测装置，其特征在于，具有： 摄像机构，其搭载在车辆上，用于获取该车辆周围的图像； 多值化处理机构，由其对通过上述摄像机构所拍到的灰度图像进行多值化处理； 水平边缘检测机构，由其在多值化处理后的图像中，对包含候选被监测对象的区域设 定第1边缘抽出框，由该框内的图像中检测多个水平边缘； 头部上端检测机构，由其在上述第1边缘抽出框内的图像中，将上述多个水平边缘中 边缘强度最大的水平边缘的位置作为被监测对象的头部的上端位置而进行检测； 垂直边缘检测机构，由其在经过多值化处理后的上述图像中，设置第2边缘抽出框，该 第2边缘抽出框从上述被监测对象的头部的上端位置向下延伸，由该第2边缘抽出框

5、内的 图像中检测多个垂直边缘； 头部下端检测机构，由其在上述第2边缘抽出框内的图像中，根据上述多个垂直边缘 的位置变化情况检测出上述被监测对象的头部的下端位置； 头部区域确定机构，由其根据上述被监测对象的头部的上端位置和头部的下端位置之 间的间隔，在经过多值化处理后的上述图像中确定上述被监测对象的头部区域； 被监测对象判定机构，经过多值化处理后的上述图像中包含上述被监测对象的头部区 域，由所述被监测对象判定机构至少根据该被监测对象的头部区域来判定该被监测对象是 否是规定的被监测对象。 2.根据权利要求1所述的车辆周围监测装置，其特征在于， 上述摄像机构由单个红外线摄像头构成，还具有距离求出机构

6、：由其根据经过多值化 处理后的上述图像中规定的被监测对象的尺寸或该尺寸随时间的变化情况，求出实际空间 中的上述车辆到上述被监测对象的距离。 3.根据权利要求2所述的车辆周围监测装置，其特征在于， 还具有接触判定机构，由其根据上述距离求出机构所求出的上述距离，以及上述车辆 的制动操作量、车速、横向角速度中所选的至少一项，判定上述车辆与上述被监测对象之间 发生接触的可能性。 4.根据权利要求13的任意一项所述的车辆周围监测装置，其特征在于，还具有： 头部区域信息求出机构，由其利用上述灰度图像中的灰度曲线来求出上述被监测对象 的头部区域的信息； 可靠性判定机构，由其对上述求出的头部区域的信息和由上述

7、头部区域确定机构确定 的上述被监测对象的头部区域的信息进行对比，用以判定由上述头部区域确定机构确定的 上述被监测对象的头部区域的信息的可靠性。 权 利 要 求 书CN 102906801 A 1/5页 3 车辆周围监测装置 技术领域 0001 本发明涉及一种车辆周围监测装置，尤其涉及一种由搭载在车辆上的摄像机构所 拍到的图像中检测出包括行人在内的被监测对象的头部区域的装置。 背景技术 0002 在专利文献1中公开有一种用于监测车辆的周围情况的车辆周围监测装置，在该 车辆周围监测装置中，在由搭载在车辆上的摄像机构所拍到的图像中，利用边缘滤波器获 取水平边缘的位置而监测被监测对象(例如行人)，再确

8、定该被监测对象的一部分(例如头 部)。 0003 专利文献1：日本发明专利公报特许第4128562号 0004 在专利文献1所记载的车辆周围监测装置中，利用左右一组红外线摄像头(立体 摄像头)获取左右图像，通过求出所述左右图像中的被监测对象的视差来求出到该被监测 对象的距离，利用该距离信息来设定包含图像中的被监测对象的区域(框区域)。 0005 因此，若使用单个红外线摄像头则无法获取正确的距离信息，从而无法恰当地在 图像中设定框区域。 0006 另外，由于搭载2台摄像头不但成本上涨，而且还需调整2个摄像头的光轴。 0007 还有，近年来为判定车辆周围的大人或孩子等，人们研究在求出距离前对行人头

9、 部尺寸的进行处理的方法，不需要使用距离信息而能求出行人头部尺寸的求法。 发明内容 0008 对此，本发明的目的在于减少或者消除上述现有技术中的问题，即本发明的目的 在于提供如下一种车辆周围监测装置：其不使用车辆和被监测对象(例如行人)之间的距 离信息就能精准地检测出图像中的被监测对象的头部区域，从而提高对被监测对象的检测 精度。 0009 本发明提供一种车辆周围监测装置。该车辆周围监测装置具有：摄像机构，其搭载 在车辆上，用于获取该车辆周围的图像；多值化处理机构，由其对通过摄像机构拍到的灰度 图像进行多值化处理；水平边缘检测机构，由其在多值化处理后的图像中，对包含候选被监 测对象的区域设定第

10、1边缘抽出框，由该框内的图像中检测多个水平边缘；头部上端检测 机构，由其在第1边缘抽出框内图像中，将多个水平边缘中边缘强度最大的水平边缘的位 置作为被监测对象的头部的上端位置而进行检测；垂直边缘检测机构，由其在经多值化处 理后的图像中，设置第2边缘抽出框，该第2边缘抽出框，该第2边缘抽出框从被监测对象 的头部的上端位置向下延伸，由该第2边缘抽出框内的图像检测多个垂直边缘；头部下端 检测机构，由其在第2边缘抽出框内图像中，根据多个垂直边缘的位置变化情况检测出被 监测对象的头部的下端位置；头部区域确定机构，由其根据被监测对象的头部的上端位置 和头部的下端位置之间的间隔，在经多值化处理后的图像中确定

11、被监测对象的头部区域； 被监测对象判定机构，经多值化处理后的图像中包含该被监测对象的头部区域，由所述被 说 明 书CN 102906801 A 2/5页 4 监测对象判定机构至少根据该被监测对象的头部区域来判定该被监测对象是否是规定的 被监测对象。 0010 采用本发明时，不需要使用车辆和被监测对象(例如行人)之间的距离信息就能 精准地检测出图像中的被监测对象的头部区域，从而能够提高对被监测对象的识别精度。 0011 在本发明的一个技术方案中，摄像机构由单个红外线摄像头构成，还具有距离求 出机构：由其根据经多值化处理后的图像中规定的被监测对象的尺寸或该尺寸随时间的变 化情况，求出实际空间中的车

12、辆到被监测对象的距离。 0012 采用本发明的一个技术方案时，即使使用单个红外线摄像头也能精准地检测出图 像中的被监测对象的头部区域，还能求出实际空间中的车辆到被监测对象的距离。 附图说明 0013 图1是表示本发明一个实施方式的车辆周围监测装置的结构的框图。 0014 图2是用于说明本发明一个实施方式的红外线摄像头安装位置的图。 0015 图3是表示本发明一个实施方式的图像处理单元的处理流程的图。 0016 图4是表示本发明一个实施方式的抽出被监测对象的头部的处理流程的图。 0017 图5是用于说明本发明一个实施方式的利用水平(第1)边缘抽出框的图。 0018 图6是用于说明本发明一个实施方

13、式的利用垂直(第2)边缘抽出框的图。 0019 图7是用于说明本发明一个实施方式的求出头部高度、宽度、中心位置的图。 具体实施方式 0020 下面，参照附图说明本发明的实施方式。图1是表示本发明一个实施方式的车辆 周围监测装置的结构的框图。车辆周围监测装置具有：图像处理单元12，其搭载在车辆上， 根据由红外线摄像头10所拍到的图像数据检测车辆周围的物体；扬声器14，其根据图像处 理单元12的检测结果用声响或声音发出警报；显示装置16，其既显示由红外线摄像头10 所拍到的图像，又进行提示以使驾驶员察觉到车辆周围的被监测对象。 0021 对于具有导航装置的车辆，作为扬声器14和显示装置16，也可利

14、用导航装置所具 的相应功能。另外，红外线摄像头10的数量并不限于1个，也可以设置2个以上。还有，也 可以使用利用其他波长带(可见光)的摄像头(CCD摄像头等)来代替红外线摄像头10。 0022 作为其构成(功能)，图1中的图像处理单元12具有框121129所示的功能。 即，图像处理单元12具有：多值化处理机构121，由其对通过红外线摄像头10拍到的灰度 图像进行多值化处理；区域抽出机构122，由其在经多值化处理后的图像中抽出包含候选 被监测对象的区域；水平边缘检测机构123，由其利用第1边缘抽出框在上述区域内，由该 框内的图像中检测多个水平边缘；头部上端检测机构124，由其在第1边缘抽出框内图

15、像 中，将多个水平边缘中边缘强度最大的水平边缘的位置作为被监测对象的头部的上端位置 而进行检测；垂直边缘检测机构125，由其在经多值化处理后的图像中，设置第2边缘抽出 框，该第2边缘抽出框从上述被监测对象的头部的上端位置向下延伸，由该第2边缘抽出框 内的图像中检测多个垂直边缘；头部下端检测机构126，由其在第2边缘抽出框内图像中， 根据多个垂直边缘的位置变化情况检测出被监测对象的头部的下端位置。 0023 图像处理单元12还具有以下机构所具有的功能：头部区域确定机构127，由其根 说 明 书CN 102906801 A 3/5页 5 据被监测对象的头部的上端位置和头部的下端位置之间的间隔，在经

16、多值化处理后的图像 中确定被监测对象的头部区域；被监测对象判定机构128，经过多值化处理后的图像中包 含该被监测对象的头部区域，由被监测对象判定机构128至少根据该被监测对象的头部区 域来判定该被监测对象是否是规定的被监测对象；距离求出机构129，由其根据经多值化 处理后的图像中规定的被监测对象的尺寸或该尺寸随时间的变化情况，求出实际空间中的 车辆到被监测对象的距离。 0024 图像处理单元12又具有以下功能：由用于测出己方车辆的速度(车速)的车速传 感器、制动传感器、用于测出横向角速度(转动方向上的转角变化速度)的横向角速度传感 器等输出检测信号，由图像处理单元12接收该检测信号而进行必要的

17、处理。 0025 各框中机构的功能由图像处理单元12所具有的电脑(CPU)来实现。另外，也可将 图像处理单元12的构成组装在导航装置中。 0026 作为其硬件构成，图像处理单元12例如具有：A/D变换电路，由其将输入的模 拟信号变换为数字信号；图像存储器，由其存储数字形式的图像信号；中央运算处理装置 (CPU)，由其进行各种运算处理；RAM，其用于在CPU进行运算时存储数据；ROM，其用于存储 CPU所执行的程序和使用的数据(包括表格、图表)；输出电路，其用于输出扬声器14的驱 动信号和显示装置16的显示信号等。来自红外线摄像头10的输出信号被变换为数字信号 后输出给CPU。 0027 图2是

18、用于说明本发明一个实施方式的图1所示的红外线摄像头10的安装位置 的图。如图2所示，红外线摄像头10设置在车辆20的前保险杠的车宽方向上的中央部。红 外线摄像头10具有如下特性：物体的温度越高，其输出信号的强度越强(即灰度增大)。图 2中的符号16a例举了将平视显示器(以下称为“HUD”)用作显示装置16的例子。如图所 示，HUD 16a设置成在车辆20的前挡风玻璃上的不妨碍驾驶员前方视线的位置以对显示画 面进行显示。 0028 图3是本发明一个实施方式的、图像处理单元12运行时的处理流程。由图像处理 单元12的CPU读取存储在存储器中的处理程序，相隔规定的时间间隔来运行该处理流程。 另外，在

19、以下说明中虽举例说明了对拍到的灰度图像进行二值图像处理而获得黑白图像的 情况，但是也可进行3值以上的多值化处理。此时，虽然处理时所设定的阈值数量会增加， 但是获得多值处理图像的基本方法与采用二值图像处理的处理方法相同。 0029 在步骤S10中，输入红外线图像的模拟信号并对该模拟信号进行A/D变换以形成 灰度图像，将经数字处理的该灰度图像存储在存储器中。其中，该红外线图像的模拟信号为 红外线摄像头10拍摄的每帧图像中的输出信号。 0030 在步骤S11中，对获得的灰度图像进行二值图像处理(将灰度在阈值以上的像素 作为“1(白)”、小于该阈值的像素作为“0(黑)”的处理)，对拍到的每帧图像都获取

20、对应 于灰度图像的二值图像并存储在存储器中。 0031 在步骤S12中，沿x方向(水平方向)上的每条扫描线将二值图像中的“1”(白) 变换为游程编码数据，将在y方向上具有重叠部分的线作为一个被监测对象，在该被监测 对象的外接四边形上分别标注标签，通过这种方式对监测对象候选区域进行标注处理。 0032 在接下来的步骤S13中，对在步骤S12中获得的被监测对象候选区域图像，执行抽 出被监测对象的头部的处理。图4是表示抽出被监测对象的头部的处理过程(处理流程)。 说 明 书CN 102906801 A 4/5页 6 0033 在图4所示的步骤S131中，在包含被监测对象候选区域的图像中，设置用于检测

21、 出水平边缘的边缘抽出框。图5是用于说明设置边缘抽出框的图。图5中(a)为包含被监 测对象候选区域22的二值图像。在被监测对象候选区域22内有作为被监测对象的像人体 (行人)般的影像。边缘抽出框如符号25所示。具体地讲，例如将Sobel滤波器、Prewitt 滤波器等具有去除噪声功能的边缘滤波器对边缘抽出框25内的图像(像素)进行处理。 0034 在步骤S132中，检测出边缘抽出框25内图像中的水平边缘26。检测水平边缘的 方法利用现有的方法，如采用边缘滤波器的输出轴是否大于规定的阈值的方法来检测。在 步骤S133中，将水平边缘26中边缘强度最大的像素位置作为头部的上端位置而进行检测。 在图5

22、的例子中，其中(b)中的PT的位置为头部的上端位置。像这样采用本发明实施方式 中的方法，能由边缘抽出框内检测出的水平边缘(其边缘强度)来确定被监测对象的头部 的上端位置。 0035 在步骤S134中，将用来检测出垂直边缘的边缘抽出框设置在被监测对象候选区 域的图像中。图6是用于说明设置边缘抽出框的图。与图5中(a)相同，图6中(a)也是 包含被监测对象候选区域22的二值图像。边缘抽出框如符号28所示，在步骤S133中边缘 抽出框28由检测出的头部23的上端位置PT向下延伸。具体地讲，例如将用于抽出规定密 度值以上的灰度的差值的滤波器利用于边缘抽出框28内的图像(像素)中，根据需要也可 以去除噪

23、声。 0036 在步骤S135中，检测出边缘抽出框28内图像中的垂直边缘29。检测垂直边缘利用 现有的方法，如采用边缘滤波器的输出轴是否大于规定的阈值的方法来检测。在步骤S136 中，检测出垂直边缘的像素的位置变化情况符合规定的模式时，将该像素位置作为头部23 的下端位置而进行检测。在图6的例子中，若头部23的下部像素的位置变化情况符合其中 (b)所示的模式时，将该像素位置作为头部23的下端位置PB。另外，在图6中(b)中，符号 30指示的1个区域(四边形)表示1个像素。还有，该(b)模式只是1个示例而已，作为规 定的模式，可以采用能抽出头部23的下端位置的任意合适的模式。像这样采用本发明实施

24、 方式的方法，能够由边缘抽出框内检测出的垂直边缘中的像素的位置变化情况(模式)来 确定被监测对象的头部的下端(肩部)位置。 0037 在步骤S137中，求出头部23的高度、宽度、中心位置。图7是用于说明求出头部 23的高度、宽度、中心位置的图。在图7中，在由最初已检测出的头部23的上端PT和下端 PB所确定的区域内设定框区域30。将头部23的高度作为框区域30的高度而求出，即、头 部23的上端PT和下端PB之间的间隔h作为框区域30的高度。 0038 接下来在所设定的框区域30内抽出垂直边缘29。此时，将不具有连续性的边缘像 素作为噪声而去除。接着求出在每条X线上连续的边缘抽出像素数，将大于规

25、定的阈值的 像素位置两端作为头部两端而求出头部宽度。更具体地讲，将框区域30分为左右2个区域， 在各区域内从外侧向内侧搜索，在最初有边缘点的合计值的像素位置符合规定的条件时作 为头部两端的位置。在图7的例子中，其中(b)的位置Xa、Xb为头部23的两端的位置，可 从两位置的间隔求出头部宽度W。头部23的中心位置可作为所求出的头部宽度W的中心像 素位置而求出。在图7的例子中，符号PC的位置为中心位置。 0039 像这样采用本发明实施方式的方法，能不使用车辆和被监测对象(例如行人)之 间的距离信息就能够精准地检测出被监测对象的头部区域的尺寸(上端、下端、高度、宽 说 明 书CN 102906801

26、 A 5/5页 7 度)。 0040 返回图3，在步骤S14中确定被监测对象区域。以图5图7中的候选被监测对象 的情况为例，首先，从在步骤S13检测出的头部的上端位置PT向下设定框区域。接着，从上 述框区域内的头部的下端位置PB向下并且从左侧向右依次边扫描像素值边进行搜索。这 样，如果较暗区域的“0”像素连续相连时，将该扫描部分判定为图像中的候选被监测对象 23、24和路面的边界，并将该边界位置作为被监测对象的下端PF。另外，被监测对象的上端 为之前的头部的上端位置PT。该位置PT和PF之间的区域被确定为被监测对象区域。 0041 在步骤S15中判定被监测对象的种类。例如判定候选被监测对象是否

27、是行人等规 定的被监测对象。其具体判定方法如现有技术所述：如以行人作为被监测对象，判定候选被 监测对象是否符合行人的特征(头部、脚部等)，或者利用公知的模式匹配方法，求出候选 被监测对象和预先保存的表示行人的模式之间的类似程度，再由该类似程度判定是否是行 人。 0042 在步骤S15中推定被监测对象的尺寸。以行人为例，首先，求出所获取的二值图像 中的行人候选的身高H和头部宽度W的比率Ri(Ri=H/W)。另外，若像素不是正方向，需预先 进行格式化。接着参照保存在存储器中的比率R的表格、即表示比率R和实际空间中的身 高和头部宽度之间的关系的表格，推定比率R为求出的比率Ri(R=Ri)时的实际空间

28、中的身 高HT(作为实际空间中的人体身高的尺寸)。 0043 在步骤S17中求出车辆到被监测对象的距离。具体地讲，以行人的情况为例，根据 下式(1)，依照步骤S16中推定的实际空间中的身高HT、图像中的身高H(长度=像素数 像素长度)和焦距F，求出到实际空间中的行人候选的距离Z。另外，式(1)为假定行人的 平均身高约为170cm时的算式。 0044 Z=HTF/H (1) 0045 在步骤S18中，随着时间的变化从一帧一帧地获取的灰度图像和二值图像中，检 测出作为被监测对象的行人等温度较高部分的移动体(移动着的物体)，再检测出移动体 的移动矢量(速度以及方向)。另外，在该步骤S18中，根据作为

29、制动传感器、车速传感器、 横向角速度传感器的各个输出信号的制动操作量、车速、横向角速度和步骤S17中求出的 到被监测对象的距离Z，判定车辆与被监测对象(行人)有无接触的可能性，如果判定为有 接触的可能性，在步骤S19中向驾驶员提供这一信息。具体来讲，既在显示装置16(HUD16a) 上显示该行人的灰度图像，还通过扬声器14发出警报以提示驾驶员，促使驾驶员进行规避 接触的操作。 0046 上面说明了本发明的实施方式，但本发明并不局限于上述实施方式，可在不脱离 本发明的主旨的范围内可对其进行变型而使用。 0047 例如也可这样做：采用现有方法、即利用灰度图像中的灰度曲线来求出被监测对 象的头部的信

30、息(宽度、中心等)，利用上述本发明实施方式的二值图像中的边缘来检测头 部的信息，然后对比这两者，在确认了后一信息的可靠性之后再求出车辆到被监测对象之 间的距离和判断两者发生接触的可能性。这样能提高对车辆周围的被监测对象的检测精 度，以进一步提高向驾驶员的提示精度。 0048 【附图标记说明】 0049 10，红外线摄像头；12，图像处理单元；14，扬声器；16，显示装置；16a，HUD；20，车辆 说 明 书CN 102906801 A 1/5页 8 图1 图2 说 明 书 附 图CN 102906801 A 2/5页 9 图3 说 明 书 附 图CN 102906801 A 3/5页 10 图4 说 明 书 附 图CN 102906801 A 10 4/5页 11 图5 图6 说 明 书 附 图CN 102906801 A 11 5/5页 12 图7 说 明 书 附 图CN 102906801 A 12