图像处理装置.pdf

《图像处理装置.pdf》由会员分享，可在线阅读，更多相关《图像处理装置.pdf（19页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN101943579A43申请公布日20110112CN101943579ACN101943579A21申请号201010222576422申请日20100702200915747320090702JPG01C11/0020060171申请人三洋电机株式会社地址日本国大阪府72发明人浅利圭介74专利代理机构中科专利商标代理有限责任公司11021代理人李贵亮54发明名称图像处理装置57摘要本发明提供一种图像处理装置。将照相机CM_0CM_3设置于在路面上移动的车辆的互不相同的位置，输出表示车辆的周围的被摄场景像P_0P_3。CPU12P基于输出的被摄场景像P_0P_3生成相对于路。

2、面的全周鸟瞰图像，在显示装置24的画面中显示生成的全周鸟瞰图像。CPU12P还与全周鸟瞰图像的生成处理并行地检测车辆的位置，并基于检测出的位置和数据库22的地图数据来生成导航信息，然后在显示装置24的画面中显示生成的导航信息。由此，就能够在同一画面中确认车辆100周围的安全性及导航信息两者，提高操纵支援性能。30优先权数据51INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书1页说明书6页附图11页CN101943586A1/1页21一种图像处理装置，包括多个照相机，设置于在基准面上移动的移动体的互不相同的位置，输出表示上述移动体的周围的被摄场景像；第一生成部件，其基于从上述。

3、多个照相机输出的被摄场景像，生成相对上述基准面的鸟瞰图像；第一显示部件，其在监视器画面中显示由上述第一生成部件生成的鸟瞰图像；检测部件，其与上述第一生成部件的生成处理并行地检测上述移动体的位置；第二生成部件，其基于上述检测部件的检测结果和地图信息，生成导航信息；以及第二显示部件，其与上述第一显示部件的显示处理相关联地在上述监视器画面中显示由上述第二生成部件生成的导航信息。2根据权利要求1所述的图像处理装置，其特征在于，上述导航信息包括地图图像，上述第一显示部件包括第一复合部件，该第一复合部件将上述鸟瞰图像复合在上述地图图像中。3根据权利要求2所述的图像处理装置，其特征在于，上述移动体及上述基准。

4、面分别相当于车辆及路面，上述第一显示部件还包括决定部件，该决定部件参照路面绘图来决定上述鸟瞰图像的复合位置。4根据权利要求3所述的图像处理装置，其特征在于，上述决定部件还参照上述移动体的方向来决定上述复合位置。5根据权利要求1至4中任一项所述的图像处理装置，其特征在于，上述导航信息包括可视地表示到目的地为止的路线的路线信息，上述第二显示部件包括第二复合部件，该第二复合部件将上述路线信息复合在上述地图图像和/或上述鸟瞰图像中。6根据权利要求1至5中任一项所述的图像处理装置，其特征在于，该图像处理装置还包括发生部件，该发生部件在从上述移动体的周边检测出障碍物时发出警告。权利要求书CN1019435。

5、79ACN101943586A1/6页3图像处理装置技术领域0001本发明涉及一种图像处理装置，特别地，涉及一种在画面中与导航信息一起显示表示由设置在移动体上的照相机捕捉到的被摄场景的图像的图像处理装置。背景技术0002此种装置的一例在专利文献1中被公开。根据其背景技术，由安装在汽车的前端的照相机捕捉汽车行进方向的景色。图像合成部将导航信息要素合成为由照相机捕捉到的实拍图像，在显示器中显示合成图像。由此，驾驶员能更感觉灵敏地把握汽车的现在位置和行进路径。0003专利文献1JP特开平11108684号公报发明内容0004但是，与导航信息要素合成的实拍图像仅仅表示汽车的行进方向的景色。为此，在背景。

6、技术中，在操纵支援性能上存在限制。0005因此，本发明的主要目的在于，提供一种能提高操纵支援性能的图像处理装置。0006根据本发明的图像处理装置10在实施例中相应的参照符号。以下相同，包括多个照相机CM_0CM_3，设置于在基准面上移动的移动体100的互不相同的位置，输出表示移动体的周围的被摄场景像；第一生成部件S21，其基于从多个照相机输出的被摄场景像，生成相对基准面的鸟瞰图像；第一显示部件S31S33、S39S47，其在监视器画面中显示由第一生成部件生成的鸟瞰图像；检测部件S23，其与第一生成部件的生成处理并行地检测移动体的位置；第二生成部件S27、S35、S53、S57，其基于检测部件的。

7、检测结果和地图信息，生成导航信息；以及第二显示部件S29、S37、S55、S59，其与第一显示部件的显示处理相关联地在监视器画面中显示由第二生成部件生成的导航信息。0007优选地，导航信息包括地图图像，第一显示部件包括第一复合部件S47，上述第一复合部件将鸟瞰图像复合在地图图像中。0008进一步优选地，移动体及基准面分别相当于车辆及路面，第一显示部件还包括决定部件S43、S45，上述决定部件参照路面绘图来决定鸟瞰图像的复合位置。更优选地，决定部件还参照移动体的方向来决定复合位置。0009优选地，导航信息包括可视地表示到目的地为止的路线的路线信息，第二显示部件包括第二复合部件S55、S59，上述。

8、第二复合部件将路线信息复合在地图图像和/或鸟瞰图像中。0010优选地，还包括发生部件S61S63，上述发生部件在从移动体的周边检测出障碍物时发出警告。0011发明效果0012根据本发明，基于来自设置在移动体的互不相同的位置的多个照相机的输出，生成鸟瞰图像，再现移动体的周围。基于移动体的位置和地图信息生成的导航信息，与这样的说明书CN101943579ACN101943586A2/6页4鸟瞰图像一起在监视器画面中被显示。由此，能在同一画面中确认移动体的周围的安全性及导航信息双方，提高操纵支援性能。0013本发明的上述目的、其它目的、特征及优点，基于参照附图进行的如下实施例的详细的说明将更加明了。。

9、附图说明0014图1是表示本发明的基本的结构的方框图。0015图2是表示本发明的一实施例的结构的方框图。0016图3是表示搭载了图2实施例的车辆的一例的斜视图。0017图4是表示由安装在车辆上的多个照相机捕捉的视野的图解图。0018图5是表示基于照相机的输出的鸟瞰图像的生成工作的一部分的图解图。0019图6是表示由显示装置显示的驾驶支援图像的一例的图解图。0020图7A是表示对应并列显示模式而显示的驾驶支援图像的一例的图解图，B是表示对应复合显示模式而显示的驾驶支援图像的一例的图解图。0021图8是表示在检测到障碍物时显示的警告的一例的图解图。0022图9是表示适用于图2实施例的CPU的工作的。

10、一部分的流程图。0023图10是表示适用于图2实施例的CPU的工作的另一部分的流程图。0024图11是表示适用于图2实施例的CPU的工作的另一部分的流程图。0025图12是表示适用于图2实施例的CPU的工作的又一部分的流程图。0026符号说明002710操纵支援装置0028CM_0CM_3照相机002912图像处理电路003014存储器003112PCPU003220GPS装置003318显示装置003426闪速存储器0035100车辆具体实施方式0036下面，参照附图说明本发明的实施方式。0037基本的结构0038参照图1，本发明的图像处理装置基本结构如下。多个照相机1、1、被设置于在基准面。

11、上移动的移动体的互不相同的位置，输出表示移动体的周围的被摄场景像。第一生成部件2，基于从多个照相机1、1、输出的被摄场景像，生成相对基准面的鸟瞰图像。第一显示部件3，在监视器画面7中显示由第一生成部件2生成的鸟瞰图像。与第一生成部件2的生成处理并行，检测部件4检测移动体的位置。第二生成部件5，基于检测部件4的检测结果和地图信息，生成导航信息。第二显示部件6，与第一显示部件3的显示处理相关联说明书CN101943579ACN101943586A3/6页5地在监视器画面7中显示由第二生成部件5生成的导航信息。0039基于来自设置在移动体的互不相同的位置的多个照相机1、1、的输出，生成鸟瞰图像，再现。

12、移动体的周围。基于移动体的位置和地图信息而生成的导航信息，与这样的鸟瞰图像一起在监视器画面7中被显示。由此，能在同一画面中确认移动体的周围的安全性及导航信息双方，提高操纵支援性能。0040实施例0041图2所示的此实施例的操纵支援装置10包括4个照相机CM_0CM_3。照相机CM_0CM_3，每1/30秒分别输出被摄场景像P_0P_3。输出的被摄场景像P_0P_3被给予图像处理电路12。0042参照图3，照相机CM_0，以照相机CM_0的光轴向车辆100的前方斜向下方向延伸的姿势被设置在车辆100的前上侧部。照相机CM_1，以照相机CM_1的光轴向车辆100的右方斜向下方向延伸的姿势被设置在车。

13、辆100的右上侧部。照相机CM_2，以照相机CM_2的光轴向车辆100的后方斜向下方向延伸的姿势被设置在车辆100的后上侧部。照相机CM_3，以照相机CM_3的光轴向车辆100的左方斜向下方向延伸的姿势被设置在车辆100的左上侧部。用这样的照相机CM_0CM_3，从与路面斜交叉的方向捕捉车辆100的周边的被摄场景。0043如图4所示，照相机CM_0具有捕捉车辆100的前方向的视野VW_0，照相机CM_1具有捕捉车辆100的右方向的视野VW_1，照相机CM_2具有捕捉车辆100的后方向的视野VW_2，照相机CM_3具有捕捉车辆100的左方向的视野VW_3。再有，视野VW_0及视野VW_1具有公共。

14、视野CVW_0，视野VW_1及视野VW_2具有公共视野CVW_1，视野VW_2及视野VW_3具有公共视野CVW_2，而且，视野VW_3及视野VW_0具有公共视野CVW_3。0044返回图2，设置在图像处理电路12中的CPU12P，基于从照相机CM_0输出的被摄场景像P_0生成鸟瞰图像BEV_0，基于从照相机CM_1输出的被摄场景像P_1生成鸟瞰图像BEV_1。CPU12P还基于从照相机CM_2输出的被摄场景像P_2生成鸟瞰图像BEV_2，基于从照相机CM_3输出的被摄场景像P_3生成鸟瞰图像BEV_3。0045如图5所表明的，鸟瞰图像BEV_0相当于由在铅直方向上俯视视野VW_0的虚拟照相机捕。

15、捉到的图像，鸟瞰图像BEV_1相当于由在铅直方向上俯视视野VW_1的虚拟照相机捕捉到的图像。此外，鸟瞰图像BEV_2相当于由在铅直方向上俯视视野VW_2的虚拟照相机捕捉到的图像，鸟瞰图像BEV_3相当于由在铅直方向上俯视视野VW_3的虚拟照相机捕捉到的图像。生成的鸟瞰图像BEV_0BEV_3被保持在存储器14的工作区域14W中。0046接着，CPU12P，在鸟瞰图像BEV_0BEV_3上定义与图4所示的再现块BLK相对应的截出线CT_0CT_3，合成存在于比定义的截出线CT_0CT_3更偏内侧的一部分图像，并生成全周鸟瞰图像，然后，在全周鸟瞰图像的中央粘贴对车辆100的上部进行了模仿的车辆图像。

16、GL1。这样，在工作区域14W上完成图6所示的驾驶支援图像ARV。0047与这样的驾驶支援图像ARV的生成处理并行，CPU12P基于GPS装置20的输出来检测车辆100的现在位置，进一步判别现在时刻的显示模式是并列显示模式及复合显示模式中的哪一种。再有，显示模式响应对操作面板28的模式切换操作，在并列显示模式和复合显示模式之间进行切换。0048如果现在时刻的显示模式是并列显示模式，则CPU12P基于保存在数据库22中的说明书CN101943579ACN101943586A4/6页6地图数据来生成表示车辆100的现在位置和其周边的广域地图图像MP1。生成的广域地图图像MP1按图7A所示的要领在形。

17、成在存储器14中的显示区域14M的右侧被展开。接着，CPU12P调整在工作区域14W中保持的驾驶支援图像ARV的倍率，以使其适合并列显示模式，按照图7A所示的要领在显示区域14M的左侧展开具有调整后的倍率的驾驶支援图像ARV。0049在车辆100的驾驶座上设定的显示装置24，反复读出像这样在显示区域14M中展开的广域地图图像MP1及驾驶支援图像ARV，按照图7A所示的要领在同一画面中显示读出的广域地图图像MP1及驾驶支援图像ARV。0050另一方面，如果现在时刻的显示模式是复合显示模式，则CPU12P基于保存在数据库22中的地图数据来生成表示车辆100的现在位置和其周边的狭域地图图像MP2。生。

18、成的狭域地图图像MP2按照图7B所示的要领在显示区域14M的整面展开。0051接着，CPU12P调整驾驶支援图像ARV的倍率，以使其适合复合显示模式，基于GPS装置20的输出来检测现在时刻的车辆100的方向，然后通过图形识别来检测在驾驶支援图像ARV中表示出的路面绘图。基于车辆100的方向和路面绘图来决定驾驶支援图像ARV的复合位置，按照图7B所示的要领将具有调整过的倍率的驾驶支援图像ARV复合在决定的复合位置。0052若更详细地说明，则调整驾驶支援图像ARV的倍率，以使得驾驶支援图像ARV上的路面的宽度与狭域地图图像上的路面的宽度一致。此外，调整驾驶支援图像的复合位置，以使得驾驶支援图像AR。

19、V上的路面绘图遵循狭域地图图像上的路面绘图。再有，为了避免将车辆图像G1复合在狭域地图图像上的相反车道的路面上的情形，而参照车辆100的方向。0053显示装置24反复读出这样在显示区域14M中展开的狭域地图图像MP2及驾驶支援图像ARV，在画面中显示读出的狭域地图图像MP2及驾驶支援图像ARV。0054一旦在图2所示的操作面板28上进行目的地的设定操作，CPU12P就基于GPS装置20的输出来检测现在位置，基于检测出的现在位置和在数据库22中保存的地图数据来设定到目的地为止的路线。0055如果现在时刻的显示模式是并列显示模式，则CPU12P生成按照广域来表示到目的地为止的路线的路线信息RT1，。

20、将生成的路线信息RT1复合在在显示区域14M中展开的广域地图图像MP1上。另一方面，如果现在时刻的显示模式是复合显示模式，则CPU12P生成按照狭域来表示到目的地为止的路线的路线信息RT2，将生成的路线信息RT2复合在在显示区域14M中展开的驾驶支援图像ARV上。按照图7A所示的要领来复合路线信息RT1，按照图7B所示的要领来复合路线信息RT2。这样复合的路线信息RT1或RT2也在显示装置24的画面中显示。0056再有，在本实施例中，将广域地图图像MP1、狭域地图图像MP2、路线信息RT1、路线信息RT2总称为“导航信息”。0057CPU12P还参照驾驶支援图像ARV反复从车辆100的周围搜索。

21、障碍物。如果发现障碍物OBJ，CPU12P就将警告信息ARM复合在在显示区域14M中展开的驾驶支援图像ARV上。对应障碍物OBJ的位置，按照图8所示的要领来复合警告信息ARM。此外，在显示装置24的画面中也显示这样复合的警告信息ARM。0058CPU12P并行地执行包括图9所示的路线控制任务及图10图12所示的显示控制说明书CN101943579ACN101943586A5/6页7任务在内的多个任务。再有，对应这些任务的控制程序被存储在闪速存储器26中。0059参照图9，在步骤S1中将标记FLG设定为“0”。标记FLG是用于识别目的地的设定/非设定的标记，FLG0表示“非设定”，另一方面FLG。

22、1表示“设定”。在步骤S3中判别是否在操作面板28上进行了目的地的设定操作，在步骤S5中判别是否在操作面板28上进行了设定解除操作。0060在步骤S3中如果是“是”，则进入步骤S7，基于GPS装置20的输出，检测现在位置。在步骤S9中，基于检测出的现在位置和保存在数据库22中的地图数据，设定到目的地为止的路线。一旦完成步骤S9的处理，就在步骤S11中将标记FLG设定为“1”，此后，返回步骤S3。0061在步骤S5中如果是“是”，则进入步骤S13，解除到目的地为止的路线的设定。一旦完成步骤S13的处理，就在步骤S15中将标记FLG设定为“0”，此后返回步骤S3。0062参照图10，在步骤S21中。

23、，基于从照相机CM_0CM_3输出的被摄场景像P_0P_3来生成驾驶支援图像ARV。在步骤S23中，基于GPS装置20的输出，检测车辆100的现在位置。在步骤S25中，判别现在时刻的显示模式是并列显示模式及复合显示模式中的哪一个。如果判别结果是并列显示模式，则进入步骤S27，另一方面，如果判别结果是复合显示模式则进入步骤S35。0063在步骤S27中，基于保存在数据库22中的地图数据来生成表示车辆100的现在位置和其周边的广域地图图像MP1。在步骤S29中，在显示区域14M的右侧展开生成的广域地图图像MP1。在步骤S31中，调整在步骤S21中生成的驾驶支援图像ARV的倍率，以使其适合并列显示模。

24、式。在步骤S33中，在显示区域14M的左侧展开具有调整过的倍率的驾驶支援图像ARV。一旦完成步骤S33的处理，就进入步骤S49。0064在步骤S35中，基于保存在数据库22中的地图数据来生成表示车辆100的现在位置和其周边的狭域地图图像MP2。在步骤S37中，在显示区域14M的整面展开生成的狭域地图图像MP2。在步骤S39中，调整在步骤S21中生成的驾驶支援图像ARV的倍率，以使其适合复合显示模式。0065在步骤S41中，基于GPS装置20的输出，检测现在时刻的车辆100的方向，在步骤S43中通过图形识别来检测在驾驶支援图像ARV中表示出的路面绘图。在步骤S45中，基于在步骤S41中检测出的车。

25、辆100的方向和在步骤S43中检测出的路面绘图，来决定驾驶支援图像ARV的复合位置。在步骤S47中，在由步骤S45决定的位置中复合具有在步骤S39中调整过的倍率的驾驶支援图像ARV。一旦完成步骤S47的处理，就进入步骤S49。0066在步骤S49中，由步骤S49判别标记FLG是否表示“1”。如果判别结果是“否”的话，就按照原样进入步骤S61。如果判别结果是“是”，就经过步骤S51S59进入步骤S61。0067在步骤S51中，判别现在时刻的显示模式是并列显示模式及复合显示模式中的哪一个。如果现在时刻的显示模式是并列显示模式，就进入步骤S53，生成按照广域来表示到目的地为止的路线的路线信息RT1。。

26、在步骤S55中，将生成的路线信息RT1复合在在步骤S29中展开的广域地图图像MP1中。如果现在时刻的显示模式是复合显示模式，就进入步骤S57，生成按照狭域来表示到目的地为止的路线的路线信息的RT2。在步骤S59中，将生成的路线信息RT2复合在在步骤S47中展开的驾驶支援图像ARV中。0068在步骤S61中，判别在车辆100的周围是否存在障碍物OBJ。如果判别结果是“否”，说明书CN101943579ACN101943586A6/6页8就按照原样返回步骤S21，另一方面，如果判别结果是“是”，就在步骤S63中，将警告信息ARM重合在驾驶支援图像ARV中，之后，返回步骤S21。警告信息ARM对应障。

27、碍物OBJ的位置，被复合在驾驶支援图像ARV中。0069如以上说明可知，照相机CM_0CM_3被设置在在路面上移动的车辆100的互不相同的位置，输出表示车辆100的周围的被摄场景像P_0P_3。CPU12P基于输出的被摄场景像P_0P_3，生成驾驶支援图像ARVS21，在显示装置24的画面中显示生成的驾驶支援图像ARVS31S33、S39S47。与驾驶支援图像ARV的生成处理并行，CPU12P还检测车辆100的位置S23，基于检测出的位置和数据库22的地图数据，生成导航信息地图信息、路线信息S27、S35、S53、S57，然后，在显示装置24的画面中显示生成的导航信息S29、S37、S55、S。

28、59。0070基于来自设置在车辆100的互不相同的位置的照相机CM_0CM_3的输出来生成驾驶支援图像ARV，再现车辆100的周围。基于车辆100的位置和地图数据而生成的导航信息，与这样的驾驶支援图像ARV一起在显示装置24中被显示。由此，能在同一画面中确认车辆100的周围的安全性及导航信息双方，提高操纵支援性能。0071再有，在本实施例中，将路线信息RT1复合在广域地图图像MP1中，将驾驶支援图像ARV复合在狭域地图图像MP2中，将路线信息RT2复合在驾驶支援图像ARV中，然后将警告信息ARM复合在驾驶支援图像ARV中。在此，复合图像的透过率不限于0，可在199的范围内适当调整。0072此外。

29、，在本实施例中，虽然假设在路面上行驶的车辆为移动体，但本发明也能适用于在海面上航行的船舶。说明书CN101943579ACN101943586A1/11页9图1说明书附图CN101943579ACN101943586A2/11页10图2图3说明书附图CN101943579ACN101943586A3/11页11图4说明书附图CN101943579ACN101943586A4/11页12图5说明书附图CN101943579ACN101943586A5/11页13图6说明书附图CN101943579ACN101943586A6/11页14图7说明书附图CN101943579ACN101943586A7/11页15图8说明书附图CN101943579ACN101943586A8/11页16图9说明书附图CN101943579ACN101943586A9/11页17图10说明书附图CN101943579ACN101943586A10/11页18图11说明书附图CN101943579ACN101943586A11/11页19图12说明书附图CN101943579A。