图像显示系统、图像处理设备、及图像显示方法于2011年5月24日提交的日本专利申请第2011-116163号的
包括说明书、附图和权利要求书的公开的全部内容通过引用并入本
文。
技术领域
本发明涉及显示图像的技术。
背景技术
当停车时，用户（例如，驾驶员）应密切注意以避免与其他车
辆碰触。此外，当启动停靠的车辆时，用户应该密切注意以避免碰触
在车辆前方穿行的行人。此外，当在狭窄道路上驾车时，用户应该密
切注意以避免碰触位于车辆周围的物体。然而，即使用户密切注意，
用户仍可能使车辆碰触到这些物体。因此，提供了一种图像显示系统，
其通过在安装在车辆上的显示器上显示指示车辆周边的周边图像来
支持驾驶，从而使得用户能够注意到车辆周围有物体的存在，从而避
免与该物体碰触（见专利文献1）。
专利文献1：日本专利申请公开第2002-019492号
然而，即使在显示器上显示表示车辆周边的图像，由于用户不
能注意到车辆周围存在的物体的方向或位置，从而有可能使车辆与该
物体碰触。
发明内容
因此本发明的一个目的在于提供一种使得用户能够在表明车辆
周边的图像中注意到存在于车辆周围的物体的方向和位置的技术。
为了实现上述目的，根据本发明实施例的第一方面，提供了一
种用于显示图像的图像显示系统，其包括：获取单元，其被构造用于
获取表明车辆周边的周边图像；多个检测单元，其分别布置在车辆的
不同位置上，并被构造用于检测车辆周围存在的物体；叠加单元，其
被构造用于将以框形式表示的指示符与所述周边图像叠加在一起，所
述指示符表明所述物体和所述多个检测单元中已经检测到所述物体
的指定检测单元；以及显示单元，其被构造用于显示叠加有所述指示
符的所述周边图像。
根据本发明实施例的第二方面，提供了一种用于处理图像的图
像处理设备，其包括：获取单元，其被构造用于获取表明车辆周边的
周边图像；指定单元，其被构造用于从分别布置在车辆的不同位置上
并被构造用于检测车辆周围存在的物体的多个检测单元中指定已经
检测到所述物体的指定检测单元；叠加单元，其被构造用于将以框形
式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物
体和所述指定检测单元；以及输出单元，其被构造用于将叠加有所述
指示符的所述周边图像输出至显示设备。
根据本发明实施例的第三方面，提供了一种用于显示图像的图
像显示方法，其包括：获取表明车辆周边的周边图像；利用分别布置
在车辆的不同位置上并被构造用于检测车辆周围存在的物体的多个
检测单元来检测所述车辆周边存在的物体；将以框形式表示的指示符
与所述周边图像叠加在一起，所述指示符表明所述物体和所述多个检
测单元中已经检测到所述物体的指定检测单元；以及显示叠加有所述
指示符的所述周边图像。
在第一至第三方面中，所述多个检测单元布置在所述车辆的不
同位置上，并被构造用于检测所述车辆周围存在的物体。如果所述多
个检测单元之一检测到物体，则将该检测单元称作指定检测单元。利
用以框形式表示的指示符来表明所述物体和检测到该物体的指定检
测单元。由于显示了与表明车辆周边的周边图像叠加在一起的指示
符，因此用户可以准确识别出该物体的方向和位置。
根据本发明实施例的第四方面，提供了一种用于显示图像的图
像显示系统，其包括：获取单元，其被构造用于获取表明车辆周边的
周边图像；检测单元，其被构造用于检测车辆周围存在的物体；叠加
单元，其被构造用于将以框形式表示的指示符与所述周边图像叠加在
一起，所述指示符表明所述物体和已经检测到所述物体的所述检测单
元；以及显示单元，其被构造用于显示叠加有所述指示符的所述周边
图像。
根据第四方面，由于以框形式表示的、且表明所述物体和已经
检测到车辆周围存在的物体的检测单元的指示符与周边图像叠加在
一起，因此用户可以准确识别出所述物体的方向和位置。
在第四方面中，所述检测单元被构造用于检测车辆周围存在的
物体。所述物体与已经检测到所述物体的检测单元利用以框形式表示
的指示符来表明。由于显示了与表明车辆周边的周边图像叠加在一起
的指示符，因此用户可以准确识别出该物体的方向和位置。
在所述图像显示系统中，如果存在多个已经检测到物体的指定
检测单元，则叠加单元可以将以单个框的形式表示的指示符与周边图
像叠加在一起，所述指示符表明所述物体和所述多个指定检测单元。
利用该构造，如果所述多个检测单元中的两个或更多个检测单
元检测到所述物体，则利用以单个框的形式表示的指示符表明所述物
体和所述两个或更多个指定检测单元。由于显示了与周边图像叠加在
一起的指示符，因此用户可以准确识别出该物体的方向和位置。
在所述图像显示系统中，每个检测单元都可以构造为检测每个
检测单元和所述物体之间的距离，并且所述叠加单元可以被构造为根
据所述距离改变指示符的尺寸。
利用该构造，由于根据所述物体和指定检测单元之间的距离来
改变要显示的指示符的尺寸，因此用户可以利用这些检测单元在感官
上识别出所述物体与指定检测单元之间的距离。
附图说明
附图中：
图1是示出根据第一实施例的图像显示系统的构造的示意图；
图2是示出根据第一实施例的附接至车辆的摄像机和声波定位
仪的位置的示意图；
图3是示出根据第一实施例的摄影机的拍摄范围和声波定位仪
的物体检测范围的示意图；
图4是示出根据第一实施例的由多个摄像机分别拍摄的图像示
例的示意图；
图5是说明根据第一实施例的对由多个摄影机拍摄的车辆周边
的图像进行合成的图像合成处理的示意图；
图6是示出根据第一实施例的从上方看到的车辆的示例的示意
图；
图7是示出根据第一实施例的映射数据的示意图；
图8是示出根据第一实施例的映射数据的示意图；
图9是说明根据第一实施例的用于将指示符与图像叠加在一起
的方法的示意图；
图10是示出根据第一实施例的与指示符叠加在一起的图像的示
例的示意图；
图11是示出根据第一实施例的图像显示系统的处理的流程图；
图12是示出根据第二实施例的从上方看到的车辆的示例的示意
图；
图13是示出根据第二实施例的映射数据的示意图；
图14是示出根据第二实施例的映射数据的示意图；
图15是说明根据第二实施例的用于将指示符与图像叠加在一起
的方法的示意图；
图16是示出根据第二实施例的图像显示系统的处理的流程图；
图17是示出根据第二实施例的由后方摄影机拍摄的表明车辆后
方周边的图像的示例的示意图；
图18是示出根据第三实施例的停车控制系统的构造的示意图；
图19是说明在以一转向角驾驶车辆的情况下预测的车辆驾驶轨
迹的提取的示意图；
图20是说明根据第三实施例的基于左后轮线路和右后轮线路提
取梯形线路的示意图；
图21是说明根据第三实施例的用于将表明驾驶轨迹的线路与表
明车辆周边的图像叠加在一起的方法的示意图；
图22是示出根据第三实施例的图像显示系统的处理的流程图；
以及
图23是示出根据第三实施例的由后方摄影机拍摄的表明车辆后
方周边的图像的示例的示意图。
具体实施方式
下面将参照附图来详细描述本发明的实施例。
<1.第一实施例>
图1是示出根据第一实施例的图像显示系统Sy的构造的示意
图。图像显示系统Sy能够以将一个指示符与表明车辆周边的图像叠
加在一起的方式来显示该指示符，其中该指示符表明车辆周围存在的
物体的位置和方向。
<1-1.构造>
图像显示系统Sy包括前方摄影机11、左侧摄影机12、右侧摄
影机13、后方摄影机14（下文中称作摄影机11至14）、车速传感
器15、档位传感器16、图像处理设备1、物体检测设备20、和显示
设备17。
图像处理设备1通过电缆电连接至摄影机11至14、车速传感器
15、档位传感器16、显示设备17、和物体检测设备20。此外，物体
检测设备20通过电缆电连接至第一声波定位仪21、第二声波定位仪
22、第三声波定位仪23、第四声波定位仪24、第五声波定位仪25、
第六声波定位仪26（下文中称作声波定位仪21至26）、和图像处理
设备1。
图2是示出附接至车辆Cr的摄影机11至14和声波定位仪21
至26的位置的示意图。
如图2所示，前方摄影机11设置在车辆Cr前端的横向中央附
近，其光轴大致沿车辆Cr的前后方向并定向为朝向前进方向。左侧
摄影机12设置在左侧反光镜上，其光轴大致沿车辆Cr的左右方向，
并相对于前进方向定向为朝向左方。右侧摄影机13设置在右侧反光
镜上，其光轴大致沿车辆Cr的左右方向，并相对于前进方向定向为
朝向右方。后方摄影机14设置在车辆Cr后端的水平中央附近，其光
轴大致沿车辆Cr的前后方向并定向为朝向前进方向的相反方向。优
选地，前方摄影机11和后方摄影机14附接至水平中央附近，但是前
方摄影机11和后方摄影机14可以附接至略微偏离该水平中央的左方
或右方的位置。
摄影机11至14中的每一个都具有鱼眼镜头。包括鱼眼镜头的
摄影机11至14具有大于等于180°的视角。如图3所示，摄影机11
至14的拍摄范围Sr1至Sr4覆盖车辆Cr的周边。利用这种摄影机
11至14可以拍摄车辆Cr的整个周边。
声波定位仪21至26设置在车辆Cr的不同位置处，如图2所示。
第一声波定位仪21设置在车辆Cr左前角附近，其超声波输出方向朝
向车辆Cr左前角的外部。第二声波定位仪22设置在车辆Cr的前方
摄影机11附近，其超声波输出方向朝向车辆Cr前端的水平中央的外
部。第三声波定位仪23设置在车辆Cr右前角附近，其超声波输出方
向朝向车辆Cr右前角的外部。第四声波定位仪24设置在车辆Cr左
后角附近，其超声波输出方向朝向车辆Cr左后角的外部。第五声波
定位仪25设置在车辆Cr的后方摄影机14附近，其超声波输出方向
朝向车辆Cr后端的水平中央的外部。第六声波定位仪26设置在车辆
Cr右后角附近，其超声波输出方向朝向车辆Cr右后角的外部。
声波定位仪21至26接收从每个声波定位仪输出、与某物体碰
撞、并从该物体反射的超声波，并将关于该超声波的信号输出至物体
检测设备20。如图3所示，当第一声波定位仪21、第二声波定位仪
22、和第三声波定位仪23检测到物体时得到的检测范围Dr1、Dr2、
和Dr3覆盖车辆Cr的前方周边。另一方面，如图3所示，当第四声
波定位仪24、第五声波定位仪25、和第六声波定位仪26检测到物体
时得到的检测范围Dr4、Dr5、和Dr6覆盖车辆Cr的后方周边。利用
这样的声波定位仪21至26，可以检测到车辆Cr的向前方向和向后
方向中存在的至少一个物体。
返回图1，车速传感器15是感测车辆Cr的速度并将关于车速的
信号输出至图像处理设备1的传感器。
档位传感器16是感测车辆Cr的档位并将关于该档位的信号输
出至图像处理设备1的传感器。
物体检测设备20接收来自声波定位仪21至26之一的关于超声
波的信号，并基于该输入信号确定声波定位仪21至26中的哪一个声
波定位仪已经检测到了物体，以及确定已经检测到物体的声波定位仪
与该物体之间的距离。物体检测设备20将表明已经检测到该物体的
声波定位仪的信号、以及表明已经检测到物体的声波定位仪与该物体
之间的距离的信号输出至图像处理设备1。
图像处理设备1包括获取单元2、图像产生单元3、控制单元4、
非易失性存储单元5、和输出单元6。获取单元2例如是与外部设备
连接的接口，并获取由摄影机11至14拍摄的图像。输出单元6例如
是与外部设备连接的接口，并将要显示的图像输出至外部，诸如显示
设备17。
图像产生单元3例如是诸如专用集成电路（ASIC）的硬件电路，
并具有处理图像的功能。图像产生单元3包括合成图像产生单元7
和指示符叠加单元8来作为其功能的一部分。合成图像产生单元7
通过将由摄影机11至14拍摄的表明车辆Cr周边的各图像进行合成
来产生合成图像。由摄影机11至14拍摄的各图像和其中合成了所述
各图像的合成图像可以称作表明车辆Cr周边的周边图像。指示符叠
加单元8将以框的形式表示的表明声波定位仪21至26中已经检测到
车辆Cr周围存在的物体的声波定位仪和该物体的指示符与合成图像
叠加在一起。
所述框形成为扇形且内部透明，并且在该扇形中心角附近具有
矩形部分。指示符以以下方式与周边图像叠加在一起：将扇形的矩形
部分放置在已经检测到周边图像中的物体的声波定位仪附近、使扇形
的圆弧部分朝向在周边图像中的车辆Cr的外侧、以及将物体的至少
一部分放置在扇形内。指示符以此方式与周边图像叠加在一起，使得
以框形式表示的指示符可以表明已经检测到物体的声波定位仪和周
边图像中的物体。即，用户可以识别出周边图像中的物体的位置和方
向。由指示符表明的范围大约对应于已经检测到物体的声波定位仪的
检测范围。
控制单元4是微计算机，其包括中央处理单元（CPU）、只读
存储器（ROM）、和随机存取存储器（RAM）。CPU通过根据存储
在ROM中的各种程序执行操作处理来实现各种功能。
控制单元4包括指示符选择单元9和指定单元10作为由所述操
作处理实现的功能的一部分。指示符选择单元9从存储在非易失性存
储单元5中的各种指示符中选择与声波定位仪21至26中已经检测到
物体的声波定位仪对应的指示符。指定单元10指定声波定位仪21
至26中的哪一个已经检测到了物体，并基于表明已经检测到物体的
声波定位仪的信号和表明该声波定位仪与物体之间的距离的信号来
指定该距离，上述信号都是通过获取单元2从物体检测设备20获取
的。
例如，非易失性存储单元5是电可擦除可编程只读存储器
（EEPROM）。例如，非易失性存储单元5存储由指示符选择单元9
选择的各种指示符。
显示设备17包括显示器18作为其功能的一部分。显示器18例
如是触摸面板显示器，并具有显示各种图像的功能和接收用户操控的
功能。表明用户操控的信号通过获取单元2被输入至控制单元4。因
此，图像处理设备1能够执行对应于用户指令的处理。
<1-2.图像合成处理>
接下来，将说明由图像显示系统Sy进行的图像合成处理。如果
车辆Cr的车速小于等于预定速度（例如，12km/h）或者如果档位为
“R”，则执行该图像合成处理。具体地，从车速传感器15获取关于
车速的信号，并且如果基于获取的信号确定了车速小于等于预定速
度，则合成图像产生单元7执行图像合成处理。此外，从档位传感器
16获取关于档位的信号，并且如果基于获取的信号确定了档位为
“R”，则合成图像产生单元7执行图像合成处理。也就是说，在此
情况中，图像显示系统Sy进入监控模式，以监控车辆Cr的周边，
并执行图像合成处理，从而在显示器18上显示表明车辆Cr的周边的
合成图像。
图5是说明对摄影机11至14拍摄的车辆Cr的周边的图像进行
合成的图像合成处理的示意图。首先，包括在图像处理设备1中的获
取单元2从摄影机11至14获取图4所示的由摄影机11至14拍摄的
图像Ig1至Ig4。获取单元2将获取的图像Ig1至Ig4输出至图像产
生单元3。
图像产生单元3将输入的图像Ig1至Ig4存储到易失性存储单元
（未示出）中。
合成图像产生单元7将存储在易失性存储单元中的图像Ig1至
Ig4投影到图5所示的虚拟3维（3D）空间中的3D曲面P上。
接下来，将观察点放置在车辆Cr的位置中心附近的正上方，设
置具有朝下的观察方向的虚拟观察点（AGL），并根据该虚拟观察点
（VGL）剪掉3D曲面P的一部分作为图像。因此，表明车辆Cr和
车辆Cr的周边区域的合成图像Ig5被形成为好像从车辆Cr的正上方
看到了该车辆Cr。
图像处理设备1利用合成图像产生单元7的上述功能产生从车
辆Cr周围的预定观察点看到的合成图像，并将该合成图像显示在显
示设备17上。因此，合成图像产生单元7产生了虚拟从上方观看到
的车辆Cr的合成图像。
所产生的合成图像Ig5被剪切成具有之后可被显示在显示器18
上的尺寸的图像Ig6。
<1-3.指示符叠加处理>
接下来，将说明指示符叠加处理。当声波定位仪21至26之一
检测到物体时，由处于上述周边监控模式的图像显示系统Sy来执行
该指示符叠加处理。
图6是示出从上方看到的车辆Cr的示意图。图6中，物体Oj
存在于车辆Cr左侧的后方位置处。如果物体Oj存在于车辆Cr左侧
的后方位置，则物体检测设备20基于从第四声波定位仪24获取的关
于超声波的信号检测物体Oj，并将表明第四声波定位仪24的信号和
表明该物体与第四声波定位仪24之间的距离（1.5m）的信号输出至
指定单元10。
指定单元10指定第四声波定位仪24已经检测到物体Oj，并还
基于所获取的各信号来指定所指定的第四声波定位仪24和该物体之
间的距离。下文中，将指定的声波定位仪称作指定声波定位仪，将指
定的距离称作指定距离。指示符选择单元9基于指定声波定位仪和指
定距离通过参照图7和图8所示的映射数据（map data）（存储在非
易失性存储单元5中）来选择合适的指示符。
具体地，如果基于指定声波定位仪（第四声波定位仪）和指定
距离（1.5m）来参照图7所示的映射数据，则提取指示符代码A6，
而如果基于指示符代码A6来参照图8所示的映射数据，则选择A列
第6行的框的形式。
图7所示的映射数据被构造为使得选择与指定声波定位仪或指
定距离对应的指示符代码。基于该指示符代码选择的图8所示的映射
数据被构造为使得最终选择与指定声波定位仪或指定距离对应的框
的形式。也就是说，图7和图8所示的映射数据被构造为使得选择与
指定声波定位仪的安装位置对应的框的形式，以及还选择具有与指定
距离对应的尺寸的框的形式。
以此方式选择的指示符Id的信号被指示符选择单元9输出至指
示符叠加单元8。指示符叠加单元8将由输入信号表明的指示符Id
与合成图像叠加在一起。
图9是说明用于将指示符Id与合成图像Ig6叠加在一起的方法
的示意图。即，以以下方式将指示符Id与合成图像Ig6合成在一起
（图9的右上图所示）：指示符Id的矩形部分Ed1（图9的左上图
所示）与合成图像Ig6的车辆Cr的图像的后侧左角Cnr附近的位置
（图9的上部中图所示）叠加在一起，物体的至少一部分位于以框形
式表示的指示符Id内，且指示符Id的扇形的弧形部分朝向车辆Cr
的外部。包括叠加在一起的合成图像Ig6和由后方摄影机14拍摄的
图像Ig7的组合图像作为组合显示在显示器18上（图9的下图）。
即，该组合图像被指示符叠加单元8输出至输出单元6并被输出单元
6输出至显示设备17。该组合图像显示在显示设备17所包括的显示
器18上。
根据上述指示符叠加处理，如图10所示，如果第四声波定位仪
24检测到距车辆Cr左后角相对较远（例如，1.5m）存在物体Oj（图
10左侧上图所示），则显示包括物体Oj的相对较大的指示符（图10
右侧上图所示）。此外，如果第四声波定位仪24检测到较靠近车辆
Cr左后角外侧处（例如，1.0m）存在物体Oj（图10左侧中图所示），
则显示包括物体Oj的相对较小的指示符（图10右侧中图所示）。此
外，如果第四声波定位仪24检测到非常靠近车辆Cr左后角外侧处（例
如，0.5m）存在物体Oj（图10左侧下图所示），则显示包括物体
Oj的非常小的指示符（图10右侧下图所示）。
如此，在显示器18上的从上方看到的车辆Cr的图像Ig7中，
物体Oj清晰地显示在表明声波定位仪21至26中已经检测到指定声
波定位仪和该物体并以框的形式呈现的指示符Id中。即，以内部透
明的框的形式表示的指示符Id显示为围起物体Oj，从而该指示符Id
不与物体Oj叠加，并且用户可以在显示器18上准确识别出从上方看
到的车辆Cr的图像Id7中的物体Oj，并且可以准确识别出物体Oj
的位置和方向。
由于指示符的尺寸可按照指定距离改变，因此用户可以在感觉
上在显示器18上的从车辆Cr上方看到的图像Ig7中识别出物体与具
有物体检测设备的车辆之间的距离。
<1-4.控制流程>
图11是示出图像显示系统Sy的处理的流程图。图11所示的处
理以周边监控模式以预定间隔（例如，以1/30秒的间隔）重复。
获取单元2获取摄影机11至14拍摄的图像（步骤SA1）。这
些图像示出车辆Cr的周边。
合成图像产生单元7基于所获取的表明车辆Cr的周边的多个图
像来执行上述合成图像产生处理（步骤SA2）。通过该处理，获取了
从上方看到的车辆Cr的合成图像。
声波定位仪21至26输出超声波并接收与各物体碰撞并从其反
射的超声波，以及将关于接收到的超声波的信号输出至物体检测设备
20。物体检测设备20基于输入的关于超声波的信号确定是否声波定
位仪21至26之一已经检测到物体Oj（步骤SA3）。
如果声波定位仪21至26之一已经检测到物体（步骤SA3中的
是），则指定单元10指定哪个声波定位仪已经检测到物体（步骤
SA4）。即，物体检测设备20将表明已经检测到物体的声波定位仪
的信号和表明已经检测到物体的声波定位仪与该物体之间的距离的
信号输出至指定单元10。指定单元10基于输入的信号指定已经检测
到物体的声波定位仪并指定已经检测到物体的声波定位仪与该物体
之间的距离。指定单元10将表明指定声波定位仪的信号和表明指定
距离的信号输出至指示符选择单元9。
指示符选择单元9基于表明指定声波定位仪的信号和表明指定
距离的信号选择指示符Id（步骤SA5）。即，指示符选择单元9基
于表明指定声波定位仪的信号和表明指定距离的信号来参照存储在
非易失性存储单元5中的映射数据选择适当的指示符Id。因此，选
择了对应于指定声波定位仪的安装位置的指示符Id，并且选择了具
有对应于指定距离的尺寸的指示符Id。指示符选择单元9将表明指
示符Id的信号输出至指示符叠加单元8。
指示符叠加单元8在适当位置将由输入信号表明的指示符Id与
从合成图像产生单元7输入的合成图像叠加在一起（步骤SA6）。指
示符叠加单元8将包括叠加的合成图像和由后方摄影机14拍摄的图
像的组合图像作为组合而输出至输出单元6，并且输出单元6将该图
像输出至显示设备17。
显示设备17在显示器18上显示输入的组合图像（步骤SA7）。
因此，与指示符Id叠加在一起的表明车辆Cr周边的图像显示在显示
器18上。
如果声波定位仪21至26中任何一个都未检测到物体Oj（步骤
SA3中的否），则输出单元6将包括未与指示符Id叠加在一起的合
成图像和由后方摄影机14拍摄的图像的组合图像作为组合而输出至
显示设备17。显示设备17在显示器18上显示输入的组合图像（步
骤SA8）。
如上所述，根据本实施例的图像显示系统Sy在显示器18上的
从上方看到的车辆Cr的图像Ig7中清晰地显示了指示符Id内的物体
Oj，其中指示符Id以声波定位仪21至26中已经检测到该物体的指
定声波定位仪附近的框的形式表示。即，以指定声波定位仪附近的框
的形式表示的指示符Id被显示为围起该物体Oj，从而该物体Oj清
晰地显示在以框的形式表示的指示符Id中，用户可以准确识别出显
示器18上的从上方看到的车辆Cr的图像Ig7中的物体Oj，并且还
可以准确识别出该物体Oj的位置和方向。因此，以使得用户可以注
意到存在于车辆Cr周围的物体并且可以避免与该物体碰撞的方式支
持驾驶是可能的。
此外，由于与显示在显示器18上的图像叠加在一起的指示符Id
的尺寸可根据指定距离改变，因此观看显示器18的用户可以凭感觉
识别出物体Oj和包括声波定位仪的车辆Cr之间的距离。
<2.第二实施例>
下文中，将说明第二实施例。如果声波定位仪21至26之一检
测到物体，则根据第一实施例的图像显示系统Sy以框的形式显示表
明已经检测到该物体的声波定位仪和物体的指示符。相比较而言，如
果多个声波定位仪检测到一个物体，则根据第二实施例的图像显示系
统Sy显示表明该多个声波定位仪和物体的以单个框表示的指示符。
由于第二实施例的图像显示系统Sy的构造和处理与第一实施例
中的基本相同，因此下面将主要描述与第一实施例的不同点。
<2-1.指示符叠加处理>
首先，将说明指示符叠加处理。指示符叠加处理以上述周边监
控模式执行，并且当声波定位仪21至26之一检测到物体Oj时由图
像显示系统Sy执行。
图12是示出从上方看到的车辆Cr的示意图。在图12中，物体
Oj存在于车辆Cr左后方位置中心附近。如果物体Oj以此方式存在
于车辆Cr左后方位置中心附近，则图像显示系统Sy利用第四声波
定位仪24和第五声波定位仪25二者来检测物体Oj。即，物体检测
设备20基于关于从第四声波定位仪24获取的超声波的信号检测到物
体Oj，并将表明第四声波定位仪24的信号和表明该物体Oj与第四
声波定位仪24之间的距离（1.5m）的信号输出至指定单元10。此外，
物体检测设备20基于关于从第五声波定位仪25获取的超声波的信号
检测到物体Oj，并将表明第五声波定位仪25的信号和表明该物体
Oj与第五声波定位仪25之间的距离（1.5m）的信号输出至指定单元
10。
指定单元10基于所获取的上述各信号指定第四声波定位仪24
和第五声波定位仪25二者已经检测到物体Oj，并指定这些指定声波
定位仪各自与物体Oj之间的距离。指示符选择单元9基于上述各指
定声波定位仪和各指定距离通过参照存储在非易失性存储单元5中
的图13和图14的映射数据选择合适的指示符。
也就是说，如果基于各指定声波定位仪（即，第四声波定位仪
24和第五声波定位仪25）和指定距离（即，1.5m）而参照了图13
的映射数据，则提取指定指示符代码AB6，而如果基于指定指示符
代码AB6参照了图14的映射数据，则选择列AB的第6行上的框的
形式。
图13所示的映射数据被构造为使得选择对应于指定声波定位仪
或指定距离的指定指示符代码。基于指定指示符代码选择的图14中
所示的映射数据被构造为使得最终选择对应于指定声波定位仪和指
定距离的框的形式。即，图13和图14所示的映射数据被构造为使得
选择对应于指定声波定位仪的安装位置的框的形式并且还选择具有
对应于指定距离的尺寸的框的形式。如果指定了多个声波定位仪，则
基于图13和图14所示的映射数据选择表明该多个声波定位仪和物体
的以单个框的形式表示的指示符。该指示符的范围大约对应于组合了
该多个指定声波定位仪的全部检测范围的整个区域。表明以此方式选
择的指定指示符Id的信号被指示符选择单元9输出至指示符叠加单
元8。指示符叠加单元8将由输入信号表明的指定指示符Id与合成
图像叠加在一起。
图15是说明用于将指定指示符Id与合成图像Ig8叠加在一起的
方法的示意图。即，通过如下方式将指定指示符Id与图像Ig8（图
15的右上图所示）叠加在一起：将指定指示符Id（图15的左上图所
示）的矩形部分Ed2与合成图像Ig8中的车辆Cr的图像后侧的左角
Cnr附近的位置、以及与车辆Cr的图像的后端的中心Ctr的位置（图
15的上部中图所示）叠加，将物体的至少一部分放置到以框的形式
表示的指定指示符Id中，以及使在图像Ig8中形成表明第四声波定
位仪24和第五声波定位仪25和物体的一个指定指示符Id的扇形的
各部分彼此一致。包括叠加的图像Ig8和由后方摄影机14拍摄的图
像Ig9的组合图像作为组合显示在显示器18上（如图15下图所示）。
即，该组合图像被指示符叠加单元8输出至输出单元6并被输出单元
6输出至显示设备17。该组合图像显示在显示设备17所包括的显示
器18上。
如果表明已经检测到该物体Oj的多个指定声波定位仪和该物体
Oj的指示符Id分别与图像叠加在一起，则这些指示符Id可以彼此叠
加在一起并且物体Oj还可以存在于重叠部分中。因此，用户会由于
受到显示器18上的图像中重叠部分的影响而看不到物体Oj的位置和
方向。然而，如第二实施例所述，表明已经检测到物体Oj的多个指
定声波定位仪和物体的单个指定指示符Id与图像Ig7叠加在一起，
使得物体Oj清晰地显示在该单个指定指示符Id中。因此，用户可以
在显示18的图像中准确识别出物体Oj的位置和方向。
<2-3.控制流程>
图16是示出图像显示系统Sy的处理的流程图。图16所示的处
理以周边监控模式以预定间隔（例如，以1/30秒的间隔）重复。
首先，获取单元2获取由摄影机11至14拍摄的图像（步骤SB 1）。
这些图像示出了车辆Cr的周边。
合成图像产生单元7基于所获取的表明车辆Cr的周边的多个图
像执行上述合成图像产生处理（步骤SB2）。通过该处理，获取了从
上方看到的车辆Cr的图像。
声波定位仪21至26输出超声波并接收与各物体碰撞并从其反
射的超声波，以及将关于这些超声波的信号输出至物体检测设备20。
物体检测设备20基于输入的关于超声波的信号确定是否声波定位仪
21至26之一已经检测到物体Oj（步骤SB3）。
如果声波定位仪21至26之一已经检测到物体Oj（步骤SB3中
的是），则指定单元10指定声波定位仪21至26中的哪个声波定位
仪已经检测到物体Oj（步骤SB4）。即，物体检测设备20将表明已
经检测到物体Oj的声波定位仪的信号和表明已经检测到物体Oj的声
波定位仪与该物体Oj之间的距离的信号输出至指定单元10。指定单
元10基于输入的这些信号指定已经检测到物体Oj的声波定位仪并指
定已经检测到物体Oj的声波定位仪与该物体Oj之间的距离。指定单
元10将表明指定声波定位仪的信号和表明指定距离的信号输出至指
示符选择单元9。
如果确定基于输入的这些信号指定了多个声波定位仪（步骤SB5
中的是），则指示符选择单元9基于输入的这些信号选择指定指示符
Id（步骤SB6）。即，指示符选择单元9基于表明所述多个指定声波
定位仪的信号和表明多个指定距离的信号、通过参照存储在非易失性
存储单元5中的图13和图14的映射数据来选择合适的指示符Id。
因此，选择了对应于多个指定声波定位仪的安装位置的指定指示符
Id，选择了表明该多个声波定位仪和物体的单个指定指示符Id，以及
选择了具有对应于指定距离的尺寸的指定指示符Id。指示符选择单
元9将表明该指定指示符Id的信号输出至指示符叠加单元8。
指示符叠加单元8在适当位置将由输入信号表明的指定指示符
Id与从合成图像产生单元7输入的合成图像叠加在一起（步骤SB7）。
指示符叠加单元8将包括叠加的合成图像和由后方摄影机14拍摄的
图像的组合图像作为组合而输出至输出单元6，并且输出单元6将该
组合图像输出至显示设备17。
显示设备17在显示器18上显示输入的组合图像（步骤SB8）。
因此，与指定指示符Id叠加在一起的表明车辆Cr周边的图像显示在
显示器18上。
如果声波定位仪21至26中任何一个都未检测到物体Oj（步骤
SB3中的否），则输出单元6将包括未与指定指示符Id叠加在一起
的合成图像和由后方摄影机14拍摄的图像的组合图像作为组合而输
出至显示设备17。显示设备17在显示器18上显示输入的组合图像
（步骤SB10）。
如果确定基于输出的信号指定了一个声波定位仪（步骤SB5中
的否），则指示符选择单元9基于输入的信号选择指示符Id（步骤
SB9）。即，指示符选择单元9基于表明该一个声波定位仪的信号和
表明指定距离的信号、通过参照存储在非易失性存储单元5中的图7
和图8的映射数据来选择合适的指示符Id。因此，选择了对应于该
指定声波定位仪的安装位置的指示符Id，以及选择了具有对应于指
定距离的尺寸的指示符Id。指示符选择单元9将表明所选指示符Id
的信号输出至指示符叠加单元8。
如上所述，如果多个相邻声波定位仪检测到了物体Oj，则由于
指定指示符Id表明已经检测到物体Oj的该多个声波定位仪以及该物
体、并且该指定指示符Id以具有透明内部的单个框的形式表示，因
此在该单个指定指示符Id内部清晰显示了该物体Oj。结果，用户可
以在显示器18的图像中准确识别出物体Oj的位置和方向。
在第一和第二实施例中，从上方看到的车辆Cr的合成图像通过
将由摄影机11至14拍摄的表明车辆Cr周边的各图像进行合成来产
生，并将指示符Id与该合成图像叠加在一起。然而，指示符Id可以
与分别由摄影机11至14拍摄的表明车辆Cr周边的各图像叠加在一
起，而不是与合成图像叠加在一起。
例如，指示符Id可以与由后方摄影机14拍摄的表明车辆Cr的
后方周边的图像叠加在一起，如图17所示。在此情况中，指示符Id
的形状根据已经检测到物体Oj的指定声波定位仪的安装位置而改
变，而且指示符Id的尺寸根据指定距离而改变。
<第三实施例>
下文中将描述第三实施例。在第一和第二实施例中，图像显示
系统Sy与图像一起显示表明已经检测到物体Oj的声波定位仪和该
物体Oj、且以框的形式表示的指示符Id，从而用户可以注意到车辆
Cr周围的物体Oj的位置和方向，从而可以避免与物体Oj触碰。
相比较而言，第三实施例中的图像显示系统Sy显示基于当前转
向角提取的驾驶轨迹的线路。如果转向角达到最大，该线路的长度显
示为与驾驶轨迹上从前进方向一侧的端部到驾驶轨迹的延伸方向与
车辆Cr的前后方向垂直处的位置的距离对应的长度，从而可以支持
将车辆Cr停靠到停车位中的用户的驾驶。
近来，已经提出了这样的一种图像显示系统，其通过与表明基
于当前转向的转向角预测的车辆Cr的驾驶轨迹的线路一起显示表明
车辆Cr周边的图像来支持将车辆Cr停靠到停车位中的用户的驾驶。
然而，当用户通过操控转向而改变转向角来控制车辆Cr在所显示的
线路的前进方向一侧的端部以适合停车位的宽度时，如果线路的长度
较短，则会由于车辆Cr的端部和停车位的宽度之间的巨大距离而难
以进行控制。另一方面，如果线路的长度较长，则由于车辆Cr的端
部位于停车位的宽度之外而同样难以进行控制。结果，会出现将车辆
Cr停靠到停车位中的用户的驾驶未得到适当的支持的问题。
如此，下面将描述这样的一种技术，其调整驾驶轨迹的线路以
使其具有使车辆Cr的端部适合停车位的宽度，从而适当地支持将车
辆Cr停靠到停车位中的用户的驾驶。
由于第三实施例的图像显示系统Sy的构造与第一实施例的构造
基本相同，因此将主要描述与第一实施例的不同点。图18是示出根
据第三实施例的图像显示系统Sy的构造的示意图。根据第三实施例
的图像显示系统Sy包括驾驶轨迹叠加单元80而不包括指示符叠加
单元8。此外，图像显示系统Sy包括驾驶轨迹提取单元90，而不包
括指示符选择单元9。此外，图像显示系统Sy还包括转向角传感器
27。图像显示系统Sy不包括指定单元10、物体检测设备20、和声
波定位仪21至26。
转向角传感器27设置在转向装置的转动轴附近，用于在用户操
控转向装置时感测旋转角。如果以被操控的转向装置的转向角来驾驶
车辆Cr，驾驶轨迹提取单元90提取预测的轨迹（驾驶轨迹）。驾驶
轨迹叠加单元80将提取的驾驶轨迹与合成图像叠加在一起。
<3-1.驾驶轨迹提取处理>
首先说明由驾驶轨迹提取单元90执行的驾驶轨迹提取处理。如
果档位是“R”，则执行驾驶轨迹提取处理。具体地，从档位传感器
16获取关于档位的信号，并且如果基于获取的信号确定了档位是
“R”，则驾驶轨迹提取单元90执行驾驶轨迹提取处理。此外，在
此情况中，合成图像产生单元7执行图像合成处理。即，在此情况中，
图像显示系统Sy进入车辆Cr的停车模式，并执行驾驶轨迹提取处
理和图像合成处理，从而在显示器18上显示表明车辆Cr周边的图像。
图19是说明在以当前转向角θ1驾驶车辆Cr的情况下用于提取
预测的车辆Cr的驾驶轨迹的方法。在以二维坐标定义的虚拟地图上
标注（notice）该驾驶轨迹的位置，其中该二维坐标将从上方看到的
车辆Cr的横向中心或纵向中心的位置看作其原点。可以以各种已知
方法来提取驾驶轨迹，但是将描述这些方法之一。
如果以当前转向角θ1驾驶车辆Cr，则利用车辆Cr后方的轴Ax
的横向中心的点P1绘制圆C1，如图19的上图所示。圆C1是围绕
位于车辆Cr后方的轴Ax的延长线上的点Cp1绘制的圆，并且如果
以转向角θ1驾驶车辆Cr，则圆C1对应于车辆Cr的横向中心的驾驶
轨迹。圆C1的半径R1以下面的等式（1）计算。等式（1）中的“L”
表示车辆Cr的轴距长度。
R1=L/tanθ1 （1）
接下来，通过从圆C1切掉预定基准长度Ls的线路来提取中心
线路Ln1。
基准长度Ls基于车辆Cr的最大转向角来确定。图19的下图是
说明用于提取基准长度Ls的方法的示意图。如图19的下图所示，如
果车辆Cr以最大转向角θ2旋转，则利用轴Ax的横向中心的点P1
绘制圆C2。圆C2是围绕位于车辆Cr后方的轴Ax的延长线上的点
Cp2绘制的圆，并且如果以最大转向角θ2驾驶车辆Cr，则圆C2对
应于车辆Cr的横向中心的驾驶轨迹。圆C2的半径R2以下面的等式
（2）计算。
R2=L/tanθ2 （1）
基于中心为Cp2、半径为R2的圆C2，标注与车辆Cr的轴Ax
的位置相距达-90°的位置Pt（下文中称作指定位置），即圆C2的延
伸方向（切线方向）与车辆Cr的前后方向垂直的位置。该指定位置
Pt是车辆Cr的驾驶轨迹的延伸方向与车辆Cr的前后方向垂直的位
置。标注沿着圆C2且两端连接至车辆Cr的后端Ed3（前进方向一侧
的端部）和指定位置Pt的线路Ln1x。如果转向角达到最大，则线路
Ln1x的长度表明从车辆Cr前进方向一侧的端部Ed3到驾驶轨迹的延
伸方向与车辆Cr的前后方向垂直处的指定位置Pt的驾驶轨迹的距
离，且该长度被确定为基准长度Ls。
基于最大转向角θ2提取的基准长度Ls被用作基于当前转向角
θ1的中心线路Ln1的长度。预先提取所述基准长度并将其存储到控
制单元4的存储器中。驾驶轨迹提取单元90通过从圆C1切掉存储
于存储器中的基准长度的线路来提取中心线路Ln1。
接下来，基于中心线路Ln1提取表明驾驶轨迹的线路。具体地，
如图19的上图所示，驾驶轨迹提取单元90根据中心线路Ln1分别
提取表明车辆Cr的左后轮和右后轮的驾驶轨迹的左后轮线路Ln2和
右后轮线路Ln3。基于左后轮线路Ln2和右后轮线路Ln3提取到梯
形线路。
图20是说明用于基于左后轮线路Ln2和右后轮线路Ln3提取梯
形线路的方法的示意图。（图20的上图所示的）左后轮线路Ln2和
右后轮线路Ln3对应于梯子的支撑部分。对应于梯子的横木（水平
线路）的（图20的中间图所示的）多条线路Ln4被绘制为以等间隔
（例如，沿中心线路Ln6以1.0m的间隔）横越在所述支撑部分上。
在各线路Ln4之间绘制了虚线Ln5。通过使线路Ln2至Ln5中每一
条线路具有预定宽度（例如，3mm）来绘制表明驾驶轨迹的（图20
的下图所示的）线路Ln6。
表明从车辆Cr的后端到各线路Ln4的实际距离的数字被添加至
线路Ln4的附近。表明从车辆Cr的后端到各线路Ln5的实际距离的
数字被添加至线路Ln5的附近。所述数字用作刻度Sl。
根据上述驾驶轨迹提取处理，如果转向角达到最大，则表明驾
驶轨迹的线路Ln6的长度被设置为这样的长度（基准长度）：即，
不管当前转向角θ1如何，该长度都对应于从车辆前进方向一侧的端
部Ed3到驾驶线路Ln6的延伸方向垂直于车辆Cr前后方向处的指定
位置Pt的驾驶轨迹的距离。
<3-2.驾驶轨迹叠加处理>
接下来，将说明由驾驶轨迹叠加单元80执行的驾驶轨迹叠加处
理。图21是说明用于将表明驾驶轨迹的线路Ln6与表明车辆Cr周
边的图像叠加在一起的方法的示意图。（图21的上部左图所示的）
提取的线路Ln6在适当位置与（图21的上部中图所示的）合成图像
Ig10叠加在一起。具体地，在从上方看到的车辆Cr的合成图像Ig10
中，设置了以二维坐标定义的虚拟地图，该二维坐标将车辆Cr的横
向中心或纵向中心的位置看作原点。此外，如上所述标注虚拟地图上
的线路Ln6的位置。即，利用虚拟地图的坐标，线路Ln6叠加到适
当位置并产生（图21的上部右图所示的）合成图像Ig10。
包括叠加的合成图像Ig10和利用后方摄影机14拍摄的图像Ig11
的组合图像作为组合显示在显示器18上（如图21下图所示）。即，
该组合图像被驾驶轨迹叠加单元80输出至输出单元6，并被输出单
元6输出至显示设备17。该组合图像显示在显示设备17所包括的显
示器18上。
由于所显示的表明驾驶轨迹的线路Ln6的长度被设置为这样的
长度（基准长度）：即，不管当前转向角如何，该长度都对应于从车
辆Cr前进方向一侧的端部到驾驶轨迹的延伸方向垂直于车辆Cr前后
方向处的位置的驾驶轨迹的距离，因此如果转向角达到了最大，则可
以适当地支持将车辆Cr停靠在停车位中的用户的驾驶。
用户感觉最难进行的停车方法之一是停车入库。当停车入库时，
例如，驾驶者必须将车辆Cr停靠到停车位Ps中，其中停车位Ps的
位置基本垂直于车辆Cr在行车道路Cs上从停下位置向后移动预定
距离（例如，2m）而到达的位置，如图21的下图所示。因此，如果
如上所述设置了线路Ln6的长度并在车辆Cr的停车位置最大程度地
操控转向装置，则车辆Cr在线路Ln6的前进一侧上的端部可以适当
地适合停车位的宽度。结果，可以适当地支持将车辆Cr停靠在停车
位中的用户的驾驶。
此外，由于对线路Ln6添加了刻度Sl，因此用户可以容易地识
别出车辆Cr和停车位之间的相对距离。
<3-3.控制流程>
图22是示出图像显示系统Sy的处理的流程图。图22所示的处
理在停车模式中以预定间隔（例如，1/30秒的间隔）重复。
首先，获取单元2获取由摄影机11至14拍摄的图像（步骤SC1）。
这些图像示出了车辆Cr的周边。
合成图像产生单元7基于所获取的表明车辆Cr的周边的多个图
像执行上述合成图像产生处理（步骤SC2）。通过该处理，获取了从
上方看到的车辆Cr的图像。
驾驶轨迹叠加单元80获取转向角数据和轴距数据（步骤SC3）。
即，驾驶轨迹叠加单元80获取基于从转向角传感器27输入的关于转
向角的信号所提取的当前转向角数据，并获取从非易失性存储单元5
输入的车辆Cr的轴距数据。
驾驶轨迹提取单元90基于转向角数据和轴距数据提取表明驾驶
轨迹的线路Ln6（步骤SC4）。此外，不管当前转向角如何都将表明
驾驶轨迹的线路Ln6的长度设置为基准长度。驾驶轨迹提取单元90
将所提取的表明驾驶轨迹的线路Ln6输出至驾驶轨迹叠加单元80。
接下来，驾驶轨迹叠加单元80将表明驾驶轨迹的线路Ln6与合
成图像叠加在一起（步骤SC5）。驾驶轨迹叠加单元80产生包括叠
加的合成图像和由后方摄影机14拍摄的图像的组合图像作为组合。
驾驶轨迹叠加单元80将该组合图像输出至输出单元6，并且输出单
元6将该组合图像输出至显示设备17。
显示设备17在显示器18上显示该组合图像（步骤SC6）。
如上所述，由于所显示的表明驾驶轨迹的线路Ln6的长度被设
置为这样的长度（基准长度）：即，不管当前转向角如何，该长度都
对应于从车辆Cr前进方向一侧的端部到驾驶轨迹的线路的延伸方向
垂直于车辆Cr前后方向处的位置的驾驶轨迹的距离，因此如果转向
角达到了最大，则可以适当地支持将车辆Cr停靠在停车位中的用户
的驾驶。
由于对线路Ln6添加了刻度Sl，因此用户可以容易地识别出车
辆Cr和停车位之间的相对距离。
在第三实施例中，通过合成由摄影机11至14所拍摄的表明车
辆Cr周边的多个图像而产生从上方看到的车辆Cr的合成图像，并且
将表明驾驶轨迹的线路Ln6与该合成图像叠加在一起。然而，表明
驾驶轨迹的线路可以与由摄影机11至14所拍摄的表明车辆Cr周边
的各图像叠加在一起，而不是与合成图像叠加在一起。
例如，可以将表明驾驶轨迹的线路Ln7与后方摄影机14拍摄的
表明车辆Cr的后方周边的图像叠加在一起，如图23所示。
上述各实施例包括以下发明。
（1）一种用于显示图像的图像显示系统，其包括：图像获取单
元，其被构造用于获取表明车辆周边的周边图像；转向角获取单元，
其被构造用于获取所述车辆的转向角；提取单元，其被构造用于提取
所述车辆的基于转向角预测的驾驶轨迹；叠加单元，其被构造用于将
表明驾驶轨迹的线路与所述周边图像叠加在一起；以及显示单元，其
被构造用于显示叠加了所述线路的周边图像，其中，如果所述转向角
达到了最大，则叠加单元将所述线路的长度设置为这样的长度：即，
不管当前转向角如何，该长度都对应于从车辆前进方向一侧的端部到
驾驶轨迹的延伸方向垂直于车辆前后方向处的位置的驾驶轨迹的距
离。
因此，由于表明驾驶轨迹的线路的长度被设置为这样的长度：
即，不管当前转向角如何，该长度都对应于从车辆前进方向一侧的端
部到驾驶轨迹的线路的延伸方向垂直于车辆前后方向处的位置的驾
驶轨迹的距离，因此如果转向角达到了最大，则可以适当地支持将车
辆Cr停靠在停车位中的用户的驾驶。
（2）在上述（1）中所述的图像显示系统中，所述叠加单元对
表明驾驶轨迹的线路添加了表明距车辆在前进方向一侧的端部的距
离的刻度。
因此，由于对表明驾驶轨迹的线路添加了刻度，因此用户可以
容易地识别出车辆Cr和停车位之间的相对距离。