驾驶辅助显示装置 技术领域 本发明涉及对用车载摄像机摄像了车辆后方或前方的图像进行处理并提醒驾驶 员的驾驶辅助显示装置。
背景技术 通过将车载摄像机设置在车辆的后备箱 (rear trunk) 部分等或前格栅等上， 提醒 驾驶员用该车载摄像机摄像了的图像， 从而使驾驶员知道车辆后方或前方的情况的驾驶辅 助显示装置正在普及。
而且， 该装置的摄像显示范围被要求更宽的范围。
为了实现更宽的显示范围， 使用了多个车载摄像机的摄像或使用了广角镜头的摄 像， 然后到将摄像所得的宽范围的图像显示在受到限制的显示区域的方法是各种各样。
作为表示在这样的驾驶辅助显示装置中使用了广角镜头的摄像的例子， 可列举专 利文献 1。
在上述专利文献 1 中， 公开了图 57 所示的用广角镜头进行了摄像的情况下的摄像 图像。作为这里所示的被摄体， 101-1 可以看成穿过车载摄像机的地面上的横直线， 101-2 可以看成建筑物造成的距地面的垂直线。
作为表示广角的摄像图像的校正处理的例子， 可列举专利文献 2。
在上述专利文献 2 中， 公开了图 58 所示的将整个四周的摄像图像按麦尔卡德尔 (Mercator) 图法展开了的整个四周校正图像。将从图 58 截出了假设在水平方向大约相当 180°的范围的情况示于图 59、 图 60。图 59、 图 60 所示的 102-2-1 可以看成建筑物造成的 距地面的垂直线。此外， 图 59 的 102-2-2 可以看成从车载摄像机这一侧向内方向上平行的 人行横道的竖纹情况， 图 60 的 102-3-1 可以看成穿过车载摄像机的地面上的横直线。
作为使用了多个车载摄像机的摄像并示出该图像显示的例子， 可列举专利文献 3。
在上述专利文献 3 中， 如图 61 所示， 在用三个车载摄像机摄像所得的图像中， 示出 了将来自对左后方进行摄像的角 (angle) 上安装了的车载摄像机的图像显示在左后方图 像显示区域 71 上、 将来自对右后方进行摄像的角上安装了的车载摄像机的图像显示在右 后方图像显示区域 72 上、 将来自对正后方进行摄像的角上安装了的车载摄像机的图像显 示在正后方图像显示区域 73 上的图像。
在这些图像配置中， 左后方图像显示区域 71 及右后方图像显示区域 72 被设置， 以 被正后方图像显示区域 73 的上边覆盖。
而且， 从图 61 的状态 3 至状态 5 那样， 横穿车辆的移动体 T 的位置对应于从左后 方图像显示区域 71 移动到正后方图像显示区域 73， 在正后方图像显示区域 73 中， 通过在位 于连结到左后方图像显示区域 71 中的移动轨迹 F 的方向的正后方图像显示区域 73 的辅助 图像引导轨迹 F’ 上出现辅助图像 M’ ， 谋求隔断感的缓解和进行向正后方图像显示区域 73 的目光的引导。
现有技术文献
专利文献 专利文献 1 ： 特开 2007-22176 号公报 专利文献 2 ： 特开 2008-5478 号公报 专利文献 3 ： 特开 2008-258822 号公报发明内容 发明要解决的课题
但是， 如上述以往的专利文献 1 那样， 在用广角镜头进行了摄像的情况下， 原来为 直线的 101-1 和 101-2 的被摄体， 按相对镜头 (lens) 的光轴的角度的关系顺序， 用眼观察 被明显弯曲地摄像， 所以在将摄像所得的图像直接显示的情况下， 有难以目视识别 101-1 是否为横向、 101-2 是否为垂直、 或是否为直线的课题。
作为形成容易目视识别这样的图像的图像的方案， 可考虑专利文献 2 中公开的图 像校正方法。
在该校正方法中， 上述垂直的被摄体如 102-2-1 那样， 在显示图像上被显示为垂 直的直线， 所以垂直的被摄体的目视识别性好。
但是， 在地面的 102-3-1 中与 101-1 同等地弯曲， 正面附近被横方向地显示， 而且 在左右的较远的位置以接近纵向的斜度来显示， 所以 102-3-1 整体地为横方向， 还是为直 线， 与上述专利文献 1 同样难以目视识别。
此外， 在辅助驾驶的用途上， 为了目视识别车辆之间的位置关系， 有时将保险杠等 车身端部映入在图像的下侧， 但该情况中也有同样的弯曲， 所以也难以目视识别保险杠等 的车身端部。
在 102-2-2 中有关从人行横道的摄像位置起前后方向的情况， 该情况相当于靠近 摄像位置的位置， 在该位置上， 前后方向的直线明显地向左右外侧扩大地弯曲， 所以也有难 以目视识别作为辅助驾驶的自身的车宽和车辆的行进方向之间的关系的课题。
另一方面， 如果是通过非广角的镜头进行摄像， 则不进行上述专利文献 2 那样的 图像校正， 也可以无明显弯曲地进行直线的被摄体的摄像。该情况下， 如上述那样， 有专利 文献 3 那样的显示例子， 但在移动体 T 从左后方图像显示区域 71 移动到正后方图像显示区 域 73 时， 需要使视线从位于左后方图像显示区域 71 右侧的视线移动到与左后方图像显示 区域 71 上的移动体 T 的移动方向相反方向的位于正后方图像显示区域 73 左侧的图像出现 位置 Q。
尽管通过辅助图像 M’ 的显示而引导视线移动到正后方图像显示区域 73， 但因不 是完全向图像出现位置 Q 的引导， 向图像出现位置 Q 的视线的移动方向和移动宽度不改变， 所以在头脑中考虑位置关系的时间过长， 有车辆操作可能迟缓的课题， 并且有因在对正后 方进行摄像的角上为非广角的镜头， 难以将与正后方为大角度差的保险杠等的车身端部映 入、 显示的课题。
为了解决上述课题， 本发明的目的在于， 在从车辆后方、 或前方的前、 左右及下方 向的宽范围的摄像进行显示中， 提供容易进行对应于目标的目视识别性好的被摄体的形状 显示、 提高被摄体和车辆的方向性或位置关系的目视识别性、 以及对在画面上移动的被摄 体的视线的移动的驾驶辅助显示装置。
用于解决课题的方案
为了解决上述以往的课题， 本发明的驾驶辅助显示装置包括 ： 一个或多个摄像单 元， 对车辆后方、 或前方的前、 左右及下方向的宽范围从相同位置进行摄像 ； 图像处理单元， 将校正了由所述摄像单元摄像所得的车辆的校正图像分割配置在任意的校正图像显示区 域中， 将屏蔽描绘 (mask scanning) 在任意的显示位置上与分割配置了的所述校正图像进 行合成 ； 以及图像显示单元， 显示由所述图像处理单元处理过的处理图像， 所述图像处理 单元生成进行校正的前方向校正图像、 左方向校正图像、 右方向校正图像以及下方向校正 图像， 在对于与水平的地面平行的车辆前后方向平行的前方向虚拟视线垂直的前方向平面 上， 将与所述地面水平垂直的正方形的框格进行了摄像的情况下， 对其进行校正， 以使所述 前方向平面上的正方形的框格在显示图像上被显示为水平垂直的正方形或长方形， 并且显 示的正方形或长方形的大小相同， 从而生成所述前方向校正图像， 在对于从所述车辆前后 方向向左超过 0°且低于 90°的左方向虚拟视线垂直的左方向平面上， 将与所述地面水平 垂直的正方形的框格进行了摄像的情况下， 对其进行校正， 以使所述左方向平面上的正方 形的框格在显示图像上被显示为水平垂直的正方形或长方形， 并且显示的正方形或长方形 的大小相同， 从而生成所述左方向校正图像， 在对于从所述车辆前后方向向右超过 0°且低 于 90°的右方向虚拟视线垂直的右方向平面上， 将与所述地面水平垂直的正方形的框格 进行了摄像的情况下， 对其进行校正， 以使所述右方向平面上的正方形的框格在显示图像 上被显示为水平垂直的正方形或长方形， 并且显示的正方形或长方形的大小相同， 从而生 成所述右方向校正图像， 以及在对于从所述车辆前后方向向下垂直超过 0°且在 90°以内 的下方向虚拟视线垂直的下方向平面上， 将由平行于车辆左右方向的直线和对平行于所述 车辆左右方向的直线为直角的直线构成的正方形的框格进行了摄像的情况下， 对其进行校 正， 以使所述平行直角构成的正方形的框格在显示图像上被显示为水平垂直的正方形或长 方形， 并且显示的正方形或长方形的大小相同， 从而生成所述下方向校正图像， 在前方向校 正图像显示区域中显示所述前方向校正图像， 在左方向校正图像显示区域中显示所述左方 向校正图像， 在右方向校正图像显示区域中显示所述右方向校正图像， 在下方向校正图像 显示区域中显示所述下方向校正图像， 所述前方向校正图像显示区域的形状中的左边及右 边在显示的图像上为垂直的直线， 下边在显示的图像上为水平的直线， 所述左方向校正图 像显示区域的形状中的右边在显示的图像上为垂直的直线， 下边为与平行于所述车辆前后 方向且偏向摄像位置左侧的所述地面上的直线一致的直线， 所述右方向校正图像显示区域 的形状中的左边在显示的图像上为垂直的直线， 下边为与平行于所述车辆前后方向且偏向 摄像位置右侧的所述地面上的直线一致的直线， 所述下方向校正图像显示区域的形状中的 上边在显示的图像上为水平且与在摄像位置前侧平行于与所述地面上水平的车辆左右方 向的所述地面上的直线一致的直线， 左边为在平行于所述车辆前后方向且与偏向摄像位置 左侧的所述地面上的直线一致的直线， 右边为与平行于所述车辆前后方向且偏向摄像位置 右侧的所述地面上的直线一致的直线， 进行配置， 以使所述前方向校正图像显示区域的左 边和所述左方向校正图像显示区域的右边、 所述前方向校正图像显示区域的右边和所述右 方向校正图像显示区域的左边、 所述前方向校正图像显示区域的下边和所述下方向校正图 像显示区域的上边分别相互地邻接， 三个邻接的边附近的彼此的显示区域中显示的摄像图 像为一致的关系， 根据用途， 将维持了所述四个校正图像显示区域之间的关系的全体图像左右反转， 将三个邻接的边上线或虚线的任意色的屏蔽描绘和所述四个校正图像显示区域 以外的间隙进行以任意色填充了的屏蔽描绘。
根据该结构， 对于车辆后方、 或前方的前、 左右及下方向的宽范围的摄像图像， 首 先可以同时地显示整个范围。
此外， 可以将各个校正图像显示区域中显示的图像， 校正为垂直于以车辆前后方 向为基准的左方向、 右方向及下方向上的平面上的变形的图像。
此外， 可以按与实际方向类似的关系显示各个显示区域。
此外， 可以将在前方向和左方向、 右方向或下方向上移动的被摄体不间断而连续 地显示。
此外， 可以将各个校正图像显示区域中显示的直线的被摄体完全直线显示。
此外， 可以将前、 左右方向的上述地面上垂直的直线的被摄体在前方向、 左方向或 右方向的校正图像显示区域中以垂直的直线显示。
此外， 可以将前、 下方向的上述地面上水平且车辆左右方向上平行的直线的被摄 体在前方向、 或下方向的校正图像显示区域中以水平的直线显示。
此外， 可以根据下方向校正图像显示区域的左边及右边、 以及左方向及右方向校 正图像显示区域的下边的形状， 表现上述地面上的车辆前后方向。 此外， 可以显示邻接的各个显示区域的边界。
此外， 本发明的驾驶辅助显示装置， 对于在与所述左方向校正图像显示区域或所 述右方向校正图像显示区域的下边一致的所述车辆前后方向上平行的所述地面上的直线， 比较所述前方向校正图像显示区域中显示的图像上的斜度和所述左方向校正图像显示区 域或所述右方向校正图像显示区域中显示的图像上的斜度， 为了所述左方向校正图像显示 区域或所述右方向校正图像显示区域中显示的斜度接近水平方向， 进行左方向虚拟视线及 右方向虚拟视线的角度的调节， 或进行在水平方向上拉长左方向平面及右方向平面上的正 方形的框格的显示形状的调节。
根据该结构， 可以使在左方向或右方向校正图像显示区域中显示的、 摄像高度以 外的车辆前后方向的直线保留被显示的图像上的斜度， 并且减轻该斜度。
此外， 本发明的驾驶辅助显示装置， 在将所述左方向平面上的正方形的框格进行 了摄像的情况下进行显示， 以使该框格成为对于所述地面水平的直线在所述左方向校正图 像显示区域中达到可目视识别程度的平缓的左下垂且相同大小的平行四边形的框格， 在将 所述右方向平面上的正方形的框格进行了摄像的情况下进行显示， 以使该框格成为对于所 述地面水平的直线在所述右方向校正图像显示区域中达到可目视识别程度的平缓的右下 垂且相同大小的平行四边形的框格。
根据该结构， 可以将前方向校正图像显示区域的地平线对于显示的图像上形成为 水平， 将左方向校正图像显示区域的地平线在显示的图像上形成左下垂， 将右方向校正图 像显示区域的地平线在显示的图像上形成右下垂。
此外， 本发明的驾驶辅助显示装置， 为了所述左方向校正图像显示区域的下边和 所述下方向校正图像显示区域的左边、 所述右方向校正图像显示区域的下边和所述下方向 校正图像显示区域的右边分别彼此邻接， 仍然使分别彼此邻接了的两个边附近中的彼此的 显示区域中显示的摄像图像为一致的关系， 在分别彼此邻接了的两个边上进行线或虚线的
任意色的屏蔽描绘。
根据该结构， 也可以将在左方向和下方向、 或右方向和下方向移动的被摄体不间 断而连续地显示。
此外， 本发明的驾驶辅助显示装置， 在将所述左方向平面上的正方形的框格进行 了摄像的情况下进行显示， 以使该框格成为对于所述地面水平的直线在所述左方向校正图 像显示区域中达到可目视识别程度的平缓的左下垂且相同大小的平行四边形的框格， 在将 所述右方向平面上的正方形的框格进行了摄像的情况下进行显示， 以使该框格成为对于所 述地面水平的直线在所述右方向校正图像显示区域中达到可目视识别程度的平缓的右下 垂且相同大小的平行四边形的框格。
根据该结构， 防止下方向校正图像显示区域中的若干纵向拉长， 并且对于前方向 校正图像显示区域的地平线在显示的图像上为水平的情况来说， 可以使左方向校正图像显 示区域的地平线在显示的图像上为左下垂， 右方向校正图像显示区域的地平线在显示的图 像上为右下垂。
此外， 本发明的驾驶辅助显示装置， 将平行于所述车辆前后方向的所述地面上的 车辆前后方向直线和平行于所述车辆左右方向的所述地面上的车辆左右方向直线之间的 交点设在以下位置， 即， 穿过摄像位置正下方的所述地面上的摄像原点， 车辆将方向盘最大 地转向了的情况下通过的所述地面上的车辆通过范围内的最内侧的圆相切的切线附近， 平 行于所述车辆前后方向的所述地面上的车辆前后方向直线与所述下方向校正图像显示区 域的左边或右边一致， 或与所述左方向校正图像显示区域或所述右方向校正图像显示区域 的下边一致， 平行于所述车辆左右方向的所述地面上的车辆左右方向直线与所述下方向校 正图像显示区域的上边一致， 或与所述前方向校正图像显示区域的下边一致。
根据该结构， 除了将垂直的立体物垂直地显示以外， 车辆通过范围的最内侧的圆， 在与前方向校正图像显示区域和左方向校正图像显示区域、 或右方向校正图像显示区域之 间的关系中， 主要位于左方向校正图像显示区域、 或右方向校正图像显示区域， 并且成为相 切到前方向校正图像显示区域和左方向校正图像显示区域、 或右方向校正图像显示区域的 边界的位置关系。
发明效果
如以上那样， 根据本发明的驾驶辅助显示装置， 将前、 左右、 及下方向的宽范围无 缺陷地显示， 将图像整体以接近实际的视线的形状和配置来显示， 而且将位于远处的水平 线贯穿三个显示区域水平地显示， 从最近距离到远处的范围的被摄体， 如从一个位置环视 了那样容易识别图像整体。
此外， 由于将在前后方向、 或隔开了一定以上的距离的左右方向移动的被摄体无 间断或无阶梯差地显示， 所以在辅助驾驶上有效的左右方向或前后方向的视线的移动容 易。
此外， 由于将直线的被摄体在各个显示区域内完全以直线显示， 所以在容易识别 方向性的基础上， 由于在相当于左右环视的图像中将垂直于上述地面的直线垂直地显示， 所以在辅助驾驶上提高有效的上述地面和障碍物之间的上下关系的目视识别性， 由于将在 相当于上下环视了的图像中车辆的正侧面方向的直线水平地显示， 所以与抑制了保险杠等 的变形的车辆端部的显示相配而提高对横方向的车辆方向关系的目视识别性， 而且通过与显示区域的边的形状相配， 还提高在辅助驾驶上有效的车辆的前后方向的目视识别性。
邻接的各个显示区域的边界部分的直线弯曲， 但通过屏蔽描绘而能够识别它们的 边界， 所以可以识别视线对各个不同显示区域不同的事实。
此外， 根据本发明的驾驶辅助显示装置， 左方向及右方向校正图像显示区域中显 示的上述地面上的车辆前后方向直线， 由于越远的位置， 越留存靠近地平线的斜度， 所以车 辆前后方向的进深的目视识别性被保持， 但由于被摄体的车辆前后方向的图像的斜度也被 减轻， 所以能够接近于实际视线的观察方式， 提高被摄体的目视识别性。
此外， 根据本发明的驾驶辅助显示装置， 即使在对附近没有立体物情况的什么也 没有的上述地面进行了摄像的情况， 也成为在显示地平线的图像上能够识别程度的山形弧 线的显示， 所以可以目视识别为前方向校正图像显示区域显示前方向， 左方向校正图像显 示区域显示左方向， 右方向校正图像显示区域显示右方向。
此外， 根据本发明的驾驶辅助显示装置， 由于从左右方向到下方向都被无间断或 无阶梯差地显示， 所以更容易识别显示的整体图像的位置关系， 而且对画面上移动的被摄 体的视线的移动容易贯穿显示的整个图像上。
此外， 根据本发明的驾驶辅助显示装置， 即使在下方向校正图像显示区域连上左 方向及右方向校正图像显示区域的情况下， 也对下方向校正图像显示区域的目视识别性 无影响而可以目视识别为前方向校正图像显示前方向， 左方向校正图像显示区域显示左方 向， 右方向校正图像显示区域显示右方向。 此外， 根据本发明的驾驶辅助显示装置， 表示左方向、 或右方向的校正图像显示区 域和前方向校正图像显示区域的边界的直线的屏蔽描绘， 在将方向盘最大地转向了的情况 下成为是否与立体物接触的目标线， 进入车库等的车的移动和障碍物之间的位置关系的目 视识别性提高。
附图说明
图 1 是本发明实施方式 1、 2、 3、 4、 5、 6 中的驾驶辅助显示装置的概略结构图。 图 2 是本发明实施方式 1、 2、 3、 4、 5、 6 中的驾驶辅助显示装置的概略结构图。 图 3 是本发明实施方式 1、 2、 3、 4、 5、 6 中的驾驶辅助显示装置的概略结构图。 图 4 是表示对本车辆的车载摄像机的详细的装载状态的图。 图 5 是表示对本车辆的车载摄像机的详细的装载状态的图。 图 6 是表示车载摄像机 2 摄像的被摄体的图。 图 7 是表示车载摄像机 2 摄像的被摄体的图。 图 8 是表示车载摄像机 2 摄像的被摄体的图。 图 9 是表示车载摄像机 2 摄像的被摄体的图。 图 10 是表示车载摄像机 2 摄像的被摄体的图。 图 11 是表示车载摄像机 2 摄像的被摄体的图。 图 12 是表示车载摄像机 2 摄像的被摄体的图。 图 13 是表示车载摄像机 2 摄像的被摄体的图。 图 14 是表示与车辆通过范围之间的位置关系的图。 图 15 是摄像图像。图 16 是本发明实施方式 1 的处理后的显示图像。 图 17 是本发明实施方式 1 的处理后的显示图像。 图 18 是本发明实施方式 1 的处理后的显示图像。 图 19 是本发明实施方式 1 的处理后的显示图像。 图 20 是本发明实施方式 1 的处理后的显示图像。 图 21 是本发明实施方式 1 的处理后的显示图像。 图 22 是本发明实施方式 1 的处理后的显示图像。 图 23 是本发明实施方式 1 的处理后的显示图像。 图 24 是本发明实施方式 1 的处理后的显示图像。 图 25 是本发明实施方式 1 的处理后的显示图像。 图 26 是摄像图像。 图 27 是本发明实施方式 1 的处理对象外的显示图像。 图 28 是本发明实施方式 1 的处理对象外的显示图像。 图 29 是本发明实施方式 1 的处理对象外的显示图像。 图 30 是摄像图像。 图 31 是本发明实施方式 1 的处理对象外的显示图像。 图 32 是本发明实施方式 1 的处理对象外的显示图像。 图 33 是本发明实施方式 1 的处理对象外的显示图像。 图 34 是摄像图像。 图 35 是本发明实施方式 2 的处理后的显示图像。 图 36 是本发明实施方式 2 的处理后的显示图像。 图 37 是本发明实施方式 2 的处理后的显示图像。 图 38 是本发明实施方式 2 的处理后的显示图像。 图 39 是本发明实施方式 2、 6 的处理后的显示图像。 图 40 是本发明实施方式 3 的处理后的显示图像。 图 41 是本发明实施方式 3 的处理后的显示图像。 图 42 是本发明实施方式 3 的处理后的显示图像。 图 43 是本发明实施方式 3 的处理后的显示图像。 图 44 是摄像图像。 图 45 是本发明实施方式 4 的处理后的显示图像。 图 46 是本发明实施方式 4 的处理后的显示图像。 图 47 是本发明实施方式 4 的处理后的显示图像。 图 48 是本发明实施方式 4 的处理后的显示图像。 图 49 是本发明实施方式 4 的处理后的显示图像。 图 50 是本发明实施方式 4 的处理后的显示图像。 图 51 是本发明实施方式 4 的处理后的显示图像。 图 52 是本发明实施方式 5 的处理后的显示图像。 图 53 是本发明实施方式 5 的处理后的显示图像。 图 54 是本发明实施方式 5 的处理后的显示图像。图 55 是本发明实施方式 5 的处理后的显示图像。 图 56 是本发明实施方式 2、 6 的处理后的显示图像。 图 57 是以广角镜头进行了摄像的情况下的摄像图像。 图 58 是以麦尔卡德尔图法展开了的整个四周校正图像。 图 59 是从整个四周校正图像中的截取出的校正图像。 图 60 是从整个四周校正图像中的截取出的校正图像。 图 61 是以往的显示图像。 标号说明 1 本车辆 2 车载摄像机 2-1 ～ 2-n 车载摄像机 3 图像处理单元 4 监视器 5 图像处理装置 6 车辆原点 7 光轴 8 地平线 9 图像圈 (image circle) 10 保险杠 11 长方体 12-1， 12-2， 12-3 长方体 13 长方体 21 前方向平面上的框格 21G 车辆左右方向直线 21L 垂直线 21R 垂直线 21-1 前方向虚拟视线 21-2 前方向平面 22-1 下方向平面上的框格 22-1-1 下方向虚拟视线 22-1-2 下方向平面 22-2 下方向平面上的框格 22-2-1 下方向虚拟视线 22-2-2 下方向平面 23-1L 左方向平面上的框格 23-1-1L 左方向虚拟视线 23-1-2L 左方向平面 23-1R 右方向平面上的框格 23-1-1R 右方向虚拟视线23-1-2R 右方向平面 23-2L 左方向平面上的框格 23-2-1L 左方向虚拟视线 23-2-2L 左方向平面 23-2R 右方向平面上的框格 23-2-1R 右方向虚拟视线 23-2-2R 右方向平面 23-3L 左方向平面上的框格 23-3-1L 左方向虚拟视线 23-3-2L 左方向平面 23-3R 右方向平面上的框格 23-3-1R 右方向虚拟视线 23-3-2R 右方向平面 23-4L 左方向平面上的框格 23-4-1L 左方向虚拟视线 23-4-2L 左方向平面 23-4R 右方向平面上的框格 23-4-1R 右方向虚拟视线 23-4-2R 右方向平面 24 地面上的直线 24-15L 车辆前后方向直线 24-15R 车辆前后方向直线 25-1 地面上的摄像原点 25-2 车辆通过范围圆的中心 25-3 车辆通过范围内侧的圆 25-4 车辆通过范围外侧的圆 25-5 切线 25-6 切点 25-7 图像分离基准点 25-8 图像分离点 30 摄像原点 41-1 前方向校正图像显示区域 41-2 下方向校正图像显示区域 41-3L 左方向校正图像显示区域 41-3R 右方向校正图像显示区域 41-4 虚线屏蔽描绘 41-5L 虚线屏蔽描绘 41-5R 虚线屏蔽描绘 41-6L 面屏蔽描绘41-6R 面屏蔽描绘 41-7L 面屏蔽描绘 41-7R 面屏蔽描绘 42-3L 左方向校正图像显示区域 42-3R 右方向校正图像显示区域 42-5L 虚线屏蔽描绘 42-5R 虚线屏蔽描绘 42-6L 面屏蔽描绘 42-6R 面屏蔽描绘 43-3L 左方向校正图像显示区域 43-3R 右方向校正图像显示区域 43-5L 虚线屏蔽描绘 43-5R 虚线屏蔽描绘 43-6L 面屏蔽描绘 43-6R 面屏蔽描绘 43-7L 面屏蔽描绘 43-7R 面屏蔽描绘 44-3L 左方向校正图像显示区域 44-3R 右方向校正图像显示区域 44-5L 虚线屏蔽描绘 44-5R 虚线屏蔽描绘 44-6L 面屏蔽描绘 44-6R 面屏蔽描绘 44-7L 面屏蔽描绘 44-7R 面屏蔽描绘 45-3L 左方向校正图像显示区域 45-3R 右方向校正图像显示区域 45-5L 虚线屏蔽描绘 45-5R 虚线屏蔽描绘 45-6L 面屏蔽描绘 45-6R 面屏蔽描绘 45-7L 面屏蔽描绘 45-7R 面屏蔽描绘 46-2 下方向校正图像显示区域 46-4 虚线屏蔽描绘 46-8L 虚线屏蔽描绘 46-8R 虚线屏蔽描绘 47-2 下方向校正图像显示区域 47-3L 左方向校正图像显示区域47-3R 右方向校正图像显示区域 47-4 虚线屏蔽描绘 47-5L 虚线屏蔽描绘 47-5R 虚线屏蔽描绘 47-7L 面屏蔽描绘 47-7R 面屏蔽描绘 47-8L 虚线屏蔽描绘 47-8R 虚线屏蔽描绘 70 显示装置 ( 移动体图像显示装置 ) 71 左后方图像显示区域 ( 第一显示区域 ) 72 右后方图像显示区域 ( 第三显示区域 ) 73 正后方图像显示区域 ( 第二显示区域 ) 101-1 地面上的横直线 101-2 距地面的垂直线 102-2-1 距地面的垂直线 102-2-2 人行横道的竖纹情况 102-3-1 地面上的横直线 F 移动轨迹 F’ 辅助图像引导轨迹 M’ 辅助图像 Q 图像出现位置 T 移动体 xx 轴 yy 轴 zz 轴具体实施方式
以下， 参照附图说明本发明的实施方式。
( 实施方式 1)
图 1 是本发明的实施方式 1 的结构图。
在图 1 中， 1 是装载驾驶辅助显示装置的本车辆， 2 是对宽范围进行摄像的使用了 广角镜头的一个车载摄像机， 3 是将车载摄像机 2 摄像所得的图像进行了校正的校正图像 分割配置在任意的校正图像显示区域中， 并作为在任意的显示位置进行屏蔽描绘的图像单 元， 被内置在车载摄像机 2 中。
4 是显示由图像处理单元 3 进行了处理的图像的监视器。
再有， 图像处理单元 3 可以是如图 2 所示那样被内置在监视器 4 中的结构， 也可以 是如图 3 所示那样被内置在图像处理装置 5 中的结构。
此外， 在使用未使用广角镜头的车载摄像机的情况下， 如图 3 所示， 也可以是使用 了从多个车载摄像机 2-1 至 2-n 的结构。但是， 这种情况下， 由于有可能在校正后的图像的连接的关系上出现差异， 所以假 设将车载摄像机之间相互靠近， 直至在显示的图像中该差异不明显为止。
图 1 ～图 3 是将车载摄像机 2 装载在了车辆的后方的图， 也可以装载在车辆的前 方。在本发明的实施方式 1 及以后的实施方式中， 假设装载在车辆后方。
图 4 及图 5 表示对本车辆 1 的车载摄像机 2 的详细的装载状态。
图 4 是从上方观察了本车辆 1 的图。
以后假设地面是水平的， 10 是本车辆 1 后方侧的保险杠， y 是表示与地面平行且为 本车辆 1 的前后方向， 并且作为本车辆 1 的左右方向的中心的 y 轴。
x 是表示与地面平行且为本车辆 1 的左右方向， 并且作为位于本车辆 1 最末尾的保 险杠端的 x 轴。
假设 6 是 y 轴和 x 轴交叉点即车辆原点。
假设将车载摄像机 2 配置在 y 轴上。
图 5 是从侧面观察了本车辆 1 的图。
y 是与图 4 相同的 y 轴。
z 是与地面垂直且位于本车辆 1 最末尾的保险杠端的 z 轴， 与图 4 同一车辆原点 6 交叉。 7 是车载摄像机 2 的镜头的光轴， 假设与 y 轴形成的角为 40°。
30 是表示摄像位置的摄像原点， 假设车载摄像机 2 的摄像位置距车辆原点 6 在 y 轴方向 -0.1m、 z 轴方向 0.9m。
此外， 假设最末尾的保险杠端的 z 轴方向为 0.6m。
再有， 这些角度和位置关系是一个例子， 实际上因车辆的种类而各种各样地不同。
图 6、 图 7、 图 9 及图 13 表示以车辆原点 6 为基准的车载摄像机 2 进行摄像的被摄 体。
在图 6 中， 21-1 是平行于 y 轴的前方向虚拟视线， 21-2 是垂直于前方向虚拟视线 21-1 且位于 y 轴方向 1.2m 的前方向平面， 21 是在前方向平面 21-2 上、 以 0.5m 的均等间隔 相对于地面为平行直角的正方形的图中所示的范围的前方向平面上的框格， 21G 是前方向 平面上的框格 21 中包含的地面上的车辆左右方向直线， 21L 是前方向平面上的框格 21 中 包含的、 距车辆原点 6 位于 x 轴方向 1.5m 的垂直线， 21R 是前方向平面上的框格 21 中包含 的、 距车辆原点 6 位于 x 轴方向 -1.5m 的垂直线。
在图 7 中， 21G 是与图 6 中的车辆左右方向直线 21G 相同的直线， 22-1-1 是从 y 轴 为下 90°的方向的下方向虚拟视线， 22-1-2 是垂直于下方向虚拟视线 22-1-1 且位于地面 上的下方向平面， 22-1 是由在下方向平面 22-1-2 上、 以 0.5m 的均等间隔相对于车辆左右方 向直线 21G 为平行直角的正方形的图中所示的范围的下方向平面上的框格、 和由车辆左右 方向直线 21G、 以及与相当于车载摄像机 2 的正下方的 x 轴平行的地面上的直线构成的下方 向平面上的框格。
在图 9 中， 21L 是与图 6 中的垂直线 21L 相同的垂直线， 21R 是与图 6 中的垂直线 21R 相同的垂直线， 23-1-1L 是从 y 轴为左 45°的方向的左方向虚拟视线， 23-1-2L 是垂直 于左方向虚拟视线 23-1-1L 且距车辆原点 6 在 x 轴方向经过 1.5m、 在 y 轴方向经过 1.2m 的 左方向平面， 23-1L 是在左方向平面 23-1-2L 上、 以 0.5m 的均等间隔相对于地面为平行直
角的正方形、 包含垂直线 21L 的图中所示的范围的左方向平面上的框格， 23-1-1R 是从 y 轴 为右 45°的方向的右方向虚拟视线， 23-1-2R 是垂直于右方向虚拟视线 23-1-1R 且距车辆 原点 6 在 x 轴方向经过 -1.5m、 在 y 轴方向经过 1.2m 的右方向平面， 23-1R 是在右方向平面 23-1-2R 上、 以 0.5m 的均等间隔相对于地面为平行直角的正方形、 包含垂直线 21R 的图中所 示的范围的右方向平面上的框格。
在图 13 中， 24 是由 y 轴方向 -0.1m、 以及从 0m 至 3.5m 按 0.5m 间隔平行于 x 轴的 9 条无限长的直线和 x 轴方向 10m、 -10m、 从 0m 至 ±2.5m 按 0.5m 间隔平行于 y 轴且 y 轴 正方向无限长的 13 条直线组成的地面上的直线， 24-15L 是地面上的直线 24 中包含的、 位 于 x 轴方向 1.5m 的车辆前后方向直线， 24-15R 是地面上的直线 24 中包含的、 位于 x 轴方 向 -1.5m 的车辆前后方向直线。
图 15 是进行图像处理前的摄像图像。
在图 4 及图 5 所示的装载状态中， 将图 6、 图 7 及图 9 所示的前方向平面上的框格 21、 下方向平面上的框格 22-1、 左方向平面上的框格 23-1L 以及右方向平面上的框格 23-1R 和地平线 8 同时进行了摄像时， 假设为图 15 那样进行摄像的图像。
9 是图像圈， 假设为从镜头光轴至 90°的方向为止进行摄像的图像。
在用广角的镜头进行了摄像的情况下， 图像圈内所示的各个线的那样原来直线的 被摄体被各式各样地弯曲摄像。
下面说明图像处理单元 3 的处理。
图 16 至图 25 是摄像所得的图像由图像处理单元 5 进行相同处理， 并由监视器 4 显示了的显示图像。
通常， 车辆后方的摄像图像的显示一般为显示将图像整体左右反转了的镜像， 但 在本发明的实施方式 1 及以后的实施方式中， 为了容易地说明摄像图像和显示图像的左右 关系， 假设以完全不进行左右反转的图像作为例子。
图 16 是表示对监视器 4 的显示范围的图像处理单元 3 的处理后的图像配置的图。
41-1 是在显示范围的中央上侧配置了的前方向校正图像显示区域， 41-2 是在前 方向校正图像显示区域 41-1 的下面配置了的下方向校正图像显示区域， 41-3L 是在前方向 校正图像显示区域 41-1 的左边配置了的左方向校正图像显示区域， 41-3R 是在前方向校正 图像显示区域 41-1 的右边配置了的右方向校正图像显示区域， 41-4 是虚线屏蔽描绘， 以使 任意色的虚线在前方向校正图像显示区域 41-1 和下方向校正图像显示区域 41-2 邻接的边 的显示位置总被显示， 41-5L 是虚线屏蔽描绘， 以使任意色的虚线在前方向校正图像显示区 域 41-1 和左方向校正图像显示区域 41-3L 邻接的边的显示位置总被显示， 41-5R 是虚线屏 蔽描绘， 以使任意色的虚线在前方向校正图像显示区域 41-1 和右方向校正图像显示区域 41-3R 邻接的边的显示位置总被显示， 41-6L、 41-6R、 41-7L 及 41-7R 是面屏蔽描绘， 以使任 意色在前方向校正图像显示区域 41-1、 下方向校正图像显示区域 41-2、 左方向校正图像显 示区域 41-3L 及右方向校正图像显示区域 41-3R 以外的显示区域总被显示。
图 17 是将图 15 的摄像图像以图 16 的配置进行了处理的图像。
图 17 中的前方向校正图像显示区域 41-1 中显示的图像， 在被摄体处于前方向平 面上的框格 21 的情况下进行校正， 以使其在显示上为水平垂直的正方形并且各自的正方 形的大小相同。再有， 显示的框格也可以进行校正， 以使其为长方形。
此外， 前方向校正图像显示区域 41-1 中的下边与车辆左右方向直线 21G 一致， 左 边与垂直线 21L 一致， 右边与垂直线 21R 一致。
下方向校正图像显示区域 41-2 中显示的图像， 在被摄体处于下方向平面上的框 格 22-1 中的正方形框格的情况下进行校正， 以使其在显示上为水平垂直的正方形并且各 自的正方形的大小相同。
再有， 显示的框格也可以进行校正， 以使其为长方形。
此外， 下方向校正图像显示区域 41-2 中的上边与车辆左右方向直线 21G 一致， 与 前方向校正图像显示区域 41-1 的下边的配置邻接， x 轴方向的位置与前方向校正图像显示 区域 41-1 中的下边的车辆左右方向直线 21G 的 x 轴方向的位置一致。
此外， 下方向校正图像显示区域 41-2 中的左边与垂直线 21L 和 x 轴方向上为同一 距离的车辆前后方向直线 24-15L 一致。
此外， 下方向校正图像显示区域 41-2 中的右边与垂直线 21R 和 x 轴方向上为同一 距离的车辆前后方向直线 24-15R 一致。
再有， 下方向校正图像显示区域 41-2 中的下边与位于摄像位置的 y 轴方向 -0.1m 一致， 但在 y 轴方向上显示至哪里是任意的。
左方向校正图像显示区域 41-3L 中显示的图像， 在被摄体处于左方向平面上的框 格 23-1L 的情况下进行校正， 以使其在显示上为水平垂直的竖长形的长方形并且各自的竖 长形的长方形的大小相同。
左方向平面上的框格 23-1L 在左方向平面上无限地连续并且为正方形的框格的 情况下进行校正， 以贯穿左方向校正图像显示区域 41-3L 整体来显示长方形的框格。
再有， 显示的框格也可以进行校正， 以使其为正方形、 横长型的长方形。
此外， 左方向校正图像显示区域 41-3L 中的右边与垂直线 21L 一致， 与前方向校正 图像显示区域 41-1 的左边的配置邻接， z 轴方向的位置与前方向校正图像显示区域 41-1 中 的左边的垂直线 21L 的 z 轴方向的位置一致。
此外， 左方向校正图像显示区域 41-3L 中的下边与垂直线 21L 和 x 轴方向上为同 一距离的车辆前后方向直线 24-15L 一致。
再有， 左方向校正图像显示区域 41-3L 中的左上部的左下垂的边是图像圈 9， 在距 该边的左上部中图像没有被摄像。因此， 与面屏蔽描绘 41-7L 一起成为斜的形状， 但如果根 据装载状态或镜头的特性而能够摄像， 则该边是不要的。
此外， 左方向校正图像显示区域 41-3L 中的左边与位于摄像位置的 y 轴方向 -0.1m 一致， 但在 y 轴方向上显示至哪里是任意的。
右方向校正图像显示区域 41-3R 中显示的图像， 在被摄体处于右方向平面上的框 格 23-1R 的情况下进行校正， 以使其在显示上为水平垂直的横长形的长方形并且各自的竖 长形的长方形的大小相同。
右方向平面上的框格 23-1R 在右方向平面上无限地连续并且为正方形的框格的 情况下进行校正， 以贯穿右方向校正图像显示区域 41-3R 整体来显示长方形的框格。再有， 显示的框格也可以进行校正， 以使其为正方形、 竖长型的长方形。
此外， 右方向校正图像显示区域 41-3R 中的左边与垂直线 21R 一致， 与前方向校正图像显示区域 41-1 的右边的配置邻接， z 轴方向的位置与前方向校正图像显示区域 41-1 中 的右边的垂直线 21R 的 z 轴方向的位置一致。
右方向校正图像显示区域 41-3R 中的下边与垂直线 21R 和 x 轴方向上为同一距离 的车辆前后方向直线 24-15R 一致。
再有， 右方向校正图像显示区域 41-3R 中的右上部的右下垂的边是图像圈 9， 在距 该边的右上部中图像没有被摄像。因此， 与面屏蔽描绘 41-7R 一起成为斜的形状， 但如果根 据装载状态或镜头的特性而能够摄像， 则该边是不要的。
此外， 右方向校正图像显示区域 41-3R 中的右边与位于摄像位置的 y 轴方向 -0.1m 一致， 但在 y 轴方向上显示至哪里是任意的。
通过以上那样的图像处理单元 3 的处理， 在将图 13 所示的地面上的直线 24 和地 平线 8 及本车辆 1 的保险杠 10 同时地进行了摄像的情况下， 图 18 那样地显示。
除了地面上的直线 24 和地平线 8 及本车辆 1 的保险杠 10 以外， 在将 1 边为 1.5m 的正六面体且地面上存在的长方体 11 同时地进行了摄像的情况下， 长方体 11 位于 y 轴方 向 1.5m、 x 轴方向 10m 时， 图 19 那样地显示， 长方体 11 位于 y 轴方向 1.5m、 x 轴方向 2.5m 时， 图 20 那样地显示， 长方体 11 位于 y 轴方向 1.5m、 x 轴方向 1.0m 时， 图 21 那样地显示， 长方体 11 位于 y 轴方向 3.5m、 x 轴方向 2.5m 时， 图 22 那样地显示， 长方体 11 位于 y 轴方 向 2.5m、 x 轴方向 2.5m 时， 图 23 那样地显示， 长方体 11 位于 y 轴方向 0.5m、 x 轴方向 2.5m 时， 图 24 那样地显示。
除了地面上的直线 24 和地平线 8 及本车辆 1 的保险杠 10 以外， 地面上存在且宽 度 0.5m、 进深 0.1m、 高度 0.1m 的长方体， 即位于 x 轴方向 0.5m 和 -0.5m 两个位置并位于 y 轴方向 1.5m 的长方体 12-1、 位于 y 轴方向 1.1m 的长方体 12-2 和位于 y 轴方向 0.5m 的长 方体 12-3 同时地进行了摄像的情况， 图 25 那样地显示。
比较图 15 和图 17 可知， 前方向平面上的框格 21、 下方向平面上的框格 22-1、 左方 向平面上的框格 23-1L、 右方向平面上的框格 23-1R 被正方形或长方形地显示， 所以将作为 车辆前后方向的 y 轴为基准， 按接近 0°、 左右 45°、 正下方 90°的虚拟的视线的形状来变 换处理图像。
而且， 在与实际的视线的观察方式近似的配置关系上， 有前方向校正图像显示区 域 41-1、 下方向校正图像显示区域 41-2、 左方向校正图像显示区域 41-3L、 右方向校正图像 显示区域 41-3R。
即使从图 18 至图 25 中显示的地面上的直线 24、 地平线 8、 保险杠 10、 位于各个位 置的长方体 11、 长方体 12-11 至长方体 12-3 的显示位置或形状来观察， 这些区域也是清楚 的。
而且， 所有的直线以直线显示， 在相当于进行了左右的环视的前方向校正图像显 示区域 41-1、 左方向校正图像显示区域 41-3L、 右方向校正图像显示区域 41-3R 中， 垂直于 地面的直线在显示的图像上垂直地显示， 在相当于进行了本车辆 1 的后方的上下的环视的 前方向校正图像显示区域 41-1、 下方向校正图像显示区域 41-2 中， 平面于地面的车辆左右 方向的直线在包含各个长方体显示的图像上水平地显示。
在图 18 中的左方向校正图像显示区域 41-3L 及右方向校正图像显示区域 41-3R 中， 能够显示地面上的直线 24 中的 y 轴方向 -0.1m 且平行于 x 轴的无限长的直线和直至该直线和地平线 8 交叉的位置， 所以能够进行从车载摄像机 2 的位置至水平方向为 180°的范 围为止的广角的显示。
在图 17 中的下方向平面上的框格 22-1 中， 能够显示 y 轴方向 -0.1m 且平行于 x 轴的直线， 所以能够显示至车载摄像机 2 的正下方的位置。
在图 18 中， 车辆前后方向直线 24-15L 及车辆前后方向直线 24-15R 能够分别显示 下方向校正图像显示区域 41-2、 左方向校正图像显示区域 41-3L 及右方向校正图像显示区 域 41-3R， 所以可以无欠缺地显示车辆前后方向直线 24-15L 及车辆前后方向直线 24-15R 附 近的摄像图像。
图 19 至图 21 是与图 61 的移动体同样， 长方体 11 从本车辆 1 的左方向移动到右 方向， 长方体 11 的显示位置从左方向校正图像显示区域 41-3L 向前方向校正图像显示区域 41-1 移动的例子， 尽管在跨越左方向校正图像显示区域 41-3L 和校正图像显示区域 41-1 的 位置且在长方体 11 的线上发生弯曲点， 但显示位置移动而没有所谓线错位的阶梯差， 视线 仍然继续从左向右的移动。
右方向校正图像显示区域 41-3R 和校正图像显示区域 41-1 之间的关系也是同样。
图 22 至图 24 是与在本车辆 1 的后方并且位于侧面的长方体 11 在车辆前后方向 靠近本车辆 1， 或本车辆 1 在车辆前后方向移动到长方体 11 方向而靠近长方体 11 同样的例 子， 长方体 11 的显示位置的移动与图 19 至图 21 同样， 除了显示位置无阶梯差地移动， 视线 仍然继续从右向左的移动以外， 显示的图像的上下方向的大小与长方体 11 和本车辆 1 之间 的距离靠近相配而变大， 距离感的目视识别性得到保证。
而且， 也可以从左方向校正图像显示区域 41-3L 的下边的斜度容易地想象该情况 下的长方体 11 的移动方向。
图 25 是假设本车辆 1 在入车库等中后退， 并靠近停车的情况的例子， 长方体 12-1 至长方体 12-3 是同时表示了与本车辆 1 之间的距离靠近场面的图。这种情况也与图 19 至 图 21 的长方体 11 的移动同样， 尽管线上发生弯曲点， 但显示位置无所谓线错位的阶梯差地 移动， 视线仍然继续从上向下的移动。
而且， 也可以从下方向校正图像显示区域 41-2 的左边及右边的斜度容易地想象 该情况下的长方体 12-1 至长方体 12-3 的移动方向。
再有， 前方向虚拟视线 21-1、 下方向虚拟视线 22-1-1、 左方向虚拟视线 23-1-1L、 右方向虚拟视线 23-1-1R 也可以通过每个位置。
此外， 为了简单地图示使各个方向校正图像显示区域的边界上显示的图像一致 的事实， 使各个方向平面的交叉位置和各个方向校正图像显示区域的边界的位置直接一 致， 但如果对于前方向平面 21-2、 下方向平面 22-1-2、 左方向平面 23-1-2L、 右方向平面 23-1-2R， 如果基于各个方向虚拟视线的角度得到保证， 则也可以通过每个位置， 对于前方 向平面上的框格 21、 下方向平面上的框格 22-1、 左方向平面上的框格 23-1L、 右方向平面上 的框格 23-1R， 只要在各个方向平面内成为正方形的框格的被摄体即可。
另一方面， 左方向虚拟视线 23-1-1L 及右方向虚拟视线 23-1-1R 从 y 轴在左或右 方向上不为 0°或 90°。
假设从 y 轴达到了左 0°及从 y 轴达到了右 0°的情况下， 相当于图 9 所示的左方 向平面上的框格 23-1L、 右方向平面上的框格 23-1R 的框格成为图 11 所示的左右方向平面的框格 23-3L、 右方向平面上的框格 23-3R。
因此， 将图 6、 图 7、 图 11 所示的前方向平面上的框格 21、 下方向平面上的框格 22-1、 左方向平面上的框格 23-3L 及右方向平面上的框格 23-3R 和地平线 8 同时地进行了 摄像的情况下， 图 26 那样摄像的相当于图 16 的图像配置， 例如成为图 27 那样。
图 27 所示的 41-1、 41-2、 41-4 与图 16 相同， 42-3L 是显示与左方向平面上的框格 23-3L 对应的校正图像的左方向校正图像显示区域， 42-3R 是显示与右方向平面上的框格 23-3R 对应的校正图像的右方向校正图像显示区域， 42-5L 是相当于虚线屏蔽描绘 41-5L 的 虚线屏蔽描绘， 42-5R 是相当于虚线屏蔽描绘 41-5R 的虚线屏蔽描绘， 42-6L、 42-6R 是相当 于面屏蔽描绘 41-6L、 41-6R 的面屏蔽描绘， 图 26 的摄像图像如图 28 那样显示。
再有， 左方向校正图像显示区域 42-3L 的左上部、 右方向校正图像显示区域 42-3R 的右上部为摄像的范围， 所以没有相当于面屏蔽描绘 41-7L 及 41-7R 的面屏蔽描绘。
将图 13 所示的地面上的直线 24 和地平线 8 及本车辆 1 的保险杠 10 同时进行了 摄像的情况如图 29 那样显示。
特别地， 左右方向 180°相当于显示车辆左右方向无限长的直线， 所以不可能被显 示。
由此， 可以说左右方向的显示范围变窄， 但从图 29 可知， 左方向及右方向的显示 范围与图 18 比较， 明显地变窄。而且， 应该作为横方向的视线的图像被校正为相当于前方 向的视线的图像， 所以成为横方向上拉长了的不自然的形状。
假设从 y 轴达到了左 90°及从 y 轴达到了右 90°的情况下， 相当于图 9 所示的左 方向平面上的框格 23-1L、 右方向平面上的框格 23-1R 的框格成为图 12 所示的左方向平面 的框格 23-4L、 右方向平面上的框格 23-4R。
因此， 将图 6、 图 7、 图 12 所示的前方向平面上的框格 21、 下方向平面上的框格 22-1、 左方向平面上的框格 23-4L 及右方向平面上的框格 23-4R 和地平线 8 同时地进行了 摄像的情况下， 图 30 那样摄像的相当于图 16 的图像配置， 例如成为图 31 那样。
图 31 所示的 41-1、 41-2、 41-4 与图 16 相同， 43-3L 是显示与左方向平面上的框格 23-4L 对应的校正图像的左方向校正图像显示区域， 43-3R 是显示与右方向平面上的框格 23-4R 对应的校正图像的右方向校正图像显示区域， 43-5L 是相当于虚线屏蔽描绘 41-5L 的 虚线屏蔽描绘， 43-5R 是相当于虚线屏蔽描绘 41-5R 的虚线屏蔽描绘， 43-6L、 43-6R、 43-7L、 43-7R 是相当于面屏蔽描绘 41-6L、 41-6R、 41-7L、 41-7R 的面屏蔽描绘， 图 30 的摄像图像如 图 32 那样显示。
将图 13 所示的地面上的直线 24 和地平线 8 及本车辆 1 的保险杠 10 同时进行了 摄像的情况如图 33 那样显示。
从图 33 可知， 左方向校正图像显示区域 41-1 中显示的车辆左右方向的直线、 左方 向校正图像显示区域 43-3L 及右方向校正图像显示区域 43-3R 中显示的车辆前后方向的直 线被同时水平地显示， 所以不担心前后关系和左右关系的区别。
在下方向虚拟视线 22-1-1 中， 根据与将左方向虚拟视线 23-1-1L 及右方向虚拟视 线 23-1-1R 从 y 轴达到了上述左右 0°的情况同样的原理， 从 y 轴下方向上不为 0°。
如以上那样， 根据本实施方式， 无欠缺地显示前、 左右及下方向的宽范围， 以接近 实际的视线和配置显示图像整体， 而且位于远处的水平线贯穿三个三个显示区域而水平地显示， 从最近距离至远处的范围的被摄体为止， 如从一个位置环视了那样容易识别图像整 体。
此外， 由于将在前后方向、 或隔开了一定以上的距离的左右方向移动的被摄体无 间断或无阶梯差地显示， 所以在辅助驾驶上有效的左右方向或前后方向的视线的移动容 易。
此外， 由于将直线的被摄体在各个显示区域内完全以直线显示， 所以在容易识别 方向性的基础上， 由于在相当于左右环视的图像中将垂直于地面的直线垂直地显示， 所以 在辅助驾驶上提高有效的上述地面和障碍物之间的上下关系的目视识别性， 由于将在相当 于上下环视了的图像中车辆的正侧面方向的直线水平地显示， 所以与抑制了保险杠等的变 形的车辆端部的显示相配而提高对横方向的车辆关系的目视识别性， 而且通过与显示区域 的边的形状相配， 还提高在辅助驾驶上有效的车辆的前后方向的目视识别性。
邻接的各个显示区域的边界部分的直线弯曲， 但通过屏蔽描绘而能够识别它的边 界， 所以可以识别视线对各个不同显示区域而不同的事实。
( 实施方式 2)
图 37 是根据本发明的实施方式 1 调节了左方向校正图像显示区域及右方向校正 图像显示区域的本发明的实施方式 2 的显示图像。 在图 10 中， 23-1-1L 是将图 9 中的左方向虚拟视线 23-1-1L 的从 y 轴左 45°的方 向调节到 60°的左方向虚拟视线， 23-2-2L 是垂直于左方向虚拟视线 23-2-1L 且与左方向 平面 23-1-2L 同样通过 x 轴方向 1.5m、 y 轴方向 1.2m 的左方向平面， 23-2-1R 是将 9 中的 右方向虚拟视线 23-1-1R 的从 y 轴右 45°的方向调节到 60°的右方向虚拟视线， 23-2-2R 是垂直于右方向虚拟视线 23-2-1R 且与右方向平面 23-1-2R 同样通过 x 轴方向 -1.5m、 y轴 方向 1.2m 的右方向平面， 23-2L 是在左方向平面 23-2-2L 上， 相当于左方向平面上的框格 23-1L 的图中所示范围的左方向平面上的框格， 23-2R 在右方向平面 23-2-2R 上， 相当于右 方向平面上的框格 23-2R 的图中所示范围的右方向平面上的框格。
将图 6、 图 7 及图 10 所示的前方向平面上的框格 21、 下方向平面上的框格 22-1、 左 方向平面上的框格 23-2L 及右方向平面上的框格 23-2R 和地平线 8 同时地进行了摄像的情 况下， 图 34 那样摄像的相当于图 16 的图像配置， 例如成为图 35 那样。
图 35 所示的 41-1、 41-2、 41-4 与图 16 相同， 44-3L 是显示与左方向平面上的框格 23-2L 对应的校正图像的左方向校正图像显示区域， 44-3R 是显示与右方向平面上的框格 23-3R 对应的校正图像的右方向校正图像显示区域， 44-5L 是相当于虚线屏蔽描绘 41-5L 的 虚线屏蔽描绘， 44-5R 是相当于虚线屏蔽描绘 41-5R 的虚线屏蔽描绘， 44-6L、 44-6R、 44-7L、 44-7R 是相当于面屏蔽描绘 41-6L、 41-6R、 41-7L、 41-7R 的面屏蔽描绘， 图 34 的摄像图像如 图 36 那样显示。
将图 13 所示的地面上的直线 24 和地平线 8 及本车辆 1 的保险杠 10 同时进行了 摄像的情况如图 37 那样显示。
与车辆前后方向直线 24-15L 一致的左方向校正图像显示区域 44-3L 的下边的斜 度与左方向校正图像显示区域 41-3L 比较， 在水平方向上是平缓的。
与车辆前后方向直线 24-15R 一致的右方向校正图像显示区域 44-3R 的下边的斜 度与右方向校正图像显示区域 41-3R 比较， 在水平方向上也是平缓的。
这样， 可知通过调节左方向虚拟视线及右方向虚拟视线的角度， 不改变地平线 8 的显示的斜度而能够将车辆前后方向直线的显示的斜度相对于前方向校正图像显示区域 平缓。
与本发明的实施方式 1 中的图 24 同样的摄像条件的情况如图 39 那样显示。
对于图 24 中显示的长方体 11 的形状， 图 39 中显示的长方体 11 的形状从左方向 上开始了的梯形向长方形靠近， 但留存车辆前后方向的斜度。
再有， 即使不调节左方向虚拟视线及右方向虚拟视线的角度而将左方向校正图像 显示区域 41-3L、 右方向校正图像显示区域 41-3R 在横方向上拉长， 如果该区域中显示的校 正图像也维持平面上的框格通常相同大小的长方形并且横方向上被拉长， 则可以同样地调 节车辆前后方向直线的显示的斜度的关系。
通过调节左方向虚拟视线及右方向虚拟视线的角度， 以及拉长左方向及右方向的 校正图像显示区域双方， 也可以调节车辆前后方向直线的显示的斜度的关系。
考虑显示区域整体和前方向及下方向的校正图像显示区域的大小之间的关系来 调节它们即可。
如以上那样， 根据本实施方式， 左方向及右方向校正图像显示区域中显示的上述 地面上的车辆前后方向直线， 由于越远的位置， 越留存靠近地平线的斜度， 所以车辆前后方 向的进深的目视识别性被保持， 但由于被摄体的车辆前后方向的图像的斜度也被减轻， 所 以能够接近于实际视线的观察方式， 提高被摄体的目视识别性。
( 实施方式 3)
图 42 是根据本发明的实施方式 2 调节了左方向校正图像显示区域或右方向校正 图像显示区域的本发明的实施方式 3 中的显示图像。
图 40 中的 41-1、 41-2、 41-4 与图 16 相同， 45-3L 是将左方向校正图像显示区域 44-3L 变形了的左方向校正图像显示区域， 45-3R 是将右方向校正图像显示区域 44-3R 变 形了的右方向校正图像显示区域， 45-5L 是相当于虚线屏蔽描绘 44-5L 的虚线屏蔽描绘， 45-5R 是相当于虚线屏蔽描绘 44-5R 的虚线屏蔽描绘， 45-6L、 45-6R、 45-7L、 45-7R 是相当于 面屏蔽描绘 44-6L、 44-6R、 44-7L、 44-7R 的面屏蔽描绘， 图 34 的摄像图像如图 41 那样显示。
左方向校正图像显示区域 45-3L 中显示的校正图像产生变形， 以使左方向平面上 的框格 23-2L 成为以能够目视识别程度的平缓的左下垂且相同大小的平行四边形的框格， 左方向校正图像显示区域 45-3L 与该变形相配。
右方向校正图像显示区域 45-3R 中显示的校正图像产生变形， 以使右方向平面上 的框格 23-2R 成为以能够目视识别程度的平缓的左下垂且相同大小的平行四边形的框格， 右方向校正图像显示区域 45-3R 与该变形相配。
由此， 将图 13 所示的地面上的直线 24 和地平线 8 及本车辆 1 的保险杠 10 同时进 行了摄像的情况如图 42 那样显示。
前方向校正图像显示区域 41-1 中显示的地平线 8 仍然水平的显示， 在与该校正图 像显示区域连接的左方向校正图像显示区域 45-3L 上显示的地平线 8 成为能够目视识别程 度的平缓的左下垂， 右方向校正图像显示区域 45-3R 上显示的地平线 8 成为能够目视识别 程度的平缓的右下垂。
再有， 与本发明的实施方式 1 中的图 19 同样的摄像条件的情况如图 43 那样显示，如果是变形前的本发明的实施方式 2， 则如图 38 那样显示。
如果在与图 19 同样的摄像条件下的长方体 11 的位置， 则如图 38 中显示的长方体 11 的车辆前后方向的上边的斜度那样平缓的右下垂接近实际的视线的观察方式， 而在图 43 中大致水平地显示。
于是， 在车辆前后方向的形状中， 在仅限于地平线 8 的上部附近的范围中实际的 视线的观察方式稍稍不同， 但可以说对左方向或右方向的校正图像显示区域整体的目视识 别性没有影响。
如以上那样， 根据本实施方式， 即使在对附近没有立体物情况的什么也没有的无 限长的上述地面进行了摄像的情况， 也成为在显示地平线的图像上能够识别程度的山形弧 线的显示， 所以可以目视识别为前方向校正图像显示区域显示前方向， 左方向校正图像显 示区域显示左方向， 右方向校正图像显示区域显示右方向。
( 实施方式 4)
图 47 是根据本发明的实施方式 1 调节了下方向校正图像显示区域的本发明的实 施方式 4 的显示图像。
在图 8 中， 22-2-1 是将图 7 中的下方向虚拟视线 22-1-1 的从 y 轴下 90°的方向调 节到了 59°的下方向虚拟视线， 22-2-2 是垂直于下方向虚拟视线 22-2-1 且与下方向平面 22-1-2 同样通过 y 轴方向 1.2m、 z 轴方向 0m 的下方向平面， 22-2 是在下方向平面 22-2-2 上， 相当于下方向平面上的框格 22-1 的图中所示的范围的下方向平面上的框格。
但是， 各个车辆左右方向直线以位于地面上的车辆左右方向直线 21G 为基准而设 为 0.5m 间隔。
在将图 6、 图 8 及图 9 中所示的前方向平面上的框格 21、 下方向平面上的框格 22-2、 左方向平面上的框格 23-1L 及右方向平面上的框格 23-1R 和地平线 8 同时地进行了 摄像的情况下， 图 44 那样摄像的相当于图 16 的图像配置， 例如成为图 35 那样。
但是， 下方向平面上的框格 22-2 设为透过地面并能够摄像的框格。
图 45 中所示的 41-1、 41-3L、 41-3R、 41-5L、 41-5R、 41-7L、 41-7R 与图 16 相同， 46-2 是显示与下方向平面上的框格 22-2 对应的校正图像的下方向校正图像显示区域， 46-4 是 相当于虚线屏蔽描绘 41-4 的虚线屏蔽描绘， 46-8L 是虚线屏蔽描绘， 以使任意色的虚线总 在左方向校正图像显示区域 41-3L 和下方向校正图像显示区域 46-2 邻接的边的显示位置 上显示， 46-8R 是虚线屏蔽描绘， 以使任意色的虚线总在右方向校正图像显示区域 41-3R 和 下方向校正图像显示区域 46-2 邻接的边的显示位置上显示。
图 46 是将图 44 的摄像图像以图 45 的配置进行了处理所得的图像。
在图 46 中， 下方向校正图像显示区域 46-2 中显示的图像， 在被摄体位于下方向平 面上的框格 22-2 的情况下进行校正， 以使其在显示上为水平垂直的横长的长方形并且各 个横长的长方形的大小相同。
在下方向平面上的框格 22-2 是下方向平面上无限连续的正方形的框格的情况下 进行校正， 以贯穿下方向校正图像显示区域 46-2 整体来显示长方形的框格。
再有， 显示的框格也可以校正， 以使其为正方形、 竖长的长方形， 但由前方向校正 图像显示区域 41-1、 左方向校正图像显示区域 41-3L、 右方向校正图像显示区域 41-3R 之间 的相互关系决定。此外， 下方向校正图像显示区域 46-2 中的上边与车辆左右方向直线 21G 一致， 与 前方向校正图像显示区域 41-1 的下边的配置邻接， x 轴方向的位置与前方向校正图像显示 区域 41-1 中的下边的车辆左右方向直线 21G 的 x 轴方向的位置一致。
将图 13 所示的地面上的直线 24 和地平线 8 及本车辆 1 的保险杠 10 同时进行了 摄像的情况如图 47 那样显示。
下方向校正图像显示区域 46-2 中的左边与车辆前后方向直线 24-15L 一致， 与左 方向校正图像显示区域 41-3L 的下边的配置邻接， y 轴方向的位置与左方向校正图像显示 区域 41-3L 中的下边的车辆前后方向直线 24-15L 的 x 轴方向的位置一致。
下方向校正图像显示区域 46-2 中的右边与车辆前后方向直线 24-15R 一致， 与右 方向校正图像显示区域 41-3R 的下边的配置邻接， y 轴方向的位置与右方向校正图像显示 区域 41-3R 中的下边的车辆前后方向直线 24-15R 的 y 轴方向的位置一致。
除了地面上的直线 24 和地平线 8 及本车辆 1 的保险杠 10 以外， 在将 1 边为 1m 的 正六面体且地面上存在的长方体 13 同时地进行了摄像的情况下， 长方体 13 位于 y 轴方向 0.5m、 x 轴方向 2m 时， 图 49 那样地显示， 长方体 13 位于 y 轴方向 0.5m、 x 轴方向 1m 时， 图 50 那样地显示， 长方体 13 位于 y 轴方向 0.5m、 x 轴方向中央时， 图 51 那样地显示。
图 49 至图 51 是长方体 13 在车辆前后方向上本车辆 1 的最近距离中从本车辆 1 的左方向移动到右方向， 长方体 13 的显示位置从左方向校正图像显示区域 41-3L 向下方向 校正图像显示区域 46-2 及前方向校正图像显示区域 41-1 移动的例子， 尽管在跨越左方向 校正图像显示区域 41-3L、 下方向校正图像显示区域 46-2 及前方向校正图像显示区域 41-1 的位置， 在长方体 13 的线上发生弯曲点， 但显示位置移动而没有所谓线错位的阶梯差， 观 察长方体 13 的下部的情况下的视线仍然继续从左向下的移动。右方向校正图像显示区域 47-3R 和前方向校正图像显示区域 41-1 之间的关系也是同样。
再有， 在本发明的实施方式 4 中下方向虚拟视线不可以为从 y 轴下 90°。
下 90°的情况下， 如本发明的实施方式 1 至 3 那样， 由于下方向校正图像显示区域 的左边及右边在显示的图像上为垂直， 所以不能与左方向校正图像显示区域和右方向校正 图像显示区域的下边邻接。因此， 下方向虚拟视线从 y 轴不足下 90°， 所以从图 47 的下方 向校正图像显示区域 46-2 中显示的车辆前后方向直线可知， 成为靠近前方向的视线的图 像。
如以上那样， 根据本实施方式， 下方向校正图像显示区域的视线被限定在具有向 前方向的斜度的方向上， 但即使从左右方向至下方向中也无间断或无阶梯差地显示， 所以 更容易目视识别所显示的图像整体的位置关系， 而且对画面上移动的被摄体的视线的移动 容易贯穿显示的图像整体。
( 实施方式 5)
图 54 是根据本发明的实施方式 4 调节了左方向校正图像显示区域、 右方向校正图 像显示区域、 下方向校正图像显示区域的本发明的实施方式 5 中的显示图像。
图 52 中的 41-1 与图 16 相同， 47-3L 是将左方向校正图像显示区域 41-3L 变形了 的左方向校正图像显示区域， 47-3R 是将右方向校正图像显示区域 41-3R 变形了的右方向 校正图像显示区域， 47-2 是将下方向校正图像显示区域 46-2 变形了的下方向校正图像显 示区域， 47-5L 是相当于虚线屏蔽描绘 41-5L 的虚线屏蔽描绘， 47-5R 是相当于虚线屏蔽描绘 41-5R 的虚线屏蔽描绘， 47-4 是相当于虚线屏蔽描绘 46-4 的虚线屏蔽描绘， 47-8L 是相 当于虚线屏蔽描绘 46-8L 的虚线屏蔽描绘。47-8R 是相当于虚线屏蔽描绘 46-8R 的虚线屏 蔽描绘， 47-7L、 47-7R 是相当于面屏蔽描绘 41-7L、 41-7R 的面屏蔽描绘。图 44 的摄像图像 如图 53 那样显示。
左方向校正图像显示区域 47-3L 中显示的校正图像进行变形， 以使左方向平面上 的框格 23-1L 成为能够目视识别程度的平缓的左下垂， 并成为相同大小的平行四边形的框 格， 左方向校正图像显示区域 47-3L 与该变形相配。
右方向校正图像显示区域 47-3R 中显示的校正图像进行变形， 以使右方向平面上 的框格 23-1R 成为能够目视识别程度的平缓的左下垂， 并成为相同大小的平行四边形的框 格， 右方向校正图像显示区域 47-3R 与该变形相配。
而且， 左方向的平行四边形的框格的形状和大小与将右方向的平行四边形的框格 进行了左右反转的情况相同。
下方向校正图像显示区域 47-2 中显示的校正图像进行变形， 以与左方向校正图 像显示区域 47-3L、 右方向校正图像显示区域 47-3R 的变形相配而在下方向上拉长， 显示下 方向平面上的框格 22-2 的长方形的框格的垂直边比下方向校正图像显示区域 46-2 中显示 的长方形的框格的垂直边长。
由此， 将图 13 所示的地面上的直线 24 和地平线 8 及本车辆 1 的保险杠 10 同时进 行了摄像的情况如图 54 那样显示。
尽管本发明的实施方式 5 中的左方向平面及右方向平面的角度与本发明的实施 方式 3 中的左方向平面及右方向平面的角度不同， 但水平线 8 的显示的斜度与本发明的实 施方式 3 是同样的。
与本发明的实施方式 1 中的图 19 同样的摄像条件的情况如图 55 那样显示， 如果 是变形前的本发明的实施方式 4， 则如图 48 那样显示。
相同地， 尽管左方向平面及右方向平面的角度与本发明的实施方式 3 不同， 但长 方体 11 的车辆前后方向的上边的斜度与本发明的实施方式 3 是同样的。
另一方面， 图 54 的下方向校正图像显示区域 47-2 中显示的校正图像与图 47 的下 方向校正图像显示区域 46-2 中显示的校正图像进行比较， 没有观察出可以目视识别程度 的差。
如以上那样， 根据本实施方式， 即使在下方向校正图像显示区域连接到左方向及 右方向校正图像显示区域的情况下， 也对下方向校正图像显示区域的目视识别性无影响而 可获得与本发明的实施方式 3 同样的目视识别性。
( 实施方式 6)
图 56 是将前方向和左方向或右方向校正图像显示区域的边界位置基于图 14 的位 置关系进行了调节的本发明的实施方式 6 中的显示图像。
图 14 中未图示车载摄像机 2， 但如图 4、 图 5 那样装载在本车辆 1 上， 25-3 是表示 在本车辆 1 将方向盘最大地转向了情况下通过的地面上的车辆通过范围的最内侧的车辆 通过范围内侧的圆， 25-4 是表示在本车辆 1 将方向盘最大地转向了情况下通过的地面上的 车辆通过范围的最外侧的车辆通过范围外侧的圆， 车辆通过范围内侧的圆 25-3 和车辆通 过范围外侧的圆 25-4 为同心圆， 25-2 是作为同心圆的车辆通过范围圆的中心， 25-1 是表示摄像位置正下方的上述地面上的摄像原点， 25-5 是与通过地面上的摄像原点 25-1 的车辆 通过范围内侧的圆 25-3 相切的切线， 25-6 是切线 25-5 和车辆通过范围内侧的圆 25-3 之间 的切点， 25-7 是在任意的 x 轴方向为 1.5m 的切线 25-5 上的图像分离基准点。
本发明的实施方式 2 中没有基于图 14 的位置关系进行了调节， 但作为基于图 14 的位置关系进行了调节的结果， 作为与本发明的实施方式 2 同样的图 35、 图 36 的处理一致 的处理来说明本发明的实施方式 6。
图 56 是利用与本发明的实施方式 2 同样的图 35、 图 36 的处理的显示图像， 除了与 图 37 同样的被摄体以外， 是在左方向校正图像显示区域 44-3L 中显示了车辆通过范围内侧 的圆 25-3 的情况下的图像。
但是， 实际上没有将车辆通过范围内侧的圆 25-3 扫描的图像， 而是在说明位置关 系的方面图示了的图像。
在图 56 中， 25-8 是表示下方向校正图像显示区域 41-2、 前方向校正图像显示区域 41-1、 左方向校正图像显示区域 44-3L 的边界的图像分离点。
图像分离点 25-8 在下方向校正图像显示区域 41-2、 前方向校正图像显示区域 41-1、 左方向校正图像显示区域 44-3L 的全部区域中， x 轴方向、 y 轴方向、 z 轴方向的位置 一致。 因此， 在将下方向校正图像显示区域 41-2 中显示比本车辆 1 的车宽左右宽 1.5m 的情况为目的的情况下， y 轴方向调节为位于图像分离基准点 25-7 的 1.16m 附近的 1.2m。
通过该调节， 虚线屏蔽描绘 44-5L 在显示的 z 轴方向的无论什么高度中都表示距 地面上的摄像原点 25-1 在 x 轴方向 1.5m、 y 轴方向 1.2m 的方向。
因此， 从图像分离基准点 25-7 和图像分离点 25-8 之间的位置关系也可知， 车辆通 过范围内侧的圆 25-3 主要显示在左方向校正图像显示区域 44-3L 中， 并且切点 25-6 为在 虚线屏蔽描绘 44-5L 附近的位置关系。
从车辆通过范围内侧的圆 25-3 在 z 轴方向上有高度的立体物， 被显示在显示上车 辆通过范围内侧的圆 25-3 的垂直方向上。
图 39 中的长方体 11 相当于在切点 25-6 附近有角的立体物， 该角的垂直的边被显 示在虚线屏蔽描绘 44-5L 附近。此时， 在将方向盘最大地转向了的情况下， 本车辆 1 通过长 方体 11 的正侧面。
即， 如果预先操作本车辆 1， 以不将长方体 11 显示在前方向校正图像显示区域 41-1 中而显示在左方向校正图像显示区域 44-3L 中， 则接着在将本车辆 1 的方向盘最大地 转向的入车库等时能够目视识别为近似于不接触到长方体 11 那样的位置关系。
再有， 通过下方向校正图像显示区域 41-2 可以目视识别与最近距离中的本车辆 1 之间的位置关系， 所以作为与比其远的范围中的障碍物之间的位置关系大致目视识别即 可。
如以上那样， 根据本实施方式， 表示左方向或右方向的校正图像显示区域和前方 向校正图像显示区域之间的边界的直线的屏蔽描绘， 在将方向盘最大地转向了的情况下也 为是否与立体物接触的目标线， 入车库等的车的移动和障碍物之间的位置关系的目视识别 性提高。
工业实用性
本发明的驾驶辅助显示装置， 作为在从车辆后方、 或前方的前、 左右及下方向的宽 范围的摄像进行显示中， 对应于目标的目视识别性好的被摄体的形状显示、 被摄体和车辆 的方向性或位置关系的目视识别性提高、 以及容易地进行对在画面上移动的被摄体的视线 的移动的驾驶辅助显示装置， 具有广泛用途。