驾驶辅助方法与系统.pdf

上传人:xia****o6 文档编号:1645243 上传时间:2018-07-01 格式:PDF 页数:26 大小:539.44KB
返回 下载 相关 举报
摘要
申请专利号:

CN200910221766.1

申请日:

2009.11.16

公开号:

CN102059978A

公开日:

2011.05.18

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):B60Q 1/00申请日:20091116|||公开

IPC分类号:

B60Q1/00

主分类号:

B60Q1/00

申请人:

财团法人工业技术研究院

发明人:

郑国祥; 李维民; 陈隆泰; 黄道宸

地址:

中国台湾新竹县

优先权:

专利代理机构:

北京市柳沈律师事务所 11105

代理人:

陈小雯

PDF下载: PDF下载
内容摘要

一种驾驶辅助方法与系统。其利用单一图像撷取装置配合具备图像处理、辨识以及图像空间距离估测演算的控制装置,以用于提供移动载具于前进与后退移动时完整的图像辅助信息。利用本发明的方法与系统可以在移动载具前进时辨识图像中的图像特征以作为车道偏移辅助/警示的依据,以及在车辆后退时产生移动载具辅助轨迹并根据距离的估测进行俯瞰视角转换或发出警示讯息。本发明可以应用于各种不同的移动载具形式,解决移动载具移动导引问题以及也可辅助移动载具变换车道、停车辅助及盲点检测。

权利要求书

1: 一种驾驶辅助方法, 其包括有下列步骤 : 截取关于一移动载具行进过程中的一环境图像 ; 检测该移动载具的行进方向 ; 如果该移动载具的行进方向为后退时, 则根据该环境图像的变化进行一图像动量估测 以决定该移动载具的移动状态 ; 根据该移动的状态形成一辅助轨迹 ; 在该移动载具后退的过程中判断移动载具的外围环境是否有一特征物, 如果有该特征 物时, 则决定与该特征物的距离 ; 以及 根据该移动载具与该特征物的距离进行一第一辅助程序。
2: 如权利要求 1 所述的驾驶辅助方法, 其中该图像动量估测还包括有下列步骤 : 在一第一时间点撷取关于该移动载具的外部环境的一第一图像 ; 在该第一图像中选取一基准区域 ; 在一第二时间点撷取关于该移动载具的外部环境的一第二图像 ; 在该第二图像中寻找对应该基准区域的一对应区域并撷取该对应区域与该基准区域 的一图像空间距离 ; 以及 根据该图像空间距离决定该移动载具的辅助轨迹。
3: 如权利要求 2 所述的驾驶辅助方法, 其中寻找对应该基准区域的一对应区域的方法 还包括有下列步骤 : 计算关于该基准区域的一特征值 ; 以及 在该第二图像中寻找与该特征值有最小绝对误差和的该对应区域。
4: 如权利要求 3 所述的驾驶辅助方法, 其中该特征值为灰阶强度值。
5: 如权利要求 3 所述的驾驶辅助方法, 其中寻找与该特征值有最小绝对误差和的该对 应区域还具有下例步骤 : 决定一检测区块 ; 计算该检测区块所涵盖的图像所具有的一第二特征值与该第一特征值间的一绝对误 差和 ; 移动该检测区块 ; 重复进行前述两步骤多次, 以得到多个绝对误差和 ; 以及 由该多个绝对误差和中寻找出最小的值。
6: 如权利要求 5 所述的驾驶辅助方法, 其中计算该绝对误差和为利用 SADi(p, q) =∑ X, X, Y)-I(t, X+p, Y+q)| 来计算, 而最小值则为根据 minp, q) 找出该多个 qSADi(p, Y ∈ Ai|I(t-1, 绝对误差的最小值。
7: 如权利要求 2 所述的驾驶辅助方法, 其中决定该移动载具的辅助轨迹还包括有下列 步骤 : 根据该图像空间距离判断该移动载具的移动方向 ; 以及 根据该移动方向搜寻预先建立的轨迹数据库中对应该移动状态的辅助轨迹。
8: 如权利要求 1 所述的驾驶辅助方法, 其还包括有 : 如果该移动载具的行进方向为前 进时, 则根据该移动载具的速度进行一第二辅助程序的一步骤。
9: 如权利要求 8 所述的驾驶辅助方法, 其中该第二辅助程序还包括有下列步骤 : 2 根据该环境图像进行一车道检测以及一障碍物检测 ; 以及 根据该车道检测以及该障碍物检测的结果决定是否要产生一警示讯息。
10: 如权利要求 1 所述的驾驶辅助方法, 其中该第一辅助程序还包括有下列步骤 : 如果该特征物的距离小于一第一距离时, 则切换视角 ; 以及 如果该特征物的距离小于一第二距离时, 则发出一警示讯息。
11: 如权利要求 10 所述的驾驶辅助方法, 其中切换视角为将图像撷取视角转换成俯视 视角。
12: 如 权 利 要 求 11 所 述 的 驾 驶 辅 助 方 法, 其中切换视角的运算方式为由 以及 来将实际空间中存 而 在 坐 标 (x, y, 0) 与 图 像 空 间 中 的 坐 标 (α, β) 进 行 转 换, 其中
13: 如权利要求 1 所述的驾驶辅助方法, 其中判断与该特征物的距离还包括有下列步 骤: 预先建立图像内的坐标与实际距离的对应关系 ; 以及 将该特征物于该图像内的坐标根据该对应关系决定该特征物的距离。
14: 如权利要求 1 所述的驾驶辅助方法, 其中该特征物为障碍物或者是路面标记。
15: 一种驾驶辅助系统, 包括 : 一图像撷取装置, 其设置于一移动载具上以撷取该移动载具外部环境的图像 ; 一控制单元, 其与该图像撷取装置相连接, 该控制单元于该移动载具后退的过程中, 根 据于不同时间点该图像撷取装置所撷取的关于该移动载具的外部环境的变化图像中特定 区块的移动向量以决定该移动载具的移动状态, 并根据该移动状态决定该移动载具的辅助 轨迹, 该控制单元还于该移动载具后退时, 根据该图像进行一第一特征物检测与辨识, 并判 断该移动载具以该第一特征物的距离 ; 以及 一显示单元, 其与该控制单元相连接, 该显示单元系提供显示该图像以及该控制单元 所产生的关于该移动载具的辅助轨迹。
16: 如权利要求 15 所述的驾驶辅助系统, 其中该第一特征物为障碍物或路面标记。
17: 如权利要求 15 所述的驾驶辅助系统, 其中当该第一特征物与该移动载具间的距离 小于一第一距离时, 则控制单元将该图像撷取装置所撷取道的图像转换为俯视图像, 并提 供该显示单元一俯视图像信号。
18: 如权利要求 15 所述的驾驶辅助系统, 如果该第一特征物与该移动载具间的距离小 于一第二距离则该控制单元控制一警报模块发出警示讯息。
19: 如权利要求 15 所述的驾驶辅助系统, 其系还包括有一雷达检测模块, 以产生一雷 达感测信号, 该控制单元根据该雷达控制信号以判断是否有障碍物存在。
20: 如权利要求 15 所述的驾驶辅助系统, 其中该控制单元于该移动载具前进时该根据 图像进行一第二特征物检测与辨识。
21: 如权利要求 20 所述的驾驶辅助系统, 其中该第二特征物为障碍物或路面标记。 3
22: 如权利要求 20 所述的驾驶辅助系统, 该控制单元还判断该移动载具与该第二特征 物之间的关系以决定是否要控制一警报模块产生警示讯息。

说明书


驾驶辅助方法与系统

    技术领域 本发明涉及一种载具移动辅助方法, 尤其是指一种利用图像辨识特征物, 并根据 特征物与载具间的关系, 产生适当辅助程序以辅助载具前进后退的一种驾驶辅助方法与系 统。
     背景技术 大部分的驾驶者都曾为驾驶载具时无法兼顾各方位的避障操作感到困扰, 而载具 驾驶于盲点区域的移动 ( 如停车或狭窄路段行驶 ) 通常是造成困扰的重要原因。目前的 电子技术发展至以感测器来辅助行车安全, 最常见的为距离感测器 ( 超声波、 红外线、 毫米 波及雷射等 ) 及图像感测器 (CCD/CMOS)。距离感测器主要辅助于单方向的避障被动警示 (如: 适应性巡航系统、 倒车雷达等 ), 而图像感测器则应用于广域的视觉辅助, 需要人眼观 察判断的驾驶辅助行为 ( 如 : 车道 / 车辆辨识、 倒车摄影及盲点检测等 )。倘若在驾驶行为 发生同时, 能够有效地协助驾驶者掌握载具移动动态及与障碍物的相对距离, 驾驶者便可 轻易完成驾驶导引并减少碰撞意外的发生。
     而在现有技术中, 例如美国公开号 US.Pub.No.20080143509, 公开一种车道线偏 离警示方法, 其可以根据车辆外在环境的亮度与天气状态选择不同的图像撷取方式, 以降 低图像辨识与分析时车道判断的误差。此外, 在现有技术中, 如台湾申请第 095146946 号, 其公开一种路边停车辅助装置, 其包括一启动部、 一第一感知部、 一指示装置及一中央控制 部, 在路边停车的过程中, 当第一感知部感测到预定后车轮通过停车格的框线时, 即启动启 动部, 由启动部启动中央控制部控制此指示装置发出通知驾驶者反转方向盘的信号, 使驾 驶者顺利达成路边停车。
     另外, 如美国公开号 US.Pub.No.20060132295 也公开一种车道偏移警示装置, 其具有至少一可以检测车道线边缘图像的图像感测与传输器、 与运算处理装置相连接的 警示装置, 以及可以检测车辆边缘与车道线距离的距离感测与传输器。利用该技术可 以检测车辆是否有偏移车道, 以提供警示讯息给驾驶。另外, 在美国公开申请 US.Pub. No.20060206243 也公开一种图像警示系统, 其利用图像感测器撷取外部环境图像, 再利用 控制器以边缘检测演算的方式对图像进行辨识, 并将辨识结果用作车道变换或车道偏移警 示系统中。而在中国专利申请案中公开的 200610097376.4 号也公开一种用于车道偏离报 警的车道线鲁棒识别方法, 其系对感兴趣的左右两个局部窗口进行有条件的边缘检测, 之 后建构相应的梯度方向直方图处理方法, 确定每个局部窗口车道线边缘点的梯度方向范 围, 然后, 提出了车道线边缘候选点集与有效点集的筛选算法并对每个局部窗口进行了筛 选。通过提出的基于标量化处理 Kalman filter 滤波方法实现了车道左右标记线特征参数 的快速准确提取。
     再来, 如美国公开号 US.Pub.No.20080043099 也公开一种驾驶辅助系统, 其包括 有可以撷取外部环境图像的图像撷取装置。 该图像撷取装置具有设置于该图像撷取装置聚 焦平面上的一过滤元件, 在该过滤元件上的特定区域上可以允许特定波长的光线通过。该
     系统还以一图像处理器即时处理外部环境图像, 并从对应特定区域上的图像检测到在车道 上特定颜色车道标记。 发明内容 本发明提供一种驾驶辅助方法与系统, 以提供驾驶者掌握载具移动动态及与障碍 物关系的功能, 并依照辅助需求给予适当的辅助策略, 可兼顾行车安全并减少碰撞意外的 发生。
     本发明提供一种驾驶辅助方法与系统结合图像处理及辨识技术来辅助载具移动, 该方法与系统可以提供包括 : 车道偏移辨识 / 警示、 轨迹导引以及视角俯瞰转换。 车道偏移 利用图像感测元件撷取的图像来进行路面车道标线辨识, 并在载具产生偏移状况时给予适 当警示信号。轨迹导引利用车用摄影机所撷取的载具移动的图像, 并以动量判断方法得到 图像像素 (pixel) 在图像空间中移动量来推估自身即时移动方向, 并将推估的辅助轨迹以 动态导引弧线呈现给驾驶者, 让驾驶者可轻易地掌握载具移动状态。图像俯视转换功能则 通过逆透视投影演算法实现模拟上方俯视的效果, 结合图像扭曲校正技术, 将后方的俯视 图像真实且即时地呈现给驾驶者, 使其可以切确地掌握与后方障碍物的相对距离关系。
     本发明提供一种驾驶辅助方法与系统, 其可以免除过去完成驾驶导引功能预估所 需要的至少一个摄影机及一个方向盘转角感测。此外, 为了掌握驾驶辅助功能转换时机并 且强化图像辨识的正确率, 本装置与方法辅以雷达方式检测载具周遭环境以强化图像于环 境深度检测的解析度并掌握车辆移动时图像辅助 ( 一般移动辅助图像与鸟瞰图像 ) 的转换 时机。 此装置并可配合图像估测与雷达感知得出载具周边环境障碍物距离达到警示辅助防 碰撞的功能。本发明的系统仅利用单一的图像撷取装置配合演算法即可达成功能, 安装方 法与一般车用摄影系统相同, 可免除需要连接其他车用感测器的安装门槛, 因此可以适用 不同车型, 具有低价格、 安装容易、 高弹性的特性。
     在一实施例中, 本发明提供一种驾驶辅助方法, 其包括有下列步骤 : 截取关于一 移动载具行进过程中的一环境图像 ; 检测该移动载具的行进方向 ; 如果该移动载具的行进 方向为后退时, 则根据该环境图像的变化进行一图像动量估测以决定该移动载具的移动状 态; 根据该移动的状态形成一辅助轨迹 ; 于该移动载具后退的过程中判断移动载具的外围 环境是否有一特征物, 如果有该特征物时, 则决定与该特征物的距离 ; 以及根据该移动载具 与该特征物的距离进行一第一辅助程序。
     在另一实施例中, 本发明还提供一种驾驶辅助系统, 包括 : 一图像撷取装置, 其设 置于一移动载具上以撷取该移动载具外部环境的图像 ; 一控制单元, 其与该图像撷取装置 相连接, 该控制单元于该移动载具后退的过程中, 根据于不同时间点该图像撷取装置所撷 取的关于该移动载具的外部环境的变化图像中特定区块的移动向量以决定该移动载具的 移动状态, 并根据该移动状态决定该移动载具的辅助轨迹, 该控制单元还于该移动载具后 退时, 根据该图像进行一第一特征物检测与辨识, 并判断该移动载具以该第一特征物的距 离; 以及一显示单元, 其与该控制单元相连接, 该显示单元提供显示该图像以及该控制单元 所产生的关于该移动载具的辅助轨迹。
     附图说明
     图 1 为本发明的驾驶辅助方法实施例流程示意图。 图 2A 为本发明的第二辅助程序流程示意图。 图 2B 为本发明的决定移动载具的移动状态流程示意图。 图 2C 为本发明的第一辅助程序流程示意图。 图 3A 为第一图像示意图。 图 3B 为第二图像示意图。 图 3C 为图像检测区块移动示意图。 图 4 为关于移动载具的辅助轨迹示意图。 图 5A 与图 5B 为本发明图像空间与实际空间距离估测示意图。 图 6A 至图 6C 为视角转换示意图。 图 7A 为本发明的驾驶辅助系统设置示意图。 图 7B 为控制单元实施例方块示意图。 2- 驾驶辅助方法 20 ~ 28- 步骤 230 ~ 232- 步骤 240 ~ 243- 步骤 4- 载具移动图像辅助导引系统 40- 图像撷取装置 41- 控制单元 410- 中央处理器 411- 存储器模块 4110- 存储器 4111- 快闪存储器 412- 图像输出接口 413- 图像输入接口 414- 车体信号通讯接口 415- 电源接口 42- 显示单元 43- 警报模块 44- 雷达感测单元 5、 5a- 移动载具 50- 车格 51- 辅助轨迹 9a ~ 9e- 图像 90、 91- 图像处理区域 901- 基准区域 911- 图像检测区块 912、 913- 区域具体实施方式
     为使本领域技术人员能对本发明的特征、 目的及功能有更进一步的认知与了解, 下文特将本发明的装置的相关细部结构以及设计的理念原由进行说明, 以使得本领域技术 人员可以了解本发明的特点, 详细说明陈述如下 :
     请参阅图 1 所示, 该图为本发明的驾驶辅助方法实施例流程示意图。首先以步 骤 20 于一移动载具行进的过程中, 以设置于该移动载具上的一图像撷取装置撷取一环境 图像。该环境图像可为一动态图像或者是静态图像, 本实施例为动态的连续图像。该移动 载具可为轮型车辆, 例如 : 小型轮形车辆 ( 轿车 ) 或者是大型轮形车辆 ( 客货车、 长型连结 货柜车 )、 航空器具或者是船舶等, 但不以此为限。该图像撷取装置则可以为电耦合装置 (chargecoupled device, CCD) 或者是互补式金属氧化半导体 (complementary metaloxide semiconductor, CMOS) 等感光元件所形成的图像撷取装置。
     接着以步骤 21 判断该移动载具是处于前进或者是后退状态。根据移动载具的档 位信号来判断, 如果是前进时, 则以步骤 22 判断该移动载具的速度, 如果该移动载具的速 度超过一特定速度时, 则以步骤 23 根据第一特征物的检测与辨识结果进行一第二辅助程 序。本实施例的特定车速系设定为每小时 30 公里, 但不以此为限。其中在步骤 23 中, 该第 一特征物包括有车道标记、 车辆或者是障碍物。本实施例中, 该车道标记为车道线, 而该障 碍物为该移动载具周围的车辆。反之, 如果在步骤 22 中判断该移动载具的车速并未超过该 特定速度时, 则以步骤 28 直接显示该图像撷取装置所撷取到的图像。 请参阅图 2A 所示, 该图为本发明的第二辅助程序流程示意图。在图 2A 中, 该第二 辅助程序 23 还具有步骤 230 于环境图像中关于车道的图像上的标记进行辨识与检测以及 步骤 231 进行障碍物检测。本实施例的车道标记为车道上的车道线。在步骤 230 中, 主要 是要在车道图像中辨识车道出现的位置, 进而根据移动载具与车道线间的相对关系而决定 车辆是否有偏移。而在步骤 231 中, 则检测在该移动载具周围是否有障碍物。步骤 231 的 实行方式可通过图像辨识的方式, 或者是利用雷达检测的方式, 亦或者为两者的组合, 在本 实施例中步骤中, 为利用雷达与图像检测的方式来实施。
     在步骤 231 中利用感测到信号判断是否有其他车辆或障碍物在移动载具的周围, 如果有则进一步的判断移动载具与外部障碍物或车辆间的距离是否超出安全距离范围内, 以决定是否要发出警示讯息, 如果在安全距离范围内, 表示车辆间的距离太近, 因此会发出 警示讯息。 至于安全距离的设定为使用者根据需要而定, 并无一定的限制。 如果在步骤 230 发现该移动载具已经偏离车道线或者是在步骤 231 中发现在移动载具周围有车辆或障碍 物如果在安全距离范围内, 表示车辆间的距离太近, 则以步骤 232 发出一警示讯息。至于发 出警示讯息的方式可以通过声音、 光或者是图像的方式表示, 只要可以警示驾驶者的方式 皆可, 并无特定的限制。
     再回到图 1 所示, 如果在步骤 21 中, 根据该移动载具的档位信号判断该移动载具 的行进方向为后退时, 则进行步骤 24 根据该环境图像的变化进行一图像动量估测以决定 该移动载具的移动状态。在本步骤中, 主要是对不同时间点的环境图像进行辨识寻找出移 动的特征, 并从该特征中计算出特征在图像空间中的移动方向, 如此即可得到移动载具的 后退移动状态, 例如 : 倒车转向。 再从移动状态去预估车辆行动的轨迹而在画面中显示出来
     以提供驾驶者参考。请参阅图 2B 所示, 该图为本发明的决定移动载具的移动状态流程示意 图。 首先进行步骤 240, 在一第一时间点撷取关于该移动载具的外部环境的一第一图像。 在 本实施例中, 该第一图像为该移动载具后方环境的图像, 但不以此为限。 撷取图像的方式可 利用图像撷取装置, 例如 : CCD 或 CMOS 感测元件, 将其设置于移动载具后方, 以撷取移动载 具后方环境的图像。
     接下来进行步骤 241, 在该第一图像中选取一基准区域。 请参阅图 3A 所示, 该图为 第一图像示意图。 以图 3A 来说明步骤 21, 首先在第一图像 9a 中决定一图像处理区域 90, 其 大小与范围可根据需要而定, 并无一定限制。然后在该图像处理区域 90(Detection Area) 中选取一特定区块作为基准区域 901, 该基准区域 901 的大小也可根据需要而定, 并无一定 限制。接者, 进行步骤 242, 为了判断移动载具的移动状态, 在第二时间点时, 撷取移动载具 的外部环境的图像以形成第二图像, 其如图 3B 所示。如果载具正在后退移动状态时, 则该 第二图像的画面会与该第一图像的画面有所差异, 根据这样的差异可以利用图像处理的方 式找出载具的移动状态。
     步骤 242 之后, 接着进行步骤 243, 在该第二图像中寻找对应该基准区域 901 的一 对应区域并计算该对应区域与该基准区域 901 的一移动向量。 在本步骤中, 同样地, 在图 3B 的第二图像 9b 中, 决定图像处理区域 91。决定之后, 根据在步骤 21 中决定的基准区域 901 大小, 在该第二图像 9b 中形成一图像检测区块 911, 然后在第二图像 9b 中的图像处理区域 91 内, 由上至下、 由左至右逐一的变更该图像检测区块 911 的位置。每当移动一次时, 便进 行一次辨识运算, 以在该第二图像 9b 中寻找出对应图 3A 中的基准区域 901 的图像检测区 块。如图 3B 所示, 在第一次的辨识运算中, 该图像检测区块 911 位于左上角的区域, 在本实 施例中, 图像检测区块的大小为 3(pixel)x3(pixel) 的大小, 但不以此为限, 因为图像检测 区块的大小根据图 3A 中的基准区域的大小而定, 如果基准区域的大小改变, 则辨识框大小 也会跟着改变。在图 3B 的情况下, 图像检测区块 911 所涵盖到的区域所具有的图像特征可 以根据式 (1) 与式 (2) 来进行运算 :
     SADi(p, q) =∑ X, X, Y)-I(t, X+p, Y+q)|......................... Y ∈ Ai|I(t-1, .....(1)
     imvi = minp, q).............................................(2) qSADi(p,
     其中, I(t-1, X, Y) 表示在第一时间点 (t-1) 时所取样的第一图像 9a 中的图像空 间坐标 (X, Y)( 亦即基准区域 901 的中心位置坐标 ) 于图像中的一特征值。在本实施例中, 该特征值为灰阶强度。而 I(t, X, Y) 表示在第二时间点 (t) 时所取样的第二图像 9b 中的图 像空间坐标 (X, Y)( 亦即图像检测区块 911 的中心位置坐标 ) 于图像中的灰阶强度。Ai 为 第 i 个图像检测区块范围。SADi(p, q) 是第二图像中第 i 个图像检测区块 911 与第一图像 中对应于第 i 个基准区域 901 的相对位移为 (p, q) 的点 ( 本实施例为图像检测区块的中心 位置, 但不以此为限 ) 之间的绝对误差和 (sum of absolute difference, SAD)。既然 minp, q) 是图像检测区块 901 移动最小的 SAD 值, 产生最小值的位移向量 imvi 则代表第 q SADi(p, i 个图像检测区块移动的局部性移动向量 (Local MotionVector, LMV)。
     如图 3B 所示, 图像检测区块 911 内的中心与基准区域之间会有一个 SAD 值。如果 图像检测区块 911 向右移动一单位像素的距离, 如图 3B 中的标号 912 所示的区域。此时, 再套入式 (1) 又可得到对应图像检测区块 911 移动至区域 912 时与图 3A 的基准区域 901间的一个 SAD 值。当重复多次的上述动作, 每一次改变该图像检测区块 911 的位置, 可以得 到多个 SAD 值。此时再根据上式 (2), 由该多个 SAD 值中寻找出最小的 SAD 值。如图 3C 所 示, 对应该最小的 SAD 值的图像检测区块 911 所在的区域 913 则可视为该基准区域 901 在 第二时间点 (t) 的位置。因此可以根据图像检测区块 911 与基准区域 901 之间的图像空间 距离 (p, q), 该图像空间距离 (p, q) 即为在第二时间点 (t) 与该第一时间点 (t-1) 间该基 准区域 901 的移动向量。
     再回到图 1 所示, 得到该移动向量时, 再进行步骤 25, 根据该移动向量决定该移动 载具的辅助轨迹。在本步骤中, 利用步骤 24 根据两个不同时间点的图像变化, 所得到的移 动向量可代表载具本身的移动状态, 例如 : 转向状态。 举例而言, 当载具在后退转弯的时候, 如果方向盘有转动的情况下 ( 亦即转向角度已知的情况下 ), 在单位时间内, 载具后退的距 离以及载具本身转动的角度是可以预先估算出来的。 因此, 为了重建辅助轨迹, 基本上可以 事先建立载具移动状态与轨迹关系数据库, 也就是将转向、 车速以及撷取图像的图像撷取 装置的参数 ( 例如 : 高度、 视角范围以及撷取图像俯角 ) 等信息与辅助轨迹建立起对应关系 的数据库。由于根据步骤 24 所到的移动向量, 可以了解载具现在的移动状态, 亦即转向的 角度, 因此根据转向角度, 车速以及撷取图像的图像撷取装置的参数 ( 例如 : 高度、 视角范 围以及撷取图像俯角 ) 等信息, 由数据库的数据中寻找出对应的轨迹, 然后在显示器中显 示出来, 以形成如图 4 的画面。 在图 4 中, 移动载具 5 正在进行倒车的过程, 因此利用步骤 24 与 25 可以预测转动 的辅助轨迹 51, 让驾驶者可以预先判断这样的轨迹是否有可能会冲撞到障碍物或停放于车 格 50 两侧车辆 5a, 以让驾驶者可以及早修正倒车路径。由于现有技术中, 在显示器中通常 只会单纯显示所撷取的图像, 虽然操控方向的改变也会造成显示器内所显示的图像跟着改 变, 但是并无任何辅助的辅助轨迹会显示在画面中, 以提供驾驶者辅助识别。 因此驾驶者并 无法直接从图像中快速了解可能发生擦撞的可能性。通过步骤 25, 驾驶者可以根据显示器 所显示的轨迹, 快速直接的判断现在的操控情况下, 是否会撞倒障碍物、 车辆、 安全岛或者 是压到路面标记等情况发生。
     再回到图 1 所示, 在形成轨迹之后, 接着以步骤 26 于该移动载具后退的过程中判 断移动载具的外围的外围环境是否有一特征物, 如果有该特征物时, 则以步骤 27 根据该移 动载具与该特征物的距离进行一第一辅助程序。在步骤 26 中, 该特征物可以是障碍物 ( 例 如停放在路边的车辆 ) 或者是路面标记, 例如 : 停车格线。 而判断是否有特征物的方式可利 用图像辨识的方式或者是利用雷达检测的方式来进行辨识。如图 2C 所示, 在步骤 27 中还 包括有以步骤 270 判断该移动载具与该特征物的距离是否小于一第一距离。当辨识出有特 征物时, 再计算移动载具与该特征物的距离。辨识特征物与计算移动载具与特征物距离的 方式可以利用图像处理或者是利用雷达检测的方式而得。 例如 : 以雷达检测为例, 当由特征 物反射回来的雷达感测信号被接收后, 可以经由信号处理的方式得到特征物与移动载具间 的距离信息。 至于图像处理的方式为根据特征物在撷取的图像中所形成的图像空间中的坐 标位置, 配合预先估测的图像空间坐标与实际距离的对应关系, 可得出特征在实际空间中 的距离。
     请参阅图 5A 与图 5B 所示, 该图为本发明图像空间与实际空间距离估测示意图。 其 中图像 9c 为撷取到关于载具外部环境的图像。由于撷取图像的图像撷取装置所装设的位
     置、 高度、 视角、 撷取图像的俯角或仰角为已知, 因此可以事先建立图像空间与实际空间距 离的对应关系, 以利后续搜寻对照使用。所谓图像空间是指在图像 9c 中每一个像素所在的 位置, 而实际空间则指载具所存在的环境空间。从图 5A 可以知道, 图像 9c 中的每一个像素 所呈现的图像对应到实际空间坐标时的位置, 可以通过实际的量测得知。 此外, 虽然在本实 施例中以一个像素为单位, 但是实际上也可以根据解析度的需要, 以多个像素为一个单位 来建立图像空间与实际空间的对照表。在图 5A 中, 在图像 9c 所形成的图像空间 (x, y) 位 置上的每一个像素 (x1, y1)、 (x1, y2) 以及 (x1, y3) 经过量测之后可以对应到图 5B 所示的 实际空间中的 (X1, Y1)、 (X1, Y2) 以及 (X1, Y3) 的位置。在图 5A 的图像空间中的坐标位置 所对应至图 5B 的实际空间的距离可由预先建立的图像空间与实际空间的对照表得知。
     在步骤 270 中, 该第一距离为该移动载具的长度的 L 倍。 如果该移动载具与该特征 物的距离小于该 L 倍长度, 则以步骤 271 进行视角转换, 亦即从正视视角切换至俯瞰视角。 步骤 271 的切换视角的目的, 是要让驾驶者可以更轻易的从显示器中看出与路面标记之间 的距离关系。如图 6A 所示, 视角俯瞰转换为利用图像几何转换的方式, 通过逆透视投影演 算法结合图像扭曲校正技术将原本以水平正视角度成像的图像 9d 转换为由上方往下看的 图像 9e 效果。例如, 在图 6A 中, 图像 9d 为正视视角, 经过转换之后会形成图像 9e 由上往 下看的状态。 视角转换技术主要是基于路面为平坦的假设, 如此可除去透视投影的影响所造成 的距离失真。其转换示意图如图 6B 与图 6C 所示 : 其数学转换原理为假设车辆行驶在世界 空间 Z = 0 的平面上, 且摄影机 ( 其坐标为 (X, Y, Z) = (0, 0, h)) 光学轴与此平面的夹角 为 θ 且与 X 轴的夹角为 γ( 在此应用例中, γ = 0, 但不以此为限 )。假设摄影机的视角 为 2φ, 且图像的解析度为 n×m。如果于实际空间中存在坐标 (x, y, 0) 的点, 其图像空间中 的坐标 (α, β) 可由下列式 (3) 与式 (4) 表示 (1 < α < n, 1 < β < m) :
     ..............................(3)
     ..............................(4)
     其中而因此, 对应的转换图像可以由原透视图像像素中重组, 以形成俯瞰的图像。以图 6A 中的图像 9d 中的像素 (α, β, 0) 为例, 经过式 (3) 与式 (4) 的转换, 即可转换成图像 9e 中的像素 (x, y, 0)。
     再回到图 2C 所示, 如果步骤 270 不成立, 则再以步骤 272 判断移动载具与该特征 物的距离是否小于一第二距离, 该第二距离为该移动载具的长度的 K 倍。如果该移动载具 与该特征物的距离小于该 K 倍长度的话, 则以步骤 273 发出警示讯息。至于发出警示讯息 的方式可以通过声音、 光或者是图像的方式表示, 只要可以警示驾驶者的方式皆可, 并无特 定的限制。在图 2C 中, 本实施例的警示讯息皆是利用步骤 28 以图像显示装置显示输出的 图像。
     请参阅图 7A 与图 7B 所示, 其中图 7A 为本发明的驾驶辅助系统设置示意图, 而图 7B 为控制单元实施例方块示意图。该系统 4 设置于一移动载具上, 本实施例的移动载具为轮型车辆。 该系统 4 包括有一图像撷取装置 40、 一控制单元 41、 一显示单元 42、 警报模块 43 以及雷达感测单元 44。该图像撷取装置 40 设置于载具上以撷取载具外部环境的图像。该 图像撷取装置 40 可为 CCD 或 CMOS 等类的图像感测器, 但不以此为限。该图像撷取装置 40 可设置于载具上的任一位置, 设置的位置取决于撷取图像的需要, 并无一定限制。 在本实施 例中, 该图像撷取装置 40 可设置于在载具后方以撷取载具后方环境的图像, 其撷取水平视 角允许范围 60 ~ 190 度, 图像撷取频率为 15 ~ 30 张画面 / 每秒 (Frames/sec) ; 即时图像 输出达 15 ~ 20 张画面 / 每秒 (Frames/sec)。上述图像撷取装置 40 的视角及图像检测距 离规格可依照载具车型及安装位置的不同而有所改变。
     该控制单元 41, 其以一图像输入接口 413 与该图像撷取装置 40 相耦接。 该控制单 元于该移动载具前进时该根据图像进行第一特征物检测, 如: 障碍物、 车辆或道路标记 ( 例 如: 车道线 ) 与辨识以及在该移动载具后退的过程中, 根据于不同时间点该图像撷取装置 所撷取的关于该移动载具的外部环境的变化图像中特定区块的移动向量以决定该移动载 具的移动状态, 并根据该移动状态决定该移动载具的辅助轨迹, 该控制单元还于该移动载 具后退时, 根据该图像进行一第二特征物, 如: 障碍物、 车辆或道路标记 ( 例如 : 停车格线 ) 检测与辨识, 并判断该移动载具以该第二特征物的距离。 该控制单元 41 还具有一中央处理器 410、 一存储器模块 411、 一图像输出接口 412、 一车体信号通讯接口 414 以及一电源接口 415。该中央处理器 410 可接收该图像输入接口 413 所输入的图像信号, 并进行图 1 以及图 2A 至图 2C 所示的图像处理、 图像辨识、 距离运 算、 障碍物相对关系运算、 图像输出 / 输出车体信号输入、 及警示信号输出等流程, 其系如 前所述, 在此不做赘述。警视信号输出可通过警报模块 43 传送给驾驶端使得驾驶员可以注 意到障碍物而避免与障碍物擦撞。该警报模块 43 可以为声音播放的喇叭或者是可发出光 的发光元件, 甚至可以与显示单元 42 整合, 使得警示讯息可以在显示单元显示出来, 当然 该警报模块也可以整合光、 声音与图像在一模块中, 使模块可以同时产生光、 声音与图像组 合的警示讯息。 图像输出接口 412 其与该显示单元 42 相耦接, 其可显示由该中央处理器 410 所运算处理的结果, 例如 : 可以显示载具辅助轨迹、 图像撷取装置所撷取到的图像等、 视角 转换的图像输出结果。该存储器模块 411 更可分为存储器 4110 以及快闪存储器 4111。在 本实施例中, 存储器 4110 其为 32MB 以上 SDRAM ; 而快闪存储器 4111 则为 16MB 以上快闪存 储器, 应用于系统运作的暂存空间。该存储器模块 411 的容量大小并不以本发明的实施例 为限。
     该车体信号通讯接口 414 则为接收启动本系统 4 的启动信号, 该通讯接口 414 可 接收由载具上所发出的启动信号, 例如 : 检测档位切换至特定档位 ( 如倒退档或者是前进 的档位 ) 或者是使用者通过按键来启动时。发出启动信号的方式的配置规格将依据应用载 具不同, 可进行调整, 并不以前述的说明为限。此外, 该控制单元 41 上还具有一电源接口 415 以与电源相连接。 该显示单元与该控制单元相连接, 该显示单元系提供显示图像撷取装 置 40 所撷取的环境图像以及该控制单元所产生的关于该移动载具的辅助轨迹。该雷达感 测单元 44 可以发出雷达检测信号检测移动载具外部环境中是否有障碍物。如果有的话会 从障碍物回传一反射的雷达信号, 经由接收之后, 控制单元 41 的中央处理器 410 会对反射 的雷达信号进行处理以判断是障碍物与移动载具间的距离。
     利用本发明的系统与方法, 可以突破现有技术中载具移动导引必须由数种车用感
     测器才能完成的限制, 提供具安装弹性与低成本的辅助功能, 甚至结合俯瞰转换及扭曲校 正的图像技术, 使得判断后方距离更直观更明确, 提供完整地辅助停车解决方案, 解决大部 分驾驶人的困扰。加上经过软件简易设定可适应各种厂牌的倒车摄影机及车型, 对于车用 电子售后服务市场具有相当大的销售潜力。 由于本方法可通过简单的软件设定适应不同摄 影机内部参数与外部安装特性, 所以也可以使用原来已安装于车辆上的车用图像撷取装置 来运作。除了一般小型载具如轿车等。对于具有后向全盲点及倒车行径不易掌握地大型客 货车、 长型连结货柜车及船舶等大型运输机具在停泊上更有明显的辅助效果, 原因在在此 种车辆盲点多, 以目前单一感测器的方式无法提供完全的车辆防护及他人用路安全, 只要 应用多组本装置及搭配适合的人机接口设计就可以解决上述的驾驶负担。
     然而, 以上所述仅为本发明的实施例, 当不能以的限制本发明范围。 即大凡依本发 明权利要求所做的均等变化及修饰, 仍将不失本发明的要义所在, 亦不脱离本发明的精神 和范围, 故都应视为本发明的进一步实施状况。

驾驶辅助方法与系统.pdf_第1页
第1页 / 共26页
驾驶辅助方法与系统.pdf_第2页
第2页 / 共26页
驾驶辅助方法与系统.pdf_第3页
第3页 / 共26页
点击查看更多>>
资源描述

《驾驶辅助方法与系统.pdf》由会员分享,可在线阅读,更多相关《驾驶辅助方法与系统.pdf(26页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102059978 A(43)申请公布日 2011.05.18CN102059978A*CN102059978A*(21)申请号 200910221766.1(22)申请日 2009.11.16B60Q 1/00(2006.01)(71)申请人财团法人工业技术研究院地址中国台湾新竹县(72)发明人郑国祥 李维民 陈隆泰 黄道宸(74)专利代理机构北京市柳沈律师事务所 11105代理人陈小雯(54) 发明名称驾驶辅助方法与系统(57) 摘要一种驾驶辅助方法与系统。其利用单一图像撷取装置配合具备图像处理、辨识以及图像空间距离估测演算的控制装置,以用于提供移动载具于前进与后。

2、退移动时完整的图像辅助信息。利用本发明的方法与系统可以在移动载具前进时辨识图像中的图像特征以作为车道偏移辅助/警示的依据,以及在车辆后退时产生移动载具辅助轨迹并根据距离的估测进行俯瞰视角转换或发出警示讯息。本发明可以应用于各种不同的移动载具形式,解决移动载具移动导引问题以及也可辅助移动载具变换车道、停车辅助及盲点检测。(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 3 页 说明书 9 页 附图 13 页CN 102059982 A 1/3页21.一种驾驶辅助方法,其包括有下列步骤:截取关于一移动载具行进过程中的一环境图像;检测该移动载具的行进方向;如果。

3、该移动载具的行进方向为后退时,则根据该环境图像的变化进行一图像动量估测以决定该移动载具的移动状态;根据该移动的状态形成一辅助轨迹;在该移动载具后退的过程中判断移动载具的外围环境是否有一特征物,如果有该特征物时,则决定与该特征物的距离;以及根据该移动载具与该特征物的距离进行一第一辅助程序。2.如权利要求1所述的驾驶辅助方法,其中该图像动量估测还包括有下列步骤:在一第一时间点撷取关于该移动载具的外部环境的一第一图像;在该第一图像中选取一基准区域;在一第二时间点撷取关于该移动载具的外部环境的一第二图像;在该第二图像中寻找对应该基准区域的一对应区域并撷取该对应区域与该基准区域的一图像空间距离;以及根据。

4、该图像空间距离决定该移动载具的辅助轨迹。3.如权利要求2所述的驾驶辅助方法,其中寻找对应该基准区域的一对应区域的方法还包括有下列步骤:计算关于该基准区域的一特征值;以及在该第二图像中寻找与该特征值有最小绝对误差和的该对应区域。4.如权利要求3所述的驾驶辅助方法,其中该特征值为灰阶强度值。5.如权利要求3所述的驾驶辅助方法,其中寻找与该特征值有最小绝对误差和的该对应区域还具有下例步骤:决定一检测区块;计算该检测区块所涵盖的图像所具有的一第二特征值与该第一特征值间的一绝对误差和;移动该检测区块;重复进行前述两步骤多次,以得到多个绝对误差和;以及由该多个绝对误差和中寻找出最小的值。6.如权利要求5所。

5、述的驾驶辅助方法,其中计算该绝对误差和为利用SADi(p,q)X,YAi|I(t-1,X,Y)-I(t,X+p,Y+q)|来计算,而最小值则为根据minp,qSADi(p,q)找出该多个绝对误差的最小值。7.如权利要求2所述的驾驶辅助方法,其中决定该移动载具的辅助轨迹还包括有下列步骤:根据该图像空间距离判断该移动载具的移动方向;以及根据该移动方向搜寻预先建立的轨迹数据库中对应该移动状态的辅助轨迹。8.如权利要求1所述的驾驶辅助方法,其还包括有:如果该移动载具的行进方向为前进时,则根据该移动载具的速度进行一第二辅助程序的一步骤。9.如权利要求8所述的驾驶辅助方法,其中该第二辅助程序还包括有下列步。

6、骤:权 利 要 求 书CN 102059978 ACN 102059982 A 2/3页3根据该环境图像进行一车道检测以及一障碍物检测;以及根据该车道检测以及该障碍物检测的结果决定是否要产生一警示讯息。10.如权利要求1所述的驾驶辅助方法,其中该第一辅助程序还包括有下列步骤:如果该特征物的距离小于一第一距离时,则切换视角;以及如果该特征物的距离小于一第二距离时,则发出一警示讯息。11.如权利要求10所述的驾驶辅助方法,其中切换视角为将图像撷取视角转换成俯视视角。12.如权利要求11所述的驾驶辅助方法,其中切换视角的运算方式为由以及来将实际空间中存在坐标(x,y,0)与图像空间中的坐标(,)进行。

7、转换,其中而13.如权利要求1所述的驾驶辅助方法,其中判断与该特征物的距离还包括有下列步骤:预先建立图像内的坐标与实际距离的对应关系;以及将该特征物于该图像内的坐标根据该对应关系决定该特征物的距离。14.如权利要求1所述的驾驶辅助方法,其中该特征物为障碍物或者是路面标记。15.一种驾驶辅助系统,包括:一图像撷取装置,其设置于一移动载具上以撷取该移动载具外部环境的图像;一控制单元,其与该图像撷取装置相连接,该控制单元于该移动载具后退的过程中,根据于不同时间点该图像撷取装置所撷取的关于该移动载具的外部环境的变化图像中特定区块的移动向量以决定该移动载具的移动状态,并根据该移动状态决定该移动载具的辅助。

8、轨迹,该控制单元还于该移动载具后退时,根据该图像进行一第一特征物检测与辨识,并判断该移动载具以该第一特征物的距离;以及一显示单元,其与该控制单元相连接,该显示单元系提供显示该图像以及该控制单元所产生的关于该移动载具的辅助轨迹。16.如权利要求15所述的驾驶辅助系统,其中该第一特征物为障碍物或路面标记。17.如权利要求15所述的驾驶辅助系统,其中当该第一特征物与该移动载具间的距离小于一第一距离时,则控制单元将该图像撷取装置所撷取道的图像转换为俯视图像,并提供该显示单元一俯视图像信号。18.如权利要求15所述的驾驶辅助系统,如果该第一特征物与该移动载具间的距离小于一第二距离则该控制单元控制一警报模。

9、块发出警示讯息。19.如权利要求15所述的驾驶辅助系统,其系还包括有一雷达检测模块,以产生一雷达感测信号,该控制单元根据该雷达控制信号以判断是否有障碍物存在。20.如权利要求15所述的驾驶辅助系统,其中该控制单元于该移动载具前进时该根据图像进行一第二特征物检测与辨识。21.如权利要求20所述的驾驶辅助系统,其中该第二特征物为障碍物或路面标记。权 利 要 求 书CN 102059978 ACN 102059982 A 3/3页422.如权利要求20所述的驾驶辅助系统,该控制单元还判断该移动载具与该第二特征物之间的关系以决定是否要控制一警报模块产生警示讯息。权 利 要 求 书CN 10205997。

10、8 ACN 102059982 A 1/9页5驾驶辅助方法与系统技术领域0001 本发明涉及一种载具移动辅助方法,尤其是指一种利用图像辨识特征物,并根据特征物与载具间的关系,产生适当辅助程序以辅助载具前进后退的一种驾驶辅助方法与系统。背景技术0002 大部分的驾驶者都曾为驾驶载具时无法兼顾各方位的避障操作感到困扰,而载具驾驶于盲点区域的移动(如停车或狭窄路段行驶)通常是造成困扰的重要原因。目前的电子技术发展至以感测器来辅助行车安全,最常见的为距离感测器(超声波、红外线、毫米波及雷射等)及图像感测器(CCD/CMOS)。距离感测器主要辅助于单方向的避障被动警示(如:适应性巡航系统、倒车雷达等),。

11、而图像感测器则应用于广域的视觉辅助,需要人眼观察判断的驾驶辅助行为(如:车道/车辆辨识、倒车摄影及盲点检测等)。倘若在驾驶行为发生同时,能够有效地协助驾驶者掌握载具移动动态及与障碍物的相对距离,驾驶者便可轻易完成驾驶导引并减少碰撞意外的发生。0003 而在现有技术中,例如美国公开号US.Pub.No.20080143509,公开一种车道线偏离警示方法,其可以根据车辆外在环境的亮度与天气状态选择不同的图像撷取方式,以降低图像辨识与分析时车道判断的误差。此外,在现有技术中,如台湾申请第095146946号,其公开一种路边停车辅助装置,其包括一启动部、一第一感知部、一指示装置及一中央控制部,在路边停。

12、车的过程中,当第一感知部感测到预定后车轮通过停车格的框线时,即启动启动部,由启动部启动中央控制部控制此指示装置发出通知驾驶者反转方向盘的信号,使驾驶者顺利达成路边停车。0004 另外,如美国公开号US.Pub.No.20060132295也公开一种车道偏移警示装置,其具有至少一可以检测车道线边缘图像的图像感测与传输器、与运算处理装置相连接的警示装置,以及可以检测车辆边缘与车道线距离的距离感测与传输器。利用该技术可以检测车辆是否有偏移车道,以提供警示讯息给驾驶。另外,在美国公开申请US.Pub.No.20060206243也公开一种图像警示系统,其利用图像感测器撷取外部环境图像,再利用控制器以边。

13、缘检测演算的方式对图像进行辨识,并将辨识结果用作车道变换或车道偏移警示系统中。而在中国专利申请案中公开的200610097376.4号也公开一种用于车道偏离报警的车道线鲁棒识别方法,其系对感兴趣的左右两个局部窗口进行有条件的边缘检测,之后建构相应的梯度方向直方图处理方法,确定每个局部窗口车道线边缘点的梯度方向范围,然后,提出了车道线边缘候选点集与有效点集的筛选算法并对每个局部窗口进行了筛选。通过提出的基于标量化处理Kalman filter滤波方法实现了车道左右标记线特征参数的快速准确提取。0005 再来,如美国公开号US.Pub.No.20080043099也公开一种驾驶辅助系统,其包括有可。

14、以撷取外部环境图像的图像撷取装置。该图像撷取装置具有设置于该图像撷取装置聚焦平面上的一过滤元件,在该过滤元件上的特定区域上可以允许特定波长的光线通过。该说 明 书CN 102059978 ACN 102059982 A 2/9页6系统还以一图像处理器即时处理外部环境图像,并从对应特定区域上的图像检测到在车道上特定颜色车道标记。发明内容0006 本发明提供一种驾驶辅助方法与系统,以提供驾驶者掌握载具移动动态及与障碍物关系的功能,并依照辅助需求给予适当的辅助策略,可兼顾行车安全并减少碰撞意外的发生。0007 本发明提供一种驾驶辅助方法与系统结合图像处理及辨识技术来辅助载具移动,该方法与系统可以提供。

15、包括:车道偏移辨识/警示、轨迹导引以及视角俯瞰转换。车道偏移利用图像感测元件撷取的图像来进行路面车道标线辨识,并在载具产生偏移状况时给予适当警示信号。轨迹导引利用车用摄影机所撷取的载具移动的图像,并以动量判断方法得到图像像素(pixel)在图像空间中移动量来推估自身即时移动方向,并将推估的辅助轨迹以动态导引弧线呈现给驾驶者,让驾驶者可轻易地掌握载具移动状态。图像俯视转换功能则通过逆透视投影演算法实现模拟上方俯视的效果,结合图像扭曲校正技术,将后方的俯视图像真实且即时地呈现给驾驶者,使其可以切确地掌握与后方障碍物的相对距离关系。0008 本发明提供一种驾驶辅助方法与系统,其可以免除过去完成驾驶导。

16、引功能预估所需要的至少一个摄影机及一个方向盘转角感测。此外,为了掌握驾驶辅助功能转换时机并且强化图像辨识的正确率,本装置与方法辅以雷达方式检测载具周遭环境以强化图像于环境深度检测的解析度并掌握车辆移动时图像辅助(一般移动辅助图像与鸟瞰图像)的转换时机。此装置并可配合图像估测与雷达感知得出载具周边环境障碍物距离达到警示辅助防碰撞的功能。本发明的系统仅利用单一的图像撷取装置配合演算法即可达成功能,安装方法与一般车用摄影系统相同,可免除需要连接其他车用感测器的安装门槛,因此可以适用不同车型,具有低价格、安装容易、高弹性的特性。0009 在一实施例中,本发明提供一种驾驶辅助方法,其包括有下列步骤:截取。

17、关于一移动载具行进过程中的一环境图像;检测该移动载具的行进方向;如果该移动载具的行进方向为后退时,则根据该环境图像的变化进行一图像动量估测以决定该移动载具的移动状态;根据该移动的状态形成一辅助轨迹;于该移动载具后退的过程中判断移动载具的外围环境是否有一特征物,如果有该特征物时,则决定与该特征物的距离;以及根据该移动载具与该特征物的距离进行一第一辅助程序。0010 在另一实施例中,本发明还提供一种驾驶辅助系统,包括:一图像撷取装置,其设置于一移动载具上以撷取该移动载具外部环境的图像;一控制单元,其与该图像撷取装置相连接,该控制单元于该移动载具后退的过程中,根据于不同时间点该图像撷取装置所撷取的关。

18、于该移动载具的外部环境的变化图像中特定区块的移动向量以决定该移动载具的移动状态,并根据该移动状态决定该移动载具的辅助轨迹,该控制单元还于该移动载具后退时,根据该图像进行一第一特征物检测与辨识,并判断该移动载具以该第一特征物的距离;以及一显示单元,其与该控制单元相连接,该显示单元提供显示该图像以及该控制单元所产生的关于该移动载具的辅助轨迹。说 明 书CN 102059978 ACN 102059982 A 3/9页7附图说明0011 图1为本发明的驾驶辅助方法实施例流程示意图。0012 图2A为本发明的第二辅助程序流程示意图。0013 图2B为本发明的决定移动载具的移动状态流程示意图。0014 。

19、图2C为本发明的第一辅助程序流程示意图。0015 图3A为第一图像示意图。0016 图3B为第二图像示意图。0017 图3C为图像检测区块移动示意图。0018 图4为关于移动载具的辅助轨迹示意图。0019 图5A与图5B为本发明图像空间与实际空间距离估测示意图。0020 图6A至图6C为视角转换示意图。0021 图7A为本发明的驾驶辅助系统设置示意图。0022 图7B为控制单元实施例方块示意图。0023 2-驾驶辅助方法0024 2028-步骤0025 230232-步骤0026 240243-步骤0027 4-载具移动图像辅助导引系统0028 40-图像撷取装置0029 41-控制单元003。

20、0 410-中央处理器0031 411-存储器模块0032 4110-存储器0033 4111-快闪存储器0034 412-图像输出接口0035 413-图像输入接口0036 414-车体信号通讯接口0037 415-电源接口0038 42-显示单元0039 43-警报模块0040 44-雷达感测单元0041 5、5a-移动载具0042 50-车格0043 51-辅助轨迹0044 9a9e-图像0045 90、91-图像处理区域0046 901-基准区域0047 911-图像检测区块0048 912、913-区域说 明 书CN 102059978 ACN 102059982 A 4/9页8具体。

21、实施方式0049 为使本领域技术人员能对本发明的特征、目的及功能有更进一步的认知与了解,下文特将本发明的装置的相关细部结构以及设计的理念原由进行说明,以使得本领域技术人员可以了解本发明的特点,详细说明陈述如下:0050 请参阅图1所示,该图为本发明的驾驶辅助方法实施例流程示意图。首先以步骤20于一移动载具行进的过程中,以设置于该移动载具上的一图像撷取装置撷取一环境图像。该环境图像可为一动态图像或者是静态图像,本实施例为动态的连续图像。该移动载具可为轮型车辆,例如:小型轮形车辆(轿车)或者是大型轮形车辆(客货车、长型连结货柜车)、航空器具或者是船舶等,但不以此为限。该图像撷取装置则可以为电耦合装。

22、置(chargecoupled device,CCD)或者是互补式金属氧化半导体(complementary metaloxide semiconductor,CMOS)等感光元件所形成的图像撷取装置。0051 接着以步骤21判断该移动载具是处于前进或者是后退状态。根据移动载具的档位信号来判断,如果是前进时,则以步骤22判断该移动载具的速度,如果该移动载具的速度超过一特定速度时,则以步骤23根据第一特征物的检测与辨识结果进行一第二辅助程序。本实施例的特定车速系设定为每小时30公里,但不以此为限。其中在步骤23中,该第一特征物包括有车道标记、车辆或者是障碍物。本实施例中,该车道标记为车道线,而该。

23、障碍物为该移动载具周围的车辆。反之,如果在步骤22中判断该移动载具的车速并未超过该特定速度时,则以步骤28直接显示该图像撷取装置所撷取到的图像。0052 请参阅图2A所示,该图为本发明的第二辅助程序流程示意图。在图2A中,该第二辅助程序23还具有步骤230于环境图像中关于车道的图像上的标记进行辨识与检测以及步骤231进行障碍物检测。本实施例的车道标记为车道上的车道线。在步骤230中,主要是要在车道图像中辨识车道出现的位置,进而根据移动载具与车道线间的相对关系而决定车辆是否有偏移。而在步骤231中,则检测在该移动载具周围是否有障碍物。步骤231的实行方式可通过图像辨识的方式,或者是利用雷达检测的。

24、方式,亦或者为两者的组合,在本实施例中步骤中,为利用雷达与图像检测的方式来实施。0053 在步骤231中利用感测到信号判断是否有其他车辆或障碍物在移动载具的周围,如果有则进一步的判断移动载具与外部障碍物或车辆间的距离是否超出安全距离范围内,以决定是否要发出警示讯息,如果在安全距离范围内,表示车辆间的距离太近,因此会发出警示讯息。至于安全距离的设定为使用者根据需要而定,并无一定的限制。如果在步骤230发现该移动载具已经偏离车道线或者是在步骤231中发现在移动载具周围有车辆或障碍物如果在安全距离范围内,表示车辆间的距离太近,则以步骤232发出一警示讯息。至于发出警示讯息的方式可以通过声音、光或者是。

25、图像的方式表示,只要可以警示驾驶者的方式皆可,并无特定的限制。0054 再回到图1所示,如果在步骤21中,根据该移动载具的档位信号判断该移动载具的行进方向为后退时,则进行步骤24根据该环境图像的变化进行一图像动量估测以决定该移动载具的移动状态。在本步骤中,主要是对不同时间点的环境图像进行辨识寻找出移动的特征,并从该特征中计算出特征在图像空间中的移动方向,如此即可得到移动载具的后退移动状态,例如:倒车转向。再从移动状态去预估车辆行动的轨迹而在画面中显示出来说 明 书CN 102059978 ACN 102059982 A 5/9页9以提供驾驶者参考。请参阅图2B所示,该图为本发明的决定移动载具的。

26、移动状态流程示意图。首先进行步骤240,在一第一时间点撷取关于该移动载具的外部环境的一第一图像。在本实施例中,该第一图像为该移动载具后方环境的图像,但不以此为限。撷取图像的方式可利用图像撷取装置,例如:CCD或CMOS感测元件,将其设置于移动载具后方,以撷取移动载具后方环境的图像。0055 接下来进行步骤241,在该第一图像中选取一基准区域。请参阅图3A所示,该图为第一图像示意图。以图3A来说明步骤21,首先在第一图像9a中决定一图像处理区域90,其大小与范围可根据需要而定,并无一定限制。然后在该图像处理区域90(Detection Area)中选取一特定区块作为基准区域901,该基准区域90。

27、1的大小也可根据需要而定,并无一定限制。接者,进行步骤242,为了判断移动载具的移动状态,在第二时间点时,撷取移动载具的外部环境的图像以形成第二图像,其如图3B所示。如果载具正在后退移动状态时,则该第二图像的画面会与该第一图像的画面有所差异,根据这样的差异可以利用图像处理的方式找出载具的移动状态。0056 步骤242之后,接着进行步骤243,在该第二图像中寻找对应该基准区域901的一对应区域并计算该对应区域与该基准区域901的一移动向量。在本步骤中,同样地,在图3B的第二图像9b中,决定图像处理区域91。决定之后,根据在步骤21中决定的基准区域901大小,在该第二图像9b中形成一图像检测区块9。

28、11,然后在第二图像9b中的图像处理区域91内,由上至下、由左至右逐一的变更该图像检测区块911的位置。每当移动一次时,便进行一次辨识运算,以在该第二图像9b中寻找出对应图3A中的基准区域901的图像检测区块。如图3B所示,在第一次的辨识运算中,该图像检测区块911位于左上角的区域,在本实施例中,图像检测区块的大小为3(pixel)x3(pixel)的大小,但不以此为限,因为图像检测区块的大小根据图3A中的基准区域的大小而定,如果基准区域的大小改变,则辨识框大小也会跟着改变。在图3B的情况下,图像检测区块911所涵盖到的区域所具有的图像特征可以根据式(1)与式(2)来进行运算:0057 SAD。

29、i(p,q)X,YAi|I(t-1,X,Y)-I(t,X+p,Y+q)|.(1)0058 imviminp,qSADi(p,q).(2)0059 其中,I(t-1,X,Y)表示在第一时间点(t-1)时所取样的第一图像9a中的图像空间坐标(X,Y)(亦即基准区域901的中心位置坐标)于图像中的一特征值。在本实施例中,该特征值为灰阶强度。而I(t,X,Y)表示在第二时间点(t)时所取样的第二图像9b中的图像空间坐标(X,Y)(亦即图像检测区块911的中心位置坐标)于图像中的灰阶强度。Ai为第i个图像检测区块范围。SADi(p,q)是第二图像中第i个图像检测区块911与第一图像中对应于第i个基准区域。

30、901的相对位移为(p,q)的点(本实施例为图像检测区块的中心位置,但不以此为限)之间的绝对误差和(sum of absolute difference,SAD)。既然minp,qSADi(p,q)是图像检测区块901移动最小的SAD值,产生最小值的位移向量imvi则代表第i个图像检测区块移动的局部性移动向量(Local MotionVector,LMV)。0060 如图3B所示,图像检测区块911内的中心与基准区域之间会有一个SAD值。如果图像检测区块911向右移动一单位像素的距离,如图3B中的标号912所示的区域。此时,再套入式(1)又可得到对应图像检测区块911移动至区域912时与图3A。

31、的基准区域901说 明 书CN 102059978 ACN 102059982 A 6/9页10间的一个SAD值。当重复多次的上述动作,每一次改变该图像检测区块911的位置,可以得到多个SAD值。此时再根据上式(2),由该多个SAD值中寻找出最小的SAD值。如图3C所示,对应该最小的SAD值的图像检测区块911所在的区域913则可视为该基准区域901在第二时间点(t)的位置。因此可以根据图像检测区块911与基准区域901之间的图像空间距离(p,q),该图像空间距离(p,q)即为在第二时间点(t)与该第一时间点(t-1)间该基准区域901的移动向量。0061 再回到图1所示,得到该移动向量时,再。

32、进行步骤25,根据该移动向量决定该移动载具的辅助轨迹。在本步骤中,利用步骤24根据两个不同时间点的图像变化,所得到的移动向量可代表载具本身的移动状态,例如:转向状态。举例而言,当载具在后退转弯的时候,如果方向盘有转动的情况下(亦即转向角度已知的情况下),在单位时间内,载具后退的距离以及载具本身转动的角度是可以预先估算出来的。因此,为了重建辅助轨迹,基本上可以事先建立载具移动状态与轨迹关系数据库,也就是将转向、车速以及撷取图像的图像撷取装置的参数(例如:高度、视角范围以及撷取图像俯角)等信息与辅助轨迹建立起对应关系的数据库。由于根据步骤24所到的移动向量,可以了解载具现在的移动状态,亦即转向的角。

33、度,因此根据转向角度,车速以及撷取图像的图像撷取装置的参数(例如:高度、视角范围以及撷取图像俯角)等信息,由数据库的数据中寻找出对应的轨迹,然后在显示器中显示出来,以形成如图4的画面。0062 在图4中,移动载具5正在进行倒车的过程,因此利用步骤24与25可以预测转动的辅助轨迹51,让驾驶者可以预先判断这样的轨迹是否有可能会冲撞到障碍物或停放于车格50两侧车辆5a,以让驾驶者可以及早修正倒车路径。由于现有技术中,在显示器中通常只会单纯显示所撷取的图像,虽然操控方向的改变也会造成显示器内所显示的图像跟着改变,但是并无任何辅助的辅助轨迹会显示在画面中,以提供驾驶者辅助识别。因此驾驶者并无法直接从图。

34、像中快速了解可能发生擦撞的可能性。通过步骤25,驾驶者可以根据显示器所显示的轨迹,快速直接的判断现在的操控情况下,是否会撞倒障碍物、车辆、安全岛或者是压到路面标记等情况发生。0063 再回到图1所示,在形成轨迹之后,接着以步骤26于该移动载具后退的过程中判断移动载具的外围的外围环境是否有一特征物,如果有该特征物时,则以步骤27根据该移动载具与该特征物的距离进行一第一辅助程序。在步骤26中,该特征物可以是障碍物(例如停放在路边的车辆)或者是路面标记,例如:停车格线。而判断是否有特征物的方式可利用图像辨识的方式或者是利用雷达检测的方式来进行辨识。如图2C所示,在步骤27中还包括有以步骤270判断该。

35、移动载具与该特征物的距离是否小于一第一距离。当辨识出有特征物时,再计算移动载具与该特征物的距离。辨识特征物与计算移动载具与特征物距离的方式可以利用图像处理或者是利用雷达检测的方式而得。例如:以雷达检测为例,当由特征物反射回来的雷达感测信号被接收后,可以经由信号处理的方式得到特征物与移动载具间的距离信息。至于图像处理的方式为根据特征物在撷取的图像中所形成的图像空间中的坐标位置,配合预先估测的图像空间坐标与实际距离的对应关系,可得出特征在实际空间中的距离。0064 请参阅图5A与图5B所示,该图为本发明图像空间与实际空间距离估测示意图。其中图像9c为撷取到关于载具外部环境的图像。由于撷取图像的图像撷取装置所装设的位说 明 书CN 102059978 A。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 作业;运输 > 一般车辆


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1