《用于提供驾驶辅助信息的基于计算机的系统和方法.pdf》由会员分享，可在线阅读，更多相关《用于提供驾驶辅助信息的基于计算机的系统和方法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102314596 A (43)申请公布日 2012.01.11 CN 102314596 A *CN102314596A* (21)申请号 201110185213.2 (22)申请日 2011.07.04 10168245.8 2010.07.02 EP G06K 9/00(2006.01) B60W 50/00(2006.01) (71)申请人 哈曼贝克自动系统股份有限公司 地址 德国卡尔斯巴德 (72)发明人 H. 罗思 L. 鲍尔 (74)专利代理机构 北京市柳沈律师事务所 11105 代理人 丁艺 沙捷 (54) 发明名称 用于提供驾驶辅助信息的基于计算机。
2、的系统 和方法 (57) 摘要 一种基于计算机的系统， 用于向车辆驾驶员 提供驾驶员辅助信息， 其包括用于捕捉图像的车 辆 (1) 的捕捉装置 (3)、 用于识别在捕捉图像中 的对象 (8) 或状况的识别装置 (10)， 以及用于将 预定的类别集合中的类别指派给识别的对象 (8) 或状况的分类装置 (11)。该系统此外还包括用 于确定车辆 (1) 的工作状态的车辆 (1) 的状态确 定装置 (5)， 以及用于基于确定的工作状态和类 别来自动生成驾驶员辅助信息的驾驶员辅助装置 (6)。 (30)优先权数据 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要。
3、求书 2 页 说明书 4 页 附图 1 页 CN 102314600 A1/2 页 2 1. 一种用于向车辆驾驶员提供驾驶员辅助信息的方法， 该方法包括以下步骤 ： 使用车辆 (1) 的捕捉装置 (3) 捕捉图像 ； 自动识别所捕捉的图像中的对象 (8) 或状况 ； 自动将预定的类别集合中的类别指派给识别的对象 (8) 或状况 ； 确定所述车辆 (1) 的工作状态 ； 基于确定的工作状态和类别自动生成驾驶员辅助信息。 2. 如权利要求 1 所述的方法， 进一步包括步骤 ： 将所捕捉的图像发送给所述车辆 (1) 外部的服务器 (9) ； 以及 从所述服务器 (9) 接收所述类别。 3. 如权利要。
4、求 1 或 2 所述的方法， 进一步包括将所述生成的驾驶员辅助信息作为语音 消息输出给所述车辆 (1) 的驾驶员的步骤。 4. 如前述权利要求中的任一项所述的方法， 进一步包括将所述生成的驾驶员辅助信息 输出给车辆安全系统的步骤， 该车辆安全系统允许响应确定的工作状态和类别， 来操作所 述车辆 (1)。 5. 如前述权利要求中的任一项所述的方法， 进一步包括将所述生成的驾驶员辅助信息 输出给针对驾驶员的警告系统 (13) 的步骤。 6. 如前述权利要求中的任一项所述的方法， 其中所述图像包括选自于包括以下内容的 组中的图像 ： 所述车辆 (1) 的外部环境 ； 所述车辆 (1) 前方的外部环境。
5、 ； 所述车辆 (1) 后方的外部环境 ； 所述车辆 (1) 内部的视图 ； 以及 所述车辆 (1) 的驾驶员视图。 7. 如前述权利要求中的任一项所述的方法， 其中所述预定的类别集合包括选自于包括 以下内容的组中的类别 ： 障碍物 ； 杆 ； 石头 ； 玩具 ； 人 ； 小孩 ； 小汽车 ； 自行车 ； 车辆 ； 事故 ； 闭着眼睛的驾驶员 ； 一组经授权的驾驶员中的驾驶员 ； 车辆中被占用的座位 ； 和 危险状况。 权 利 要 求 书 CN 102314596 A CN 102314600 A2/2 页 3 8. 如前述权利要求中的任一项所述的方法， 其中所述工作状态包括选自于包括以下内 。
6、容的组中的工作状态 ： 所述车辆 (1) 正在向前行驶 ； 所述车辆 (1) 正在向后行驶 ； 所述车辆 (1) 正在变换车道 ； 所述车辆 (1) 的马达的工作状态 ； 所述车辆 (1) 的全球定位 ； 以及 所述车辆 (1) 的行驶速度。 9. 一种基于计算机的系统， 用于向车辆驾驶员提供驾驶员辅助信息， 该系统包括 ： 所述车辆 (1) 的捕捉装置 (3)， 用于捕捉图像 ； 识别装置 (10)， 用于识别所捕捉的图像中的目标 (8) 或状况 ； 分类装置 (11)， 用于将预定的类别集合中的类别指派给识别的对象 (8) 或状况 ； 所述车辆 (1) 的状态确定装置 (5)， 用于确定所。
7、述车辆 (1) 的工作状态 ； 驾驶员辅助装置 (6)， 用于基于确定的工作状态和类别自动生成所述驾驶员辅助信息。 10.如权利要求9所述的系统， 其中该系统适于执行如权利要求1至8中任一项的所述 的方法。 权 利 要 求 书 CN 102314596 A CN 102314600 A1/4 页 4 用于提供驾驶辅助信息的基于计算机的系统和方法 技术领域 0001 本发明涉及用于向车辆驾驶员提供驾驶员辅助信息的基于计算机的系统， 还涉及 用于提供驾驶员辅助信息的方法。 背景技术 0002 许多车辆装配有基于传感器和计算机的系统， 用于感应车辆的环境并用于向车辆 的驾驶员输出驾驶员辅助信息。 例。
8、如， 停车距离控制系统监视车辆前面和后面的区域， 并将 该监视区域中是否存在障碍物的辅助信息提供给车辆的驾驶员。而且， 例如车辆可装备有 用于监视车辆前面的道路路段的系统， 以提供关于行驶在该车辆前方的车辆的距离或者关 于障碍物 ( 例如车辆前方的事故或人 ) 的驾驶员辅助信息。 发明内容 0003 尽管以上所描述的系统在发展， 但是仍存在对于在驾驶过程中或在操作车辆的过 程中向驾驶员提供包括更详细更有用的信息的改进的驾驶员辅助信息的需求。 0004 这个目标通过如在权利要求 1 中限定的用于提供驾驶员辅助信息的方法， 和如权 利要求 9 中定义的用于提供驾驶员辅助信息的基于计算机的系统来实现。
9、。从属权利要求限 定了本发明的优选的和有利的实施例。 0005 依据本发明的用于向车辆驾驶员提供驾驶员辅助信息的方法包括以下步骤。 利用 车辆的捕捉装置捕捉图像， 并且自动识别所捕捉的图像中的对象或状况。 然后， 预定类别集 合中的一个类别被自动指派给所识别的对象或状况。 此外， 确定车辆的工作状态， 并且基于 所确定的工作状态和所指派的类别自动生成驾驶员辅助信息。 0006 可使用捕捉例如， 车辆的前方、 车辆的后方或车辆的旁边的车辆外部环境的照相 机来捕捉图像， 或者捕捉车辆内部的视图或车辆驾驶员的视图的照相机来捕捉图像。预定 类别集合可包括对车辆的操作过程中在周围环境中或车辆里面普遍出现。
10、的对象或状况的 类别。例如， 该组类别可包括一般障碍物或更详细限定的对象， 例如杆、 石头、 玩具、 人、 儿 童、 一般车辆、 小汽车或自行车。 在车辆向后行驶过程中图像包括例如车辆后面的周围环境 的情况下， 通过例如向驾驶员输出类别指示出在车辆后面存在杆、 石头、 人或小孩， 来将涉 及车辆后面对象的更详细的信息提供给驾驶员。 而且， 该组类别可包括例如特定状况， 例如 事故、 闭着眼睛的驾驶员、 或者例如横穿马路的鹿或在马路的路边玩耍的小孩的一般危险 状况。结合车辆的工作状态， 适当的警告可作为驾驶员辅助信息向车辆的驾驶员输出。例 如， 当车辆在行驶而且检测到驾驶员的眼睛闭着的时候， 可。
11、起动车辆的唤醒功能， 例如可起 动带式预拉伸器 (belt pretensioner)、 警铃、 或车辆方向盘上的振动装置。在确定车辆前 面有事故的情况下， 取决于车辆当前的速度和驾驶员当前的刹车行为， 可向驾驶员输出降 低速度的警告。而且， 自动刹车辅助系统可适当地使车辆减慢。而且， 该类别集合可包括例 如定义车辆中被占用座位的类别。取决于这种类别， 可因此设置车辆的音频系统以向占据 车辆中座位上的人提供车辆音频系统的音频输出。 而且， 基于车辆内部的视图， 该类别可指 说 明 书 CN 102314596 A CN 102314600 A2/4 页 5 示出该驾驶员是否属于针对该车辆所限定。
12、的一组授权驾驶员。当驾驶员想要启动车辆时， 车辆的安全系统确定该驾驶员是否属于该组授权驾驶员并且只有成功通过这个测试后才 允许启动车辆。 0007 依据实施例， 生成的驾驶员辅助信息作为语音信息被输出给车辆的驾驶员。 因此， 例如在停靠车辆的过程中， 关于车辆后面的障碍物的详细信息可以在听觉上提供给驾驶 员， 例如通过警告驾驶员， 在车辆后面有小孩或石头。因此， 当检测到车辆后面有可能在移 动的小孩时， 驾驶员可据此调整行驶速度和注意力以便更加小心地驾驶。 0008 依据另一个实施例， 所捕捉到的图像被发送到车辆外部的服务器， 并且从该服务 器接收作为响应的类别。 因为对所捕捉的图像实时进行分。
13、析可能耗用的计算能力比车辆内 部可用的大得多， 这项任务可由服务器在车辆的外部执行。该服务器可以是位于例如互联 网的数据通信网络中的任意类型的网页服务器或入口 (portal)， 并且可以从该车辆经由射 频传输被访问。 在服务器中可用的预定的类别集合可自动适用于服务器上所实现和可用的 最新类别。因此， 保持提供了最佳可能的驾驶员辅助信息。 0009 依据另一个实施例， 车辆的工作状态可包括例如车辆正在向前行驶、 车辆正在向 后行驶， 车辆正在变换车道、 车辆引擎的工作状态、 车辆的全球定位或车辆行驶速度。 0010 依据本发明， 此外还提供了用于向车辆驾驶员提供驾驶员辅助信息的基于计算机 的系。
14、统。该系统包括用于捕捉图像的车辆捕捉装置、 用于识别所捕捉图像中的对象或状况 的识别装置， 和用于将预定的类别集合中的类别指派给所识别的对象或状况的分类装置。 而且， 该系统包括用于确定车辆的工作状态的状态确定装置， 和适用于基于所确定的工作 状态和类别生成驾驶员辅助信息的驾驶员辅助装置。 0011 依据实施例， 基于计算机的系统适用于执行以上所描述的方法或以上所描述的方 法的实施例。 附图说明 0012 现在参考附图将更加详细地描述本发明， 其中， 0013 图 1 示出了根据本发明的实施例的用于提供驾驶员辅助信息的基于计算机的系 统的示意性视图。 具体实施方式 0014 附图中示出了车辆 。
15、1， 其包括连接到捕捉装置 3、 传输装置 4、 车辆状态确定装置 5 和驾驶员辅助装置 6 的车辆电子系统 2。捕捉装置 3 可包括设置在车辆上的一个或多个照 相机， 用于捕捉车辆内部的和 / 或外部的环境的图像。捕捉装置 3 可捕捉车辆外部的车辆 后面、 车辆前面或车辆侧面的图像。捕捉装置 3 可进一步包括用于捕捉车辆内部的图像， 例 如正坐在车辆驾驶员座位上的驾驶员的图像的照相机。每个捕捉装置 3 捕捉所关联的捕捉 区域 7 的图像。通过捕捉装置 3 捕捉的图像可包括在捕捉区域 7 内的对象 8 或状况。 0015 通过捕捉装置3捕捉的图像经过车辆电子系统2传递到传输装置4， 并通过传输。
16、装 置4发送到车辆1外部的服务器9。 在传输装置4和服务器9之间的传输可包括例如UMTS、 GPRS 或 WLAM 传输的任意无线传输。服务器 9 可以是位于互联网或数据通信网络中的任意 类型的服务器， 并且可提供可被传输装置 4 访问的入口 (portal) 或网页。服务器 9 包括用 说 明 书 CN 102314596 A CN 102314600 A3/4 页 6 于分析捕捉装置 3 捕捉的图像并用于识别在所捕捉的图像中的对象 8 或状况的识别装置 10。而且， 服务器 9 包括从识别装置 10 接收所识别的对象或状态的信息的分类装置 11， 用 于将类别指派给所识别的对象或状况。该类。
17、别从预定的一组类别中选出， 该组类别包括例 如类似于杆、 石头、 玩具、 人、 儿童、 小汽车、 自行车或者车辆的对象， 或者类似于闭着眼睛的 驾驶员、 车辆上被占用的座位或道路上的危险状况的状况。所指派的类别从服务器 9 的分 类装置 11 被发送到车辆 1 的传输装置 4。在车辆 1 上， 由传输装置 4 接收到的类别通过车 辆电子系统 2 被转发给驾驶员辅助装置 6。然而， 依据另一个实施例， 如果有充足的计算能 力可用， 装置 10 和 11 执行的处理也可能由车辆的电子系统 2 执行。 0016 车辆状态确定装置 5 将车辆的状态信息提供给车辆电子系统 2。车辆状态信息可 包括例如该。
18、车辆是向前行驶还是向后行驶或者该车辆是否正在转换车道的车辆行驶方向、 车辆引擎的工作状态或者该引擎是否正在运行、 例如由全球定位系统 (GPS) 提供的车辆全 球定位、 或者车辆当前的行驶速度。从车辆状态确定装置 5 接收到的工作状态信息通过车 辆电子系统 2 被转发给驾驶员辅助装置 6。驾驶员辅助装置 6 将车辆状态信息和类别信息 组合起来， 并且生成适当的驾驶员辅助信息。驾驶员辅助信息可经由车辆 1 的扬声器 12 或 其它警告装置 13 输出， 以辅助驾驶员。此外， 驾驶员辅助信息被驾驶员辅助确定装置 6 输 出到车辆电子系统 2， 用于直接控制类似于车辆 1 的刹车或车辆 1 的引擎的。
19、车辆功能， 以对 驾驶员进行辅助。 0017 下面， 将更详细地描述在驾驶员辅助装置 6 中对工作状态和类别进行组合以便提 供驾驶员辅助信息的一些示例。 0018 当驾驶员正在将车辆 1 停放到停车位上而驾驶车辆向后行驶时， 安装在车辆 1 的 后部的捕捉装置 3 从车辆 1 后面的区域捕捉图像。来自车辆后部捕捉装置的图像被发送给 服务器 9， 并且由服务器 9 对车辆后面的对象和状况进行识别和分类。类别被发送回车辆 1， 并通过驾驶员辅助装置 6 与指示车辆正向后行驶的车辆状态组合成驾驶员辅助信息。当 例如小孩正在车辆后面玩耍时， 服务器 9 可确定类似 “小孩” 或 “正在玩耍的小孩” 的。
20、类别。 因此， 驾驶员辅助装置 6 可经由扬声器 12 向驾驶员输出警告， 指示在车辆后有小孩或正在 玩耍的小孩。此外， 当服务器 9 检测到在车辆 1 后面的捕捉装置 3 的捕捉区域 7 中存在玩 具时， 驾驶员辅助装置 6 可输出指示在车辆后面存在玩具的警告， 以警告驾驶员可能会有 小孩走近捡起该玩具。 0019 依据另一个示范性实施例， 捕捉装置 3 可捕捉车辆内部的捕捉区域 7， 尤其是驾驶 员就座的区域。当车辆未被启动时， 意味着车辆的引擎没有在运转， 驾驶员辅助装置 6 可能 在服务器 9 的协助下核实在驾驶员座位上就座的驾驶员是否属于已被授权为使用该车辆 的驾驶员的类别。在该驾驶。
21、员不属于授权驾驶员类别的情况下， 驾驶员辅助装置 6 将向车 辆电子系统 2 发送指示， 以阻止启动车辆 1 的引擎。如果在车辆座位上识别的驾驶员被分 类成属于授权驾驶员的组中的驾驶员， 驾驶员辅助装置 6 将向车辆电子系统 2 提供指示信 号， 允许启动车辆 1 的引擎。此外， 在如车辆状态确定装置 5 所指示的车辆运动的过程中， 驾驶员辅助装置 6 可能从服务器 9 接收到， 在驾驶员座位上的当前所识别的驾驶员被分类 为闭着眼睛的驾驶员。在这种情况下， 驾驶员辅助装置 6 可向驾驶员输出警告， 以唤醒该驾 驶员。该警告可包括例如由扬声器 12 输出的听觉警告， 或者可包括起动驾驶员座位安全。
22、带 的带式拉伸器， 以唤醒该驾驶员， 或者起动车辆的方向盘处的振动装置， 以唤醒该驾驶员。 说 明 书 CN 102314596 A CN 102314600 A4/4 页 7 0020 依据另一个示范性实施例， 捕捉装置 3 可捕捉示出车辆 1 的若干个或所有座位的 车辆内部图像。服务器 9 可针对车辆的每个座位推导出在该座位上是否正有人就座。基于 该信息， 驾驶员辅助装置 6 可依照所检测出的车辆座位占用情况控制例如车辆的音频系统 输出音频信息， 如音乐。 如果在车辆中仅存在驾驶员， 则车辆音频系统的音频输出可仅针对 驾驶员被优化， 然而， 当车辆中存在更多的人时， 音频系统的音频输出可被。
23、优化成向车辆中 的所有人提供音频信息。 0021 依据又另一个示范性实施例， 捕捉装置 3 可捕捉在车辆的前方捕捉区域 7 中的图 像。当驾驶员正在沿着道路驾驶车辆 1 时， 在车辆前方出现不同寻常的状况时驾驶员辅助 装置 6 可向驾驶员提供警告。不同寻常的状况可包括例如车辆 1 前方的施工现场或事故。 服务器 9 可适用于分析来自捕捉装置 3 的图像， 以通过将所捕捉图像与存储在服务器 9 中 的捕捉区域 7 的通常的视图进行对比， 以识别这样的状况， 和对这些状况进行分类。存储在 服务器 9 中的区域的通常视图可在车辆状态确定装置 5 向服务器 9 提供的车辆全球定位信 息的协助下被检索出。
24、。如果在车辆前方的道路上确定有不同寻常的状况， 驾驶员辅助装置 6 可向车辆的驾驶员输出音频警告， 或者可起动车辆的刹车系统， 或者可通过降低车辆引擎 的驱动功率来降低车辆的速度。 0022 服务器 9 的分类装置 11 可由被连接到服务器 9 的进一步的业务服务器 (service server)14 支持。此外， 基于由服务器 9 确定的类别， 可由服务器 9 从服务器 14 的附加服务 中检索出与所确定类别有关的附加信息。例如， 当通过分类装置 11 确定出施工现场时， 与 施工现场长度有关的附加信息可由服务器9从附加服务器14检索出， 并作为附加信息提供 给驾驶员辅助装置 6， 以输出给驾驶员。此外， 正如在以上示例中描述的， 当分类装置 11 确 定驾驶员闭着眼睛时， 服务器 9 可从服务器 14 中检索出到达停车场或旅店的最短路线， 并 经由驾驶员辅助装置 6 作为进行休息的建议提供给驾驶员。 说 明 书 CN 102314596 A CN 102314600 A1/1 页 8 图 1 说 明 书 附 图 CN 102314596 A 。