一种无人驾驶车辆的听觉感知与智能决策系统相关申请的交叉引用
本申请涉及2016年4月27日提交的申请号为201610269358.3的“一种基于云端数据
库的无人驾驶车辆导航行车方法”，该申请提出的车辆定位系统等内容在此引用作为参考；
本申请涉及2015年7月3日提交的申请号为201510381349.9的“一种无人驾驶汽车的
自主变道决策系统”，该申请提出的变道决策等内容在此引用作为参考；
本申请涉及2015年8月19日提交的申请号为201510511141.4的“一种无人驾驶汽车紧
急避让的系统和方法”，该申请提出的紧急避让的系统和方法等内容在此引用作为参考。
技术领域
本发明涉及车辆智能系统领域，具体涉及一种无人驾驶车辆的听觉感知与智能决策系统。
背景技术
对于无人驾驶车辆技术的不断深入研究，听觉作为重要的信息获取手段，能够让无人驾
驶车辆进一步提高对外部环境的感知能力，获取更多的外部信息，对实时路况以及驾驶情况
做出更加及时有效的判断。
目前，针对无人驾驶车辆的研究，大部分信息采集都是由视觉导航获得，通过听觉获取
信息的能力相对滞后，有的无人驾驶车辆甚至不具备听觉获取信息的能力，相当于“聋子”，
然而在现实的行车环境中有许多声音(如喇叭声、警笛声)携带重要信息，需要无人驾驶车
辆有所感知甚至做出响应。行车环境中声音所包含的重要信息，无法只通过视觉导航获得，
需要无人驾驶车辆的听觉系统发挥作用。
发明内容
本发明提出了一种无人驾驶车辆的听觉感知与智能决策系统，该系统包括听觉感知系统
和智能决策系统两部分，其中听觉感知系统包括声源定位系统和声音识别系统。
声源定位系统采用基于麦克风阵列的定位方法，其系统装置包括声源采集模块、声源提
取模块、声源定位模块和声源输出模块，无人驾驶车辆周围道路的声音信息作为声源采集模
块的输入端，声源采集模块的输出端连接声源提取模块的输入端，声源提取模块输出端连接
声源定位模块的输入端，声源定位模块的输出端与声源输出模块的输入端连接，声源输出模
块的输出端连接声音识别系统和智能决策系统，以上连接方式均为有线连接。
声源定位系统通过声源采集模块采集无人驾驶车辆周围的声音，并将声音信息传送到声
源提取模块；声源提取模块接收采集到的声音信息，将干扰信息滤掉，并将处理后的声音信
息传送到声源定位模块；声源定位模块定位发声源的位置和相对方位，并将发声源的定位信
息传送到声源输出模块；声源输出模块将发声源的定位信息传送到声音识别系统和智能决策
系统。
声源定位系统的声源采集模块包括至少四个麦克风组成的阵列，安装在无人驾驶车辆车
体上，用于接收无人驾驶车辆周围行车环境中的声音信号。
声音识别系统包括：音频识别系统和语音识别系统。
音频识别系统主要识别车辆的鸣笛声，包括普通汽车的喇叭声和特殊车辆的警笛声，其
中发出警笛声的车辆包括警车、消防车和救护车。音频识别系统采用基于基频拟合的算法识
别，其系统包括特征提取模块、索引库、搜索与模糊匹配以及识别结果。音频识别系统中的
索引库主要包括不同车辆的鸣笛基频变化规律。
语音识别系统主要识别特殊的语音指令，例如交警对车辆做出的语音指令。语音识别系
统采用隐马尔可夫模型算法，其系统包括特征提取模块、模式匹配、参考模式库以及识别结
果。语音识别系统中的参考模式库主要包括常用的特殊语音指令，例如：靠边停车、例行检
查等。
智能决策系统包括信息采集模块、信息处理和决策模块、控制执行模块和本车信息反馈
模块。
信息采集模块主要通过摄像机和雷达等设备采集无人驾驶车辆行车环境的路况信息和道
路信息，将采集到的信息进行融合并发送到信息处理和决策模块；信息处理和决策模块将信
息采集模块和本车信息反馈模块发送的本车行驶状态信息进行分析处理，计算出无人驾驶车
辆的变道、避让等决策方案，然后将决策方案发送到控制执行模块；控制执行模块根据信息
处理和决策模块传输的决策方案，通过控制器改变本车的速度和转向角，完成变道、避让等
动作；本车信息反馈模块是将测得的转向角度和速度反馈回信息处理和决策模块，以便实时
监测本车的运行状态。
信息采集模块除了采集无人驾驶车辆周围的路况信息和道路信息外，还接收声源定位系
统的定位信息和声音识系统的识别信息，当声音类型为特殊语音指令时，信息采集模块的摄
像头可以通过采集发声源的图像信息，判断发声源的人的身份是否是警察，是警察则应执行
该特殊语音指令。
无人驾驶车辆通过听觉感知与智能决策系统感知并收集无人驾驶车辆周围行车环境的声
音信息，将收集的声音信息发送到智能决策系统，通过智能决策系统控制无人驾驶车辆的行
驶状态。
本发明涉及的一种无人驾驶车辆的听觉感知与智能决策系统能够使无人驾驶车辆在行驶
过程中掌握本车附近及周边道路的声学环境信息，使无人驾驶车辆能够对更多的信息源进行
处理。
附图说明
图1无人驾驶车辆听觉感知与智能决策系统图
图2声源定位系统图
图3声音识别系统图
图4不同车辆鸣笛基频变化规律图
图5智能决策系统图
图6无人驾驶车辆后方有消防车图
图7无人驾驶车辆后方有车辆鸣笛图
图8无人驾驶车辆听到特殊指令图
具体实施方式
本发明涉及一种无人驾驶车辆的听觉感知与智能决策系统1；该系统包括听觉感知系统2
和智能决策系统3，其中听觉感知系统2包括声源定位系统4和声音识别系统5，如图1所示。
无人驾驶车辆通过听觉感知与智能决策系统1感知无人驾驶车辆周围行车环境的声音信息并
做出相应响应。
无人驾驶车辆在行驶过程中通过声源定位系统4实时感知车体周围以及周边道路的声学
环境，并对发声源进行定位，将定位信息传送到声音识别系统5和智能决策系统3；声音识
别系统5通过音频识别系统11和语音识别系统16识别发声源的类型，并将识别结果传送到
智能决策系统3；智能决策系统3中的信息采集模块21接收声源定位系统4发送的声源定位
信息和声音识别系统5发送的声音识别信息，以及信息采集模块21通过摄像机和雷达等设备
采集的无人驾驶车辆行车环境中的路况信息和道路信息，并将采集和接收的信息进行信息融
合发送到信息处理和决策模块23；信息处理和决策模块23将信息采集模块21和本车信息反
馈模块22发送的无人驾驶车辆行驶状态信息进行分析处理，计算出无人驾驶车辆的变道、避
让等决策方案，然后将决策方案输出到控制执行模块24；控制执行模块24根据信息处理和
决策模块23传输的决策方案，通过控制器改变本车的速度和转向角，完成变道、避让等动作；
本车信息反馈模块22是将测得的转向角度和速度反馈回信息处理和决策模块23，以便实时
监测无人驾驶车辆的运行状态。
一、声源定位系统
无人驾驶车辆车体周围以及周边道路声学环境的信息可以通过声源定位系统4的定位获
取，并将定位信息发送到声音识别系统5和智能决策系统3，通过智能决策系统3对声音信
息的分析处理，计算出无人驾驶车辆的变道、避让等决策方案，并使无人驾驶车辆做出相应
的方位反应(如避让声源方向的车辆等)。
声源定位系统4采用基于麦克风阵列定位的方法，其系统装置包括声源采集模块6、声
源提取模块7、声源定位模块8和声源输出模块9，如图2所示。无人驾驶车辆周围的声音作
为声源采集模块6的输入端，声源采集模块6的输出端连接声源提取模块7的输入端，声源
提取模块7输出端连接声源定位模块8的输入端，声源定位模块8的输出端与声源输出模块
9的输入端连接，声源输出模块9的输出端连接声音识别系统5和智能决策系统3，以上连接
方式均为有线连接。声源定位系统4的声源采集模块6包括至少四个麦克风组成的阵列，安
装在无人驾驶车辆车体上，用于接收周围行车环境中的声音信号。
声源定位系统4通过声源采集模块6采集无人驾驶车辆周围的声音，并将声音信息传送
到声源提取模块7；声源提取模块7接收采集到的声音信息，将干扰信息滤掉，并将处理后
的声音信息传送到声源定位模块8；声源定位模块8定位发声源的位置和相对方位，并将发
声源的定位信息传送到声源输出模块9；声源输出模块9将发声源的位置信息传送到声音识
别系统5和智能决策系统3。
二、声音识别系统
在现实行车环境中，车辆周围的声音信息极为丰富，对于无人驾驶车辆的声
音识别系统5，则需要识别具有特殊含义的声音信息，无人驾驶车辆主要识别的声音信息分
为两类：车辆发出的鸣笛信息和人发出的特殊语音信息。
声音识别系统5包括：音频识别系统11和语音识别系统16，如图3所示。
音频识别系统11主要识别车辆的鸣笛声，包括普通汽车的喇叭声和特殊车辆的警笛声，
其中发出警笛声的车辆有警车、消防车和救护车，可以根据不同车辆鸣笛基频变化规律的不
同来区分。音频识别系统11采用基于基频拟合的算法识别，其系统包括：特征提取模块12、
索引库13、搜索与模式匹配14以及识别结果15。音频识别系统11中的索引库13主要包括
不同车辆鸣笛基频变化规律，如图4所示。
语音识别系统16主要识别特殊的语音指令，例如交警对无人驾驶车辆做出的语音指令。
语音识别系统16采用隐马尔可夫模型算法，其系统包括：特征提取模块17、参考模式库18、
模式匹配19以及识别结果20。语音识别系统16中的参考模式库18主要包括常用的特殊语
音指令，例如：靠边停车、前方危险等。
声音识别系统5通过语音识别系统16识别出声音信息为特殊语音指令，并将识别结果发
送到智能决策系统3的信息采集模块21，信息采集模块21通过摄像头采集发声源的图像信
息，识别发出特殊语音指令的人的身份信息，如果是警察发出的指令则应执行。
具体识别方式与步骤：
步骤1、声源定位系统4采集并定位的声音中包含了噪音、电流干扰等信号，声音识别
系统5不能直接提取特征，需要进行前期预处理。前期预处理模块10包括预滤波、采样和量
化、分针、加窗、预加重、端点检测；
步骤2、对经过预处理的声音数据进行特征参数提取；
步骤3、将提取出的特征参数与索引库13(参考模式库19)进行搜索对比匹配；
步骤4、得出结果，并将结果传送到智能决策系统3。
语音识别系统16是将声源定位系统4传送的定位信息作为语音信号，经过预处理提取特
征参数，对特征参数进行处理后，为每个词条得到一个模板，保存为模板库，在识别阶段，
语音信号经过相同的通道得到语音参数，生成测试模板，与参考模板逐一进行比较，获得最
佳匹配的参考模板作为识别结果。
三、智能决策系统
无人驾驶车辆周边行车环境中包含了丰富的声音信息，通过声源定位系统4可以定位发
声源的位置和相对方位，通过声音识别系统5可以识别发声源的声音类型，将声源定位信息
和声音类型信息传送到智能决策系统3，通过分析、判断接收的声音信息，控制无人驾驶车
辆的行为。
智能决策系统3包括：信息采集模块21、本车信息反馈模块22、信息处理和决策模块
23和控制执行模块24，如图5所示。
信息采集模块21主要通过摄像机和雷达等设备采集无人驾驶车辆行车环境的路况信息
和道路信息，将采集到的信息进行融合并发送到信息处理和决策模块23；信息处理和决策模
块23将信息采集模块21和本车信息反馈模块22发送的本车行驶状态信息进行分析处理，计
算出无人驾驶车辆的变道、避让等决策方案，然后将决策方案发送到控制执行模块24；控制
执行模块24根据信息处理和决策模块23传输的决策方案，通过控制器改变本车的速度和转
向角，完成变道、避让等动作；本车信息反馈模块22是将测得的转向角度和速度反馈回信息
处理和决策模块23，以便实时监测本车的运行状态。
信息采集模块21除了采集无人驾驶车辆周围的路况信息和道路信息外，还接收声源定位
系统4的定位信息和声音识系统5的识别信息，当声音类型为特殊语音指令时，信息采集模
块21的摄像头可以通过采集发声源的图像信息，判断发声源的人的身份是否是警察，是警察
则应执行该特殊语音指令。
《中华人民共和国道路交通安全法》第53条规定，救护车、警车、消防车、工程救险车
在执行紧急任务时，拥有道路优先通行权。
当无人驾驶车辆检测到警笛声时，根据声源定位系统4，对鸣响警笛的车辆进行定位，
当鸣响警笛的车辆在无人驾驶车辆的同车道后方，则无人驾驶车辆观察相邻车道周围路况与
道路信息，选择向具有合适避让空间的车道变道；当无人驾驶车辆与鸣响警笛的车辆不在同
一车道，则无人驾驶车辆避免变道、超车等行为；当无人驾驶车辆行驶的道路没有车道线，
则无人驾驶车辆靠右行驶让出车道并适当降低车速，必要时可停靠在路边让出车道，让鸣响
警笛的车辆先行通过。
为使本发明的目的、技术方案和优点更加清楚明白，将结合具体实施例，并参照附图，
对本发明进一步详细说明。
具体实例：无人驾驶车辆在行驶过程中遇到三种情况。
1、无人驾驶车辆行驶过程中遇到消防车
无人驾驶车辆在双向六车道上行驶，同车道后方有一辆鸣响警笛的消防车。
无人驾驶车辆的听觉感知系统2感知无人驾驶车辆周围声音，通过声源定位系统4定位发声
源来自车体后方，并将定位结果发送到智能决策系统3，由声音识别系统5识别声源发出的
声音类型为消防车警笛声，并将识别结果15传送至智能决策系统3，智能决策系统3根据接
收的声音信息做出决策，控制无人驾驶车辆做出响应。
当无人驾驶车辆检测到后方有鸣响警笛的车辆时，智能决策系统3中的信息采集模块21
将采集的信息(声音信息、路况信息、道路信息)进行融合并发送到信息处理和决策模块23，
通过分析、判断无人驾驶车辆是否具备变道条件并计算出决策方案，信息处理和决策模块23
将决策方案传送到控制执行模块24，如果变道条件满足，控制执行模块24控制无人驾驶车
辆向具有合适避让空间的车道变道，并通过本车信息反馈模块22将无人驾驶车辆的运行状态
反馈回信息处理和决策模块23。
(1)当无人驾驶车辆与消防车同在最右侧车道，无人驾驶车辆在检测到后方有鸣响警笛
的消防车时，无人驾驶车辆应靠边停车，等待鸣响警笛的消防车驶离后方可重新行驶，并且
不能近距离尾随。
(2)当无人驾驶车辆与消防车同在中间车道，无人驾驶车辆检测到后方有鸣响警笛的消
防车时，观察相邻车道周围路况与道路信息，选择向具有合适避让空间的车道变道，如图6
所示。
(3)当无人驾驶车辆与消防车同在最左侧车道，无人驾驶车辆在检测到后方有鸣响警笛
的消防车时，观察相邻右侧车道周围路况与道路信息，当相邻右侧车道具有可变道条件时，
无人驾驶车辆向相邻右侧车道变道，给鸣响警笛的消防车让出车道。
2、无人驾驶车辆行驶过程中遇到后方车辆鸣笛
无人驾驶车辆在双向四车道上行驶，同车道后方有一辆汽车鸣笛，无人驾驶
车辆的听觉感知系统2感知车辆周围外界声音，通过声源定位系统4定位发声源来自车体后
方，并将定位结果发送到智能决策系统3，由声音识别系统5识别声源发出的声音类型为汽
车鸣笛声，并将识别结果15传送至智能决策系统3，智能决策系统3根据接收的声音信息做
出决策，控制无人驾驶车辆做出响应。
当无人驾驶车辆检测到后方有鸣笛车辆时，智能决策系统3中的信息采集模块21将采集
的信息(声音信息、路况信息、道路信息)进行融合并发送到信息处理和决策模块23，通过
分析、判断无人驾驶车辆是否具备变道条件并计算出决策方案，信息处理和决策模块23将决
策方案传送到控制执行模块24，如果变道条件满足，控制执行模块24控制无人驾驶车辆向
具有合适避让空间的车道变道，并通过本车信息反馈模块22将无人驾驶车辆的运行状态反馈
回信息处理和决策模块23。
3、无人驾驶车辆听到靠边停车指令
在现实行车环境中有许多声音，无人驾驶车辆通过声音识别系统5的音频识
别系统11可以分辨出特殊车辆的警笛声和车辆的鸣笛声，而对于特殊的语音指令信息需要通
过语音识别系统16来识别。
当无人驾驶车辆在双向六车道上行驶，右侧非机动车道上有交警做出“靠边停车”的手
势，如图6所示，无人驾驶车辆智能决策系统中的信息采集模块通过摄像头捕捉到交警做出
的手势动作，并将信息发送到信息处理和决策模块23，信息处理和决策模块23通过分析、
判断，计算出无人驾驶车辆靠边停车的决策方案，并将决策方案传送到控制执行模块24，控
制执行模块24控制无人驾驶车辆靠边停车。停车后，无人驾驶车辆听觉感知系统2的语音识
别系统16识别交警发出特殊语音指令(例如：停车检查等)，并将识别结果20发送到智能决
策系统3，智能决策系统3根据接收到声音信息做出决策，控制无人驾驶车辆做出响应。
以上所述的具体实施例，对本发明的目的、技术方案进行了进一步详细说明，应理解的
是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原
则之内，所做的任何修改、等同替换、改进，均应包含在本发明的保护范围之内。