对驾驶员疲劳状态的智能识别装置与方法 技术领域 本发明涉及的是一种汽车工程中的控制技术领域的装置与方法， 具体是一种对驾 驶员疲劳状态的智能识别装置与方法。
背景技术 众所周知， 驾驶员长途驾驶汽车时， 会因难以克服的生理疲劳时常发生交通事故。 特别是长途货运卡车司机出于经济利益的考虑会不顾自己的身体状况持续驾驶十几个小 时以上。这类货运卡车司机往往会在行驶中途出现瞌睡现象， 因此而酿成惨痛的车毁人亡 交通事故。 据统计， 2007 年我国由于交通事故死亡的人数达到了 8 万多人， 道路交通安全现 状不容乐观。2007 年美国道路交通事故统计数据表明， 由于疲劳驾驶原因直接导致死亡的 事故次数有 1400 多起。
世界卫生组织研究报告指出， 每年交通事故夺走接近 120 万的生命， 占每年全球 死亡人数的 2.2％， 在所有导致死亡的原因中居第 9 位。如果当前的交通状况没有改善， 预
计到 2030 年， 交通事故死亡人数所占的比重将达到 3.6％， 将在所有死亡原因中上升至第 5 位。并有不断上升的趋势。
美国国家睡眠基金会的研究报告指出美国每年由于驾驶员疲劳原因导致的交通 事故数平均有 10 万多例。
对大量交通事故的致因分析表明， 在驾驶疲劳中， 驾驶员的感知疲劳、 判断决策疲 劳是肇发交通事故的主要原因。日本对 38000 多起事故致因进行研究发现 ： 感知疲劳占 40.1％， 判断决策疲劳为 41.5％。
驾驶疲劳影响驾驶员的警觉和安全驾驶能力。驾驶疲劳问题已经引起世人的关 注， 西方发达国家投入巨大的人力、 物力广泛开展驾驶疲劳的研究工作。
我国驾驶疲劳监测方法落后的现状以及严峻的道路交通安全形势， 也迫切要求解 决驾驶疲劳监测技术中的难题。
驾驶员疲劳识别技术的研究主要集中在三个方面 ：
(1) 基于驾驶员个体特性的监测方法， 例如眼睑的活动、 眼睛闭合、 点头动作等 ；
(2) 基于驾驶员生理参数测量的监测方法， 例如脑电图、 眼动图、 肌电图、 肌肉活动 等；
(3) 基于车辆参数的监测方法， 例如车速、 加速度、 车辆位置等。
要克服驾驶员疲劳驾驶的现象， 除了加强对驾驶员必要的交通法制教育和交通运 输企业的生产管理外， 依靠先进的科技来完善现有汽车安全驾驶智能化功能则是至关重要 的技术手段。这里所说的驾驶员疲劳状态主要是指驾驶员因生理疲劳而呈现出的瞌睡状 态。
经对现有技术文献的检索发现， 路遥等的 “一种用于人眼定位和人眼张开闭合的 识别方法” ( 中国专利申请号 ： 200510027371.X) 介绍了一种 “人眼定位和人眼张开闭合的 识别方法” 。该方法主要解决对动态图象的人眼识别的问题。其步骤为 ： 将摄像头动态提取到的一帧图象利用灰度直方图进行自动灰度均衡， 将人的脸部从背景中凸现出来， 再利 用可调半窗口域值将人脸从背景中提取出来， 根据估算的人眼象素块大小， 去掉非人眼区 域， 然后结合人眼的二维几何关系确定人的双眼， 用黑框在原始图像上显示出来， 如果没有 检测到双眼， 系统声音提示 ； 再利用眼睛象素的大小， 判断眼睛的张开与闭合 ； 如果眼睛张 开， 原始图像上将有黑框显示， 程序不发出提示音 ； 如果眼睛闭上， 原始图像上将没有黑框 显示， 程序发出提示音。该方法拟应用于多种检测系统， 如疲劳驾驶报警系统。该方法技术 缺陷是 ： “根据估算的人眼象素块大小， 去掉非人眼区域， 然后结合人眼的二维几何关系确 定人的双眼” ， 这种识别人眼区域的方法准确率较低， 而且时常会发生误判， 原因在于 ： 人眼 大小不一、 头发疏密差别很大、 人的着装颜色反差极大， 因此是一种极不可靠的技术 ； 适用 限制条件较多， 正如该方法自身 《技术说明书》 所说 “人眼不能被遮挡” ； 对背景有要求等。 因此， 该技术方法难以直接运用于对驾驶员疲劳状态的智能识别过程。
再经对现有技术文献的检索发现， 成波、 张广渊、 冯睿嘉等的 “基于眼睛状态识别 的驾驶员疲劳实时监测” (《汽车工程》 2008 年第 11 期 ) 提出了一种基于眼睛状态识别的 驾驶员疲劳状态实时监测的方法。 首先通过计算累计背景和当前帧的差分图像的质心确定 脸部范围， 然后通过二值化和轮廓检测确定眼睛的搜索区域。在利用启发式规则进行筛选 定位之后， 计算眼睛骨架曲线和两眼角连线之间的距离得到眼睛的睁开程度。通过计算相 应的疲劳指标如 PERCLOS、 平均睁眼程度、 最长眼睛闭合时间来推测驾驶员的疲劳状态。以 驾驶员面部视频的主观评分作为评价依据对检测方法进行评价， 结果显示上述 3 个指标在 不同的疲劳等级下均存在显著性差异， 通过对不同指标的融合可达到较好的疲劳检测准确 率。该方法的技术缺陷主要表现于 ： “确定眼睛的搜索区域” 要花费较多的计算时间 ； 以 “疲 劳指标如 PERCLOS、 平均睁眼程度、 最长眼睛闭合时间来推测驾驶员的疲劳状态” ， 其检测准 确率不高。 发明内容
本发明的目的在于克服现有技术中的不足， 提供一种对驾驶员疲劳状态的智能识 别装置与方法， 确保车辆在行驶过程， 能够准确识别驾驶员的驾车状态， 制止驾驶员疲劳驾 车， 因此能够有效地避免因驾驶员疲劳而造成的交通事故。
本发明是通过以下技术方案实现的 ：
本发明涉及一种对驾驶员疲劳状态的智能识别装置， 包括 ： 针孔摄像头、 信号处理 器、 车速操控机构和语音播放器。针孔摄像头的输出接口通过视频电缆与信号处理器的图 像输入接口连接， 信号处理器的输出接口分别与车速操控机构和语音播放器数字的输入接 口并行连接。
所述针孔摄像头， 设置于驾驶室内， 正对着驾驶员的面部， 用于实时采集驾驶员的 面部视图。
所述信号处理器， 包括 ： 图像输入接口、 模数转换模块、 图像处理模块、 车速信号输 入接口、 输出接口。其中 ： 图像输入接口的输入端经视频电缆与针孔摄像头输出接口相连， 图像输入接口的输出端与模数转换模块的输入端连接， 模数转换模块的输出端口与图像处 理模块的输入端口连接 ； 车速信号输入接口的输入端与车辆速度传感器的输出接口连接， 车速信号输入接口的输出端与图像处理模块的输入端口连接。所述的车辆速度传感器， 利用车辆已有的车辆数字速度传感器。
所述图像处理模块， 是信号处理器中的核心技术模块， 承担图像信息的处理、 识别 与决策的整个运算过程。
所述车速操控机构， 包括 ： 输入接口、 第一数模转换器、 功率放大器、 电磁阀和电动 刹车推杆。 其中， 输入接口的输入端口与信号处理器的输出接口连接， 输入接口的输出端口 与第一数模转换器的输入端口连接， 第一数模转换器的输出端口与功率放大器的输入端口 连接， 功率放大器的输出端口同时与电磁阀线圈的两个端点及电动刹车推杆线圈的两个端 点相并接。
所述的电磁阀线圈套在电磁铁芯的外面， 电磁线圈受电时通过电磁铁芯产生磁力 对阀门产生磁性吸力， 随着加在电磁线圈两端点电压信号的大小变化， 电磁铁芯的磁性吸 力同时产生相应的变化， 电磁铁芯的磁性吸力作用于阀门、 拉动阀门以改变阀门的开度， 阻 力弹簧是一种拉伸弹簧， 阀门在电磁铁芯磁性吸力拉动的同时， 阻力弹簧也同时受到拉伸， 因此产生一个与电磁铁芯磁性吸力相反的弹性力， 当电磁铁芯磁性吸力和阻力弹簧弹力达 到平衡时， 阀门就被停止拉动， 即阀门开度与加在电磁线圈两端点电压相对应。
所述电动刹车推杆， 包括 ： 电刹车线圈与电磁推杆， 电刹车线圈套装在电磁推杆的 一端， 电磁推杆的另一端与脚踏刹车杆杠机构连接， 当电刹车线圈受电时， 电刹车线圈所产 生的电磁场对套装在电刹车线圈内的推杆产生轴向机械推力， 该轴向机械推力作用在脚踏 刹车杆杠机构的电动推杆作力点上， 通过杆杠机构起到与脚踏刹车同样的效果使车辆自动 刹车。 所述语音提示器， 包括 ： 输入接口、 译码器、 数字语音模块、 第二数模转换器、 功率 放大模块、 扬声器 ； 其中 ： 输入接口的输入端口与信号处理器的输出接口连接， 输入接口的 输出端与译码器的输入端口连接， 译码器的输出端口与数字语音模块的输入端口连接， 数 字语音模块的输出端口与第二数模转换器的输入端口连接， 第二数模转换器的输出端口与 功率放大模块的输入端口连接， 功率放大模块的输出端口与扬声器的输入端口连接。当语 音提示器的输入接口接收到控制指令后， 经过译码器的解释， 链接数字语音模块中的相关 语音单元， 将链接后的语音单元序列依次输至第二数模转换器转换为语音模拟信号， 再将 语音模拟信号输至功率放大模块经功率放大后驱动扬声器发出相应的语音警示。
本发明车辆正常行驶中， 电磁阀处于全开状态， 即开度为 100％ ； 当本发明装置识 别前方车距小于安全车距时， 电磁阀线圈在输入电压信号的作用下， 电磁铁产生相应磁力 拉动阀门减小其原有开度， 因此减小了燃料的流量， 迫使车辆减速 ； 同时， 电动刹车推杆线 圈也在该输入电压信号的作用下， 对推杆产生轴向推力通过杆杠机构的力矩传递带动脚刹 车迫使车辆逐渐减速并最终停止下来。
本发明的信号处理器图像输入接口从针孔摄像头输出接口接收驾驶员面部图像 模拟信号后， 将图像模拟信号送入模数转换模块的输入端， 模数转换模块再将转换后的数 字图像信号分别输至图像处理模块 ； 车辆速度传感器的输出信号经车速信号输入接口输入 至图像处理模块。 信号处理器对针孔摄像头采集到的驾驶员脸部图像信号进行处理与分析 后， 确定当前驾驶员是否正处于疲劳驾驶状态 ； 一旦确认驾驶员疲劳驾驶， 信号处理器会实 时地将识别结果生成控制指令由其输出接口输出 ； 在控制指令的作用下， 通过车速操控机 构自动使车辆减速乃至刹车。 同时， 通过语音播放器向驾驶员警示 ： “您已处于疲劳状态， 为
了您和大家的安全， 请停车休息！ ” 。
本发明还涉及一种对驾驶员疲劳状态的智能识别方法， 包括以下步骤 ：
步骤一、 系统对训练样本进行学习 ；
所述系统对训练样本进行学习， 即本发明装置系统处于学习状态。当系统处于学 习状态时， 系统对当前的驾驶员疲劳状态脸部图像进行采集与处理。所述驾驶员疲劳状态 脸部图像， 即因疲劳而引起瞌睡的驾驶员眼部图像。步骤一包括分步骤如下 ：
(1) 采集驾驶员疲劳状态脸部图像并进行彩色空间转换 ；
将针孔摄像头抽样采集到的驾驶员疲劳状态脸部图像进行强化后， 再将其从 RGB 彩色空间转换至 HSV 彩色空间进行表达 ； 并连续采集多幅， 包括 ： 多个驾驶员疲劳状态不同 时刻的图像。 如： 采集三位驾驶员在不同时刻表现出的疲劳状态脸部图像并将其强化后， 再 从 RGB 彩色空间转换至 HSV 彩色空间进行表达。
(2) 将眼部与其它区域及背景区分开来 ；
在抽样采集到的驾驶员疲劳状态脸部图像中， 按照像素坐标从左至右、 从上到下 地扫描检测像素的景物色调， 并将落入 HSV 彩色空间中的色调区间 [2°， 47° ] 的色调集合 所对应的像素点拟定为人脸区域， 因此将人物其它区域和图像背景跟人脸区域准确地区分 开来。
这是因为人物图像中的人脸肤色与衣物及背景存在着明显不同的色调差别， 人脸 肤色与衣物及背景各自的色调分布于不同的角度区域， 而且人脸肤色的色调相对稳定地集 中在 HSV 彩色空间中的某个角度区域， 通过实验证实不论是自然光照还是人工光源照射， 也不论摄像系统的异同， 肤色的色调 H 的角度分布都基本保持在 HSV 彩色空间的 2 ～ 47° 之间， 因此能够通过人物图像在 HSV 空间中的色调值来区分出人脸肤色和衣物、 背景及其 它景物， 换句话说， 只有当某一景物的色调处于区间 [2°， 47° ] 之内， 才有可能是人脸肤 色， 否则是其它景物， 如衣物或其它物品。通过实验进一步证实 ： 人脸肤色的色调值为 11° 的概率最高， 因此称 11°的色调值为人脸肤色的概率峰值。令， 人脸肤色色调在区间 [2°， 47° ] 的分布概率为 P(H) 时， H ＝ 11°的概率达到最高， 即 P(11° ) ＝ Pmax， 也就是说， 当 某个景物的色调为 11°时， 认定该景物为人脸肤色的置信度达到最高。
(3) 对抽样采集到的驾驶员疲劳状态脸部图像确定人脸中心位置与眼部区域 ；
利用抽样采集到的驾驶员疲劳状态脸部图像的 HSV 彩色空间表达， 在人脸肤色色 调集合中， 以最接近 11°的色调值所对应的像素点坐标作为人脸中心点， 如： 经过人脸区 域搜寻结果， 获得落入 HSV 彩色空间中的色调区间 [2°， 47° ] 的色调集合为 {...， 9.7°， 10.1°， 9.5°， ...}， 而且该集合所对应的像素点坐标为 {...， (ik-1， jk-1)， (ik， jk)， (ik+1， jk+1)， ...}， 其中最接近 11°的色调值是 10.1°， 所对应的像素点坐标为 (ik， jk)， 因此就可 以确定 (ik， jk) 为人脸中心位置坐标， i 表示像素的列坐标， j 表示像素的行坐标， 脚标表示 列数和行数， ik 的 k 表示第 k 列， jk 的 k 表示第 k 行。并以人脸中心点为基点向上扩张 u 行 像素和向两侧各扩张 列像素， 作为 u×v 的眼部区域。 (4) 导入驾驶员疲劳状态脸部图像眼部区域训练样本 ；
将 u×v 的眼部区域截取后作为驾驶员疲劳状态脸部图像眼部区域训练样本导入 本发明装置系统。
所采集的驾驶员疲劳状态脸部图像眼部区域训练样本均具有 256 个灰度级， 一般 取训练样本数 n ＝ k×l ≥ 9 ； 其中， k、 l 分别为被采样驾驶员数和每个驾驶员被采样驾驶 员疲劳状态脸部图像眼部区域的样本数， 如 k ＝ 3、 l ＝ 3 分别代表被采样驾驶员数为 3 个、 每个驾驶员被采样驾驶员疲劳状态脸部图像眼部区域的样本数为 3。
(5) 将训练样本图像转换为一维向量 ；
将每一个二维的驾驶员疲劳状态脸部图像眼部区域训练样本图像数据转化为一 维的向量， 并定义 “瞌睡状” 为 1 类眼部特征， “非瞌睡状” 为 -1 类眼部特征。因此可以表达 出第 i 图像的一维向量 xi 为
xi ＝ [xi1 xi2...xim]T ＝ [xij]T ( 公式一 )
式中， xij 表示 1 类第 i 个样本第 j 个像素灰度值 ； i ＝ 1， 2， ...， n 为 1 类眼部样 本序号 ； j ＝ 1， 2， ...， m 为每个样本图像所取像素数， m ＝ u×v， u 和 v 分别为样本图像的 列和行像素数。
(6) 计算训练样本特征值及特征向量 ；
计算 1 类的均值 即
( 公式二 )称由此求得的均值 为 1 类平均眼。
对上述训练样本进行规范化后可以表达为
i ＝ 1， 2， ...， n ( 公式三 )
由训练样本组成的 1 类平均眼规范化向量 v
v ＝ [v1 v2...vn]T ( 公式三 )
此时， 1 类平均眼协方差矩阵为
Q ＝ [v1 v2...vn]T[v1 v2...vn] ； Q ∈ Rn×n ( 公式四 )
利用 ( 公式四 ) 求取 Q 的特征值 λl 及其特征向量， 并将其从大到小重新排列后 生成特征向量
p ＝ [λ1 λ2 λ3...]T ( 公式五 )
其中， λ1 ≥ λ2 ≥ λ3 ≥ ...
(7) 对训练样本进行线性变换后投影到特征空间 ；
由于较大的特征值对应的特征向量包含了较多的人脸眼部特征信息， 因此选取前 s 个较大的特征值所对应的特征向量构成的向量空间就可以近似地表示人脸眼部图像的主 要信息。s 取值由实验确定。
对于图像库中的 n 个图像 xi ＝ [xi1 xi2...xim]T(i ＝ 1， 2， ...， n) 都可以向此特征 T 空间投影， 得到投影向量 Ωi ＝ [ωi1 ωi2...ωim] 。
从 v ＝ [v1 v2...vn]T 中选取前 s 个较大的特征值所对应的规范化值构成新的规范 化向量
( 公式六 )因此， 可以直接用 来代表 1 类人脸眼部特征， 即驾驶员疲劳状态脸部图像眼部区 域特征。
这就是说， 建立了人脸眼部特征规范化向量后， 就可以依次作为识别驾驶员是否因疲劳而呈现瞌睡状的判据。
所述的图像增强， 是指 ： 采用脉冲耦合神经网络法模拟与特征有关的神经元同步 行为来展示脉冲发放现象的连接模型， 对驾驶室内针孔摄像头实时采集到的图像进行增 强。
所述的脉冲耦合神经网络法 (Pulse-Coupled Neural Networks， 简称 PCNN)， 是一 种模拟与特征有关的神经元同步行为来展示脉冲发放现象的连接模型。因此， 它与视感神 经系统的感知能力有着天然的联系。
应用于图像处理的 PCNN 结构模型中， 待处理的图像每个像素 f(i， j) 对应着每个 神经元 Nij， 其中像素坐标， i ＝ 1， 2， 3， ...， j ＝ 1， 2， 3， ...。以 Iij 表示像素点 f(i， j) 的 像素强度值， 每个神经元 Nij 除接收来自外部的刺激 Iij 外， 还接收来自内部网络其他神经元 的馈送输入 Fij(t) 和联接输入 Lij(t)， 接着通过神经元连接强度 β 以乘积耦合形式 Fij(t) [1+βLij(t)] 构成神经元 Nij 的内部行为 Uij(t)， 再通过动态阈值 θij(t) 与 Uij(t) 的比较 而激励或抑制神经元的脉冲信号输出 Yij(t)( 又称为点火 )， t 代表时间。
由于常规图像中边缘两边的象素亮度强度差总比区域内空间邻近的象素亮度强 度差相对要大， 因此， 若采用 PCNN 于二维图像处理， 每个神经元与图像像素一一对应， 其亮 度强度值作为神经元的外部刺激， 则在 PCNN 内部， 空间邻近、 强度相似的像素集群能够同 步点火， 否则异步点火。 这在图像增强中， 表现为同步点火对应的图像像素呈现相同的亮度 强度值， 从而平滑了图像区域 ； 异步点火对应的图像像素呈现不同的亮度强度值， 从而加大 了图像区域间亮度强度的梯度， 进而更加突出了图像的边缘， 使得增强后的图像亮度强度 分布更具有层次性。 在标准的 PCNN 模型中， 由于硬限幅函数的作用， 其输出是一个二值图像帧。为了 使所建立的 PCNN 输出映射函数能更有效地进行图像整体对比度增强的处理， 基于上述的 人眼视觉感知特性， 采用类对数映射函数， 将图像的亮度强度映射到一个合适的视觉范围。
该方法的最大优点在于它与视觉神经系统的感知能力有着天然的联系， 使得该模 型不仅能较好地平滑图像区域、 突出图像边缘， 而且能明显地改善彩色图像的视觉效果、 增 强图像色彩的真实效果。
所述的彩色空间转换， 是指 ： 将增强后的图像进行彩色空间转换， 即将增强后的数 字图像从 RGB 彩色空间转换至 HSV 彩色空间， 转换后的色调 H、 饱和度 S 和亮度 V 分别表示 为
V ≤ max(R， G， B) ( 公式七 )
( 公式八 )
( 公式九 )并在计算 H 过程， 如果出现 H ＜ 0， 则取 为 H 的实际取值。
所述 RGB 和 HSV， 分别为图像彩色空间的描述方式。 前者的空间向量 [R G B]T 不仅 代表红 R、 绿 G 和蓝 B 三基色的色彩， 同时也表示三基色的亮度， RGB 三色之间存在着很大的
相关性。 换句话说， 通过 [R G B]T 三元素的不同取值， 能够形成不同的颜色效果。 后者是根 据颜色的直观特性创建的一种包含色调 H、 饱和度 S 和亮度 V 的三维彩色空间模型， 也称六 角锥体模型。 在这个彩色空间模型中， 色调 H 用角度度量， 取值范围为 0 ～ 360°， 从红色开 始按逆时针方向计算， 红色为 0°、 绿色为 120°、 蓝色为 240°， 它们的补色 ： 黄色为 60°、 青色为 180°、 品红为 300° ； 饱和度 S 取值范围为 0.0 ～ 1.0 ； 亮度 V 取值范围为 ： 0.0( 黑 T T 色 ) ～ 1.0( 白色 )。如 ： 纯红色是 [H S V] ＝ [0 1 1] ， 而 S ＝ 0 表示非彩色， 在这种情况 下， 色调未定义。
步骤二、 在线识别驾驶员疲劳状态 ；
所述在线识别驾驶员疲劳状态， 即本发明装置系统进入 ( 处于 ) 在线工作状态， 对 车辆驾驶员的疲劳状态实施实时监控。步骤二包括分步骤如下 ：
(1) 采集驾驶员脸部图像并进行彩色空间转换 ；
将针孔摄像头实时采集到的驾驶员脸部图像进行强化后， 再将其从 RGB 彩色空间 转换至 HSV 彩色空间进行表达。
(2) 将眼部与其它区域及背景区分开来 ；
在采集到的驾驶员脸部图像中， 按照像素坐标从左至右、 从上到下地扫描检测像 素的景物色调， 并将落入 HSV 彩色空间中的色调区间 [2°， 47° ] 的色调集合所对应的像素 点拟定为人脸区域， 因此将人物其它区域和图像背景跟人脸区域准确地区分开来。
(3) 对采集到的驾驶员脸部图像确定人脸中心位置与眼部区域 ； 利用人脸的 HSV 彩色空间表达， 以最接近 11°的色调值所对应的像素点坐标作为即可获取 人脸中心点， 并以人脸中心点为基点向上扩张 u 行像素和向两侧各扩张 列像素， u×v 的眼部跟踪区域。
(4) 对驾驶员眼部区域的跟踪 ；
采用一阶预测算法作为驾驶员眼部区域跟踪的方法。
设当前驾驶员脸部运动速度为 V(tk) ＝ [Vi(tk)Vj(tk)]T， 且
( 公式十 )
即， 采用间隔时间 Δt 下， 对人脸中心位置的前后两次运算来求取， Δt ＝ tk-tk-1。 其一阶预测估计值应为
( 公式十一 )
预测驾驶员脸部目标的像素坐标为 ( 公式十二 ) 式中， Vi(tk) 与 Vj(tk) 分别为第 k 时刻速度 V(tk) 在像素坐标系中 i 和 j 两个坐12101941425 A CN 101941430说与明书8/12 页标轴上的分量 ；分别为第 k 时刻速度 V(tk) 在 i 和 j 两个坐标轴上的分量估 分别为第 k+1 时刻 i 和 j 的坐标估计值。计值 ； ik、 ik-1 与 ik-2 分别为第 k、 k-1 和 k-2 时刻的 i 坐标值 ； jk、 jk-1 与 jk-2 分别为第 k、 k-1 和 k-2 时刻的 v 坐标值 ； 与
因此， 当第 k 时刻 tk 的人脸中心为 (ik， jk) 时， 能够通过一阶预测算法预测出驾驶 (5) 导入测试样本 ； 根据系统跟踪到的人脸中心坐标 (ik， jk)， 依次向上扩张 u 行像素和向两侧各扩张员脸部在第 k+1 时刻 tk+1 的人脸中心为
列像素， 截取 u×v 眼部区域图像作为驾驶员眼部区域的测试样本， 并将其导入本发明装 置系统。 (6) 计算测试样本的特征向量 ；
重复利用 ( 公式二 ) 到 ( 公式六 ) 的运算， 完成对测试样本的图像特征值及其特 T 征向量的计算， 获得从 v ＝ [v1 v2...vn] 中选取前 s 个较大的特征值所对应的规范化值构 成新的规范化向量
( 公式十三 )因此， 可以直接用 来代表驾驶员当前脸部图像眼部区域特征。
(7) 对驾驶员疲劳状态的识别 ；
将投影到特征空间中的 u×v 眼部区域特征 与训练样本特征 通过距离分类函数 逐一进行比较， 确定待识别的样本的所属类别， 即
时，( 公式十四 )说明 ： 当前 “判定驾驶员疲劳状态” 属于 1 类， 即判定驾驶员正处于疲劳状态 ； 否 则， 当前 “判定驾驶员疲劳状态” 属于 -1 类， 即判定驾驶员正处于正常驾驶状态式中。
式 ( 公式十四 ) 中， 分别代表测试样本和训练样本特征空间的眼部特征规范 化向量。
(8) 控制决策
根据识别结果对当前驾驶状况确定控制指令输出， 即一旦判定 “判定驾驶员正处 于疲劳状态” 时， 系统实时输出控制指令， 在提醒驾驶员应该停车休息的同时， 根据车速等 行驶参数采用优化控制策略使汽车逐步减速并最终停驶。
循环重复步骤二从 (1) 到 (8) 的分步骤， 对驾驶员疲劳状态进行在线实时识别， 实 现对驾驶员疲劳状态的全程监控。
本发明能够自动识别驾驶员驾车时的疲劳状态， 确定是否向驾驶员提出警示或自 动刹车停驶。因此能够有效避免车辆因驾驶员疲劳驾驶而造成交通事故的发生。 附图说明
图 1 为本发明系统结构示意图 ； 图 2 为本发明中针孔摄像头在汽车上的设置位置示意图 ； 图 3 为本发明信号处理器结构示意图 ； 图 4 为本发明的车速操控机构示意图 ；图 5 为本发明语音提示器结构示意图 ； 图 6 为本发明采集训练样本示意图。具体实施方式
下面结合附图对本发明的实施例作详细说明 ： 本实施例在以本发明技术方案为前 提下进行实施， 给出了详细的实施方式和具体的操作过程， 但本发明的保护范围不限于下 述的实施例。
如图 1、 2 所示， 本实施例涉及一种对驾驶员疲劳状态的智能识别装置， 包括 ： 针孔 摄像头 1、 信号处理器 2、 车速操控机构 3、 语音提示器 4。其中 ： 针孔摄像头 1 设置于驾驶室 内， 正对着驾驶员的面部， 用于实时采集驾驶员的面部视图。针孔摄像头 1 的输出接口分别 与信号处理器 2 的图像输入接口相连， 信号处理器 2 的输出接口与车速操控机构 3 的输入 接口和语音提示器 4 的输入接口并行连接。
如图 3 所示， 所述信号处理器 2， 包括 ： 图像输入接口 21、 模数转换模块 22、 图像处 理模块 23、 车速信号输入接口 24、 输出接口 25 ； 其中 ： 图像输入接口 21 的输入端经视频电 缆与针孔摄像头 1 的输出接口相连， 图像输入接口 21 的输出端分别与模数转换模块 22 的 输入端连接， 模数转换模块 22 的输出端口与图像处理模块 23 的第一输入端口连接 ； 车速信 号输入接口 24 的输入端与车辆速度传感器的输出接口连接， 车速信号输入接口 24 的输出 端与图像处理模块 23 的第二输入端口连接 ； 图像处理模块 23 的输出端口即信号处理器 2 的输出接口 25。
如图 4 所示， 所述车速操控机构 3， 包括 ： 输入接口 31、 第一数模转换器 32、 功率放 大器 33、 电磁阀 34 和电动刹车推杆 35。 其中， 输入接口 31 的输入端口与信号处理器 2 的输 出接口连接， 输入接口 31 的输出端口与数模转换器 32 的输入端口连接， 数模转换器 32 的 输出端口与功率放大器 33 的输入端口连接， 功率放大器 33 的输出端口同时与电磁阀 34 线 圈的两个端点及电动刹车推杆 35 线圈的两个端点相并接 ； 所述电磁阀 34 由电磁线圈 36、 电磁铁芯 37、 阀门 38、 阻力弹簧 39 和阀体 40 五个部分组成， 电磁线圈 36 套在电磁铁芯 37 的外面， 电磁线圈 36 受电时通过电磁铁芯 37 产生磁力对阀门 38 产生磁性吸力， 随着加在 电磁线圈 36 两端点电压的大小变化， 电磁铁芯 37 的磁性吸力同时产生相应的变化， 电磁铁 芯 37 的磁性吸力作用于阀门 38、 拉动阀门 38 以改变阀门 38 的开度， 阻力弹簧 39 是一种拉 伸弹簧， 阀门 38 在电磁铁芯 37 磁性吸力拉动的同时， 阻力弹簧 39 也同时受到拉伸， 因此产 生一个与电磁铁芯 37 磁性吸力相反的弹性力， 当电磁铁芯 37 磁性吸力和阻力弹簧 39 弹力 达到平衡时， 阀门 38 就被停止拉动， 即停止在与加在电磁线圈 36 两端点电压相对应的一个 阀门 38 开度 ； 所述电动刹车推杆 35， 包括 ： 电刹车线圈与电磁推杆， 电刹车线圈套装在电磁 推杆的一端， 电磁推杆的另一端与脚踏刹车杆杠机构连接， 当电刹车线圈受电时， 电刹车线 圈所产生的电磁场对套装在电刹车线圈内的推杆产生轴向机械推力， 该轴向机械推力作用 在脚踏刹车杆杠机构的电动推杆的作力点上， 通过杆杠机构起到与脚踏刹车同样的效果使 车辆自动刹车。
如图 5 所示， 所述语音提示器 4， 包括 ： 输入接口 41、 译码器 42、 数字语音模块 43、 第二数模转换器 44、 功率放大模块 45、 扬声器 46 ； 其中 ： 输入接口 41 的输入端口与信号处 理器 2 的输出接口 25 连接， 用以接收来自图像处理模块 23 的控制指令 ； 输入接口 41 的输出端与译码器 42 的输入端口连接， 译码器 42 的输出端口与数字语音模块 43 的输入端口连 接， 数字语音模块 43 的输出端口与第二数模转换器 44 的输入端口连接， 第二数模转换器 44 的输出端口与功率放大模块 45 的输入端口连接， 功率放大模块 45 的输出端口与扬声器 46 的输入端口连接。当语音提示器 4 的输入接口 41 接收到控制指令后， 经过译码器 42 的解 释， 链接数字语音模块 43 中的相关语音单元， 将链接后的语音单元序列依次输至第二数模 转换器 44 转换为语音模拟信号， 再将语音模拟信号输至功率放大模块 45， 经功率放大后驱 动扬声器 46 发出相应的语音提示。
本实施例还涉及一种对驾驶员疲劳状态的智能识别方法， 包括以下步骤 ：
步骤一、 系统对训练样本进行学习
(1) 采集驾驶员疲劳状态脸部图像并进行彩色空间转换 ；
通过针孔摄像头连续采集三位驾驶员在不同时刻表现出的疲劳状态脸部图像并 将其强化后， 再从 RGB 彩色空间转换至 HSV 彩色空间进行表达， 其中每幅图图像均具有 256 个灰度级。
(2) 将眼部与其它区域及背景区分开来 ；
在抽样采集到的驾驶员疲劳状态脸部图像中， 按照像素坐标从左至右、 从上到下 地扫描检测像素的景物色调， 并将落入 HSV 彩色空间中的色调区间 [2°， 47° ] 的色调集合 所对应的像素点拟定为人脸区域， 因此将人物其它区域和图像背景跟人脸区域准确地区分 开来。 (3) 对抽样采集到的驾驶员疲劳状态脸部图像确定人脸中心位置与眼部区域 ；
利用抽样采集到的驾驶员疲劳状态脸部图像的 HSV 彩色空间表达， 在人脸肤色色 调集合中， 以最接近 11°的色调值所对应的像素点坐标作为人脸中心点， 并以人脸中心点
为基点向上扩张 u 行像素和向两侧各扩张 列像素， 作为 u×v 的眼部区域。 (4) 导入驾驶员疲劳状态脸部图像眼部区域训练样本 ；
将 u×v 的眼部区域截取后作为驾驶员疲劳状态脸部图像眼部区域训练样本导入 本发明装置系统。
所采集的驾驶员疲劳状态脸部图像眼部区域训练样本均具有 256 个灰度级， 并取 训练样本数 n ＝ k×l ＝ 9 ； 其中， k ＝ 3、 l ＝ 3， 即被采样驾驶员数为 3 个、 每个驾驶员被采 样驾驶员疲劳状态脸部图像眼部区域的样本数为 3。
(5) 将训练样本图像转换为一维向量 ；
将每一个二维的驾驶员疲劳状态脸部图像眼部区域训练样本图像数据转化为一 维的向量， 并定义 “瞌睡状” 为 1 类眼部特征， “非瞌睡状” 为 -1 类眼部特征。因此可以表 达出第 i 图像的一维向量 xi ＝ [xi1 xi2...xim]T ＝ [xij]T ； 式中， xij 表示 1 类第 i 个样本第 j 个像素灰度值 ； i ＝ 1， 2， ...， n 为 1 类眼部样本序号 ； j ＝ 1， 2， ...， m 为每个样本图像所 取像素数， m ＝ u×v， u 和 v 分别为样本图像的列和行像素数。
因取 n ＝ 9， 所以 i ＝ 1， 2， ...， 9； 每幅样本图像的 u ＝ 246、 v ＝ 112 时， 则m＝ 27552， 此时公式 ( 公式一 ) 可以表达为 xi ＝ [xi1 xi2...xi27552]T ＝ [xij]T。
(6) 计算训练样本特征值及特征向量 ；
由 ( 公式二 ) 计算 1 类的均值 求得的均值 为 1 类眼部平均图 ；
按 ( 公式三 ) 对上述训练样本进行规范化后表达为 i ＝ 1， 2， ...， 9； T
按 ( 公式三 ) 由训练样本组成的 1 类眼部规范化向量 v ＝ [v1 v2...v9] 。此时， 1 类眼部协方差矩阵为
Q ＝ [v1 v2...v9]T[v1 v2...v9] ； Q ∈ R9×9
依次求取 Q 的特征值 λl 及其特征向量， 并将其从大到小重新排列后生成特征向 T 量 p ＝ [λ1 λ2 λ3...] ， 其中， λ1 ≥ λ2 ≥ λ3 ≥ ...
(7) 对训练样本进行线性变换后投影到特征空间 ；
由于较大的特征值对应的特征向量包含了较多的人脸眼部特征信息， 因此可以选 取前 s 个较大的特征值所对应的特征向量构成的向量空间就可以近似地表示人脸眼部图 像的主要信息。取 s ＝ 6。
对于图像库中的 9 个图像 xi ＝ [xi1 xi2...xim]T(i ＝ 1， 2， ...， 9) 都可以向此特征 T 空间投影， 得到投影向量 Ωi ＝ [ωi1 ωi2...ωim] 。
从 v ＝ [v1 v2...v9]T 中选取前 s ＝ 6 个较大的特征值所对应的规范化值构成新的 规范化向量 因此， 可以直接用 来代表 1 类人脸眼部特征， 即驾驶员疲 劳状态脸部图像眼部区域特征， 并依次作为识别驾驶员是否因疲劳而呈现瞌睡状的判据。
步骤二、 在线识别驾驶员疲劳状态 ；
在线识别驾驶员疲劳状态， 包括具体分步骤如下 ：
(1) 采集驾驶员脸部图像并进行彩色空间转换 ；
将针孔摄像头实时采集到的驾驶员脸部图像采用脉冲耦合神经网络法 (Pulse-CoupledNeural Networks， 简称 PCNN) 进行增强。图像经强化后， 再将其从 RGB 彩 色空间转换至 HSV 彩色空间进行表达。
(2) 将眼部与其它区域及背景区分开来 ；
在采集到的驾驶员脸部图像中， 按照像素坐标从左至右、 从上到下地扫描检测像 素的景物色调， 并将落入 HSV 彩色空间中的色调区间 [2°， 47° ] 的色调集合所对应的像素 点拟定为人脸区域， 因此将人物其它区域和图像背景跟人脸区域准确地区分开来。
(3) 对采集到的驾驶员脸部图像确定人脸中心位置与眼部区域 ；
利用人脸的 HSV 彩色空间表达， 根据落入 HSV 彩色空间中的色调区间 [2°， 47° ] 的色调集合为 ：
{...， 9.7°， 10.1°， 9.5°， ...}，
而且该集合所对应的像素点坐标为 ：
{...， (ik-1， jk-1)， (ik， jk)， (ik+1， jk+1)， ...}，
以最接近 11°的色调值 10.1°所对应的像素点坐标作为人脸中心点， 即确定 (ik， jk) 为人脸中心位置坐标， i 表示像素的列坐标， j 表示像素的行坐标， 脚标表示列数和行数， ik 的 k 表示第 k 列， jk 的 k 表示第 k 行。
以人脸中心点为基点向上扩张 u 行像素和向两侧各扩张 列像素， 即可获取 u×v的眼部跟踪区域。
(4) 对驾驶员眼部区域的跟踪 ；
采用一阶预测算法作为驾驶员眼部区域跟踪的方法。设 当 前 驾 驶 员 眼 部 区 域 运 动 速 度 为 V(tk) ＝ [Vi(tk)Vj(tk)]T，且
其一阶预测估计值应为
预测驾驶员眼部区域目标的像素坐标为 因此， 当第 k 时刻 tk 的人脸中心为 (ik， jk) 时， 能够通过一阶预测算法预测出驾驶 (5) 导入测试样本 ； 根据系统跟踪到的人脸中心坐标 (ik， jk)， 依次向上扩张 u 行像素和向两侧各扩张员眼部区域在第 k+1 时刻 tk+1 的人脸中心为
列像素， 截取 u×v 眼部区域图像作为驾驶员眼部区域的测试样本， 并将其导入本发明装 置系统。 (6) 计算测试样本的特征向量 ；
重复利用 ( 公式二 ) 到 ( 公式六 ) 的运算， 完成对测试样本的图像特征值及其特 T 征向量的计算， 获得从 v ＝ [v1 v2...vn] 中选取前 s 个较大的特征值所对应的规范化值构
成新的规范化向量因此， 可以直接用 来代表驾驶员当前脸部图像眼部区域特征。
(7) 对驾驶员疲劳状态的识别 ；
将投影到特征空间中的 u×v 眼部区域特征与训练样本特征逐一进行比较， 确定 待识别的样本的所属类别。采用距离分类函数进行识别， 当 时， 说明 ： 当 前 “判定驾驶员疲劳状态” 属于 1 类， 即判定驾驶员正处于疲劳状态 ； 否则， 当前 “判定驾驶 员疲劳状态” 属于 -1 类， 即判定驾驶员正处于正常驾驶状态式中。 (8) 控制决策
根据识别结果对当前驾驶状况确定控制指令输出， 即一旦判定 “判定驾驶员正处 于疲劳状态” 时， 系统实时输出控制指令， 在提醒驾驶员应该停车休息的同时， 根据车速等 行驶参数采用优化控制策略使汽车逐步减速并最终停驶。
循环重复步骤二从 (1) 到 (8) 的分步骤， 对驾驶员疲劳状态进行在线实时识别， 实 现对驾驶员疲劳状态的全程监控。
本实施例能够自动识别驾驶员驾车时的疲劳状态， 确定是否向驾驶员提出警示或 自动刹车停驶。本实施例对驾驶员疲劳状态的识别准确率达到 96％以上， 因此能够有效避 免车辆因驾驶员疲劳驾驶而造成交通事故的发生。