对驾驶员疲劳状态的智能识别装置与方法.pdf

1、10申请公布号CN101941425A43申请公布日20110112CN101941425ACN101941425A21申请号201010284829022申请日20100917B60T7/12200601G06K9/00200601G06K9/6620060171申请人上海交通大学地址200240上海市闵行区东川路800号72发明人应俊豪张秀彬马丽吴迪史战果74专利代理机构上海交达专利事务所31201代理人王锡麟王桂忠54发明名称对驾驶员疲劳状态的智能识别装置与方法57摘要一种汽车工程中的控制技术领域的对驾驶员疲劳状态的智能识别装置与方法。装置包括针孔摄像头、信号处理器、车速操控机构和语音播

2、放器，针孔摄像头的输出接口通过视频电缆与信号处理器的图像输入接口连接，信号处理器的输出接口分别与车速操控机构和语音播放器数字的输入接口连接；方法包括步骤一、系统对训练样本进行学习；步骤二、在线识别驾驶员疲劳状态。其中，步骤一包括驾驶员疲劳状态脸部图像采集与彩色空间转换，人脸中心位置与眼部区域确定，训练样本特征值及特征向量计算等；步骤二包括驾驶员脸部图像实时采集与彩色空间转换，驾驶员脸部中心位置与眼部区域的自动确定，对驾驶员眼部区域的跟踪，测试样本特征向量计算，对驾驶员疲劳状态的识别与车辆控制决策等。本发明确保车辆在行驶过程，能够准确识别驾驶员的驾车状态，制止驾驶员疲劳驾车，因此能够有效地避免因

3、驾驶员疲劳而造成的交通事故。51INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书12页附图2页CN101941430A1/4页21一种对驾驶员疲劳状态的智能识别装置，其特征在于，包括针孔摄像头、信号处理器、车速操控机构和语音播放器，针孔摄像头的输出接口通过视频电缆与信号处理器的图像输入接口连接，信号处理器的输出接口分别与车速操控机构和语音播放器数字的输入接口连接；所述信号处理器，包括图像输入接口、模数转换模块、图像处理模块、车速信号输入接口、输出接口，其中图像输入接口的输入端经视频电缆与针孔摄像头输出接口相连，图像输入接口的输出端与模数转换模块的输入端连接，模数转

4、换模块的输出端口与图像处理模块的输入端口连接，车速信号输入接口的输入端与车辆速度传感器的输出接口连接，车速信号输入接口的输出端与图像处理模块的输入端口连接；所述车速操控机构，包括输入接口、第一数模转换器、功率放大器、电磁阀和电动刹车推杆，其中，输入接口与第一数模转换器的输入端口连接，第一数模转换器的输出端口与功率放大器的输入端口连接，功率放大器的输出端口同时与电磁阀线圈的两个端点及电动刹车推杆线圈的两个端点相并接。2根据权利要求1所述的对驾驶员疲劳状态的智能识别装置，其特征是，所述针孔摄像头，设置于驾驶室内，正对着驾驶员的面部，用于实时采集驾驶员的面部视图。3根据权利要求1所述的对驾驶员疲劳状

5、态的智能识别装置，其特征是，所述电动刹车推杆，包括电刹车线圈与电磁推杆，电刹车线圈套装在电磁推杆的一端，电磁推杆的另一端与脚踏刹车杆杠机构连接，当电刹车线圈受电时，电刹车线圈所产生的电磁场对套装在电刹车线圈内的推杆产生轴向机械推力，该轴向机械推力作用在脚踏刹车杆杠机构的电动推杆作力点上，通过杆杠机构起到与脚踏刹车同样的效果使车辆自动刹车。4一种对驾驶员疲劳状态的智能识别方法，其特征在于，包括以下步骤步骤一、系统对训练样本进行学习；步骤二、在线识别驾驶员疲劳状态。5根据权利要求4所述的对驾驶员疲劳状态的智能识别方法，其特征是，步骤一中所述系统对训练样本进行学习，即系统处于学习状态。当系统处于学习

6、状态时，系统对当前的驾驶员疲劳状态脸部图像进行采集与处理。步骤一包括分步骤如下1采集驾驶员疲劳状态脸部图像并进行彩色空间转换；将针孔摄像头连续采集多幅，包括多个驾驶员疲劳状态不同时刻的图像进行强化后，再将其从RGB彩色空间转换至HSV彩色空间进行表达。2将眼部与其它区域及背景区分开来；在抽样采集到的驾驶员疲劳状态脸部图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，并将落入HSV彩色空间中的色调区间2，47的色调集合所对应的像素点拟定为人脸区域，因此将人物其它区域和图像背景跟人脸区域准确地区分开来。3对抽样采集到的驾驶员疲劳状态脸部图像确定人脸中心位置与眼部区域；利用抽样采集到的

7、驾驶员疲劳状态脸部图像的HSV彩色空间表达，在人脸肤色色调集合中，以最接近11的色调值所对应的像素点坐标作为人脸中心点，并以人脸中心点为基点向上扩张U行像素和向两侧各扩张列像素，作为UV的眼部区域。4导入驾驶员疲劳状态脸部图像眼部区域训练样本；权利要求书CN101941425ACN101941430A2/4页3将UV的眼部区域截取后作为驾驶员疲劳状态脸部图像眼部区域训练样本导入本发明装置系统。所采集的驾驶员疲劳状态脸部图像眼部区域训练样本均具有256个灰度级。5将训练样本图像转换为一维向量；将每一个二维的驾驶员疲劳状态脸部图像眼部区域训练样本图像数据转化为一维的向量，并定义“瞌睡状”为1类眼部

8、特征，“非瞌睡状”为1类眼部特征。因此可以表达出第I图像的一维向量XI为XIXI1XI2XIMTXIJT，其中，XIJ表示1类第I个样本第J个像素灰度值；I1，2，N为1类眼部样本序号；J1，2，M为每个样本图像所取像素数，MUV，U和V分别为样本图像的列和行像素数。6计算训练样本特征值及特征向量；计算1类的平均眼对训练样本进行规范化后可以表达为I1，2，N由训练样本组成的1类平均眼规范化向量VV1V2VNT；此时，1类平均眼协方差矩阵为QV1V2VNTV1V2VN；QRNN；求取Q的特征值L及其特征向量，并将其从大到小重新排列后生成特征向量P123T且1237对训练样本进行线性变换后投影到特

9、征空间；选取前S个较大的特征值所对应的特征向量构成的向量空间就可以近似地表示人脸眼部图像的主要信息，S取值由实验确定，对于图像库中的N个图像XIXI1XI2XIMTI1，2，N都可以向此特征空间投影，得到投影向量II1I2IMT，从VV1V2VNT中选取前S个较大的特征值所对应的规范化值构成新的规范化向量因此，直接用来代表1类人脸眼部特征，即驾驶员疲劳状态脸部图像眼部区域特征。建立了人脸眼部特征规范化向量后，就依次作为识别驾驶员是否因疲劳而呈现瞌睡状的判据。6根据权利要求4所述的对驾驶员疲劳状态的智能识别方法，其特征是，步骤二中所述的在线识别驾驶员疲劳状态，即本发明装置系统进入处于在线工作状态

10、，对车辆驾驶员的疲劳状态实施实时监控。步骤二包括具体分步骤如下1采集驾驶员脸部图像并进行彩色空间转换；将针孔摄像头实时采集到的驾驶员脸部图像进行强化后，再将其从RGB彩色空间转换至HSV彩色空间进行表达。2将眼部与其它区域及背景区分开来；在采集到的驾驶员脸部图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，并将落入HSV彩色空间中的色调区间2，47的色调集合所对应的像素点拟定为人脸区域，因此将人物其它区域和图像背景跟人脸区域准确地区分开来。3对采集到的驾驶员脸部图像确定人脸中心位置与眼部区域；利用人脸的HSV彩色空间表达，以最接近11的色调值所对应的像素点坐标作为人脸权利要求书C

11、N101941425ACN101941430A3/4页4中心点，并以人脸中心点为基点向上扩张U行像素和向两侧各扩张列像素，即可获取UV的眼部跟踪区域。4对驾驶员眼部区域的跟踪；采用一阶预测算法作为驾驶员眼部区域跟踪的方法。设当前驾驶员脸部运动速度为VTKVITKVJTKT，且即，采用间隔时间T下，对人脸中心位置的前后两次运算来求取，TTKTK1。其一阶预测估计值应为预测驾驶员脸部目标的像素坐标为式中，VITK与VJTK分别为第K时刻速度VTK在像素坐标系中I和J两个坐标轴上的分量；与分别为第K时刻速度VTK在I和J两个坐标轴上的分量估计值；IK、IK1与IK2分别为第K、K1和K2时刻的I坐标

12、值；JK、JK1与JK2分别为第K、K1和K2时刻的V坐标值；与分别为第K1时刻I和J的坐标估计值。因此，当第K时刻TK的人脸中心为IK，JK时，能够通过一阶预测算法预测出驾驶员脸部在第K1时刻TK1的人脸中心为5导入测试样本；根据系统跟踪到的人脸中心坐标IK，JK，依次向上扩张U行像素和向两侧各扩张列像素，截取UV眼部区域图像作为驾驶员眼部区域的测试样本，并将其导入本发明装置系统。6计算测试样本的特征向量；利用训练样本计算图像特征值及其特征向量的同样方法，完成对测试样本的图像特征值及其特征向量的计算，获得从VV1V2VNT中选取前S个较大的特征值所对应的规范化值构成新的规范化向量因此，可以直

13、接用来代表驾驶员当前脸部图像眼部区域特征。7对驾驶员疲劳状态的识别；将投影到特征空间中的UV眼部区域特征与训练样本特征逐一进行比较，确定待识别的样本的所属类别。采用距离分类函数进行识别，当时，说明当前权利要求书CN101941425ACN101941430A4/4页5“判定驾驶员疲劳状态”属于1类，即判定驾驶员正处于疲劳状态；否则，当前“判定驾驶员疲劳状态”属于1类，即判定驾驶员正处于正常驾驶状态式中。8控制决策根据识别结果对当前驾驶状况确定控制指令输出，即一旦判定“判定驾驶员正处于疲劳状态”时，系统实时输出控制指令，在提醒驾驶员应该停车休息的同时，根据车速等行驶参数采用优化控制策略使汽车逐步

14、减速并最终停驶。循环重复步骤二从1到8的分步骤，对驾驶员疲劳状态进行在线实时识别，实现对驾驶员疲劳状态的全程监控。权利要求书CN101941425ACN101941430A1/12页6对驾驶员疲劳状态的智能识别装置与方法技术领域0001本发明涉及的是一种汽车工程中的控制技术领域的装置与方法，具体是一种对驾驶员疲劳状态的智能识别装置与方法。背景技术0002众所周知，驾驶员长途驾驶汽车时，会因难以克服的生理疲劳时常发生交通事故。特别是长途货运卡车司机出于经济利益的考虑会不顾自己的身体状况持续驾驶十几个小时以上。这类货运卡车司机往往会在行驶中途出现瞌睡现象，因此而酿成惨痛的车毁人亡交通事故。据统计，

15、2007年我国由于交通事故死亡的人数达到了8万多人，道路交通安全现状不容乐观。2007年美国道路交通事故统计数据表明，由于疲劳驾驶原因直接导致死亡的事故次数有1400多起。0003世界卫生组织研究报告指出，每年交通事故夺走接近120万的生命，占每年全球死亡人数的22，在所有导致死亡的原因中居第9位。如果当前的交通状况没有改善，预计到2030年，交通事故死亡人数所占的比重将达到36，将在所有死亡原因中上升至第5位。并有不断上升的趋势。0004美国国家睡眠基金会的研究报告指出美国每年由于驾驶员疲劳原因导致的交通事故数平均有10万多例。0005对大量交通事故的致因分析表明，在驾驶疲劳中，驾驶员的感知

16、疲劳、判断决策疲劳是肇发交通事故的主要原因。日本对38000多起事故致因进行研究发现感知疲劳占401，判断决策疲劳为415。0006驾驶疲劳影响驾驶员的警觉和安全驾驶能力。驾驶疲劳问题已经引起世人的关注，西方发达国家投入巨大的人力、物力广泛开展驾驶疲劳的研究工作。0007我国驾驶疲劳监测方法落后的现状以及严峻的道路交通安全形势，也迫切要求解决驾驶疲劳监测技术中的难题。0008驾驶员疲劳识别技术的研究主要集中在三个方面00091基于驾驶员个体特性的监测方法，例如眼睑的活动、眼睛闭合、点头动作等；00102基于驾驶员生理参数测量的监测方法，例如脑电图、眼动图、肌电图、肌肉活动等；00113基于车辆

17、参数的监测方法，例如车速、加速度、车辆位置等。0012要克服驾驶员疲劳驾驶的现象，除了加强对驾驶员必要的交通法制教育和交通运输企业的生产管理外，依靠先进的科技来完善现有汽车安全驾驶智能化功能则是至关重要的技术手段。这里所说的驾驶员疲劳状态主要是指驾驶员因生理疲劳而呈现出的瞌睡状态。0013经对现有技术文献的检索发现，路遥等的“一种用于人眼定位和人眼张开闭合的识别方法”中国专利申请号200510027371X介绍了一种“人眼定位和人眼张开闭合的识别方法”。该方法主要解决对动态图象的人眼识别的问题。其步骤为将摄像头动态提说明书CN101941425ACN101941430A2/12页7取到的一帧图

18、象利用灰度直方图进行自动灰度均衡，将人的脸部从背景中凸现出来，再利用可调半窗口域值将人脸从背景中提取出来，根据估算的人眼象素块大小，去掉非人眼区域，然后结合人眼的二维几何关系确定人的双眼，用黑框在原始图像上显示出来，如果没有检测到双眼，系统声音提示；再利用眼睛象素的大小，判断眼睛的张开与闭合；如果眼睛张开，原始图像上将有黑框显示，程序不发出提示音；如果眼睛闭上，原始图像上将没有黑框显示，程序发出提示音。该方法拟应用于多种检测系统，如疲劳驾驶报警系统。该方法技术缺陷是“根据估算的人眼象素块大小，去掉非人眼区域，然后结合人眼的二维几何关系确定人的双眼”，这种识别人眼区域的方法准确率较低，而且时常会

19、发生误判，原因在于人眼大小不一、头发疏密差别很大、人的着装颜色反差极大，因此是一种极不可靠的技术；适用限制条件较多，正如该方法自身技术说明书所说“人眼不能被遮挡”；对背景有要求等。因此，该技术方法难以直接运用于对驾驶员疲劳状态的智能识别过程。0014再经对现有技术文献的检索发现，成波、张广渊、冯睿嘉等的“基于眼睛状态识别的驾驶员疲劳实时监测”汽车工程2008年第11期提出了一种基于眼睛状态识别的驾驶员疲劳状态实时监测的方法。首先通过计算累计背景和当前帧的差分图像的质心确定脸部范围，然后通过二值化和轮廓检测确定眼睛的搜索区域。在利用启发式规则进行筛选定位之后，计算眼睛骨架曲线和两眼角连线之间的距

20、离得到眼睛的睁开程度。通过计算相应的疲劳指标如PERCLOS、平均睁眼程度、最长眼睛闭合时间来推测驾驶员的疲劳状态。以驾驶员面部视频的主观评分作为评价依据对检测方法进行评价，结果显示上述3个指标在不同的疲劳等级下均存在显著性差异，通过对不同指标的融合可达到较好的疲劳检测准确率。该方法的技术缺陷主要表现于“确定眼睛的搜索区域”要花费较多的计算时间；以“疲劳指标如PERCLOS、平均睁眼程度、最长眼睛闭合时间来推测驾驶员的疲劳状态”，其检测准确率不高。发明内容0015本发明的目的在于克服现有技术中的不足，提供一种对驾驶员疲劳状态的智能识别装置与方法，确保车辆在行驶过程，能够准确识别驾驶员的驾车状态

21、，制止驾驶员疲劳驾车，因此能够有效地避免因驾驶员疲劳而造成的交通事故。0016本发明是通过以下技术方案实现的0017本发明涉及一种对驾驶员疲劳状态的智能识别装置，包括针孔摄像头、信号处理器、车速操控机构和语音播放器。针孔摄像头的输出接口通过视频电缆与信号处理器的图像输入接口连接，信号处理器的输出接口分别与车速操控机构和语音播放器数字的输入接口并行连接。0018所述针孔摄像头，设置于驾驶室内，正对着驾驶员的面部，用于实时采集驾驶员的面部视图。0019所述信号处理器，包括图像输入接口、模数转换模块、图像处理模块、车速信号输入接口、输出接口。其中图像输入接口的输入端经视频电缆与针孔摄像头输出接口相连

22、，图像输入接口的输出端与模数转换模块的输入端连接，模数转换模块的输出端口与图像处理模块的输入端口连接；车速信号输入接口的输入端与车辆速度传感器的输出接口连接，车速信号输入接口的输出端与图像处理模块的输入端口连接。所述的车辆速度传感器，利说明书CN101941425ACN101941430A3/12页8用车辆已有的车辆数字速度传感器。0020所述图像处理模块，是信号处理器中的核心技术模块，承担图像信息的处理、识别与决策的整个运算过程。0021所述车速操控机构，包括输入接口、第一数模转换器、功率放大器、电磁阀和电动刹车推杆。其中，输入接口的输入端口与信号处理器的输出接口连接，输入接口的输出端口与第

23、一数模转换器的输入端口连接，第一数模转换器的输出端口与功率放大器的输入端口连接，功率放大器的输出端口同时与电磁阀线圈的两个端点及电动刹车推杆线圈的两个端点相并接。0022所述的电磁阀线圈套在电磁铁芯的外面，电磁线圈受电时通过电磁铁芯产生磁力对阀门产生磁性吸力，随着加在电磁线圈两端点电压信号的大小变化，电磁铁芯的磁性吸力同时产生相应的变化，电磁铁芯的磁性吸力作用于阀门、拉动阀门以改变阀门的开度，阻力弹簧是一种拉伸弹簧，阀门在电磁铁芯磁性吸力拉动的同时，阻力弹簧也同时受到拉伸，因此产生一个与电磁铁芯磁性吸力相反的弹性力，当电磁铁芯磁性吸力和阻力弹簧弹力达到平衡时，阀门就被停止拉动，即阀门开度与加在

24、电磁线圈两端点电压相对应。0023所述电动刹车推杆，包括电刹车线圈与电磁推杆，电刹车线圈套装在电磁推杆的一端，电磁推杆的另一端与脚踏刹车杆杠机构连接，当电刹车线圈受电时，电刹车线圈所产生的电磁场对套装在电刹车线圈内的推杆产生轴向机械推力，该轴向机械推力作用在脚踏刹车杆杠机构的电动推杆作力点上，通过杆杠机构起到与脚踏刹车同样的效果使车辆自动刹车。0024所述语音提示器，包括输入接口、译码器、数字语音模块、第二数模转换器、功率放大模块、扬声器；其中输入接口的输入端口与信号处理器的输出接口连接，输入接口的输出端与译码器的输入端口连接，译码器的输出端口与数字语音模块的输入端口连接，数字语音模块的输出端

25、口与第二数模转换器的输入端口连接，第二数模转换器的输出端口与功率放大模块的输入端口连接，功率放大模块的输出端口与扬声器的输入端口连接。当语音提示器的输入接口接收到控制指令后，经过译码器的解释，链接数字语音模块中的相关语音单元，将链接后的语音单元序列依次输至第二数模转换器转换为语音模拟信号，再将语音模拟信号输至功率放大模块经功率放大后驱动扬声器发出相应的语音警示。0025本发明车辆正常行驶中，电磁阀处于全开状态，即开度为100；当本发明装置识别前方车距小于安全车距时，电磁阀线圈在输入电压信号的作用下，电磁铁产生相应磁力拉动阀门减小其原有开度，因此减小了燃料的流量，迫使车辆减速；同时，电动刹车推杆

26、线圈也在该输入电压信号的作用下，对推杆产生轴向推力通过杆杠机构的力矩传递带动脚刹车迫使车辆逐渐减速并最终停止下来。0026本发明的信号处理器图像输入接口从针孔摄像头输出接口接收驾驶员面部图像模拟信号后，将图像模拟信号送入模数转换模块的输入端，模数转换模块再将转换后的数字图像信号分别输至图像处理模块；车辆速度传感器的输出信号经车速信号输入接口输入至图像处理模块。信号处理器对针孔摄像头采集到的驾驶员脸部图像信号进行处理与分析后，确定当前驾驶员是否正处于疲劳驾驶状态；一旦确认驾驶员疲劳驾驶，信号处理器会实时地将识别结果生成控制指令由其输出接口输出；在控制指令的作用下，通过车速操控机构自动使车辆减速乃

27、至刹车。同时，通过语音播放器向驾驶员警示“您已处于疲劳状态，为说明书CN101941425ACN101941430A4/12页9了您和大家的安全，请停车休息”。0027本发明还涉及一种对驾驶员疲劳状态的智能识别方法，包括以下步骤0028步骤一、系统对训练样本进行学习；0029所述系统对训练样本进行学习，即本发明装置系统处于学习状态。当系统处于学习状态时，系统对当前的驾驶员疲劳状态脸部图像进行采集与处理。所述驾驶员疲劳状态脸部图像，即因疲劳而引起瞌睡的驾驶员眼部图像。步骤一包括分步骤如下00301采集驾驶员疲劳状态脸部图像并进行彩色空间转换；0031将针孔摄像头抽样采集到的驾驶员疲劳状态脸部图像

28、进行强化后，再将其从RGB彩色空间转换至HSV彩色空间进行表达；并连续采集多幅，包括多个驾驶员疲劳状态不同时刻的图像。如采集三位驾驶员在不同时刻表现出的疲劳状态脸部图像并将其强化后，再从RGB彩色空间转换至HSV彩色空间进行表达。00322将眼部与其它区域及背景区分开来；0033在抽样采集到的驾驶员疲劳状态脸部图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，并将落入HSV彩色空间中的色调区间2，47的色调集合所对应的像素点拟定为人脸区域，因此将人物其它区域和图像背景跟人脸区域准确地区分开来。0034这是因为人物图像中的人脸肤色与衣物及背景存在着明显不同的色调差别，人脸肤色与衣物

29、及背景各自的色调分布于不同的角度区域，而且人脸肤色的色调相对稳定地集中在HSV彩色空间中的某个角度区域，通过实验证实不论是自然光照还是人工光源照射，也不论摄像系统的异同，肤色的色调H的角度分布都基本保持在HSV彩色空间的247之间，因此能够通过人物图像在HSV空间中的色调值来区分出人脸肤色和衣物、背景及其它景物，换句话说，只有当某一景物的色调处于区间2，47之内，才有可能是人脸肤色，否则是其它景物，如衣物或其它物品。通过实验进一步证实人脸肤色的色调值为11的概率最高，因此称11的色调值为人脸肤色的概率峰值。令，人脸肤色色调在区间2，47的分布概率为PH时，H11的概率达到最高，即P11PMAX

30、，也就是说，当某个景物的色调为11时，认定该景物为人脸肤色的置信度达到最高。00353对抽样采集到的驾驶员疲劳状态脸部图像确定人脸中心位置与眼部区域；0036利用抽样采集到的驾驶员疲劳状态脸部图像的HSV彩色空间表达，在人脸肤色色调集合中，以最接近11的色调值所对应的像素点坐标作为人脸中心点，如经过人脸区域搜寻结果，获得落入HSV彩色空间中的色调区间2，47的色调集合为，97，101，95，而且该集合所对应的像素点坐标为，IK1，JK1，IK，JK，IK1，JK1，其中最接近11的色调值是101，所对应的像素点坐标为IK，JK，因此就可以确定IK，JK为人脸中心位置坐标，I表示像素的列坐标，J

31、表示像素的行坐标，脚标表示列数和行数，IK的K表示第K列，JK的K表示第K行。并以人脸中心点为基点向上扩张U行像素和向两侧各扩张列像素，作为UV的眼部区域。00374导入驾驶员疲劳状态脸部图像眼部区域训练样本；0038将UV的眼部区域截取后作为驾驶员疲劳状态脸部图像眼部区域训练样本导入本发明装置系统。说明书CN101941425ACN101941430A5/12页100039所采集的驾驶员疲劳状态脸部图像眼部区域训练样本均具有256个灰度级，一般取训练样本数NKL9；其中，K、L分别为被采样驾驶员数和每个驾驶员被采样驾驶员疲劳状态脸部图像眼部区域的样本数，如K3、L3分别代表被采样驾驶员数为3

32、个、每个驾驶员被采样驾驶员疲劳状态脸部图像眼部区域的样本数为3。00405将训练样本图像转换为一维向量；0041将每一个二维的驾驶员疲劳状态脸部图像眼部区域训练样本图像数据转化为一维的向量，并定义“瞌睡状”为1类眼部特征，“非瞌睡状”为1类眼部特征。因此可以表达出第I图像的一维向量XI为0042XIXI1XI2XIMTXIJT公式一0043式中，XIJ表示1类第I个样本第J个像素灰度值；I1，2，N为1类眼部样本序号；J1，2，M为每个样本图像所取像素数，MUV，U和V分别为样本图像的列和行像素数。00446计算训练样本特征值及特征向量；0045计算1类的均值即0046公式二0047称由此求得

33、的均值为1类平均眼。0048对上述训练样本进行规范化后可以表达为0049I1，2，N公式三0050由训练样本组成的1类平均眼规范化向量V0051VV1V2VNT公式三0052此时，1类平均眼协方差矩阵为0053QV1V2VNTV1V2VN；QRNN公式四0054利用公式四求取Q的特征值L及其特征向量，并将其从大到小重新排列后生成特征向量0055P123T公式五0056其中，12300577对训练样本进行线性变换后投影到特征空间；0058由于较大的特征值对应的特征向量包含了较多的人脸眼部特征信息，因此选取前S个较大的特征值所对应的特征向量构成的向量空间就可以近似地表示人脸眼部图像的主要信息。S取

34、值由实验确定。0059对于图像库中的N个图像XIXI1XI2XIMTI1，2，N都可以向此特征空间投影，得到投影向量II1I2IMT。0060从VV1V2VNT中选取前S个较大的特征值所对应的规范化值构成新的规范化向量0061公式六0062因此，可以直接用来代表1类人脸眼部特征，即驾驶员疲劳状态脸部图像眼部区域特征。0063这就是说，建立了人脸眼部特征规范化向量后，就可以依次作为识别驾驶员是否说明书CN101941425ACN101941430A6/12页11因疲劳而呈现瞌睡状的判据。0064所述的图像增强，是指采用脉冲耦合神经网络法模拟与特征有关的神经元同步行为来展示脉冲发放现象的连接模型，

35、对驾驶室内针孔摄像头实时采集到的图像进行增强。0065所述的脉冲耦合神经网络法PULSECOUPLEDNEURALNETWORKS，简称PCNN，是一种模拟与特征有关的神经元同步行为来展示脉冲发放现象的连接模型。因此，它与视感神经系统的感知能力有着天然的联系。0066应用于图像处理的PCNN结构模型中，待处理的图像每个像素FI，J对应着每个神经元NIJ，其中像素坐标，I1，2，3，J1，2，3，。以IIJ表示像素点FI，J的像素强度值，每个神经元NIJ除接收来自外部的刺激IIJ外，还接收来自内部网络其他神经元的馈送输入FIJT和联接输入LIJT，接着通过神经元连接强度以乘积耦合形式FIJT1L

36、IJT构成神经元NIJ的内部行为UIJT，再通过动态阈值IJT与UIJT的比较而激励或抑制神经元的脉冲信号输出YIJT又称为点火，T代表时间。0067由于常规图像中边缘两边的象素亮度强度差总比区域内空间邻近的象素亮度强度差相对要大，因此，若采用PCNN于二维图像处理，每个神经元与图像像素一一对应，其亮度强度值作为神经元的外部刺激，则在PCNN内部，空间邻近、强度相似的像素集群能够同步点火，否则异步点火。这在图像增强中，表现为同步点火对应的图像像素呈现相同的亮度强度值，从而平滑了图像区域；异步点火对应的图像像素呈现不同的亮度强度值，从而加大了图像区域间亮度强度的梯度，进而更加突出了图像的边缘，使

37、得增强后的图像亮度强度分布更具有层次性。0068在标准的PCNN模型中，由于硬限幅函数的作用，其输出是一个二值图像帧。为了使所建立的PCNN输出映射函数能更有效地进行图像整体对比度增强的处理，基于上述的人眼视觉感知特性，采用类对数映射函数，将图像的亮度强度映射到一个合适的视觉范围。0069该方法的最大优点在于它与视觉神经系统的感知能力有着天然的联系，使得该模型不仅能较好地平滑图像区域、突出图像边缘，而且能明显地改善彩色图像的视觉效果、增强图像色彩的真实效果。0070所述的彩色空间转换，是指将增强后的图像进行彩色空间转换，即将增强后的数字图像从RGB彩色空间转换至HSV彩色空间，转换后的色调H、

38、饱和度S和亮度V分别表示为0071VMAXR，G，B公式七0072公式八0073公式九0074并在计算H过程，如果出现H0，则取为H的实际取值。0075所述RGB和HSV，分别为图像彩色空间的描述方式。前者的空间向量RGBT不仅代表红R、绿G和蓝B三基色的色彩，同时也表示三基色的亮度，RGB三色之间存在着很大的说明书CN101941425ACN101941430A7/12页12相关性。换句话说，通过RGBT三元素的不同取值，能够形成不同的颜色效果。后者是根据颜色的直观特性创建的一种包含色调H、饱和度S和亮度V的三维彩色空间模型，也称六角锥体模型。在这个彩色空间模型中，色调H用角度度量，取值范围

39、为0360，从红色开始按逆时针方向计算，红色为0、绿色为120、蓝色为240，它们的补色黄色为60、青色为180、品红为300；饱和度S取值范围为0010；亮度V取值范围为00黑色10白色。如纯红色是HSVT011T，而S0表示非彩色，在这种情况下，色调未定义。0076步骤二、在线识别驾驶员疲劳状态；0077所述在线识别驾驶员疲劳状态，即本发明装置系统进入处于在线工作状态，对车辆驾驶员的疲劳状态实施实时监控。步骤二包括分步骤如下00781采集驾驶员脸部图像并进行彩色空间转换；0079将针孔摄像头实时采集到的驾驶员脸部图像进行强化后，再将其从RGB彩色空间转换至HSV彩色空间进行表达。00802

40、将眼部与其它区域及背景区分开来；0081在采集到的驾驶员脸部图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，并将落入HSV彩色空间中的色调区间2，47的色调集合所对应的像素点拟定为人脸区域，因此将人物其它区域和图像背景跟人脸区域准确地区分开来。00823对采集到的驾驶员脸部图像确定人脸中心位置与眼部区域；0083利用人脸的HSV彩色空间表达，以最接近11的色调值所对应的像素点坐标作为人脸中心点，并以人脸中心点为基点向上扩张U行像素和向两侧各扩张列像素，即可获取UV的眼部跟踪区域。00844对驾驶员眼部区域的跟踪；0085采用一阶预测算法作为驾驶员眼部区域跟踪的方法。0086设当

41、前驾驶员脸部运动速度为VTKVITKVJTKT，且0087公式十0088即，采用间隔时间T下，对人脸中心位置的前后两次运算来求取，TTKTK1。0089其一阶预测估计值应为0090公式十一0091预测驾驶员脸部目标的像素坐标为0092公式十二0093式中，VITK与VJTK分别为第K时刻速度VTK在像素坐标系中I和J两个坐说明书CN101941425ACN101941430A8/12页13标轴上的分量；与分别为第K时刻速度VTK在I和J两个坐标轴上的分量估计值；IK、IK1与IK2分别为第K、K1和K2时刻的I坐标值；JK、JK1与JK2分别为第K、K1和K2时刻的V坐标值；与分别为第K1时刻

42、I和J的坐标估计值。0094因此，当第K时刻TK的人脸中心为IK，JK时，能够通过一阶预测算法预测出驾驶员脸部在第K1时刻TK1的人脸中心为00955导入测试样本；0096根据系统跟踪到的人脸中心坐标IK，JK，依次向上扩张U行像素和向两侧各扩张列像素，截取UV眼部区域图像作为驾驶员眼部区域的测试样本，并将其导入本发明装置系统。00976计算测试样本的特征向量；0098重复利用公式二到公式六的运算，完成对测试样本的图像特征值及其特征向量的计算，获得从VV1V2VNT中选取前S个较大的特征值所对应的规范化值构成新的规范化向量0099公式十三0100因此，可以直接用来代表驾驶员当前脸部图像眼部区域

43、特征。01017对驾驶员疲劳状态的识别；0102将投影到特征空间中的UV眼部区域特征与训练样本特征通过距离分类函数逐一进行比较，确定待识别的样本的所属类别，即0103时，公式十四0104说明当前“判定驾驶员疲劳状态”属于1类，即判定驾驶员正处于疲劳状态；否则，当前“判定驾驶员疲劳状态”属于1类，即判定驾驶员正处于正常驾驶状态式中。0105式公式十四中，分别代表测试样本和训练样本特征空间的眼部特征规范化向量。01068控制决策0107根据识别结果对当前驾驶状况确定控制指令输出，即一旦判定“判定驾驶员正处于疲劳状态”时，系统实时输出控制指令，在提醒驾驶员应该停车休息的同时，根据车速等行驶参数采用优

44、化控制策略使汽车逐步减速并最终停驶。0108循环重复步骤二从1到8的分步骤，对驾驶员疲劳状态进行在线实时识别，实现对驾驶员疲劳状态的全程监控。0109本发明能够自动识别驾驶员驾车时的疲劳状态，确定是否向驾驶员提出警示或自动刹车停驶。因此能够有效避免车辆因驾驶员疲劳驾驶而造成交通事故的发生。附图说明0110图1为本发明系统结构示意图；0111图2为本发明中针孔摄像头在汽车上的设置位置示意图；0112图3为本发明信号处理器结构示意图；0113图4为本发明的车速操控机构示意图；说明书CN101941425ACN101941430A9/12页140114图5为本发明语音提示器结构示意图；0115图6为

45、本发明采集训练样本示意图。具体实施方式0116下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。0117如图1、2所示，本实施例涉及一种对驾驶员疲劳状态的智能识别装置，包括针孔摄像头1、信号处理器2、车速操控机构3、语音提示器4。其中针孔摄像头1设置于驾驶室内，正对着驾驶员的面部，用于实时采集驾驶员的面部视图。针孔摄像头1的输出接口分别与信号处理器2的图像输入接口相连，信号处理器2的输出接口与车速操控机构3的输入接口和语音提示器4的输入接口并行连接。0118如图3所示，所述信号处理器2，

46、包括图像输入接口21、模数转换模块22、图像处理模块23、车速信号输入接口24、输出接口25；其中图像输入接口21的输入端经视频电缆与针孔摄像头1的输出接口相连，图像输入接口21的输出端分别与模数转换模块22的输入端连接，模数转换模块22的输出端口与图像处理模块23的第一输入端口连接；车速信号输入接口24的输入端与车辆速度传感器的输出接口连接，车速信号输入接口24的输出端与图像处理模块23的第二输入端口连接；图像处理模块23的输出端口即信号处理器2的输出接口25。0119如图4所示，所述车速操控机构3，包括输入接口31、第一数模转换器32、功率放大器33、电磁阀34和电动刹车推杆35。其中，输

47、入接口31的输入端口与信号处理器2的输出接口连接，输入接口31的输出端口与数模转换器32的输入端口连接，数模转换器32的输出端口与功率放大器33的输入端口连接，功率放大器33的输出端口同时与电磁阀34线圈的两个端点及电动刹车推杆35线圈的两个端点相并接；所述电磁阀34由电磁线圈36、电磁铁芯37、阀门38、阻力弹簧39和阀体40五个部分组成，电磁线圈36套在电磁铁芯37的外面，电磁线圈36受电时通过电磁铁芯37产生磁力对阀门38产生磁性吸力，随着加在电磁线圈36两端点电压的大小变化，电磁铁芯37的磁性吸力同时产生相应的变化，电磁铁芯37的磁性吸力作用于阀门38、拉动阀门38以改变阀门38的开度

48、，阻力弹簧39是一种拉伸弹簧，阀门38在电磁铁芯37磁性吸力拉动的同时，阻力弹簧39也同时受到拉伸，因此产生一个与电磁铁芯37磁性吸力相反的弹性力，当电磁铁芯37磁性吸力和阻力弹簧39弹力达到平衡时，阀门38就被停止拉动，即停止在与加在电磁线圈36两端点电压相对应的一个阀门38开度；所述电动刹车推杆35，包括电刹车线圈与电磁推杆，电刹车线圈套装在电磁推杆的一端，电磁推杆的另一端与脚踏刹车杆杠机构连接，当电刹车线圈受电时，电刹车线圈所产生的电磁场对套装在电刹车线圈内的推杆产生轴向机械推力，该轴向机械推力作用在脚踏刹车杆杠机构的电动推杆的作力点上，通过杆杠机构起到与脚踏刹车同样的效果使车辆自动刹车

49、。0120如图5所示，所述语音提示器4，包括输入接口41、译码器42、数字语音模块43、第二数模转换器44、功率放大模块45、扬声器46；其中输入接口41的输入端口与信号处理器2的输出接口25连接，用以接收来自图像处理模块23的控制指令；输入接口41的输说明书CN101941425ACN101941430A10/12页15出端与译码器42的输入端口连接，译码器42的输出端口与数字语音模块43的输入端口连接，数字语音模块43的输出端口与第二数模转换器44的输入端口连接，第二数模转换器44的输出端口与功率放大模块45的输入端口连接，功率放大模块45的输出端口与扬声器46的输入端口连接。当语音提示器4的输入接口41接收到控制指令后，经过译码器42的解释，链接数字语音模块43中的相关语音单元，将链接后的语音单元序列依次输至第二数模转换器44转换为语音模拟信号，再将语音模拟信号输至功率放大模块45，经功率放大后驱动扬声器46发出相应的语音提示。0121本实施例还涉及一种对驾驶员疲劳状态的智能识别方法，包括以下步骤0