基于视频的驾驶员疲劳检测装置 【技术领域】
本发明涉及一种基于视频的驾驶员疲劳检测装置，属于图像处理、视频监控领域。
背景技术
驾驶员疲劳、睡眠不足是引发严重交通事故的重要诱因之一，因此有效地监督和防止驾驶员疲劳驾驶具有十分重要的意义。疲劳检测是对驾驶员在行车中出现的疲劳现象实时检测并施以适当警告的过程，它有以下几个要求：1)必须是无干扰的；2)必须是实时的；3)必须受光照的影响较小；4)不能有有害辐射；5)不能包括移动设备。在现有的各种检测方法中，能满足以上要求且效果较为理想的是用摄像机进行实时拍摄，然后通过图像处理来检测驾驶员眼部的物理反应。
申请号为200610012623.6的中国专利申请公开了一种同时利用Kalman滤波器和Mean Shift算法来检测疲劳程度的方法及装置。公开号为US2006/0132319A1的美国专利申请公开了一种驾驶员疲劳估计的设备和方法。上述两个专利都是先利用脸部特性(包括眉毛、眼睛、鼻子、嘴巴)对驾驶员的脸部图像进行图像处理，以定位眼睛的位置，再通过检测眼睛是否闭合来判断驾驶员是否处于疲劳状态。但由于实际场景中存在很多干扰，因此往往不能准确地定位眼睛的位置，这就影响了后期驾驶员疲劳状态的判断。
申请号为200510037771.9的中国专利申请公开了一种利用红外光线对驾驶员眼部进行照射来获取图像，并对获取的图像进行图像处理以检测疲劳程度的装置及方法。但该专利的方法提取驾驶员的眼睛的图像不精确，在光线比较亮的环境下，容易造成测量失败。
综上所述，目前迫切需要提出一种能准确快速地检测驾驶员疲劳状态的装置。
【发明内容】
有鉴于此，本发明的主要目的在于提供一种能实现准确快速地检测驾驶员疲劳状态的装置。为达到上述目的，本发明提供了一种基于视频的驾驶员疲劳检测装置，所述驾驶员疲劳检测装置包括：
至少一个红外照明元件，用于向监控场景提供红外照明；
镜头，用于获取监控场景的红外光学图像信号；
滤光元件，用于对接收的监控场景的红外光学图像信号进行滤光处理，以突出监控场景的红外光学图像信号中的人脸与人眼瞳孔部分；
图像捕获元件，其位于所述镜头的后面，用于将经过滤光处理的红外光学图像信号转换为数字图像信号；和
图像处理单元，用于从获取的数字图像中提取人眼和瞳孔，并判断驾驶员是否处于疲劳状态。
其中，所述红外照明元件单独地安装在用于驾驶区域照明的区域内或者安装在与面向驾驶区域的所述镜头相连接地安装在用于驾驶区域照明的区域内；所述滤光元件位于所述镜头前，或者位于图像捕获元件的后面、或者位于所述镜头后面且在所述图像捕获元件前；
优选地，所述红外照明元件和所述镜头可拆卸地紧密连接在一起，所述镜头、所述滤光元件和所述图像捕获元件相互之间可拆卸地紧密连接在一起。
优选地，所述红外照明元件包括至少一个红外照明装置。
优选地，所述滤光元件包括至少一个带通滤光元件和/或至少一个偏振滤光元件。
优选地，所述图像捕获元件是CCD传感器、CMOS传感器、CCD相机、CMOS相机、红外成像相机或红外热释电相机中的一种或多种。
优选地，所述图像处理单元包括：
候选人脸获取模块，用于从获取的数字图像中提取出候选人脸区域；
人眼获取模块，用于利用人眼检测方法，从接收的候选人脸区域中检测出人眼区域；
人眼开闭确定模块，用于根据人眼区域内是否存在瞳孔来确定人眼的开闭；和
驾驶员疲劳判断模块，用于根据人眼的开闭，利用PERCLOS值来判断驾驶员是否处于疲劳状态。
优选地，所述候选人脸获取模块通过以下步骤获取候选人脸区域：
步骤511：通过对获取的数字图像进行阈值分割提取出亮度值较高的像素点作为候选的人脸像素点，并获得相应的人脸阈值分割图像；
步骤512：以人脸阈值分割图像中的候选的人脸像素点为模板，在该模板上利用人脸检测方法获取候选人脸区域。
优选地，所述步骤511中的阈值分割通过以下方法实现：
假设数字图像中像素点(x，y)的亮度值为I(x，y)，数字图像的人脸阈值分割图像中像素点(x，y)地亮度值为I1(x，y)，其中I1的初始值为I，若I(x，y)≥第一阈值T1，则标记该像素点属于候选的人脸像素点，保留人脸阈值分割图像中该像素点的亮度值I1(x，y)不变，否则标记该像素点为非候选的人脸像素点，将人脸阈值分割图像中该像素点的亮度值I1(x，y)赋予0，其中，100≤T1≤200且T1为整数。
优选地，所述步骤512中的人脸检测方法为连通区域标记方法，所述连通区域标记方法为：首先以人脸阈值分割图像中的候选的人脸像素点为目标，对人脸阈值分割图像中所有的目标点进行连通区域标记，然后统计标记的连通区域内候选的人脸像素点的个数，若该个数大于第二阈值T2，则标记该连通区域为候选的人脸区域，否则将该连通区域内所有点标记为非候选的人脸像素点，将该连通区域内所有点的亮度值I1(x，y)赋予0，其中，300≤T2≤600且T2为整数。
优选地，所述人眼开闭确定模块通过以下步骤判断人眼开闭：
步骤531：从人眼区域内提取出瞳孔点，首先将人脸阈值分割图像中对应于人眼区域内的像素点的亮度值保留，将其他的像素点的亮度值赋予0，然后对该人脸阈值分割图像进行阈值分割，若I1(x，y)≥第三阈值T3，则认为该像素点属于瞳孔点，并将人眼区域内对应的像素点标记为瞳孔点；
步骤532：如果人眼区域内存在瞳孔点，则认为人眼处于睁开状态，否则认为人眼处于闭合状态。
优选地，所述驾驶员疲劳判断模块通过以下方法判断驾驶员是否处于疲劳状态：
统计单位时间内人眼闭合时间所占的比率f：
f=t2t1×100%]]>
其中，t1为某一设定的特定时间，t2为人眼闭合的时间，当PERCLOS值f大于第四阈值T4时，则认为驾驶员处于疲劳状态，其中，65％≤T4≤80％。
与现有的驾驶员疲劳检测的技术相比，本发明所提供的基于视频的驾驶员疲劳检测装置有以下优点：1)由于采用滤光元件，图像捕获元件获取的数字图像中属于人脸部分的像素点的亮度值较高，因此可以简单地提取人脸区域，减少了人脸检测算法的计算量；2)传统的判断人眼开闭的方法是利用人眼区域的高度与宽度的比值来实现的，由于实际提取的人眼区域不够精确，因此严重影响了人眼开闭状态的判断，而本发明利用瞳孔来判断人眼的开闭有效地提高了人眼开闭状态判断的准确性。
【附图说明】
图1为按照本发明的基于视频的驾驶员疲劳检测装置的结构示意图；
图2为按照本发明的基于视频的驾驶员疲劳检测装置中的图像处理单元的示意性框图；
【具体实施方式】
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
按照本发明的基于视频的驾驶员疲劳检测装置1包括：至少一个红外照明元件1，用于向监控场景提供红外照明；镜头2，用于获取监控场景的红外光学图像信号；滤光元件3，用于对接收的监控场景的红外光学图像信号进行滤光处理，以突出监控场景的红外光学图像信号中的人脸与人眼瞳孔部分；图像捕获元件4，用于将经过滤光处理的红外光学图像信号转换为数字图像信号；和图像处理单元5，用于从获取的数字图像中提取人眼和瞳孔，并判断驾驶员是否处于疲劳状态。其中，红外照明元件1单独地安装在用于驾驶区域照明的区域内或者与面向驾驶区域的镜头2相连接地安装在用于驾驶区域照明的区域内；图像捕获元件4位于镜头2的后面；滤光元件3位于镜头2前，或者位于图像捕获元件4的后面、或者位于镜头2后面且在图像捕获元件4前。镜头2、滤光元件3和图像捕获元件4既可以是独立存在的，也可以可拆卸地紧密连接在一起。
优选地，红外照明元件1可以与镜头2可拆卸地紧密连接在一起，例如红外照明元件1可以分布在镜头2的四周，也可以单独地安装在某一可以用于驾驶区域照明的区域内，镜头2面向该驾驶区域。如图1所示，图1为按照本发明的基于视频的驾驶员疲劳检测装置的结构示意图。由图1可以看出，红外照明元件1与镜头2可拆卸地紧密连接在一起，镜头2面向驾驶区域，滤光元件3可拆卸地紧密连接在镜头2的后面，图像捕获元件4可拆卸地紧密连接在滤光元件3的后面。此外，在实际应用时，镜头2、滤光元件3和图像捕获元件4之间也可以采用如下连接方式：
连接方式一：滤光元件3可拆卸地紧密连接在镜头2前，用于对监控场景先进行红外滤光处理，镜头2用于直接获取经过滤光元件3红外滤光处理后的监控场景的红外光学图像信号，图像捕获元件4可拆卸地紧密连接在镜头2的后面，用于将经过滤光处理的红外光学图像信号转换为数字图像信号。
连接方式二：镜头2可拆卸地紧密连接在图像捕获元件4前，用于获取监控场景的红外光学图像信号，图像捕获元件4用于将获取的监控场景的红外光学图像信号转换为数字图像信号，滤光元件3可拆卸地紧密连接在图像捕获元件4的后面，用于对获取的监控场景的红外数字图像信号进行滤光处理。
其中，红外照明元件1提供某一波长的红外光，例如波长为850±20nm或者940±20nm的红外光，并将该红外光用于监控场景的照明。该红外照明元件1可以包括至少一个红外照明装置，该红外照明装置可以是红外照明灯。该红外照明元件1提供的红外光的波长在滤光元件3提供的滤光波段中。镜头2获取监控场景的红外光学图像信号后，将其提供给滤光元件3。
滤光元件3对接收的监控场景的红外光学图像信号进行滤光处理，以突出监控场景的红外光学图像信号中的人脸与人眼瞳孔部分，并将滤光处理后的红外光学图像信号提供给图像捕获元件4。按照本发明，所述滤光元件3可以包括至少一个带通滤光元件和/或至少一个偏振滤光元件。也就是说，滤光元件3可以由单独一个带通滤光元件或单独一个偏振滤光元件构成，也可以由多个带通滤光元件和/或多个偏振滤光元件组合构成。实施时，滤光元件3的滤光波段的红外波长与红外照明元件1提供的红外光的红外波长相对应。例如，滤光元件3可以由一个带通滤光元件构成，该带通滤光元件可以是中心波长处于850-950nm范围内的窄带滤光片，而红外照明元件1提供的红外光的波长在以上述中心波长为中心的红外波段内。优选地，滤光元件3的滤光波段的红外波长为850±20nm或者940±20nm。
图像捕获元件4将经过滤光处理的红外光学图像信号转换为数字图像信号，并且将该数字图像信号提供给图像处理单元5。按照本发明，图像捕获元件4可以是CCD传感器、CMOS传感器或者其它能够将光学图像信号转换为数字图像信号的装置，或者可以是CCD相机、CMOS相机、红外成像相机和红外热释电相机中的一种或多种。例如，所述图像捕获元件4为CCD相机。在这种情况下，在设置CCD相机时，为了使获取的图像更为稳定，可以将该CCD相机的一些自动功能关闭，如自动白平衡、自动增益、自动电子快门等，并手动调节电子快门，使该CCD相机的曝光时间处于0.1-2.5ms的范围内。
图像处理单元5根据接收的数字图像，提取人眼和瞳孔，并判断驾驶员是否处于疲劳状态。图2为按照本发明的基于视频的驾驶员疲劳检测装置中的图像处理单元的示意性框图，如图2所示，该图像处理单元5包括：
候选人脸获取模块51，用于从获取的数字图像中提取出候选人脸区域；
人眼获取模块52，用于利用人眼检测方法，从接收的候选人脸区域中检测出人眼区域；
人眼开闭确定模块53，用于根据人眼区域内是否存在瞳孔来确定人眼的开闭；
驾驶员疲劳判断模块54，用于根据人眼的开闭，利用PERCLOS值来判断驾驶员是否处于疲劳状态。
按照本发明，候选人脸获取模块51通过以下步骤获取候选人脸区域：
步骤511：利用阈值分割方法获取候选的人脸像素点。由于图像捕获元件4提供的数字图像中人脸部分的像素点的亮度值比较高，因此通过对获取的数字图像进行阈值分割可以提取出亮度值较高的像素点作为候选的人脸像素点，并获得相应的人脸阈值分割图像。其中，阈值分割的方法为：假设数字图像中像素点(x，y)的亮度值为I(x，y)，数字图像的人脸阈值分割图像中像素点(x，y)的亮度值为I1(x，y)(其中I1的初始值为I1＝I)，若I(x，y)≥第一阈值T1，则标记该像素点属于候选的人脸像素点(即保留人脸阈值分割图像中该像素点的亮度值I1(x，y)不变)，否则标记该像素点为非候选的人脸像素点(即将人脸阈值分割图像中该像素点的亮度值I1(x，y)赋予0)。其中，100≤T1≤200且T1为整数。实施时，为了避免将可能的人脸像素点滤除，可以将T1取小一点，例如T1＝120。
步骤512：以人脸阈值分割图像中的候选的人脸像素点为模板，在该模板上利用人脸检测方法获取候选的人脸区域。其中，所述人脸检测方法可以采用连通区域标记方法，也可以使用申请号为200910077430.2的专利申请(由本申请的申请人所提交)中所提供的人脸检测方法，还可以采用目前较为流行的基于AdaBoost的人脸检测方法。在使用现有的人脸检测方法获取候选的人脸区域时，直接在人脸阈值分割图像中提取候选的人脸区域，由于人脸阈值分割图像中已经分割出候选的人脸像素点，因此大大减小了复杂的场景对人脸检测准确性的影响，也相对地减少了人脸检测的计算量。
实施中，为了减少人脸检测的计算量，可以采用简单的连通区域标记方法获取候选的人脸区域。首先以人脸阈值分割图像中的候选的人脸像素点(即人脸阈值分割图像中的亮度值非0的像素点)为目标点，对人脸阈值分割图像中所有的目标点进行连通区域标记。然后，统计标记的连通区域内候选的人脸像素点的个数，若该个数＞第二阈值T2，则标记该连通区域为候选的人脸区域，否则将该连通区域内所有点标记为非候选的人脸像素点(即将人脸阈值分割图像中该连通区域内所有点的亮度值I1(x，y)赋予0)。其中，300≤T2≤600且T2为整数。
连通区域标记方法可以通过四连通域方法或八连通域方法实现。四连/八连通域的连通标记的方法是：首先，对人脸阈值分割图像实施逐行扫描，找到一个未标记区域的第一目标点，该第一目标点为未被标记的人脸像素点，标记该点；检查该标记点的四连/八连域点并标记满足连通性要求的、且尚未被标记的目标点，同时将新增的标记点记录下来作为“区域增长”的种子点。在后续的标记过程中，不断地从记录种子点的数组中取出一个种子点，实施上述的操作，如此循环，直到记录种子点的数组为空时，一个连通区域标记结束。接着再标记下一个未标记的区域，直到人脸阈值分割图像内所有连通区域都被标记。
人眼获取模块52以候选人脸获取模块51输出的候选的人脸区域为模板，在该模板上利用人眼检测方法获取人眼区域。其中，人眼检测方法可以利用现有的人眼检测算法实现，例如采用申请号为200910077436.X的专利申请(由本申请的申请人所提交)中所提供的人眼检测算法，也可以采用文献“钟威，刘智明，周激流.人脸检测中眼睛精确定位的研究，计算机工程与应用，2004，36：73-76”中所提供的方法。其中，申请号为200910077436.X的专利申请中所提供的人眼检测算法为：第一步：确定人眼搜索区域，在下一帧中预测的人眼位置，根据预测的人眼位置点左右各扩大两眼距离的阙值4，往上扩大两眼距离的阙值5，往下扩大两眼距离的阙值6，以形成一个矩形区域，选取该矩形区域作为人眼搜索区域；第二步，确定真实人眼区域，用FRST算法对所述人眼搜索区域进行FRST算法计算，以得到相应的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阙值7作为分割阙值，对所述人眼搜索区域进行分割，以得到二值图像区域，再判断该二值图像区域内是否存在一对垂直区域，若存在，则认为垂直区域的下面区域为真实人眼区域，垂直区域的上面区域为眉毛，若不存在，则认为该垂直区域为真实人眼区域。其中，上述方法中的阙值4-阙值7的具体数值可以参考申请号为200910077436.X的专利申请。
利用FRST算法，计算候选人脸区域内具有对称性特征的眼睛孔洞位置的各个连通区域，再辅以椭圆拟合以得到上述对称性特征的五个FRST特征参数，并根据所述五个FRST特征参数判定是否符合眼睛和鼻孔的几何分布关系，若符合，则记录人眼检测的结果；若不符合，则认为该区域是虚假区域并滤除，其中，所述五个FRST特征参数包括：孔洞的左端位置、孔洞的右端位置、孔洞的上端位置、孔洞的下端位置和孔洞的中心位置。
按照本发明，人眼开闭确定模块53通过以下步骤判断人眼开闭：
步骤531：从人眼区域内提取出瞳孔点。首先将人脸阈值分割图像(步骤511获得的)中对应于人眼区域(人眼获取模块52获得的)内的像素点的亮度值保留，将其他的像素点的亮度值I1(x，y)赋予0；然后对该人脸阈值分割图像进行阈值分割，若I1(x，y)≥第三阈值T3，则认为该像素点属于瞳孔点，并将人眼区域内对应的像素点标记为瞳孔点。其中，第三阈值T3可以通过计算人眼区域内像素点的最大类间方差的方法获得。最大类间方差的方法可以参考文献“OTSC N.Athreshold selection method from gray-level histogram[J].IEEE Trans，1979，SMC-9：62-69”。
步骤532：如果人眼区域内存在瞳孔点，则认为人眼处于睁开状态，否则认为人眼处于闭合状态。
驾驶员疲劳判断模块54根据人眼开闭确定模块53输出的人眼开闭的状态，利用PERCLOS值来判断驾驶员是否处于疲劳状态。利用PERCLOS值判断驾驶员疲劳状态的方法可以参考文献“D F Dinges，R Grace.PERCLOS：A Valid Psycho physiological Measure of Alertnessas Assessed by Psychomotor Vigilance[R].Report No FHWA2MCRT2982OO6.Federal Highway Administration.Office of MotorCarriers，1998”，或者参考文献“Laurence T，Nick M.Review of fatiguedetection and prediction technologies.http://www.nrtc.gov.au.2000-09”。作为一种优选的实施方式，申请人参考上述两篇参考文献中记载的方法的原理思想，采用下述公式统计单位时间内人眼闭合时间所占的比率f：
f=t2t1×100%]]>
其中，t1为某一设定的特定时间，t2为人眼闭合的时间，f为PERCLOS值。当PERCLOS值f大于第四阈值T4时，则认为驾驶员处于疲劳状态。其中，65％≤T4≤80％，t2通过人眼开闭确定模块53统计在时间t1内属于人眼闭合状态的累积时间得到。
在本发明的一个实施例中以夜晚为场景，红外照明元件1提供的红外光的波长850nm，滤光元件3的滤光波段850nm，第一阈值T1＝120，第二阈值T2＝400，第四阈值T4＝75％，t1＝5s，并计算得到第三阈值T3、t2及f，并通过判断f是否大于第四阈值T4来判断驾驶员是否处于疲劳状态。
与现有的驾驶员疲劳检测的技术相比，本发明所提供的基于视频的驾驶员疲劳检测装置有以下优点：1)由于采用滤光元件，图像捕获元件获取的数字图像中属于人脸部分的像素点的亮度值较高，因此可以简单地提取人脸区域，减少了人脸检测算法的计算量；2)传统的判断人眼开闭的方法是利用人眼区域的高度与宽度的比值来实现的，由于实际提取的人眼区域不够精确，因此严重影响了人眼开闭状态的判断，而本发明利用瞳孔来判断人眼的开闭有效地提高了人眼开闭状态判断的准确性。
需要声明的是，上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内，当可作各种修改、等同替换、或改进。本发明的保护范围以所附权利要求书为准。