客车驾驶员手离方向盘检测预警系统及预警方法.pdf

摘要
申请专利号：	CN201410549439.X	申请日：	2014.10.16
公开号：	CN104276080A	公开日：	2015.01.14
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):B60Q 5/00申请日:20141016\|\|\|公开
IPC分类号：	B60Q5/00; B60Q9/00	主分类号：	B60Q5/00
申请人：	北京航空航天大学
发明人：	余贵珍; 韩蕾; 王云鹏; 于海洋; 刘浩
地址：	100191 北京市海淀区学院路37号
优先权：
专利代理机构：	北京永创新实专利事务所 11121	代理人：	赵文颖
PDF下载：	PDF下载

内容摘要

本发明公开了一种客车驾驶员手离方向盘检测预警系统及预警方法，系统包括摄像头、数字信号处理器、GPS模块、控制模块、GPRS模块；方法包括步骤一：采集驾驶员操作方向盘的图像；步骤二：采用操作手检测识别方法，对图像进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；步骤三：采用预警逻辑判断方法，判断是否触发预警信号；步骤四：输出信息至上位机；本发明中容易设置、视觉系统体积小、图像处理拥有较普及的基础技术平台、对驾驶员身体不存在任何强制干涉、成本较低等。

权利要求书

1.  一种客车驾驶员手离方向盘检测预警系统，包括摄像头、数字信号处理器、GPS模块、控制模块、GPRS模块；
摄像头安装在驾驶员与方向盘二者的对称中心平面内，摄像头采集驾驶员操作方向盘的图像，图像输出至数字信号处理器，数字信号处理器采用操作手检测识别方法对采集到的图像信息进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘，将结果输出至控制模块，控制模块通过预警逻辑判断方法，判断是否触发预警信号，得到预警结果，GPS模块对车辆进行远距离定位、检测车辆状态信息，GPS模块采集的车辆状态信息、控制模块得到的预警结果通过GPRS模块输出至上位机。

2.  一种客车驾驶员手离方向盘检测预警方法，包括以下几个步骤：
步骤一：采集驾驶员操作方向盘的图像；
步骤二：采用操作手检测识别方法，对图像进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；
首先确定图像中方向盘的位置，建立系统坐标系，通过计算确定图像中方向盘中心线上点的坐标，以此坐标点为中心截取感兴趣区域，对感兴趣区域进行图像预处理，采取双阈值的判定法判断单一感兴趣区域中是否有类似手形存在，然后再以步长X沿图像中方向盘中心线按逆时针方向检测全方向盘区域，计算出方向盘截取的每块感兴趣区域所对应的值，判断方向盘上操作手的数目和位置，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；
步骤三：采用预警逻辑判断方法，判断是否触发预警信号；
1)、当检测结果为左操作手离开方向盘；
设定阈值t₁为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为t_o，在安全时间t₁内，视频检测总帧数m为：
m＝t₁/t_o
设定修正系数η，触发报警的帧数为：
m′＝m*η
即当连续检测m帧图片时，其中有超过m′帧为左操作手离开方向盘时，触发预警信号；
2)、当检测结果为右操作手离开方向盘
设定阈值t₂为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为to，在安全时间t₂内，视频检测总帧数m为：
m＝t₂/t_o
设定修正系数η，触发报警的帧数为：
m′＝m*η
即当连续检测m帧图片时，其中有超过m′帧为右操作手离开方向盘时，触发预警信号；
3)、当检测结果为双手离开方向盘
设定阈值t₃为安全时间，假定客车以速度V₀行驶，设定车辆危险距离为S₀，安全时间t₃为：
t₃＝S₀/V₀
步骤二中操作手检测识别方法检测一帧图像的时间为t_o，在安全时间t₃内，视频检测总帧数m为：
m＝t₃/t_o
设定修正系数η，触发报警的帧数为：
m′＝m*η
即当连续检测m帧图片时，其中有超过m′帧为双手离开方向盘时，触发预警信号；
4)、当检测结果为双手均在方向盘上
判定驾驶员正常驾驶，不触发预警信号；
步骤四：输出信息至上位机；
GPS对车辆进行远距离定位、检测车辆状态信息，将GPS采集的车辆状态信息，步骤三中得到的预警结果，通过GPRS网络输出至上位机。

3.  根据权利要求2所述的一种客车驾驶员手离方向盘检测预警方法，所述的步骤二具体包括：
步骤一：标定方向盘位置；
图像中方向盘为椭圆形，确定方向盘椭圆的中心，将方向盘所在区域包含在椭圆环内，确定方向盘在图像中的位置；
步骤二：方向盘周边点坐标的计算；
以椭圆中心为坐标系的中心，以椭圆短轴为X轴、椭圆长轴为Y轴，建立坐标系，椭圆的长半轴为a，短半轴为b，任意一点N与X轴正向的夹角记为θ，椭圆上N点的坐标(x,y)与该点对应夹角θ之间的关系为：
x=b*cos[tan-1(b*tanθa)]y=a*sin[tan-1(b*tanθa)]]]>
步骤三：截取感兴趣区域；
以任一点N点为中心，选取的窗口截取感兴趣区域，该矩形感兴趣区域的中心线与X轴正方向的夹角记为
步骤四：感兴趣区域预处理；
1)、将感兴趣区域按顺时针方向旋转角度；
2)、将彩色图像转换为相应灰度图像；
3)、使用超限邻域平均法对图像进行平滑处理；
4)、使用直方图均衡化的方法增强图像处理；
5)、使用大津算法计算自适应阈值并对图像进行二值化处理，将图像分成背景和前景两部分，得到感兴趣区域二值化后的灰度图；
步骤五：感兴趣区域操作手检测；
1)、将二值化后的图像表示在二维坐标系中，其中每一个坐标点(x，y)对应图像上的像素点；将图像向X轴方向投影，得到其n-X统计曲线，其中n为每一列中灰度值为1的像素点数；
2)、设定双阈值T1、T2，当X方向上，有连续列的n(x)＞T1时，令Δ1为连续长度中的最大值，当Δ1＞T2时，即认为图像中有类似手形存在；
步骤六：全方向盘操作手检测；
1)、当一个感兴趣区域检测完成后，按照逆时针方向，以一度为步长搜索整个方向盘区域，提取到360个大小相同的感兴趣区域，对360个感兴趣区域逐一进行检测，得到每个感兴趣区域是否有类似手形存在；用1表示感兴趣区域有类似手形存在，0表示感兴趣区域无类似手形存在；则当全方向盘搜索完成后，每个感兴趣区域都对应一个0或1的结果；
2)、将每个感兴趣区域对应的值绘制在二维坐标空间中，得到图像的统计曲线，其中表示感兴趣区域中心线与X轴正方向的夹角，V表示感兴趣区域对应的值；
3)、设定阈值L，计算V＝1的连续区域的长度，当方向上，时，即认为方向盘在该处有操作手存在并进行计数，同时取连续区域的几何中心线所对应的值标记为该操作手的位置，根据操作手位置可以辨别出方向盘上的操作手是左手还是右手；左手时取值为180～360，右手时取值为0～180；
最终判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘。

说明书

客车驾驶员手离方向盘检测预警系统及预警方法
技术领域
本发明涉及一种客车驾驶员手离方向盘检测预警系统及预警方法，属于汽车安全驾驶督导技术领域。
背景技术
随着社会经济的不断发展，机动车保有量逐年快速增长，交通事故一直居高不下。研究表明，驾驶员人为因素引起的交通事故数量占总数的90％以上，其中87％是由机动车驾驶员的违规操作、经验不足、行为规范性差等原因造成。驾驶员的违法驾驶行为与其不正确的驾驶操作密切相关，特别是驾驶员手离开方向盘这一驾驶行为，该行为极易被驾驶员忽视，致使驾驶员因缺乏足够的注意力而忽视道路上的危险，容易造成严重的危害。例如在遇到紧急情况时，如突发的车辆爆胎、道路情况发生变化或前方突然出现车辆等，极易对车辆控制不及时，从而产生极其严重的后果。
研究表明，驾驶员对方向盘的有效操纵减弱以及注意力的分散会增加驾驶过程中的安全隐患。通过对我国山区公路上交通事故的分析发现，大客车、中型客车等营运车辆是一次性死亡十人以上的特大事故主要肇事车型，而驾驶员的错误驾驶行为是导致这些事故产生的主要原因。
目前，我国一些大客车、中型客车等营运车辆安装了监控摄像头，但由于缺乏相应的技术手段，无法实现对危险驾驶行为的预警，不能真正地起到督导驾驶员安全行车的目的。实时监测和智能评估驾驶员的驾驶行为和驾驶状态，有助于及早发现可能的操作失误，避免交通事故的发生，提高交通效率。驾驶员手离方向盘行为检测是驾驶员驾驶行为检测技术的重要组成部分。
驾驶员手离方向盘行为检测的研究有利于及时发现驾驶员在驾驶过程中违规操作方向盘的行为，提醒驾驶员及时修正其违规驾驶行为，督促驾驶员养成良好的操作方向盘习惯，对减少交通事故的发生、提高交通效率具有重要意义。
发明内容
本发明的目的是为了解决上述问题，提供了一种具有预警、通信和定位功能的用于督导驾驶员安全驾驶的车载终端装置，提出一种可安装在大中型客车上的实时的基于机器视觉的检测驾驶员手离方向盘的检测预警系统及该系统的手检测、判断预警的方法。
一种客车驾驶员手离方向盘检测预警系统，包括摄像头、数字信号处理器、GPS模块、控制模块、GPRS模块；
摄像头安装在驾驶员与方向盘二者的对称中心平面内，摄像头采集驾驶员操作方向盘的图像，图像输出至数字信号处理器，数字信号处理器采用操作手检测识别方法对采集到的图像信息进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘，将结果输出至控制模块，控制模块通过预警逻辑判断方法，判断是否触发预警信号，得到预警结果，GPS模块对车辆进行远距离定位、检测车辆状态信息，GPS模块采集的车辆状态信息、控制模块得到的预警结果通过GPRS模块输出至上位机。
一种客车驾驶员手离方向盘检测预警方法，包括以下几个步骤：
步骤一：采集驾驶员操作方向盘的图像；
步骤二：采用操作手检测识别方法，对图像进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；
首先确定图像中方向盘的位置，建立系统坐标系，通过计算确定图像中方向盘中心线上点的坐标，以此坐标点为中心截取感兴趣区域，对感兴趣区域进行图像预处理，采取双阈值的判定法判断单一感兴趣区域中是否有类似手形存在，然后再以步长X沿图像中方向盘中心线按逆时针方向检测全方向盘区域，计算出方向盘截取的每块感兴趣区域所对应的值，判断方向盘上操作手的数目和位置，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；
步骤三：采用预警逻辑判断方法，判断是否触发预警信号；
1)、当检测结果为左操作手离开方向盘；
设定阈值t₁为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为t_o，在安全时间t₁内，视频检测总帧数m为：
m＝t₁/t₀
设定修正系数η，触发报警的帧数为：
m′＝m*η
即当连续检测m帧图片时，其中有超过m′帧为左操作手离开方向盘时，触发预警信号；
2)、当检测结果为右操作手离开方向盘
设定阈值t₂为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为t_o，在安全时间t₂内，视频检测总帧数m为：
m＝t₂/t_o
设定修正系数η，触发报警的帧数为：
m′＝m*η
即当连续检测m帧图片时，其中有超过m′帧为右操作手离开方向盘时，触发预警信号；
3)、当检测结果为双手离开方向盘
设定阈值t₃为安全时间，假定客车以速度V₀行驶，设定车辆危险距离为S₀，安全时间t₃为：
t₃＝S₀/V₀
步骤二中操作手检测识别方法检测一帧图像的时间为t_o，在安全时间t₃内，视频检测总帧数m为：
m＝t₃/t_o
设定修正系数η，触发报警的帧数为：
m′＝m*η
即当连续检测m帧图片时，其中有超过m′帧为双手离开方向盘时，触发预警信号；
4)、当检测结果为双手均在方向盘上
判定驾驶员正常驾驶，不触发预警信号；
步骤四：输出信息至上位机；
GPS对车辆进行远距离定位、检测车辆状态信息，将GPS采集的车辆状态信息，步骤三中得到的预警结果，通过GPRS网络输出至上位机。
所述的步骤二具体包括：
步骤一：标定方向盘位置；
图像中方向盘为椭圆形，确定方向盘椭圆的中心，将方向盘所在区域包含在椭圆环内，确定方向盘在图像中的位置；
步骤二：方向盘周边点坐标的计算；
以椭圆中心为坐标系的中心，以椭圆短轴为X轴、椭圆长轴为Y轴，建立坐标系，椭圆的长半轴为a，短半轴为b，任意一点N与X轴正向的夹角记为θ，椭圆上N点的坐标(x,y)与该点对应夹角θ之间的关系为：
x=b*cos[tan-1(b*tanθa)]y=a*sin[tan-1(b*tanθa)]]]>
步骤三：截取感兴趣区域；
以任一点N点为中心，选取的窗口截取感兴趣区域，该矩形感兴趣区域的中心线与X轴正方向的夹角记为
步骤四：感兴趣区域预处理；
1)、将感兴趣区域按顺时针方向旋转角度；
2)、将彩色图像转换为相应灰度图像；
3)、使用超限邻域平均法对图像进行平滑处理；
4)、使用直方图均衡化的方法增强图像处理；
5)、使用大津算法计算自适应阈值并对图像进行二值化处理，将图像分成背景和前景两部分，得到感兴趣区域二值化后的灰度图；
步骤五：感兴趣区域操作手检测；
1)、将二值化后的图像表示在二维坐标系中，其中每一个坐标点(x，y)对应图像上的像素点；将图像向X轴方向投影，得到其n-X统计曲线，其中n为每一列中灰度值为1的像素点数；
2)、设定双阈值T1、T2，当X方向上，有连续列的n(x)>T1时，令Δl为连续长度中的最大值，当Δl>T2时，即认为图像中有类似手形存在；
步骤六：全方向盘操作手检测；
1)、当一个感兴趣区域检测完成后，按照逆时针方向，以一度为步长搜索整个方向盘区域，提取到360个大小相同的感兴趣区域，对360个感兴趣区域逐一进行检测，得到每个感兴趣区域是否有类似手形存在；用1表示感兴趣区域有类似手形存在，0表示感兴趣区域无类似手形存在；则当全方向盘搜索完成后，每个感兴趣区域都对应一个0或1的结果；
2)、将每个感兴趣区域对应的值绘制在二维坐标空间中，得到图像的统计曲线，其中表示感兴趣区域中心线与X轴正方向的夹角，V表示感兴趣区域对应的值；
3)、设定阈值L，计算V＝1的连续区域的长度，当方向上，时，即认为方向盘在该处有操作手存在并进行计数，同时取连续区域的几何中心线所对应的值标记为该操作手的位置，根据操作手位置可以辨别出方向盘上的操作手是左手还是右手；左手时取值为180～360，右手时取值为0～180；
最终判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘。
本发明的优点在于：
(1)本发明中客车驾驶员手离方向盘行为检测的方法是基于机器视觉，该检测预警系统及检测预警方法具有很多优点，主要包括容易设置、视觉系统体积小、图像处理拥有较普及的基础技术平台、对驾驶员身体不存在任何强制干涉、成本较低等；
(2)基于机器视觉的检测预警方法对驾驶员的身体不存在任何强制干涉、造成的干扰最小，能直接检测驾驶行为、实现及时预警，系统容易设置，视觉系统体积小，成本较低，与GPS、GPRS配套使用，可以实现车辆实时在线远程检测。
附图说明
图1是客车驾驶员手离方向盘检测预警系统的结构框图；
图2是在方向盘上的操作手检测识别算法流程图；
图3是在方向盘上建立二维坐标系的说明图；
图4是操作手检测识别算法中的统计曲线图；
图5是本发明中控制模块的预警逻辑判断流程图。
图中：
1-摄像头 2-数字信号处理器 3-GPS模块
4-控制模块 5-GPRS模块
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明是一种客车驾驶员手离方向盘检测预警系统，如图1所示，包括摄像头1、数字信号处理器2、GPS模块3、控制模块4、GPRS模块5；
摄像头1对驾驶员操作方向盘的行为进行信息采集，数字信号处理器2对摄像头1采集到的图像信息进行算法分析和处理，GPS模块3实现车辆远距离定位、检测车辆运行状态，控制模块4分析数字信号处理器输出结果、接收GPS模块3传来的车辆状态信息采集、做出驾驶员危险行为预警判断，GPRS模块5传递数据信息、与远程上位机通信；
摄像头1安装在驾驶员与方向盘二者的对称中心平面内，即驾驶员的正前上方；检测预警系统通过摄像头1采集驾驶员操作方向盘的图像，摄像头1的输出端连接数字信号处理器2的输入端，数字信号处理器2的输出端、GPS模块3分别连接控制模块4，由控制模块4处理，做出预警判断并通过GPRS模块5的GPRS网络与远程上位机通信，实现数据与信息的传输。
检测预警系统通过摄像头1采集驾驶员操作方向盘的图像，数字信号处理器2使用图像处理算法对采集到的图像信息进行计算，通过定位方向盘、提取驾驶员的操作手位置信息等算法对驾驶员的手离方向盘状态进行判别，数字信号处理器2的处理结果传输至控制模块4，控制模块4通过预先设定的逻辑对是否触发预警信号进行分析处理，并负责将GPS模块3传来的车辆状态信息采集、判别结果通过预警系统反馈给驾驶员及同时将数据通过GPRS模块5的GPRS网络发送到远程监控中心。对驾驶员的手离方向盘这一危险驾驶行为实现实时监测与预警，起到督导驾驶员安全行车的目的，并通过实时远程输送检测结果及车辆运行状态等信息，为规范驾驶员驾驶行为和制定相关的安全驾驶保障规章制度提供数据支持和科学依据。
本发明中，摄像头1安装在驾驶员与方向盘二者的对称中心平面内，即驾驶员的正前上方，既不会对驾驶员的正常驾驶行为产生干扰，又能完整获得驾驶员操纵方向盘的行为，这样采集到的图像为后续的算法分析和处理提供了便利。
本发明中，摄像头1的输出端连接数字信号处理器2的输入端，数字信号处理器2对摄像头1采集到的图像信号经过解码转换成相应的数字视频信号并访问存储器对视频数据进行处理，处理后经过编码的模拟视频信号及分析结果被传输至控制模块4。
本发明中，控制模块4对整个系统起到协调、控制的作用。它接收数字信号处理器2的输出结果及GPS模块3传来的车辆状态信息，并依靠自身设置的预警判断逻辑对驾驶员危险驾驶行为进行预警。同时，它与GPRS模块5相连，根据设定将数据通过GPRS网络与远程上位机进行通信。
本发明中，GPS模块3实现车辆的远距离定位，方便随时了解车辆的运行状态，它与客车驾驶员手离方向盘检测预警系统配合，实现远距离检测车辆动态、驾驶员手离方向盘这一驾驶行为。
本发明中，GPRS模块5实现数据与信息的传递，汇集的驾驶员手离方向盘检测结果与位置信息等通过GPRS网络与远程上位机通信，使得驾驶员手离方向盘这一驾驶行为、车辆的运行状态信息得以及时更新，用户可以通过上位机随时得到这些远程的状态信息。
本发明采用非接触式检测方式，对驾驶员的身体不存在任何强制干涉，造成的干扰最小，能直接检测驾驶行为、实现及时预警，系统容易设置，视觉系统体积小，成本较低，与GPS、GPRS配套使用，可以实现车辆实时在线远程检测。
图2是数字信号处理器2中在方向盘上的操作手检测识别算法流程图
检测预警系统通过摄像头1采集驾驶员操作方向盘的图像，首先使用数字信号处理器2中的图像处理算法进行方向盘检测，定位出方向盘所在的图像区域；在定位出的方向盘图像区域中提取驾驶员的操作手位置信息；利用提取出的操作手的信息判断驾驶员手部图像的状态；进而对驾驶员的当前行为进行判别；综合多帧图像的判别结果对驾驶员手离方向盘实施行为判别；最终将处理结果传输给控制模块4。
方向盘上的操作手检测识别算法是基于机器视觉。首先确定图像中方向盘的位置，建立系统坐标系，通过计算确定图像中方向盘中心线上点的坐标，以此坐标点为中心截取适当大小的感兴趣区域，对感兴趣区域进行图像预处理之后，采取双阈值的判定法判断单一感兴趣区域中是否有类似手形存在，之后再以一定的步长沿图像中方向盘中心线按逆时针方向检测全方向盘区域，由此可以计算出方向盘截取的每块感兴趣区域所对应的值，并以此为依据来判断出方向盘上操作手的数目和位置。其具体处理步骤如下：
步骤一，标定方向盘位置；
摄像头1固定在方向盘与驾驶员的正前上方，与方向盘之间的相对位置固定不变，因此方向盘在图像中将具有确定的位置。方向盘实物形状为圆形，但由于摄像头1的畸变效应，方向盘在图像中的形状畸变成椭圆形，所以在图像中将方向盘视为椭圆处理。通过手动标定的方式确定方向盘椭圆的中心，将方向盘所在区域包含在椭圆环内，即可确定方向盘在图像中的位置。
步骤二，方向盘周边点坐标的计算；
方向盘的数学模型可以用椭圆表示，因此其上各点的坐标可以通过计算椭圆上相应点的坐标得到。以椭圆中心为坐标系的中心，以椭圆短轴为X轴、椭圆长轴为Y轴，建立坐标系，如图3所示。椭圆的长半轴为a，短半轴为b，任意一点N与X轴正向的夹角记为θ，则根据数学几何关系计算，可以求得椭圆上N点的坐标(x,y)与该点对应夹角θ之间的关系为：
x=b*cos[tan-1(b*tanθa)]y=a*sin[tan-1(b*tanθa)]]]>
步骤三，截取感兴趣区域；
驾驶员操作方向盘时，操作手会握住方向盘边缘，为确定方向盘上的操作手位置，以方向盘周边上某点为中心，截取感兴趣区域，通过对感兴趣区域内图像特征的分析，判断感兴趣区域内有无类似手形存在。
由步骤二可求出方向盘上任一点N的坐标，该点坐标确定后，以该点为中心，选取30*60大小的窗口截取感兴趣区域，该矩形感兴趣区域的中心线与X轴正方向的夹角记为
步骤四，感兴趣区域预处理；
1)、将感兴趣区域按顺时针方向旋转角度，完成感兴趣区域的角度归一化处理，以便对以不同角度截取的感兴趣区域进行比较分析。
2)、将彩色图像转换为相应灰度图像。
3)、使用超限邻域平均法对图像进行平滑处理，以此消除感兴趣区域图像中可能存在的随机噪声，保护较小灰度差的图像细节。
4)、使用直方图均衡化的方法增强图像处理，增加图像的局部对比度。
5)、使用大津算法计算自适应阈值并对图像进行二值化处理，将图像分成背景和前景两部分，得到感兴趣区域二值化后的灰度图。
步骤五，感兴趣区域操作手检测
当手握住方向盘时，方向盘的局部或全部会被手覆盖，手的宽度明显大于方向盘的宽度，方向盘在感兴趣区域中只占少许的宽度。
1)、将二值化后的图像表示在二维坐标系中，其中每一个坐标点(x，y)对应图像上的像素点。将图像向X轴方向投影，得到其n-X统计曲线，其中n为每一列中灰度值为1(前景)的像素点数。
2)、设定双阈值T1、T2并以此判断图像中是否有操作手存在。当n(x)>T1时，表明在一列像素点中存在较多白点；当X方向上，有连续列的n(x)>T1时，令Δl为这些连续长度中的最大值，当Δl>T2时，即认为图像中有类似手形存在。
步骤六，全方向盘操作手检测
1)、当一个感兴趣区域检测完成后，按照逆时针方向，以一度为步长搜索整个方向盘区域，可以提取到360个大小相同的感兴趣区域，对360个感兴趣区域逐一进行检测，可以得到每个感兴趣区域是否有类似手形存在。用1表示感兴趣区域有类似手形存在，0表示感兴趣区域无类似手形存在。则当全方向盘搜索完成后，每个感兴趣区域都对应一个0或1的结果；
2)、将每个感兴趣区域对应的值绘制在二维坐标空间中，得到图像的统计曲线，其中表示感兴趣区域中心线与X轴正方向的夹角，V表示感兴趣区域对应的值。根据方向盘上不同数目的操作手情况，可能出现如图4所示的3种曲线结果。
3)、设定阈值L，计算V＝1的连续区域的长度，当方向上，时，即认为方向盘在该处有操作手存在并进行计数，同时取连续区域的几何中心线所对应值标记为该操作手的位置，如图4中出现的所示。根据操作手位置可以辨别出方向盘上的操作手是左手(取值为180～360)还是右手(取值为0～180)。
图5是本发明中控制模块的预警逻辑判断流程图；
驾驶员手离方向盘包括正常手离方向盘和异常手离方向盘两种。通常，正确的方向盘握法是左手应握在时钟的9:00～10:00时的位置；右手应握在时钟的3:00～4:00时的位置，两只手接近对称地放在方向盘两侧，因为左右手的分工不同，因此其被判断为异常手离方向盘行为的时间界定依据不同。控制模块接收数字信号处理器的输出结果，并根据不同的检测结果进行分析、做出预警判断。
1)、检测结果为左操作手离开方向盘
一般情况下，驾驶员左手应时刻稳握方向盘，但根据每个驾驶员的操作习惯不同，在转动方向盘等行为出现时，图像检测中可能出现短暂检测不到左操作手的现象。设定阈值t1为安全时间，则当图像检测结果中左操作手持续离开方向盘的时间t>t1时，控制模块进行驾驶员危险行为预警，提醒驾驶员注意手离方向盘这一异常行为，督促其安全驾驶。
2)、检测结果为右操作手离开方向盘
一般情况下，驾驶员右手也应时刻稳握方向盘，但对于手动挡车型，右手也要配合进行换挡等操作。除此之外，驾驶员多习惯用右手调节各种中控台上的按钮，右手也要配合转动方向盘等正常驾驶行为。但是在其余时间下，驾驶员右手应稳握方向盘，也就是说允许检测出右操作手离开方向盘这一行为的时间是有限制的。设定阈值t2为安全时间，则当图像检测结果中右操作手持续离开方向盘的时间t>t2时，控制模块进行驾驶员危险行为预警，提醒驾驶员注意手离方向盘这一异常行为，督促其安全驾驶。
3)、检测结果为双手离开方向盘
理论上讲，在车辆正常行驶时，不应该出现双手离开方向盘这一异常驾驶行为，因而对这种情况下的手离开方向盘安全时间限定相对于前两种单手离开方向盘的情况而言更为严苛。
根据大中型客车行驶方面相关统计数据，假定客车以速度V₀(常数)行驶，设定车辆危险距离为S₀(常数)，即驾驶员在出现双手离开方向盘这一异常驾驶行为情况下车辆开出S₀米会造成危险，则由此可求出对应安全时间t3，计算公式为：
t3＝S₀/V₀
当图像检测结果中驾驶员双手持续离开方向盘的时间t>t3时，控制模块进行驾驶员危险行为预警，提醒驾驶员注意手离方向盘这一异常行为，督促其安全驾驶。
4)、检测结果为双手均在方向盘上
系统判定结果为驾驶员正常驾驶，不采取预警措施。
实际处理中，由数字信号处理器输出的为图像分析检测与统计结果，控制模块需要将图像检测结果中的目标图像帧数与其对应的时间进行相应换算，以完成相应事件的时间判断。其换算过程如下所示：
方向盘上操作手检测程序的运行时间t_o是恒定的，故在预警系统预设的安全时间内，视频检测总帧数m可由以下式子计算得出：
m＝安全时间/t_o
由于算法存在误差，根据实验统计数据中算法的准确率确定修正系数η，所以在设计报警触发条件时，触发报警的帧数为：
m′＝m*η
即当连续检测m帧图片时，其中有超过m′帧为对应的三种手离方向盘情况中的某一种时，就触发报警，提示驾驶员注意安全驾驶并将当前含有驾驶员违规操作行为的图片上传到后台。

资源描述

《客车驾驶员手离方向盘检测预警系统及预警方法.pdf》由会员分享，可在线阅读，更多相关《客车驾驶员手离方向盘检测预警系统及预警方法.pdf（16页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN104276080A43申请公布日20150114CN104276080A21申请号201410549439X22申请日20141016B60Q5/00200601B60Q9/0020060171申请人北京航空航天大学地址100191北京市海淀区学院路37号72发明人余贵珍韩蕾王云鹏于海洋刘浩74专利代理机构北京永创新实专利事务所11121代理人赵文颖54发明名称客车驾驶员手离方向盘检测预警系统及预警方法57摘要本发明公开了一种客车驾驶员手离方向盘检测预警系统及预警方法，系统包括摄像头、数字信号处理器、GPS模块、控制模块、GPRS模块；方法包括步骤一采集驾驶员操作方向盘的图。

2、像；步骤二采用操作手检测识别方法，对图像进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；步骤三采用预警逻辑判断方法，判断是否触发预警信号；步骤四输出信息至上位机；本发明中容易设置、视觉系统体积小、图像处理拥有较普及的基础技术平台、对驾驶员身体不存在任何强制干涉、成本较低等。51INTCL权利要求书3页说明书8页附图4页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书8页附图4页10申请公布号CN104276080ACN104276080A1/3页21一种客车驾驶员手离方向盘检测预警系统，包括摄像头、数字信。

3、号处理器、GPS模块、控制模块、GPRS模块；摄像头安装在驾驶员与方向盘二者的对称中心平面内，摄像头采集驾驶员操作方向盘的图像，图像输出至数字信号处理器，数字信号处理器采用操作手检测识别方法对采集到的图像信息进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘，将结果输出至控制模块，控制模块通过预警逻辑判断方法，判断是否触发预警信号，得到预警结果，GPS模块对车辆进行远距离定位、检测车辆状态信息，GPS模块采集的车辆状态信息、控制模块得到的预警结果通过GPRS模块输出至上位机。2一种客车驾驶员手离方向盘检测预警方法，包括以下几个步。

4、骤步骤一采集驾驶员操作方向盘的图像；步骤二采用操作手检测识别方法，对图像进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；首先确定图像中方向盘的位置，建立系统坐标系，通过计算确定图像中方向盘中心线上点的坐标，以此坐标点为中心截取感兴趣区域，对感兴趣区域进行图像预处理，采取双阈值的判定法判断单一感兴趣区域中是否有类似手形存在，然后再以步长X沿图像中方向盘中心线按逆时针方向检测全方向盘区域，计算出方向盘截取的每块感兴趣区域所对应的值，判断方向盘上操作手的数目和位置，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开。

5、方向盘；步骤三采用预警逻辑判断方法，判断是否触发预警信号；1、当检测结果为左操作手离开方向盘；设定阈值T1为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为TO，在安全时间T1内，视频检测总帧数M为MT1/TO设定修正系数，触发报警的帧数为MM即当连续检测M帧图片时，其中有超过M帧为左操作手离开方向盘时，触发预警信号；2、当检测结果为右操作手离开方向盘设定阈值T2为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为TO，在安全时间T2内，视频检测总帧数M为MT2/TO设定修正系数，触发报警的帧数为MM即当连续检测M帧图片时，其中有超过M帧为右操作手离开方向盘时，触发预警信号；3、。

6、当检测结果为双手离开方向盘设定阈值T3为安全时间，假定客车以速度V0行驶，设定车辆危险距离为S0，安全时间T3权利要求书CN104276080A2/3页3为T3S0/V0步骤二中操作手检测识别方法检测一帧图像的时间为TO，在安全时间T3内，视频检测总帧数M为MT3/TO设定修正系数，触发报警的帧数为MM即当连续检测M帧图片时，其中有超过M帧为双手离开方向盘时，触发预警信号；4、当检测结果为双手均在方向盘上判定驾驶员正常驾驶，不触发预警信号；步骤四输出信息至上位机；GPS对车辆进行远距离定位、检测车辆状态信息，将GPS采集的车辆状态信息，步骤三中得到的预警结果，通过GPRS网络输出至上位机。3根。

7、据权利要求2所述的一种客车驾驶员手离方向盘检测预警方法，所述的步骤二具体包括步骤一标定方向盘位置；图像中方向盘为椭圆形，确定方向盘椭圆的中心，将方向盘所在区域包含在椭圆环内，确定方向盘在图像中的位置；步骤二方向盘周边点坐标的计算；以椭圆中心为坐标系的中心，以椭圆短轴为X轴、椭圆长轴为Y轴，建立坐标系，椭圆的长半轴为A，短半轴为B，任意一点N与X轴正向的夹角记为，椭圆上N点的坐标X,Y与该点对应夹角之间的关系为步骤三截取感兴趣区域；以任一点N点为中心，选取的窗口截取感兴趣区域，该矩形感兴趣区域的中心线与X轴正方向的夹角记为步骤四感兴趣区域预处理；1、将感兴趣区域按顺时针方向旋转角度；2、将彩色图。

8、像转换为相应灰度图像；3、使用超限邻域平均法对图像进行平滑处理；4、使用直方图均衡化的方法增强图像处理；5、使用大津算法计算自适应阈值并对图像进行二值化处理，将图像分成背景和前景两部分，得到感兴趣区域二值化后的灰度图；步骤五感兴趣区域操作手检测；1、将二值化后的图像表示在二维坐标系中，其中每一个坐标点X，Y对应图像上的像素点；将图像向X轴方向投影，得到其NX统计曲线，其中N为每一列中灰度值为1的像权利要求书CN104276080A3/3页4素点数；2、设定双阈值T1、T2，当X方向上，有连续列的NXT1时，令1为连续长度中的最大值，当1T2时，即认为图像中有类似手形存在；步骤六全方向盘操作手检。

9、测；1、当一个感兴趣区域检测完成后，按照逆时针方向，以一度为步长搜索整个方向盘区域，提取到360个大小相同的感兴趣区域，对360个感兴趣区域逐一进行检测，得到每个感兴趣区域是否有类似手形存在；用1表示感兴趣区域有类似手形存在，0表示感兴趣区域无类似手形存在；则当全方向盘搜索完成后，每个感兴趣区域都对应一个0或1的结果；2、将每个感兴趣区域对应的值绘制在二维坐标空间中，得到图像的统计曲线，其中表示感兴趣区域中心线与X轴正方向的夹角，V表示感兴趣区域对应的值；3、设定阈值L，计算V1的连续区域的长度，当方向上，时，即认为方向盘在该处有操作手存在并进行计数，同时取连续区域的几何中心线所对应的值标记为。

10、该操作手的位置，根据操作手位置可以辨别出方向盘上的操作手是左手还是右手；左手时取值为180360，右手时取值为0180；最终判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘。权利要求书CN104276080A1/8页5客车驾驶员手离方向盘检测预警系统及预警方法技术领域0001本发明涉及一种客车驾驶员手离方向盘检测预警系统及预警方法，属于汽车安全驾驶督导技术领域。背景技术0002随着社会经济的不断发展，机动车保有量逐年快速增长，交通事故一直居高不下。研究表明，驾驶员人为因素引起的交通事故数量占总数的90以上，其中87是由机动车驾驶员的违规操作、经验不足、行为规范性差等原因。

11、造成。驾驶员的违法驾驶行为与其不正确的驾驶操作密切相关，特别是驾驶员手离开方向盘这一驾驶行为，该行为极易被驾驶员忽视，致使驾驶员因缺乏足够的注意力而忽视道路上的危险，容易造成严重的危害。例如在遇到紧急情况时，如突发的车辆爆胎、道路情况发生变化或前方突然出现车辆等，极易对车辆控制不及时，从而产生极其严重的后果。0003研究表明，驾驶员对方向盘的有效操纵减弱以及注意力的分散会增加驾驶过程中的安全隐患。通过对我国山区公路上交通事故的分析发现，大客车、中型客车等营运车辆是一次性死亡十人以上的特大事故主要肇事车型，而驾驶员的错误驾驶行为是导致这些事故产生的主要原因。0004目前，我国一些大客车、中型客车。

12、等营运车辆安装了监控摄像头，但由于缺乏相应的技术手段，无法实现对危险驾驶行为的预警，不能真正地起到督导驾驶员安全行车的目的。实时监测和智能评估驾驶员的驾驶行为和驾驶状态，有助于及早发现可能的操作失误，避免交通事故的发生，提高交通效率。驾驶员手离方向盘行为检测是驾驶员驾驶行为检测技术的重要组成部分。0005驾驶员手离方向盘行为检测的研究有利于及时发现驾驶员在驾驶过程中违规操作方向盘的行为，提醒驾驶员及时修正其违规驾驶行为，督促驾驶员养成良好的操作方向盘习惯，对减少交通事故的发生、提高交通效率具有重要意义。发明内容0006本发明的目的是为了解决上述问题，提供了一种具有预警、通信和定位功能的用于督导。

13、驾驶员安全驾驶的车载终端装置，提出一种可安装在大中型客车上的实时的基于机器视觉的检测驾驶员手离方向盘的检测预警系统及该系统的手检测、判断预警的方法。0007一种客车驾驶员手离方向盘检测预警系统，包括摄像头、数字信号处理器、GPS模块、控制模块、GPRS模块；0008摄像头安装在驾驶员与方向盘二者的对称中心平面内，摄像头采集驾驶员操作方向盘的图像，图像输出至数字信号处理器，数字信号处理器采用操作手检测识别方法对采集到的图像信息进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘，将结果输出至控制模块，控制模块通过预警逻辑判断方法，判。

14、断是否触发预警信号，得到预警结果，GPS模块对车辆进行说明书CN104276080A2/8页6远距离定位、检测车辆状态信息，GPS模块采集的车辆状态信息、控制模块得到的预警结果通过GPRS模块输出至上位机。0009一种客车驾驶员手离方向盘检测预警方法，包括以下几个步骤0010步骤一采集驾驶员操作方向盘的图像；0011步骤二采用操作手检测识别方法，对图像进行计算，对驾驶员的手离方向盘状态进行判别，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；0012首先确定图像中方向盘的位置，建立系统坐标系，通过计算确定图像中方向盘中心线上点的坐标，以此坐标点为中心截取感兴趣区域，对。

15、感兴趣区域进行图像预处理，采取双阈值的判定法判断单一感兴趣区域中是否有类似手形存在，然后再以步长X沿图像中方向盘中心线按逆时针方向检测全方向盘区域，计算出方向盘截取的每块感兴趣区域所对应的值，判断方向盘上操作手的数目和位置，判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘；0013步骤三采用预警逻辑判断方法，判断是否触发预警信号；00141、当检测结果为左操作手离开方向盘；0015设定阈值T1为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为TO，在安全时间T1内，视频检测总帧数M为0016MT1/T00017设定修正系数，触发报警的帧数为0018MM0019即。

16、当连续检测M帧图片时，其中有超过M帧为左操作手离开方向盘时，触发预警信号；00202、当检测结果为右操作手离开方向盘0021设定阈值T2为安全时间，步骤二中操作手检测识别方法检测一帧图像的时间为TO，在安全时间T2内，视频检测总帧数M为0022MT2/TO0023设定修正系数，触发报警的帧数为0024MM0025即当连续检测M帧图片时，其中有超过M帧为右操作手离开方向盘时，触发预警信号；00263、当检测结果为双手离开方向盘0027设定阈值T3为安全时间，假定客车以速度V0行驶，设定车辆危险距离为S0，安全时间T3为0028T3S0/V00029步骤二中操作手检测识别方法检测一帧图像的时间为T。

17、O，在安全时间T3内，视频检测总帧数M为0030MT3/TO0031设定修正系数，触发报警的帧数为0032MM说明书CN104276080A3/8页70033即当连续检测M帧图片时，其中有超过M帧为双手离开方向盘时，触发预警信号；00344、当检测结果为双手均在方向盘上0035判定驾驶员正常驾驶，不触发预警信号；0036步骤四输出信息至上位机；0037GPS对车辆进行远距离定位、检测车辆状态信息，将GPS采集的车辆状态信息，步骤三中得到的预警结果，通过GPRS网络输出至上位机。0038所述的步骤二具体包括0039步骤一标定方向盘位置；0040图像中方向盘为椭圆形，确定方向盘椭圆的中心，将方向盘。

18、所在区域包含在椭圆环内，确定方向盘在图像中的位置；0041步骤二方向盘周边点坐标的计算；0042以椭圆中心为坐标系的中心，以椭圆短轴为X轴、椭圆长轴为Y轴，建立坐标系，椭圆的长半轴为A，短半轴为B，任意一点N与X轴正向的夹角记为，椭圆上N点的坐标X,Y与该点对应夹角之间的关系为00430044步骤三截取感兴趣区域；0045以任一点N点为中心，选取的窗口截取感兴趣区域，该矩形感兴趣区域的中心线与X轴正方向的夹角记为0046步骤四感兴趣区域预处理；00471、将感兴趣区域按顺时针方向旋转角度；00482、将彩色图像转换为相应灰度图像；00493、使用超限邻域平均法对图像进行平滑处理；00504、使。

19、用直方图均衡化的方法增强图像处理；00515、使用大津算法计算自适应阈值并对图像进行二值化处理，将图像分成背景和前景两部分，得到感兴趣区域二值化后的灰度图；0052步骤五感兴趣区域操作手检测；00531、将二值化后的图像表示在二维坐标系中，其中每一个坐标点X，Y对应图像上的像素点；将图像向X轴方向投影，得到其NX统计曲线，其中N为每一列中灰度值为1的像素点数；00542、设定双阈值T1、T2，当X方向上，有连续列的NXT1时，令L为连续长度中的最大值，当LT2时，即认为图像中有类似手形存在；0055步骤六全方向盘操作手检测；00561、当一个感兴趣区域检测完成后，按照逆时针方向，以一度为步长搜。

20、索整个方向盘区域，提取到360个大小相同的感兴趣区域，对360个感兴趣区域逐一进行检测，得到每个感兴趣区域是否有类似手形存在；用1表示感兴趣区域有类似手形存在，0表示感兴趣区说明书CN104276080A4/8页8域无类似手形存在；则当全方向盘搜索完成后，每个感兴趣区域都对应一个0或1的结果；00572、将每个感兴趣区域对应的值绘制在二维坐标空间中，得到图像的统计曲线，其中表示感兴趣区域中心线与X轴正方向的夹角，V表示感兴趣区域对应的值；00583、设定阈值L，计算V1的连续区域的长度，当方向上，时，即认为方向盘在该处有操作手存在并进行计数，同时取连续区域的几何中心线所对应的值标记为该操作手的。

21、位置，根据操作手位置可以辨别出方向盘上的操作手是左手还是右手；左手时取值为180360，右手时取值为0180；0059最终判断出驾驶员是否左操作手离开方向盘、右操作手离开方向盘或者双手离开方向盘。0060本发明的优点在于00611本发明中客车驾驶员手离方向盘行为检测的方法是基于机器视觉，该检测预警系统及检测预警方法具有很多优点，主要包括容易设置、视觉系统体积小、图像处理拥有较普及的基础技术平台、对驾驶员身体不存在任何强制干涉、成本较低等；00622基于机器视觉的检测预警方法对驾驶员的身体不存在任何强制干涉、造成的干扰最小，能直接检测驾驶行为、实现及时预警，系统容易设置，视觉系统体积小，成本较低。

22、，与GPS、GPRS配套使用，可以实现车辆实时在线远程检测。附图说明0063图1是客车驾驶员手离方向盘检测预警系统的结构框图；0064图2是在方向盘上的操作手检测识别算法流程图；0065图3是在方向盘上建立二维坐标系的说明图；0066图4是操作手检测识别算法中的统计曲线图；0067图5是本发明中控制模块的预警逻辑判断流程图。0068图中00691摄像头2数字信号处理器3GPS模块00704控制模块5GPRS模块具体实施方式0071下面将结合附图和实施例对本发明作进一步的详细说明。0072本发明是一种客车驾驶员手离方向盘检测预警系统，如图1所示，包括摄像头1、数字信号处理器2、GPS模块3、控制。

23、模块4、GPRS模块5；0073摄像头1对驾驶员操作方向盘的行为进行信息采集，数字信号处理器2对摄像头1采集到的图像信息进行算法分析和处理，GPS模块3实现车辆远距离定位、检测车辆运行状态，控制模块4分析数字信号处理器输出结果、接收GPS模块3传来的车辆状态信息采集、做出驾驶员危险行为预警判断，GPRS模块5传递数据信息、与远程上位机通信；0074摄像头1安装在驾驶员与方向盘二者的对称中心平面内，即驾驶员的正前上方；检测预警系统通过摄像头1采集驾驶员操作方向盘的图像，摄像头1的输出端连接数字信号处理器2的输入端，数字信号处理器2的输出端、GPS模块3分别连接控制模块4，由控制说明书CN1042。

24、76080A5/8页9模块4处理，做出预警判断并通过GPRS模块5的GPRS网络与远程上位机通信，实现数据与信息的传输。0075检测预警系统通过摄像头1采集驾驶员操作方向盘的图像，数字信号处理器2使用图像处理算法对采集到的图像信息进行计算，通过定位方向盘、提取驾驶员的操作手位置信息等算法对驾驶员的手离方向盘状态进行判别，数字信号处理器2的处理结果传输至控制模块4，控制模块4通过预先设定的逻辑对是否触发预警信号进行分析处理，并负责将GPS模块3传来的车辆状态信息采集、判别结果通过预警系统反馈给驾驶员及同时将数据通过GPRS模块5的GPRS网络发送到远程监控中心。对驾驶员的手离方向盘这一危险驾驶行。

25、为实现实时监测与预警，起到督导驾驶员安全行车的目的，并通过实时远程输送检测结果及车辆运行状态等信息，为规范驾驶员驾驶行为和制定相关的安全驾驶保障规章制度提供数据支持和科学依据。0076本发明中，摄像头1安装在驾驶员与方向盘二者的对称中心平面内，即驾驶员的正前上方，既不会对驾驶员的正常驾驶行为产生干扰，又能完整获得驾驶员操纵方向盘的行为，这样采集到的图像为后续的算法分析和处理提供了便利。0077本发明中，摄像头1的输出端连接数字信号处理器2的输入端，数字信号处理器2对摄像头1采集到的图像信号经过解码转换成相应的数字视频信号并访问存储器对视频数据进行处理，处理后经过编码的模拟视频信号及分析结果被传。

26、输至控制模块4。0078本发明中，控制模块4对整个系统起到协调、控制的作用。它接收数字信号处理器2的输出结果及GPS模块3传来的车辆状态信息，并依靠自身设置的预警判断逻辑对驾驶员危险驾驶行为进行预警。同时，它与GPRS模块5相连，根据设定将数据通过GPRS网络与远程上位机进行通信。0079本发明中，GPS模块3实现车辆的远距离定位，方便随时了解车辆的运行状态，它与客车驾驶员手离方向盘检测预警系统配合，实现远距离检测车辆动态、驾驶员手离方向盘这一驾驶行为。0080本发明中，GPRS模块5实现数据与信息的传递，汇集的驾驶员手离方向盘检测结果与位置信息等通过GPRS网络与远程上位机通信，使得驾驶员手。

27、离方向盘这一驾驶行为、车辆的运行状态信息得以及时更新，用户可以通过上位机随时得到这些远程的状态信息。0081本发明采用非接触式检测方式，对驾驶员的身体不存在任何强制干涉，造成的干扰最小，能直接检测驾驶行为、实现及时预警，系统容易设置，视觉系统体积小，成本较低，与GPS、GPRS配套使用，可以实现车辆实时在线远程检测。0082图2是数字信号处理器2中在方向盘上的操作手检测识别算法流程图0083检测预警系统通过摄像头1采集驾驶员操作方向盘的图像，首先使用数字信号处理器2中的图像处理算法进行方向盘检测，定位出方向盘所在的图像区域；在定位出的方向盘图像区域中提取驾驶员的操作手位置信息；利用提取出的操作。

28、手的信息判断驾驶员手部图像的状态；进而对驾驶员的当前行为进行判别；综合多帧图像的判别结果对驾驶员手离方向盘实施行为判别；最终将处理结果传输给控制模块4。0084方向盘上的操作手检测识别算法是基于机器视觉。首先确定图像中方向盘的位置，建立系统坐标系，通过计算确定图像中方向盘中心线上点的坐标，以此坐标点为中心截取适当大小的感兴趣区域，对感兴趣区域进行图像预处理之后，采取双阈值的判定法判断说明书CN104276080A6/8页10单一感兴趣区域中是否有类似手形存在，之后再以一定的步长沿图像中方向盘中心线按逆时针方向检测全方向盘区域，由此可以计算出方向盘截取的每块感兴趣区域所对应的值，并以此为依据来判。

29、断出方向盘上操作手的数目和位置。其具体处理步骤如下0085步骤一，标定方向盘位置；0086摄像头1固定在方向盘与驾驶员的正前上方，与方向盘之间的相对位置固定不变，因此方向盘在图像中将具有确定的位置。方向盘实物形状为圆形，但由于摄像头1的畸变效应，方向盘在图像中的形状畸变成椭圆形，所以在图像中将方向盘视为椭圆处理。通过手动标定的方式确定方向盘椭圆的中心，将方向盘所在区域包含在椭圆环内，即可确定方向盘在图像中的位置。0087步骤二，方向盘周边点坐标的计算；0088方向盘的数学模型可以用椭圆表示，因此其上各点的坐标可以通过计算椭圆上相应点的坐标得到。以椭圆中心为坐标系的中心，以椭圆短轴为X轴、椭圆长。

30、轴为Y轴，建立坐标系，如图3所示。椭圆的长半轴为A，短半轴为B，任意一点N与X轴正向的夹角记为，则根据数学几何关系计算，可以求得椭圆上N点的坐标X,Y与该点对应夹角之间的关系为00890090步骤三，截取感兴趣区域；0091驾驶员操作方向盘时，操作手会握住方向盘边缘，为确定方向盘上的操作手位置，以方向盘周边上某点为中心，截取感兴趣区域，通过对感兴趣区域内图像特征的分析，判断感兴趣区域内有无类似手形存在。0092由步骤二可求出方向盘上任一点N的坐标，该点坐标确定后，以该点为中心，选取3060大小的窗口截取感兴趣区域，该矩形感兴趣区域的中心线与X轴正方向的夹角记为0093步骤四，感兴趣区域预处理；。

31、00941、将感兴趣区域按顺时针方向旋转角度，完成感兴趣区域的角度归一化处理，以便对以不同角度截取的感兴趣区域进行比较分析。00952、将彩色图像转换为相应灰度图像。00963、使用超限邻域平均法对图像进行平滑处理，以此消除感兴趣区域图像中可能存在的随机噪声，保护较小灰度差的图像细节。00974、使用直方图均衡化的方法增强图像处理，增加图像的局部对比度。00985、使用大津算法计算自适应阈值并对图像进行二值化处理，将图像分成背景和前景两部分，得到感兴趣区域二值化后的灰度图。0099步骤五，感兴趣区域操作手检测0100当手握住方向盘时，方向盘的局部或全部会被手覆盖，手的宽度明显大于方向盘的宽度，。

32、方向盘在感兴趣区域中只占少许的宽度。01011、将二值化后的图像表示在二维坐标系中，其中每一个坐标点X，Y对应图像说明书CN104276080A107/8页11上的像素点。将图像向X轴方向投影，得到其NX统计曲线，其中N为每一列中灰度值为1前景的像素点数。01022、设定双阈值T1、T2并以此判断图像中是否有操作手存在。当NXT1时，表明在一列像素点中存在较多白点；当X方向上，有连续列的NXT1时，令L为这些连续长度中的最大值，当LT2时，即认为图像中有类似手形存在。0103步骤六，全方向盘操作手检测01041、当一个感兴趣区域检测完成后，按照逆时针方向，以一度为步长搜索整个方向盘区域，可以提。

33、取到360个大小相同的感兴趣区域，对360个感兴趣区域逐一进行检测，可以得到每个感兴趣区域是否有类似手形存在。用1表示感兴趣区域有类似手形存在，0表示感兴趣区域无类似手形存在。则当全方向盘搜索完成后，每个感兴趣区域都对应一个0或1的结果；01052、将每个感兴趣区域对应的值绘制在二维坐标空间中，得到图像的统计曲线，其中表示感兴趣区域中心线与X轴正方向的夹角，V表示感兴趣区域对应的值。根据方向盘上不同数目的操作手情况，可能出现如图4所示的3种曲线结果。01063、设定阈值L，计算V1的连续区域的长度，当方向上，时，即认为方向盘在该处有操作手存在并进行计数，同时取连续区域的几何中心线所对应值标记为。

34、该操作手的位置，如图4中出现的所示。根据操作手位置可以辨别出方向盘上的操作手是左手取值为180360还是右手取值为0180。0107图5是本发明中控制模块的预警逻辑判断流程图；0108驾驶员手离方向盘包括正常手离方向盘和异常手离方向盘两种。通常，正确的方向盘握法是左手应握在时钟的9001000时的位置；右手应握在时钟的300400时的位置，两只手接近对称地放在方向盘两侧，因为左右手的分工不同，因此其被判断为异常手离方向盘行为的时间界定依据不同。控制模块接收数字信号处理器的输出结果，并根据不同的检测结果进行分析、做出预警判断。01091、检测结果为左操作手离开方向盘0110一般情况下，驾驶员左手。

35、应时刻稳握方向盘，但根据每个驾驶员的操作习惯不同，在转动方向盘等行为出现时，图像检测中可能出现短暂检测不到左操作手的现象。设定阈值T1为安全时间，则当图像检测结果中左操作手持续离开方向盘的时间TT1时，控制模块进行驾驶员危险行为预警，提醒驾驶员注意手离方向盘这一异常行为，督促其安全驾驶。01112、检测结果为右操作手离开方向盘0112一般情况下，驾驶员右手也应时刻稳握方向盘，但对于手动挡车型，右手也要配合进行换挡等操作。除此之外，驾驶员多习惯用右手调节各种中控台上的按钮，右手也要配合转动方向盘等正常驾驶行为。但是在其余时间下，驾驶员右手应稳握方向盘，也就是说允许检测出右操作手离开方向盘这一行为。

36、的时间是有限制的。设定阈值T2为安全时间，则当图像检测结果中右操作手持续离开方向盘的时间TT2时，控制模块进行驾驶员危险行为预警，提醒驾驶员注意手离方向盘这一异常行为，督促其安全驾驶。01133、检测结果为双手离开方向盘0114理论上讲，在车辆正常行驶时，不应该出现双手离开方向盘这一异常驾驶行为，因说明书CN104276080A118/8页12而对这种情况下的手离开方向盘安全时间限定相对于前两种单手离开方向盘的情况而言更为严苛。0115根据大中型客车行驶方面相关统计数据，假定客车以速度V0常数行驶，设定车辆危险距离为S0常数，即驾驶员在出现双手离开方向盘这一异常驾驶行为情况下车辆开出S0米会造。

37、成危险，则由此可求出对应安全时间T3，计算公式为0116T3S0/V00117当图像检测结果中驾驶员双手持续离开方向盘的时间TT3时，控制模块进行驾驶员危险行为预警，提醒驾驶员注意手离方向盘这一异常行为，督促其安全驾驶。01184、检测结果为双手均在方向盘上0119系统判定结果为驾驶员正常驾驶，不采取预警措施。0120实际处理中，由数字信号处理器输出的为图像分析检测与统计结果，控制模块需要将图像检测结果中的目标图像帧数与其对应的时间进行相应换算，以完成相应事件的时间判断。其换算过程如下所示0121方向盘上操作手检测程序的运行时间TO是恒定的，故在预警系统预设的安全时间内，视频检测总帧数M可由以下式子计算得出0122M安全时间/TO0123由于算法存在误差，根据实验统计数据中算法的准确率确定修正系数，所以在设计报警触发条件时，触发报警的帧数为0124MM0125即当连续检测M帧图片时，其中有超过M帧为对应的三种手离方向盘情况中的某一种时，就触发报警，提示驾驶员注意安全驾驶并将当前含有驾驶员违规操作行为的图片上传到后台。说明书CN104276080A121/4页13图1说明书附图CN104276080A132/4页14图2说明书附图CN104276080A143/4页15图3图4说明书附图CN104276080A154/4页16图5说明书附图CN104276080A16。

展开阅读全文