《一种基于多源信息融合的疲劳检测方法.pdf》由会员分享，可在线阅读，更多相关《一种基于多源信息融合的疲劳检测方法.pdf（10页珍藏版）》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201710583838.1 (22)申请日 2017.07.18 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街西段438号 (72)发明人 金海龙 王晓妍 于晓华 吴頔 李卓阳 刘浩 邱石 (74)专利代理机构 秦皇岛一诚知识产权事务所 (普通合伙) 13116 代理人 李合印 (51)Int.Cl. A61B 5/16(2006.01) A61B 5/0476(2006.01) A61B 5/0402(2006.01) A61B 5/0496(。
2、2006.01) A61B 5/11(2006.01) A61B 5/00(2006.01) (54)发明名称 一种基于多源信息融合的疲劳检测方法 (57)摘要 本发明公开了一种基于多源信息融合的疲 劳检测方法， 分别利用脑电采集设备、 心电采集 设备， 同步采集被试者脑电信号、 眨眼信息和心 电信号； 提取脑电信号特征： 脑电节律波波波 波， 波相对能量； 眼电信息： 眨眼频率E， 眨眼 强度F； 心电特征： 心率值HR， LF， HF； 运用逻辑回 归算法将疲劳程度初步分成三类： 非疲劳、 轻度 疲劳和深度疲劳， 同时， 根据逻辑回归权重筛选 权重较大的特征， 进行特征融合； 融合后的特征。
3、 向量， 采用基于支持向量机的bagging算法重新 分类， 将处理后的特征向量作为bagging算法的 输入， 确定被试者当前疲劳程度； 根据被试者疲 劳程度的分类结果， 采取不同的缓解疲劳方法。 本发明具有适用性强、 疲劳检测精度高、 改善效 果良好等优点。 权利要求书1页 说明书5页 附图3页 CN 107280694 A 2017.10.24 CN 107280694 A 1.一种基于多源信息融合的疲劳检测方法， 其特征在于， 所述方法包括以下步骤： 步骤1， 分别利用脑电采集设备、 心电采集设备， 同步采集被试者脑电信号、 眨眼信息和 心电信号； 步骤2， 提取脑电信号特征： 脑电节。
4、律波波 波 波， 波相对能量； 眼电信息： 眨眼频率 E， 眨眼强度F； 心电特征： 心率值HR， LF， HF； 步骤3， 运用逻辑回归算法将疲劳程度初步分成三类： 非疲劳、 轻度疲劳和深度疲劳， 同 时， 根据逻辑回归权重筛选权重较大的特征， 进行特征融合； 步骤4， 融合后的特征向量， 采用基于支持向量机的bagging算法重新分类， 将处理后的 特征向量作为bagging算法的输入， 确定被试者当前疲劳程度； 步骤5， 提出自适应疲劳改善方法： 根据被试者疲劳程度的分类结果， 采取不同的缓解 疲劳方法。 2.根据权利要求1所述的一种基于多源信息融合的疲劳检测方法， 其特征在于： 步骤1。
5、 中， 所述脑电信号和眨眼信息采集设备为蓝牙脑电耳机， 所述耳机一个输入端与使用者前 额的脑电传感器连接， 另一个输入端与使用者耳部电极连接， 通过干电极获得使用者FP1和 A1信道的脑电波电压变化， 并经内部的放大， 滤波将反应脑电强度的数字信号通过蓝牙方 式输出至脑电信号分析模块； 所述心电信号采集模块为基于BMD101芯片的心电采集电路， 人体心电信号经过2片银-氯化银电极采集后， 经高通滤波器送入BMD101采集器， 经芯片内 部放大， 滤波， 计算输出心电数字信号并通过蓝牙方式送入心电处理模块。 3.根据权利要求1所述的一种基于多源信息融合的疲劳检测方法， 其特征在于： 在步骤 2中。
6、， 采用小波包变换算法， 提取， ， ， 四种节律波， 分别计算四种节律波相对能量E， E， E， E； 利用蓝牙脑电耳机的眨眼信息接口， 记录一分钟内的眨眼次数和强度， 得出眨眼频率 E， 和平均眨眼强度F； 利用中值滤波和平滑滤波去除心电信号基线漂移和其他干扰信号， 记录心电设备输出 的原始心电信号(ECG)， 和心率值(HR)； 采用差分阈值法对ECG信号进行RR间期提取， 并做频 域分析， 生成LF波和HF波， 分别计算LF波和HF波的功率， 作为心电信号特征。 4.根据权利要求1所述的一种基于多源信息融合的疲劳检测方法， 其特征在于： 在步骤 3中， 将步骤2中提出的特征向量归一化处。
7、理后作为输入， 采用多元逻辑回归算法对疲劳状 态进行初步分类， 基于特征向量的特征权重， 筛选主要特征， 并进行特征融合， 提出融合特 征向量E(+ )/ ， E(+ )/ /HR， 眨眼频率E， LF/HF， (LF-HF)/HR。 5.根据权利要求1所述的一种基于多源信息融合的疲劳检测方法， 其特征在于： 步骤5 中， 采取自适应疲劳改善方法： 轻度疲劳阶段， 采用播放音乐疗法； 过度疲劳阶段， 采用音乐 电刺激疗法； 音乐播放和音乐电刺激均由音乐电刺激电路提供。 6.根据权利要求5所述的一种基于多源信息融合的疲劳检测方法， 其特征在于： 所述音 乐电刺激电路主要包括， 存储单元， 主控单。
8、元， 音频解码单元， 信号处理单元， 信号输出单 元， 耳机， 和触摸屏单元； 主控芯片控制音频解码单元读取内存单元中音乐文件， 解码生成 音频信号， 一路经耳机输出， 另一路送入信号处理单元采样放大处理； 放大后信号经与输出 单元相连的电极作用于人体； 输出电流强度， 播放音量等均有主控单元控制； 输出脉冲变化 经LCD屏反馈给被试者。 权 利 要 求 书 1/1 页 2 CN 107280694 A 2 一种基于多源信息融合的疲劳检测方法 技术领域 0001 本发明涉及人体疲劳状态检测领域， 尤其涉及基于多源信息融合的疲劳检测方 法。 背景技术 0002 目前脑力疲劳度的检测方法主要是主观。
9、评测法和客观评测法。 主观评测是通过文 件调查的形式进行， 这种方法能提供关于脑力疲劳的多种信息， 如疲劳出现的时间， 造成疲 劳的原因和主观上的不舒适等。 但主观评测评分标准不易统一， 受记忆和个人原因影响较 大， 从而导致疲劳检测准确度较低。 客观评测法是一种借助仪器设备等辅助工具记录人体 行为、 生理、 生化的某些指标变化并进行评测的方法。 包括(1)心理学、 行为学指标评测法， 主要采用心理运动测验和心理测验对脑力疲劳进行评估。 (2)生理学指标评测法， 脑力疲劳 的生理学指标主要是电生理指标， 如脑电， 眼电， 心电等。 (3)生化指标评测法， 主要涉及疲 劳状态下血液成分， 睡眠激。
10、素或多态的研究。 目前生理学指标评测法研究最为深入， 但具有 设备体积大， 便携性差， 费用高， 单一指标检测准确性低等缺点， 难以应用于日常生活的疲 劳检测。 发明内容 0003 本发明目的在于提供一种方便携带、 操作简单、 疲劳分类准确性高、 疲劳改善效果 明显的基于多源信息融合的疲劳检测方法。 0004 为实现上述目的， 采用了以下技术方案， 本发明所述方法包括以下步骤： 0005 步骤1， 分别利用脑电采集设备、 心电采集设备， 同步采集被试者脑电信号、 眨眼信 息和心电信号； 0006 步骤2， 提取脑电信号特征： 脑电节律波波 波 波， 波相对能量； 眼电信息： 眨眼 频率E， 眨。
11、眼强度F； 心电特征： 心率值HR， LF， HF； 0007 步骤3， 运用逻辑回归算法将疲劳程度初步分成三类： 非疲劳、 轻度疲劳和深度疲 劳， 同时， 根据逻辑回归权重筛选权重较大的特征， 进行特征融合； 0008 骤4， 融合后的特征向量， 采用基于支持向量机的bagging算法重新分类， 将处理后 的特征向量作为bagging算法的输入， 确定被试者当前疲劳程度； 0009 步骤5， 提出自适应疲劳改善方法： 根据被试者疲劳程度的分类结果， 采取不同的 缓解疲劳方法。 0010 进一步的， 步骤1中， 所述脑电信号和眨眼信息采集设备为蓝牙脑电耳机， 所述耳 机一个输入端与使用者前额的。
12、脑电传感器连接， 另一个输入端与使用者耳部电极连接， 通 过干电极获得使用者FP1和A1信道的脑电波电压变化， 并经内部的放大， 滤波将反应脑电强 度的数字信号通过蓝牙方式输出至脑电信号分析模块； 所述心电信号采集模块为基于 BMD101芯片的心电采集电路， 人体心电信号经过2片银-氯化银电极采集后， 经高通滤波器 送入BMD101采集器， 经芯片内部放大， 滤波， 计算输出心电数字信号并通过蓝牙方式送入心 说 明 书 1/5 页 3 CN 107280694 A 3 电处理模块。 0011 进一步的， 在步骤2中， 采用小波包变换算法， 提取， ， ， 四种节律波， 分别计算 四种节律波相对。
13、能量E， E， E， E； 0012 利用蓝牙脑电耳机的眨眼信息接口， 记录一分钟内的眨眼次数和强度， 得出眨眼 频率E， 和平均眨眼强度F； 0013 利用中值滤波和平滑滤波去除心电信号基线漂移和其他干扰信号， 记录心电设备 输出的原始心电信号(ECG)， 和心率值(HR)； 采用差分阈值法对ECG信号进行RR间期提取， 并 做频域分析， 生成LF波和HF波， 分别计算LF波和HF波的功率， 作为心电信号特征。 0014 进一步的， 0015 在步骤3中， 将步骤2中提出的特征向量归一化处理后作为输入， 采用多元逻辑回 归算法对疲劳状态进行初步分类， 基于特征向量的特征权重， 筛选主要特征，。
14、 并进行特征融 合， 提出融合特征向量E(+ )/ 、 E(+ )/ /HR、 眨眼频率E、 LF/HF、 (LF-HF)/HR。 融合后的特征向 量E(+ )/ 、 E(+ )/ /HR、 LF/HF、 (LF-HF)/HR均随着疲劳程度的增加而增加， 眨眼频率E在非疲 劳状态下的范围为720,其他情况视为疲劳状态。 0016 进一步的， 步骤5中， 采取自适应疲劳改善方法： 轻度疲劳阶段， 采用播放音乐疗 法； 过度疲劳阶段， 采用音乐电刺激疗法； 音乐播放和音乐电刺激均由音乐电刺激电路提 供。 0017 进一步的， 所述音乐电刺激电路主要包括， 存储单元， 主控单元， 音频解码单元， 信。
15、 号处理单元， 信号输出单元， 耳机， 和触摸屏单元； 主控芯片控制音频解码单元读取内存单 元中音乐文件， 解码生成音频信号， 一路经耳机输出， 另一路送入信号处理单元采样放大处 理； 放大后信号经与输出单元相连的电极作用于人体； 输出电流强度， 播放音量等均有主控 单元控制； 输出脉冲变化经LCD屏反馈给被试者。 0018 与现有技术相比， 本发明具有如下优点： 0019 1、 基于可穿戴脑电心电设备开发， 便携性强， 克服了大型信号采集设备， 体积大， 价格高， 不能广泛应用的缺点。 0020 2、 采用多源信息融合的疲劳检测算法， 提高了检测的精度和鲁棒性。 0021 3、 采取自适应疲。
16、劳改善方法， 针对性更强， 避免了缓解措施冗余， 改善效果显著。 附图说明 0022 图1是本发明的整体框架图。 0023 图2是音乐电刺激器功能框架图。 0024 图3是音乐电刺激器存储单元原理图。 0025 图4是音乐电刺激器音频解码单元电路图。 0026 图5是音乐电刺激器采样电路原理图。 0027 图6是音乐电刺激器放大部分和输出部分原理图。 0028 附图标号： 1为主控单元、 2为存储单元、 3为音频解码单元、 4为耳机、 5为信号处理 单元、 6为输出单元、 7为触摸屏单元、 5-1为采样电路、 5-2为放大电路。 具体实施方式 说 明 书 2/5 页 4 CN 10728069。
17、4 A 4 0029 下面结合附图对本发明做进一步说明： 0030 结合图1， 疲劳检测包括以下步骤： 0031 步骤1： 分别利用蓝牙采集设备、 心电传感器、 同步采集脑电信号、 眨眼信息和心电 信号。 0032 脑电信号， 眨眼信息采集设备为蓝牙脑电耳机。 该耳机一个输入端与使用者前额 的脑电传感器连接， 另一个输入端与使用者耳部电极连接， 通过干电极获得使用者FP1和A1 信道的脑电波电压变化， 并经内部的放大， 滤波将反应脑电强度的数字信号通过蓝牙方式 输出至脑电信号分析模块。 采样频率为512Hz， 波特率为115200bps。 0033 心电信号采集模块为基于BMD101芯片的心电。
18、采集电路， 人体心电信号经过2片银- 氯化银电极采集后， 经高通滤波器送入BND101采集器， 经芯片内部放大， 滤波， 计算输出心 电数字信号并通过蓝牙方式送入心电处理模块。 0034 步骤2： 脑电信号处理模块接收脑电数据。 采用小波包变换算法， 去除原始脑电信 号(EEG)中其他干扰信号， 并进行： ， ， ， 节律波提取， 分别计算四种节律波能量E， E， E， E。 0035 脑电信号为非平稳信号， 一般频率在0.5100Hz,本发明中的主要频率在0 30Hz。 首先采用高通滤波器滤除频率小于0.5Hz的干扰信号， 然后通过小波包变换算法提取 四种节律波。 0036 小波包变换是在小。
19、波变换的基础上提出的， 小波包变换会同时分析信号的高频和 低频成分， 提供更精确的时频分析。 小波包分解与重构算法公式如下： 0037(快速分解算法)(1) 0038 f(t)为采集到的EEG信号， 该信号在第j层上一共有2j个小波包， 其中第i个小波包 可表示为G、 H代表小波包分解滤波器， 他们分别与小波包函数 j(t)和尺度函数 有关。 式中， t1,2,.,2J-j； i1,2,.,2j； 0039(快速重构算法)(2) 0040g、 h代表小波包重构的滤波器， 其中g与小波函数 j(t)有关， h与尺度函数有 关。 jJ-1,J-2,.,1,0； i2j,2j-1,.,2,1； 00。
20、41 本实施例中利用db4小波对EEG信号进行7层分解。 然后利用小波包重构将各个节 律所对应的子带叠加起来， 即可获得信号的四个节律的时域信息。 0042 根据小波包分解的机理可知， EEG信号的能量可由小波包子带能量表示， 其中各节 点重构信号的能量可表示成：其中表示在时间点t上第j层第i个节点的 小波包分解系数。 EEG信号中各个节律的能量Er为：式中， r代表节律 ， ， 或 ， k的 说 明 书 3/5 页 5 CN 107280694 A 5 取值范围由r代表的节律频带决定。 结合两式求出四种节律波的能量为E， E， E， E。 0043 眨眼信息由蓝牙脑电耳机自带的眨眼信息接口提。
21、供， 记录一分钟内的眨眼次数和 强度， 得出眨眼频率E， 和平均眨眼强度F。 0044 心电信号处理模块接收采集到的心电数据， 解析后记录原始心电信号， 利用中值 滤波和平滑滤波消除基线漂移和去除毛刺。 采用差分阈值法进行R波检测， 提取RR间期。 使 用Lomb-Scargle周期图法对RR间期做谱估计。 提取频域指标HF和LF。 Lomb-Scargle周期图 法是从传统的傅里叶变换频谱分析发展过来的， 给定一段时间序列X(tj)， j1,2,3,., N,功率谱如下： 0045 0046 其中Px(f)是频率f的周期信号的功率， tj是样本时间， N是样本总数， 是时间平移 不变量。 0。
22、047 步骤3： 采用多元逻辑回归算法， 将上述特征值作为回归算法的输入， 对疲劳结果 做初步分类， 并记录每种特征值的权重， 筛除权重小于0.2的特征值。 对剩下的特征值进 行特征融合， 从而提高融合特征与疲劳程度的相关性。 具体如下： 0048 提出融合特征向量： E(+ )/ 、 E(+ )/ /HR、 眨眼频率E、 LF/HF、 (LF-HF)/HR。 0049 随疲劳程度的增加， 脑电信号中， 节律波增加， 节律波减少， E(+ )/随之增加， 心率HR降低， 心率变异性的高频段功率HF降低， 低频段功率LF增加。 眨眼频率E在非疲劳状 态下的范围为720， 其他情况视为疲劳状态。 。
23、因此融合后E(+ )/、 E(+ )/HR、 LF/HF、 (LF- HF)/HR均随着疲劳程度的增加而增加。 0050 步骤4： 将训练集分成20份， 将上述融合特征作为输入， 对每一份训练集进行支持 向量机， 得到20个弱分类器。 结合bagging算法， 对20个弱分类器进行集成学习， 得到强分类 器， 并将强分类器下的分类结果作为最终的疲劳程度分类结果。 0051 步骤5： 提出自适应疲劳改善方法： 根据被试疲劳程度的分类结果， 采取不同的缓 解疲劳方法。 轻度疲劳阶段， 采用播放音乐疗法； 过度疲劳阶段， 采用音乐电刺激疗法； 音乐 播放和音乐电刺激均由音乐电刺激电路提供。 0052。
24、 结合图2， 本发明的音乐电刺激器主要包括主控单元1、 存储单元2、 音频解码单元 3、 耳机4、 信号处理单元5、 输出单元6、 触摸屏单元7。 0053 主控单元控制音频解码单元读取存储单元中的音乐文件， 解码为音频信号， 一路 信号经耳机播放， 另一路信号送至信号处理单元。 。 信号处理单元包括采样电路5-1和放大 电路5-2， 将音频信号采样放大后输出至输出单元， 通过与输出单元相连的电极作用于人 体。 解码后的音频信号可传回主控单元经主控单元内部的A/D转换功能转换为数字信号， 用 于实时观察波形变化， 触摸屏单元与主控单元相连用于显示波形变化， 音量， 曲目等。 0054 下面结合。
25、附图对音乐电刺激单元各个模块做进一步阐述： 0055 主控单元选择STM32F103系列单片机， 通过串口控制音频解码单元读取存储单元 中的音乐文件解码生成音频信号。 经信号处理单元采样， 放大输出至电极。 单片机内部ADC 说 明 书 4/5 页 6 CN 107280694 A 6 可将放大后的音频信号转换成数字信号， 用于在LCD上绘制波形， 反馈给被试者。 同时主控 单元还可以控制音量大小， 以及输出电流强度。 0056 触摸屏单元选择TFTLCD， 通过主控芯片的FSMC控制显示。 可以显示播放曲目， 刺激 波形， 音乐音量等。 实现治疗的数字化和人性化。 0057 STM32F10。
26、3原理图， 及TFTLCD与单片机连接均可从各自说明手册中得到， 在此不再 详述。 0058 存储单元如图3所示， 存储器采用SD卡存储所需的音乐文件， 主控单元控制音频解 码单元读取SD卡中的音乐文件， 解码后生成音频信号。 一路经耳机播放， 一路送至信号处理 单元处理。 0059 音频解码单元如图4所示， A2为音频解码核心芯片搭配外围电路构成音频解码单 元， 管脚1,2,3与存储单元SD卡相连， 管脚4为播放指示灯， 播放时为高电平， 其他位低电平， 5,6管脚为USB接口可通过USB数据线连接电脑， 管脚7,8为内部参考电平， 管脚9,10位音频 输出， 9为左声道， 10为右声道， 。
27、管脚1， 12均为参考电源， 管脚14,15位串口通信引脚， 管脚16 位一线串口引脚。 0060 采样电路如图5所示， 8脚输入可调方波， 当在低电平时， LF398处于截止状态， 输出 电压为0。 当在高电平时， LF398在导通状态， 输出电压等于引脚3的输入电压， 为了使输出的 电压呈一个跟随状态， 引脚6连接一个电阻。 调节脉冲的频率和占空比就可以改变输入波形 的频率和占空比。 0061 放大与输出电路如图6所示， 放大电路包括前置放大电路和功率放大电路， 前置放 大电路由数字电位器U10和集成运放U9A组成， 音乐信号由U10的5脚输入， 由主控单元控制 其阻值大小， 从而改变U9。
28、A同相端的音乐电流强度， 集成运放U9A构成反比例运算放大器增 益倍数为R22/R21。 0062 功率放大器由U8及其外围电路构成， 经前置放大的音乐信号通过CP16输入到U8的 1脚， 2脚接电容CP19与外电阻R30构成交流负反馈， C19和R27为防自激网络， 电源电压为 12V， 静态电路为45mA,输出从CP14的负脚端输出， 输出功率可达6W。 0063 输出电路由继电器K1、 三极管Q1、 耦合变压器T1。 三极管Q1工作在开关状态， 当基 极为低电平时三极管截止， K1接地， 变压器T1没有输出。 当Q1基极接高电平时， Q1饱和导通， 继电器通电， K1闭合， 音乐信号输入。
29、到变压器T1的初级线圈。 经变压器升压后产生很高的刺 激电压， 最后通过电极作用于人体。 0064 以上所述的实施例仅仅是对本发明的优选实施方式进行描述， 并非对本发明的范 围进行限定， 在不脱离本发明设计精神的前提下， 本领域普通技术人员对本发明的技术方 案做出的各种变形和改进， 均应落入本发明权利要求书确定的保护范围内。 说 明 书 5/5 页 7 CN 107280694 A 7 图1 图2 说 明 书 附 图 1/3 页 8 CN 107280694 A 8 图3 图4 说 明 书 附 图 2/3 页 9 CN 107280694 A 9 图5 图6 说 明 书 附 图 3/3 页 10 CN 107280694 A 10 。