《基于移动终端音频的驾驶员细粒度呼吸监测方法及系统.pdf》由会员分享，可在线阅读，更多相关《基于移动终端音频的驾驶员细粒度呼吸监测方法及系统.pdf（16页珍藏版）》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201810581296.9 (22)申请日 2018.06.07 (71)申请人 上海交通大学 地址 200240 上海市闵行区东川路800号 (72)发明人 俞嘉地 徐翔宇 (74)专利代理机构 上海交达专利事务所 31201 代理人 王毓理 王锡麟 (51)Int.Cl. A61B 5/08(2006.01) (54)发明名称 基于移动终端音频的驾驶员细粒度呼吸监 测方法及系统 (57)摘要 一种基于移动终端音频的驾驶员细粒度呼 吸监测方法及系统， 通过在车内以移动终端的音。
2、 频装置发送和接收超声波信号， 从接收信号的频 率谱密度中去除背景信号以及集合经验模态分 解方法去除接收信号中的噪声及动作干扰， 提取 出驾驶员实时的呼吸频率， 经过基于生成对抗网 络的生成模型进行重构并得到实时的驾驶员细 粒度呼吸波形。 本发明利用智能移动终端上的音 频装置(麦克风及扬声器)实时监测驾驶员的呼 吸状况， 并得到包含呼吸频率以及呼吸波形的鲁 棒且细粒度的呼吸监测结果。 权利要求书2页 说明书6页 附图7页 CN 109009125 A 2018.12.18 CN 109009125 A 1.一种基于移动终端音频的驾驶员细粒度呼吸监测方法， 其特征在于， 通过在车内以 移动终端的。
3、音频装置发送和接收超声波信号， 从接收信号的频率谱密度中去除背景信号以 及集合经验模态分解方法去除接收信号中的噪声及动作干扰， 提取出驾驶员实时的呼吸频 率， 经过基于生成对抗网络的生成模型进行重构并得到实时的驾驶员细粒度呼吸波形。 2.根据权利要求1所述的方法， 其特征是， 所述的基于生成对抗网络的生成模型， 通过 以真实采集到的呼吸波形对模型进行训练得到， 能够实时输出细粒度的呼吸波形。 3.根据权利要求2所述的方法， 其特征是， 所述的以真实采集到的呼吸波形是指： 预先 通过可穿戴呼吸监测传感器采集到的驾驶员的呼吸波形， 作为生成对抗网络的真实样本 集。 4.根据权利要求1或2所述的方法。
4、， 其特征是， 所述的基于生成对抗网络的生成模型包 括： 生成模型和判别模型， 其中： 生成模型输入瞬时呼吸频率的希尔伯特谱， 输出为细粒度 的呼吸波形的希尔伯特谱， 目标是使得判别模型认为生成模型的输出来自真实样本集； 判 别模型随机接收生成模型的输出或真实样本集的希尔伯特谱， 目标输出是正确判断输入来 自是来自真实样本集还是生成模型的输出； 生成模型和判别模型形成对抗。 5.根据权利要求4所述的方法， 其特征是， 所述的判别模型的损失函数llc+lr+lad， 其 中： lc为内容损失函数， 代表生成的细粒度的呼吸波形对应的希尔伯特谱和对应的真实呼 吸波形的希尔伯特谱之间的误差，W和H表示。
5、输入和输出的 希尔伯特谱矩阵的长宽， SA和SR分别表示真实呼吸波形的希尔伯特谱和瞬时呼吸频率的希 尔伯特谱， G(SR)表示由生成模型生成的细粒度的呼吸波形对应的希尔伯特谱； lr为重构损 失 函 数 ， 代 表 生 成的 细粒 度的 呼 吸 波 形 和对 应的 真 实呼 吸 波 形 之 间的 误 差 ， TA表示真实的呼吸波形， L为波形长度， H-1表示逆希尔伯特 变换， 将希尔伯特谱转换为时域信号波形； lad为对抗损失函数， 代表生成对抗网络网络模型 训练中固有的对抗误差， ladlog1-D(G(SR)， D(G(SR)为判别器认为生成器生成的希尔 伯特谱来自于真实呼吸波形的概率。。
6、 6.根据权利要求5所述的方法， 其特征是， 当判别模型的损失函数满足l ， 为预先设 定的阈值时， 生成对抗网络模型的训练完成， 则通过对生成模型输出的细粒度的呼吸波形 的希尔伯特谱进行逆希尔伯特变换作为重构得到的细粒度的驾驶员呼吸波形。 7.根据权利要求1所述的方法， 其特征是， 所述的去除背景信号， 具体通过为静态物体 建立了一个背景模型， 即给定k个连续的ESD信号采样E1,E2,.,Ek， 则背景模型首先被初 始化为在初始化之后， 背景模型依据Bn(1- )Bn-1+ En进行更新， 其中n1, 2,.,k， 0,1为更新率， 得到的Bn即是对应于ESD信号En的背景模型， 然后通过。
7、ESD信 号En减去背景信号Bn实现背景噪声的去除。 8.根据权利要求1所述的方法， 其特征是， 所述的集合经验模态分解方法是指： 通过对 ESD实施n次经验模态分解， 每次加上均值为0， 标准差为 的高斯分布白噪声， 并对n次分解 结果取平均得到最终结果。 权 利 要 求 书 1/2 页 2 CN 109009125 A 2 9.根据权利要求1所述的方法， 其特征是， 所述的提取出驾驶员呼吸频率， 即通过希尔 伯特变换， 并得到反映信号瞬时频率的希尔伯特谱， 然后通过选取每个时槽内最强的频率 成分来获取主导频率成分， 即认为是驾驶员的呼吸的瞬时频率。 10.一种实现上述任一权利要求所述方法的。
8、系统， 其特征在于， 包括： 音频采集单元、 呼 吸频率提取单元、 基于生成对抗网络的呼吸波形重构单元， 其中： 音频采集单元与呼吸频率 提取单元相连并传输声波信号的能量谱密度信息， 呼吸频率提取单元与基于生成对抗网络 的呼吸波形重构单元相连并传输瞬时呼吸频率的希尔伯特谱信息， 呼吸波形重构单元基于 呼吸频率提取单元得到的瞬时呼吸频率给出呼吸波形信息。 权 利 要 求 书 2/2 页 3 CN 109009125 A 3 基于移动终端音频的驾驶员细粒度呼吸监测方法及系统 技术领域 0001 本发明涉及的是一种汽车控制领域的技术， 具体是一种基于智能移动终端音频装 置的驾驶员细粒度呼吸监测方法及。
9、系统。 背景技术 0002 基于移动智能终端的呼吸监测系统主要利用智能移动终端的感知能力和计算能 力对呼吸过程进行感知和识别。 现有的工作主要分为三类， 第一类主要基于智能终端上的 运动检测传感器(加速度计和陀螺仪)， 这类工作将智能移动终端贴合被测者(通常是放在 衣物中)， 通过感知呼吸导致的胸腹腔运动来实现呼吸监测， 其共性问题在于对智能移动终 端的位置要求极高， 必须将智能移动终端贴合被测者， 在实践中带来极大的不便。 第二类工 作主要基于智能移动终端上的摄像头， 通过对被测者的图像信息(主要是面部图像)进行分 析， 结合光体积描记术(PPG)， 得到被测者的呼吸频率。 这一类工作的共性。
10、问题是由于图像 信息容易受到天气、 光照条件等因素的影响， 系统的鲁棒性较差， 并且也需要固定智能终端 的位置(使摄像头朝向被测者)， 且无法得到细粒度的呼吸波形； 第三类工作主要基于智能 移动终端接收Wi-Fi信号， 通过分析被测者呼吸对Wi-Fi信号的影响来进行监测。 这一类工 作的共性问题是Wi-Fi信号极易受到震动或其他动作干扰， 系统的鲁棒性较差， 且同样无法 得到细粒度的呼吸波形。 发明内容 0003 本发明针对现有的基于智能移动终端的呼吸监测系统几乎都需要在相对安静的 环境下(例如家庭环境下)进行监测， 而不能在驾驶环境下提供稳定的监测结果； 并且现有 技术往往只能得到基本的呼吸。
11、频率信息， 不能得到细粒度的呼吸波形， 因而在反映驾驶员 身体状态方面极为受限， 提出一种基于移动终端音频的驾驶员细粒度呼吸监测方法及系 统， 利用智能移动终端上的音频装置(麦克风及扬声器)实时监测驾驶员的呼吸状况， 并得 到包含呼吸频率以及呼吸波形的鲁棒且细粒度的呼吸监测结果。 0004 本发明是通过以下技术方案实现的： 0005 本发明涉及一种基于移动终端音频的驾驶员细粒度呼吸监测方法， 通过在车内以 移动终端的音频装置发送和接收超声波信号， 从接收信号的频率谱密度(ESD)中去除背景 信号以及集合经验模态分解(EEMD)方法去除接收信号中的噪声及动作干扰， 提取出驾驶员 实时的呼吸频率，。
12、 经过基于生成对抗网络(GAN)的生成模型进行重构并得到实时的驾驶员 细粒度呼吸波形。 0006 所述的基于生成对抗网络的生成模型， 通过以真实采集到的呼吸波形对模型进行 训练得到， 能够实时输出细粒度的呼吸波形。 0007 所述的以真实采集到的呼吸波形是指： 预先通过可穿戴呼吸监测传感器采集到的 驾驶员的呼吸波形， 作为生成对抗网络的真实样本集。 0008 所述的基于生成对抗网络的生成模型包括： 生成模型和判别模型， 其中： 生成模型 说 明 书 1/6 页 4 CN 109009125 A 4 输入瞬时呼吸频率的希尔伯特谱， 输出为细粒度的呼吸波形的希尔伯特谱， 目标是使得判 别模型认为生。
13、成模型的输出来自真实样本集； 判别模型随机接收生成模型的输出或真实样 本集的希尔伯特谱， 目标输出是正确判断输入来自是来自真实样本集还是生成模型的输 出； 生成模型和判别模型形成对抗。 0009 所述的基于生成对抗网络的生成模型的损失函数包含内容损失函数、 重构损失函 数和对抗损失函数， 该损失函数llc+lr+lad， 其中： lc为内容损失函数， 代表生成的细粒度 的呼吸波形对应的希尔伯特谱和对应的真实呼吸波形的希尔伯特谱之间的误差， W和H表示输入和输出的希尔伯特谱矩阵的长宽， SA和SR分 别表示真实呼吸波形的希尔伯特谱和瞬时呼吸频率的希尔伯特谱， G(SR)表示由生成模型 生成的细粒。
14、度的呼吸波形对应的希尔伯特谱； lr为重构损失函数， 代表生成的细粒度的呼 吸波形和对应的真实呼吸波形之间的误差，TA表示真实的呼 吸波形， L为波形长度， H-1表示逆希尔伯特变换， 将希尔伯特谱转换为时域信号波形； lad为 对抗损失函数， 代表生成对抗网络网络模型训练中固有的对抗误差， ladlog1-D(G (SR)， D(G(SR)为判别器认为生成器生成的希尔伯特谱来自于真实呼吸波形的概率。 0010 本发明涉及一种实现上述方法的系统， 包括： 音频采集单元、 呼吸频率提取单元、 基于生成对抗网络(GAN)的呼吸波形重构单元， 其中： 音频采集单元与呼吸频率提取单元相 连并传输声波信。
15、号的能量谱密度信息， 呼吸频率提取单元与基于生成对抗网络(GAN)的呼 吸波形重构单元相连并传输瞬时呼吸频率的希尔伯特谱信息， 呼吸波形重构单元基于呼吸 频率提取单元得到的瞬时呼吸频率给出呼吸波形信息。 技术效果 0011 与现有技术相比， 本发明对于智能移动终端的放置位置没有苛刻的要求， 并且能 够在相对嘈杂的驾驶环境下给出驾驶员细粒度呼吸特征的监测结果， 包含实时的呼吸频率 及呼吸波形。 附图说明 0012 图1为感知驾驶员呼吸示意图； 0013 图2为系统结构图； 0014 图3为三个不同驾驶员驾驶时对应的超声波信号的ESD示意图； 0015 图4为背景噪声消除前后的ESD信号示意图； 。
16、0016 图5为ESD信号的EEMD分解示意图； 0017 图6为ESD信号的希尔伯特谱示意图； 0018 图7为本发明的生成对抗网络模型示意图； 0019 图8为本发明的生成器和判别模型示意图； 0020 图9为不同驾驶员呼吸频率的估计误差示意图； 0021 图10为不同驾驶员呼吸波形估计的相关系数示意图； 0022 图11为不同智能终端放置位置下驾驶员呼吸波形估计的相关系数示意图； 0023 图12为不同智能终端放置位置下驾驶员呼吸频率估计误差的CDF示意图； 说 明 书 2/6 页 5 CN 109009125 A 5 0024 图13为不同的交通状况和道路状况下驾驶员呼吸波形估计的相关。
17、系数示意图； 0025 图14为不同的交通状况和道路状况下驾驶员呼吸频率估计误差的CDF示意图。 具体实施方式 0026 如图1所示， 由于驾驶员的呼吸过程会引起胸腹腔的收缩和扩张的变化， 故本实施 例通过捕捉这一变化过程来实现对驾驶员呼吸的监测。 而为了利用智能移动终端捕捉驾驶 员胸腹腔的收缩和扩张运动， 本实施例使用了智能终端上的麦克风和扬声器， 通过分析驾 驶员胸腹腔的收缩和扩张运动对声波能量谱密度(ESD)的影响， 实时感知驾驶员的呼吸特 征。 0027 如图1和图2所示， 为本实施例包括以下步骤： 0028 通过使用智能终端的扬声器发送超声波信号在车辆环境下构建声波信号场， 同 时使。
18、用麦克风来接收反射信号， 提取接收信号的能量谱密度； 0029 在鲁棒呼吸特征提取过程中， 先通过背景噪声去除来消除驾驶环境下静态背景 物体对信号的能量谱密度的影响， 之后利用集合经验模态分解(EEMD)方法， 将驾驶员与呼 吸无关的其他动作造成的影响从能量谱密度信号中分离， 并进一步在希尔伯特谱上构建呼 吸特征， 提取出实时的呼吸频率； 0030 在细粒度呼吸特征重建过程中， 通过基于生成对抗网络的模型， 以特殊的可穿 戴呼吸监测传感器在实际驾驶环境下采集的呼吸波形进行训练， 使得该模型能够将步骤 得到的实时的呼吸频率进一步转化为细粒度的呼吸特征， 并从中得到细粒度呼吸波形。 0031 所述。
19、的超声波信号是指： 使用移动终端自带的扬声器发出20kHz的单频超声波信 号。 0032 所述的反射信号是指： 通过智能终端自带的麦克风采集超声波信号， 并以44.1kHz 的频率对超声波进行信号采样记录， 得到接收信号R(t)。 0033 所述的能量谱密度， 首先通过窗宽为2048个点的快速傅里叶变换(FFT)将接收信 号由时域信息转换为频域信息， 然后计算其中： N2048。 0034 在实际计算过程中， 为了消除环境中其他声波信号造成的干扰， 本实施例进一步 ESD的公式优化为其中R(f)FFTN(R(t)， 其中f20Hz以考 虑超声波的多普勒效应造成的影响。 图3显示了采集到的三个不。
20、同的驾驶员驾驶时对应的 超声波信号的ESD， 可见虽然这些ESD信号相对并不稳定， 但仍能从中看出对应三个驾驶员 周期性呼吸过程的起伏特征。 0035 为了从ESD信号中提取驾驶员的呼吸特征， 本实施例首先去除驾驶环境下静态背 景物体对ESD信号造成的影响， 即所述背景噪声去除， 具体通过为静态物体建立了一个背景 模型， 即给定k个连续的ESD信号采样E1,E2,.,Ek， 则背景模型首先被初始化为 在初始化之后， 背景模型依据Bn(1- )Bn-1+ En进行更新， 其中n1,2,., k， 0,1为更新率， 得到的Bn即是对应于ESD信号En的背景模型， 然后通过ESD信号En减 说 明 。
21、书 3/6 页 6 CN 109009125 A 6 去背景信号Bn实现背景噪声的去除。 0036 图4显示了背景噪声去除前后的ESD信号的示意图， 从图中可以看出背景噪声去除 之后， ESD信号接近零均值， 且一些对应背景变化的信号低频趋势被滤除。 0037 所述的集合经验模态分解方法是指： 在背景噪声去除之后， ESD信号主要包含驾驶 环境中各类运动物体造成的影响， 因此利用集合经验模态分解(EEMD)模型， 对ESD信号进行 进一步的分解。 0038 具体地， 本方法通过对ESD实施n次经验模态分解(EMD)， 每次加上均值为0， 标准差 为 的高斯分布白噪声， 并对n次分解结果取平均得。
22、到最终结果， 本实施例中n1000， 取值 0039 图5显示了对ESD信号进行EEMD分解后的结果， 其中C4对应驾驶员的呼吸信号， 因 而得到保留， 其余分量认为是无关动作带来的影响， 从而被分离。 0040 所述的在希尔伯特谱上构建呼吸特征是指： 在去除背景噪声和无关动作的影响之 后， 为了得到实时的呼吸频率， 本实施例对ESD信号进行希尔伯特变换， 并得到反映信号瞬 时频率的希尔伯特谱， 如图6所示。 0041 从图6可以看出， 信号中主要的频率成分对应驾驶员的呼吸， 但仍然有一些其他的 频率成分需要滤除。 因此本实施例通过选取每个时槽内最强的频率成分来获取主导频率成 分， 即认为是驾。
23、驶员的呼吸的瞬时频率。 0042 为了进一步得到驾驶员呼吸频率的预计， 本实施例构建了一个窗宽为10s， 划动步 长为1s的滑动窗口， 计算窗口内频率的均值作为实时预计的驾驶员呼吸频率。 0043 如图7所示， 所述的基于生成对抗网络(GAN)的模型包括： 生成模型和判别模型， 其 中： 生成模型输入瞬时呼吸频率的希尔伯特谱， 输出为细粒度的呼吸波形的希尔伯特谱， 目 标是使得判别模型认为生成模型的输出来自真实样本集； 判别模型随机接收生成模型的输 出或真实样本集的希尔伯特谱， 目标输出是正确判断输入来自是来自真实样本集还是生成 模型的输出； 生成模型和判别模型形成对抗。 0044 如图8所示。
24、， 所述的生成模型包括七个卷积层(conv layers)， 第一层为从输入的 希尔伯特谱中提取特征， 最后一层得到输出， 中间的五个卷积层为残差神经网络块 (Residual Blocks)。 具体地， 每个残差神经网络块中都包含3*3卷积核和128通道的卷积神 经网络结构作为核心、 一个Batch Normalization(BN)层处理梯度问题和一个Leaky ReLU 层作为激活函数。 0045 所述的判别模型只包含四个卷积层， 其结构与生成器的结构类似， 但其卷积神经 网络结构中的通道数由64个按2的指数逐渐增加到256个， 在四个卷积层后是两个全连接层 (FC)， 最后以一个sig。
25、moid层输出判别结果。 0046 所述的生成对抗网络模型， 通过损失函数l作为训练评价， 损失函数llc+lr+lad， 其中： lc为内容损失函数， 代表生成的细粒度的呼吸波形对应的希尔伯特谱和对应的真实 呼吸波形的希尔伯特谱之间的误差，W和H表示输入和输出 的希尔伯特谱矩阵的长宽， SA和SR分别表示真实呼吸波形的希尔伯特谱和瞬时呼吸频率的 希尔伯特谱， G(SR)表示由生成模型生成的细粒度的呼吸波形对应的希尔伯特谱； lr为重构 说 明 书 4/6 页 7 CN 109009125 A 7 损失函数 ， 代表生成的 细粒度的呼吸波形和对应的真实呼吸波形之间的误差 ， TA表示真实的呼吸。
26、波形， L为波形长度， H-1表示逆希尔伯特变 换， 将希尔伯特谱转换为时域信号波形； lad为对抗损失函数， 代表生成对抗网络网络模型训 练中固有的对抗误差， ladlog1-D(G(SR)， D(G(SR)为判别器认为生成器生成的希尔伯 特谱来自于真实呼吸波形的概率。 0047 当判别模型的损失函数值满足l ， 为预先设定的阈值时， 生成对抗网络模型的 训练完成， 则可通过对生成模型输出的细粒度的呼吸波形的希尔伯特谱进行逆希尔伯特变 换作为重构得到的细粒度的驾驶员呼吸波形。 0048 本实施例中移动终端选取SAMSUNG Galaxy S6， SAMSUNG Galaxy S7， Goog。
27、le Pixel， HTC U Ultra和Huawei Mate8作为实现疏忽驾驶行为早期识别系统的原型机给10位 不同的驾驶员进行使用并采集测试数据。 对应每种手机各两位驾驶员， 共计两周的测试时 间。 0049 在测试过程中， 驾驶员需要身着专用的呼吸监测传感器， 以此来记录其在驾驶中 的真实呼吸波形， 并在测试过程中， 需要额外记录一些变量， 如智能终端在车内的放置位 置， 驾驶的道路类型以及交通状况等等， 以支持进一步地分析和评价。 0050 本实施例最主要的评估指标有两个： 对于驾驶员呼吸频率估计， 本实施例使用估 计误差作为评估指标， 定义为本实施例估计的驾驶员呼吸频率Re和真实。
28、的驾驶员呼吸频率 Ra之间差值的绝对值|Re-Ra|； 对于驾驶员呼吸波形估计， 本实施例使用相关系数作为评估 指标， 定义为本实施例估计的驾驶员呼吸波形We和真实的驾驶员呼吸波形Wa之间的相关系 数其中Cov()和 ()分别计算协方差和标准差。 0051 如图9所示， 针对10名参与实验的驾驶员， 显示了不同驾驶员呼吸频率的估计误差 的箱型图。 可以看出本实施例的驾驶员呼吸频率估计相对稳定， 绝大部分驾驶员(除了驾驶 员4和9)呼吸频率估计的平均误差都在0.5bpm(次每分钟)以下。 驾驶员4误差略大是由于其 常常将手机放置在衣物口袋中， 造成了负面的干扰， 而驾驶员9的误差则是由于其将实验。
29、手 机的媒体音量调整得过低所致。 图10显示了不同驾驶员呼吸波形估计的相关系数的箱型 图， 其趋势与图9类似。 表明本实施例所提出的驾驶员呼吸监测系统能有效地在真实驾驶环 境下得到细粒度的驾驶员呼吸特征， 包含实时的呼吸频率及呼吸波形。 0052 如图11所示， 针对智能终端在车辆内的不同放置位置， 显示了驾驶员呼吸波形估 计的相关系数的箱型图。 可以看出， 呼吸波形估计相对稳定， 而随着放置位置的不同略有差 异。 放置在车辆的操作面板附近效果最佳， 放置在驾驶员的左右侧位置效果次之， 放在驾驶 员的衣服口袋内效果稍差。 图12显示了不同智能终端放置位置下驾驶员呼吸频率估计误差 的CDF图， 。
30、其趋势与图11类似。 表明系统对于智能终端在车内的放置位置没有严格要求， 各 个位置下系统均可正常工作， 显示了系统的便利性和鲁棒性。 0053 如图13所示， 针对不同的交通状况和道路状况， 显示了驾驶员呼吸波形估计的相 关系数的箱型图。 可以看出， 呼吸波形估计相对稳定， 而随着交通状况和道路状况的不同略 有不同。 具体地， 在交通的高峰期相对非高峰期识别准确率略有下降； 同时在普通道路相对 于高速路识别率也略低。 图14显示了不同的交通状况和道路状况下驾驶员呼吸频率估计误 说 明 书 5/6 页 8 CN 109009125 A 8 差的CDF图。 其趋势与图13类似。 表明系统对于不同。
31、的交通状况和道路状况有着较好的鲁棒 性。 0054 上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同 的方式对其进行局部调整， 本发明的保护范围以权利要求书为准且不由上述具体实施所 限， 在其范围内的各个实现方案均受本发明之约束。 说 明 书 6/6 页 9 CN 109009125 A 9 图1 图2 说 明 书 附 图 1/7 页 10 CN 109009125 A 10 图3 图4 说 明 书 附 图 2/7 页 11 CN 109009125 A 11 图5 图6 说 明 书 附 图 3/7 页 12 CN 109009125 A 12 图7 图8 说 明 书 附 图 4/7 页 13 CN 109009125 A 13 图9 图10 说 明 书 附 图 5/7 页 14 CN 109009125 A 14 图11 图12 说 明 书 附 图 6/7 页 15 CN 109009125 A 15 图13 图14 说 明 书 附 图 7/7 页 16 CN 109009125 A 16 。