《基于多模态脑机接口的智能轮椅.pdf》由会员分享，可在线阅读，更多相关《基于多模态脑机接口的智能轮椅.pdf（12页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102309380 A (43)申请公布日 2012.01.11 CN 102309380 A *CN102309380A* (21)申请号 201110268891.5 (22)申请日 2011.09.13 A61G 5/04(2006.01) G06F 3/01(2006.01) (71)申请人 华南理工大学 地址 510640 广东省广州市天河区五山路 381 号 (72)发明人 李远清 王洪涛 (54) 发明名称 基于多模态脑机接口的智能轮椅 (57) 摘要 本发明公开了一种基于多模态脑机接口的智 能轮椅， 包括依次连接的视觉刺激界面、 脑电采集 平台、 多模。
2、态脑机接口、 控制模块和电动轮椅。受 试者通过注视视觉刺激界面和主动运动想象来表 达控制意图， 脑电采集平台完成脑电信号采集、 放大、 滤波及数字化后传给多模态脑机接口， 再 进行实时脑电信号预处理、 特征提取、 分类， 将受 试者控制意图转换为指令发送到控制模块的通讯 单元， 再通过控制器控制轮椅， 从而实现轮椅的启 动、 停止、 后退、 左转、 右转、 加速、 减速七种运动。 可以帮助重症瘫痪病人为大脑开拓新的信息输出 渠道， 为脑机接口多自由度控制的研究和实用化 提供新的思路， 在医疗康复、 医学生理实验等方面 具有诸多价值。 (51)Int.Cl. (19)中华人民共和国国家知识产权局。
3、 (12)发明专利申请 权利要求书 1 页 说明书 5 页 附图 5 页 CN 102309380 A1/1 页 2 1. 一种基于多模态脑机接口的智能轮椅， 其特征在于包括依次连接的视觉刺激界面、 脑电采集平台、 多模态脑机接口、 控制模块和电动轮椅 ； 所述多模态脑机接口包括事件关联 电位脑电信号处理模块和运动想象脑电信号处理模块， 两个模块为并行设置。 2. 根据权利要求 1 所述的多模态脑机接口的智能轮椅， 其特征在于所述视觉刺激界面 由车载笔记本的液晶屏提供， 用于产生事件关联电位。 3. 根据权利要求 1 所述的多模态脑机接口的智能轮椅， 其特征在于所述脑电采集平台 包括电极帽和脑。
4、电采集仪 ； 所述电极帽用于采集脑电信号， 所述脑电采集仪用于对采集的 脑电信号进行放大、 滤波和模数转换处理。 4. 根据权利要求 1 所述的多模态脑机接口的智能轮椅， 其特征在于所述控制模块包括 通讯单元和控制器 ； 控制模块根据多模态脑机接口的指令， 输出两路模拟电压信号， 用于控 制电动轮椅的运动。 5. 根据权利要求 14 之一所述的多模态脑机接口的智能轮椅， 其特征在于所述事件关 联电位脑电信号处理模块和运动想象脑电信号处理模块的算法由车载笔记本编程提供。 6. 根据权利要求 5 所述的多模态脑机接口的智能轮椅， 其特征在于所述事件关联电位 脑电信号处理模块的算法流程为 ： 低通滤。
5、波 P300 幅值特征 SVM 分类 ； 所述运动想象脑 电信号处理模块的算法流程为 ： CAR 滤波 Mu 节律频带提取 CSP 特征提取 SVM 分类。 7. 根据权利要求 6 所述的多模态脑机接口的智能轮椅， 其特征在于所述事件关联电位 脑电信号处理模块实现电动轮椅的启动、 停止、 后退、 加速、 减速 ； 所述运动想象脑电信号处 理模块实现电动轮椅的左转、 右转。 权 利 要 求 书 CN 102309380 A1/5 页 3 基于多模态脑机接口的智能轮椅 技术领域 0001 本发明涉及脑机接口应用研究及人工智能领域， 特别涉及一种多模态脑机接口的 智能轮椅。 背景技术 0002 脑机。
6、接口 (Brain-Computer Interface， BCI) 的概念始于 1973 年， 它是在人或动 物脑与外部设备间建立的直接连接通路。自上世纪 70 年代以来， 随着神经科学和计算机技 术的发展， 脑机接口取得了很大进展。目前， 根据脑信号获取的方式的不同， 脑机接口可分 为侵入式和非侵入式， 直接将电极植入到脑壳内称为侵入式 BCI ； 从头皮获取信号则称为 非侵入BCI。 脑电(Electro-encephalo graphy， EEG)是脑细胞群体发放电所产生的宏观现 象， 当大脑活动的时候， 会产生特定的脑电信号。对于侵入式脑机接口因将电极置入大脑， 可以直接从大脑皮层提。
7、取到信噪比较高的脑电信号。但对于非侵入脑机接口， 则通常通过 戴电极帽、 红外成像、 功能核磁共振等方式来获取脑电信号。 0003 由于非侵入式 BCI 的研究， 只需要通过特定的设备在大脑皮层的表面直接进行 脑电信号的采集和处理， 且不需要进行外科手术， 因此非侵入式一直是 BCI 研究热点。非 侵入式 BCI 由于脑电信号 (EEG) 的时间分辨率高， 且采集设备具有容易携带、 便于使用等 优势， 是一种实用的脑机接口方式。基于 EEG 的非侵入式 BCI， 根据神经生理学机理可分 为 ： 基于运动想象 (Motor imagery， MI) 的 BCI 系统、 基于事件相关电位 (Eve。
8、nt related Potential， ERP) 的 BCI 系统、 基于视觉诱发电位 (Visual evoked potentials， VEP) 的 BCI 系统等。 0004 基于运动想象 BCI 的机理。受试者意识清醒时在从事与感觉运动相关的活动 时， 感觉运动皮层区域能够检测到 8-12Hz 节律的脑电波， 这种节律称为 Mu 节律。通常 Mu 节律出现的同时， 伴随 18-26Hz 的 Beta 节律出现。Beta 节律的一部分是 Mu 节律的 倍频， 另外一部分是独立的脑电特征。Mu 和 Beta 节律与脑的运动区域有关联， 准备运动 或实际运动伴随着对侧的 Mu 和 Be。
9、ta 节律的下降， 称为事件相关去同步 (Event-related desynchronization， ERD)， 而运动的结束伴随着这两个节律的上升， 称为事件相关同步 (Event-related synchronization， ERS)。 0005 基于事件相关电位 (Event related Potential， ERP)BCI 的机理。P300 是由小概 率事件 ( 视觉、 听觉、 触觉等形式 ) 诱发的一种 ERP， 因对应于事件发生时刻后约 300 毫秒 后产生一个正电位波形的 EEG 而得名。基于 P300 电位的 BCI 采用特定的事件刺激序列诱 发受试者的 P300。
10、 电位， 根据 P300 的发生时刻来判断受试者的意识活动， 该类型的 BCI 特别 适用于从多个选择中选择一个目标的场合。 实验表明 ： 相关事件出现的概率越小， 所引起的 P300 越显著， 并在头部的顶骨区 ( 中部或后部 ) 最为显著。 0006 视觉诱发电位 (Visual evoked potentials， VEP) 根据视觉刺激频率的不同可分 为两种类型 ： 瞬态视觉诱发电位 (transient visual evoked potential) 和稳态视觉诱发 电位 (steady-state visual evoked potential)。当刺激频率较低， 单个刺激一个接。
11、一个 说 明 书 CN 102309380 A2/5 页 4 出现， 后一个刺激出现时前一个刺激引起的枕叶皮质反应已消失， 对应于每个刺激是一系 列正波和负波组成的 VEP 波形， 此时产生的视觉诱发电位称为瞬态 VEP ； 当刺激频率较高 (一般大于6Hz)， 刺激间隔时间小于VEP时程， 多次反应的波相互干扰、 叠加， 形成节律性正 弦样波的 VEP， 此时产生的视觉诱发称为稳态 VEP。稳态视觉诱发由于其识别速度快、 准确 率高等优势， 越来越得到重视， 但存在容易造成视觉疲劳的缺点。 0007 目前， BCI 在残疾人神经功能辅助与康复方面的应用研究尚处于起步阶段， 目前对 单一脑机接。
12、口的研究已较为普遍且相对成熟， 但在设计实用系统时单一脑机接口很难同时 满足提供多个控制指令和快速识别出控制意图， 例如轮椅的实时、 多自由度控制需求。 瑞士 Josdel R.Milln 等利用运动想象脑机接口， 将事件相关同步 / 去同步 (RED/RES) 成功提 取 2 个指令应用于轮椅左、 右控制， 该系统采用异步控制模式， 系统平均信息传输速率为 ： 30bits/min， 但由于该系统采用单模态脑机接口， 因此不能提供多个自由度控制信号， 不能 加、 减速及启动、 停止， 系统实用性不高。专利 CN200810053558 公开的基于脑 - 机接口的智 能轮椅控制系统及其脑电信号。
13、处理方法， 利用 波阻断现象设计了一套基于 波脑机接 口的轮椅操纵系统， 实现了前、 后、 左、 右四个方向移动控制， 但该轮椅由于采用单模态脑机 接口， 很难提供多个控制信号， 无法实现加速、 减速及后退功能。新加坡张海虹等实现了事 件关联电位 (P300) 脑机接口的轮椅控制系统， 该系统采用贝叶斯分类器， 其平均通信速率 可达到 20bits/min 基本满足实时性需求， 为提高轮椅整体性能有必要进一步提高系统平 均通信速率。 因此本发明充分发掘两个单模态模式脑机接口的优势将其融合为多模态脑机 接口以解决轮椅控制的关键问题。 发明内容 0008 本发明主要针对上述现有技术问题的缺陷和不足。
14、， 公开了一种基于多模态脑机接 口的智能轮椅。 本发明所要解决的技术问题是 ： 首先， 受试者通过注视视觉刺激界面和主动 运动想象来表达控制意图 ； 其次， 脑电采集平台实时采集受试者脑电信号， 融合事件关联电 位脑电信号处理模块和运动想象脑电信号处理模块的多模态脑机接口处理提取的脑电信 号， 判断受试者的控制意图， 并输出相应的控制指令 ； 最后， 为实现脑机接口代替轮椅操纵 杆的机械控制， 设计控制模块使得电动轮椅具有通讯功能， 即通过接收脑机接口的指令实 现轮椅的启动、 停止、 后退、 加速、 减速及左转、 右转操作。本发明通过如下技术方案实现 ： 0009 一种基于多模态脑机接口的智能。
15、轮椅， 包括依次连接的视觉刺激界面、 脑电采集 平台、 多模态脑机接口、 控制模块和电动轮椅 ； 所述多模态脑机接口包括事件关联电位脑电 信号处理模块和运动想象脑电信号处理模块， 两个模块为并行设置。 0010 所述视觉刺激界面由车载笔记本的液晶屏提供， 用于产生事件关联电位 ； 所述脑 电采集平台包括电极帽和脑电采集仪， 电极帽用于采集脑电信号， 脑电采集仪用于对采集 的脑电信号进行放大、 滤波和模数转换处理 ； 所述控制模块包括通讯单元和控制器， 控制模 块根据多模态脑机接口的指令， 输出两路模拟电压信号， 用于控制电动轮椅的运动。 0011 所述事件关联电位脑电信号处理模块和运动想象脑电。
16、信号处理模块的算法由车 载笔记本编程提供。所述事件关联电位脑电信号处理模块的算法流程为 ： 低通滤波 P300 幅值特征 SVM 分类 ； 所述运动想象脑电信号处理模块的算法流程为 ： CAR 滤波 Mu 节律 频带提取 CSP 特征提取 SVM 分类。 说 明 书 CN 102309380 A3/5 页 5 0012 事件关联电位脑电信号处理模块实现电动轮椅的启动、 停止、 后退、 加速、 减速 ； 所 述运动想象脑电信号处理模块实现电动轮椅的左转、 右转。 0013 与现有技术相比， 本发明具有以下有益效果 ： 可根据自己的控制意图实现电动轮 椅的启动、 停止、 后退、 加速、 减速、 左。
17、转和右转的运动， 实现了电动轮椅的灵活控制， 进一步 增加了脑控智能轮椅的实用性能。由于多模态脑机接口的工作模块相互独立， 采用多类分 类方法， 系统信息传输率明显提高， 每 200 毫秒可输出 1 次指令， 满足了智能轮椅的实时性 需求。 附图说明 0014 图 1 是本发明多模态脑机接口的智能轮椅结构图。 0015 图 2 是智能轮椅的视觉刺激界面。 0016 图 3 是智能轮椅的多模态脑机接口的模块算法流程图。 0017 图 4、 图 5 是智能轮椅的控制模块的通讯单元硬件原理图， 其中， 图 4 为 STM32F103C6T6 控制芯片， 图 5 为数模转换电路。 0018 图 6 是。
18、智能轮椅性能测试的分段路线图。 具体实施方式 0019 以下结合附图和实施例对本发明作进一步详细说明， 但本发明的实施方式不限于 此。 0020 实施例 0021 如图 1 所示， 模态脑机接口的智能轮椅包括依次连接的视觉刺激界面、 脑电采集 平台、 多模态脑机接口、 控制模块和电动轮椅。受试者头戴 32 导联电极帽， 坐在电动轮椅的 座椅上， 便携式脑电采集仪放置于轮椅后备袋， 车载笔记本放置于轮椅台面， 视觉刺激界面 由车载笔记本的液晶屏提供， 多模态脑机接口模块的处理算法由车载笔记本编程提供， 控 制模块的通讯单元及控制器固定于轮椅扶手位置。 0022 如图 2 所示， 视觉刺激界面共有。
19、 5 个 P300 闪烁键， 受试者注视闪烁键可产生基于 事件关联电位的脑电信号。其中 “S” 键指示轮椅启动，“F” 键指示轮椅加速，“D” 键指示轮 椅减速，“B” 键指示轮椅后退，“T” 键指示轮椅停止。受试者的眼睛距视觉刺激界面 65cm， 注视 “S” 闪烁键启动轮椅。在系统启动后， 根据意愿自主选择注视相应的闪烁键以实现轮 椅控制 ： 注视 “F” 、“D” 、“B” 和 “T” 闪烁键可分别实现轮椅的加速、 减速、 后退和停止。而想 象左、 右手可产生基于运动想象的脑电信号， 可分别实现轮椅的左转、 右转。 0023 电极帽用于采集脑电信号， 为保证电极与头皮有良好的接触， 电极。
20、帽插孔中注入 具有良好导电特性的导电胶， 电阻在 5 千欧以下。 0024 受试者通过主动运动想象和视觉刺激来表达控制意图， 相对应的脑电信号经电极 帽采集， 再经脑电采集仪进行放大、 滤波和模数转换处理， 传送至多模态脑机接口。 0025 如图 3 所示， 多模态脑机接口包括事件关联电位脑电信号处理模块和运动想象脑 电信号处理模块， 实现基于事件关联电位和基于运动想象的脑电信号并行处理， 所述事件 关联电位脑电信号处理模块的算法流程为 ： 低通滤波 P300 幅值特征 SVM 分类 ； 所述 运动想象脑电信号处理模块的算法流程为 ： CAR 滤波 Mu 节律频带提取 CSP 特征提取 说 明。
21、 书 CN 102309380 A4/5 页 6 SVM 分类。多模态脑机接口根据得到的 SVM 分类结果分别发送相应的指令至控制模块。 0026 如图 4 所示， 控制模块的通讯单元主要由 STM32F103C6T6 控制芯片构成， 根据 I/ O 接收到的指令， 驱动两片数 - 模转换芯片， 输出两路模拟电压信号， 以取代摇杆的输出信 号。每个电压值对应着轮椅的运动特性， 根据测试摇杆输出的电压值， 得出表 1 控制指令 表， 调试时可以用多模态脑机接口发送相应控制指令， 亦可以直接用车载笔记本的软件发 送。 0027 表 1 控制指令表 0028 指令 (ASCII 码 ) RL 电压值。
22、 FD 电压值 功能 S 2.5V 3.0V 启动 T 2.5V 2.5V 停止 F 2.5V 3.5V 加速 D 2.5V 3.0V 减速 B 2.5V 2.0V 后退 R 3.0V 2.5V 右转 L 2.0V 2.5V 左转 0029 注 ： RL 为摇杆模拟输出电压值 I， 用于控制轮椅左右 ； FD 为摇杆模拟输出电压值 II， 用于控制轮椅前后 ； RL、 FD 的不同电压组合可实现轮椅控制， 通讯单元通过模拟两路输 出来取代摇杆控制， 启动速度设定为速度为低速， v 0.1m/s， 高速 v 0.3m/s。 0030 由于受试者的个体差异， 对 SVM 分类参数不能唯一确定， 故。
23、在使用该智能轮椅前 必须进行实验才能达到较高的识别准确率。 实验过程主要由离线实验和在线实验两部分组 成。 0031 离线实验的过程为 ： 首先用户刺激界面会提示目标闪烁键的名称， 受试者只需根 据提示， 注视相应的闪烁键即可。训练过程的循环次数 q 固定为 5 轮。一组实验包括 50 个 目标任务， 中间休息 15 分钟， 继续下一组实验， 每次实验包含两组， 并保存训练数据， 利用 实验数据可训练出适合受试者的 SVM 分类器参数。一个 Round 包含对应于 5 个闪烁键的 5 个数据段 Trial， 利用这 5 个 Trial 构成训练集 0032 Fej， q， j 1， .， 5 。
24、； q 5。若受试者眼睛注视某一闪烁键则一个 Round 里将 必含有一个 P300 特征的 Trial 记为 ， 剩余的 4 个不含有 P300 特征的 Trial 记为 ， 将 5 轮所得到的数据根据 5 个时间序列标记分别相加得到一个 Epoch， 形成训练集， Fej， j 1， .， 15。若系统提示的是第 j 个闪烁键， 受试者需注意第 j 个闪烁键， 其分类标记为记 为 1， 其他的分类标记记为 -1。实验持续七天， 每天分别进行上午、 下次两次实验， 单次实验 共得到 100 个训练样本。 0033 运动想象训练根据系统箭头提示的方向进行想做或想右， 实验持续七天， 每天晚 说。
25、 明 书 CN 102309380 A5/5 页 7 上进行， 单次进行 100 个次运动想象实验， 共得到 100 个训练样本。 0034 在线实验的过程为 ： 受试者可以根据路况及自己的意愿进行轮椅控制。为评估本 多模态脑机接口的智能轮椅性能， 5 位受试者进行定向测试该轮椅启动、 停止、 转弯、 加减速 功能， 受试者按提示分段路线完成实验任务。单次实验的分段路线如图 5 所示 ： 从开始线 位置启动轮椅高速直行低速转弯高速直行低速转弯高速直行低速直行停 止在停止线上。分段路线的最佳长度为 2.7+1.3+1.5+1.3+2.1+0.6 9.5m， 制定的时间为 53.1s。轮椅的速度 。
26、： V低 0.1m/s， V高 0.3m/s。每位受试者参与 5 次试验， 求其平均值作 为在线实验结果， 统计如下 ： 0035 表 2 实验数据统计 ： 0036 指标 受试者 1 受试者 2 受试者 3 受试者 4 受试者 5 实际路线长度 (m) 10.3 11.5 11.3 10.7 11.6 是否完成任务 是 是 是 是 是 实际时间 (s) 65.6 70.2 72.4 63.7 67.9 路径最佳比率 1.1 1.2 1.2 1.1 1.2 时间最佳比率 1.2 1.3 1.4 1.2 1.3 BCI 准确率 ( 离线 ) 83 92 89 91 88 0037 平均信息传输速。
27、率(Information Transfer Rate ： IRT)是评价BCI系统性能的另 一个指标， 根据香农定理推出脑机接口信息速率 ： 0038 I Ne*(log2(N)+p*log2(p)+(1-p)*log2(1-p)/(N-1) (1) 0039 其中 Ne是平均一分钟的触发次数， N 是闪烁键个数， p 是分类精度 ( 参见表 2 中 BCI 准确率 )， 本系统参数为 ： Ne 40， N 5， 由式 (1) 计算 5 位受试者的平均信息传输速 率 0040 表 3 受试者平均信息传输速率 0041 受试者 1 2 3 4 5 Average ITR(bit/min) 53 70 64 68 62 63 说 明 书 CN 102309380 A1/5 页 8 图 1 图 2 说 明 书 附 图 CN 102309380 A2/5 页 9 图 3 说 明 书 附 图 CN 102309380 A3/5 页 10 图 4 说 明 书 附 图 CN 102309380 A4/5 页 11 图 5 说 明 书 附 图 CN 102309380 A5/5 页 12 图 6 说 明 书 附 图 。