《基于眼电的轮椅控制系统.pdf》由会员分享，可在线阅读，更多相关《基于眼电的轮椅控制系统.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利 (10)授权公告号 (45)授权公告日 (21)申请号 201710235251.1 (22)申请日 2017.04.12 (65)同一申请的已公布的文献号 申请公布号 CN 107007407 A (43)申请公布日 2017.08.04 (73)专利权人 华南理工大学 地址 510000 广东省广州市天河区五山路 381号 (72)发明人 李远清 黄骐云 何盛鸿 李凯 彭能能 (74)专利代理机构 重庆上义众和专利代理事务 所(普通合伙) 50225 代理人 孙人鹏 (51)Int.Cl. A61G 5/10(2006.01) A61。
2、B 5/0496(2006.01) A61B 5/11(2006.01) (56)对比文件 CN 103473294 A,2013.12.25, CN 102125429 A,2011.07.20, CN 104622649 A,2015.05.20, CN 105892691 A,2016.08.24, CN 101344919 A,2009.01.14, CN 104363948 A,2015.02.18, TW 201345484 A,2013.11.16, JP 特開2010-5033 A,2010.01.14, EP 1852058 A1,2007.11.07, 审查员 马雪 (54。
3、)发明名称 基于眼电的轮椅控制系统 (57)摘要 本发明公开了一种基于眼电的轮椅控制系 统,包括眼电信号采集模块、 眨眼检测单元、 决策 单元和轮椅执行单元； 眼电信号采集模块用于信 号采集并进行放大滤波， 然后将采集到的眼电信 号传送给眨眼检测单元； 眨眼检测单元从眼电信 号中提取波形特征参数， 检查波形特征参数是否 满足阈值条件， 从而判断是否存在眨眼； 决策单 元根据眨眼检测单元的结果， 输出指令给轮椅执 行单元； 轮椅执行单元根据识别的指令结果， 控 制轮椅执行相对应的动作； 本发明能够快速地检 测到眨眼信号并将其准确定位到某一个具体的 按键上， 从而实现了仅仅使用一种眼部动作就能 安。
4、全、 快速、 准确且充分地提供轮椅控制指令。 权利要求书1页 说明书5页 附图1页 CN 107007407 B 2018.09.18 CN 107007407 B 1.一种基于眼电的轮椅控制系统,其特征在于： 包括眼电信号采集模块(1)、 眨眼检测 单元(2)、 决策单元(3)和轮椅执行单元(4)； 所述眼电信号采集模块(1)用于信号采集并进行放大滤波， 然后将采集到的眼电信号 传送给所述眨眼检测单元(2)； 所述眨眼检测单元(2)从眼电信号中提取波形特征参数， 所述波形特征参数包括原始 信号最大值、 原始信号最大值出现时刻相对于按键闪烁时刻的时延、 差分信号最大值以及 眨眼持续时间， 检查。
5、所述波形特征参数是否满足阈值条件， 从而判断是否存在眨眼； 所述决策单元(3)根据眨眼检测单元(2)的结果， 输出指令给所述轮椅执行单元(4)； 所述轮椅执行单元(4)根据识别的指令结果， 控制轮椅执行相对应的动作； 所述决策单元(3)按以下方式根据眨眼检测单元(2)的结果输出指令给所述轮椅执行 单元(4)： 通过初始校准测出每个用户的眨眼反应时间， 即原始信号最大值出现时刻相对于按键 闪烁时刻的时延tp的平均值Tp； 获取该轮闪烁中每个按键的时延tp， 依照以下公式对每个按 键进行评估： ei|tpi-Tp|； 其中， ei为按键i的评估值， tpi为按键i的眼电数据段中原始信号最大值出现时。
6、刻相对 于按键闪烁时刻的时延， Tp为当前用户的眨眼反应时间； 然后， 选取评估值最小的按键作为 本轮闪烁的识别结果。 2.如权利要求1所述的基于眼电的轮椅控制系统， 其特征是： 所述眨眼检测单元(2)按 以下方式判断是否眨眼： 首先， 每次按键闪烁后， 提取一段眼电数据， 其中包含闪烁时刻开始后100-500ms的眼 电数据； 对数据段进行降采样， 经截止频率为10Hz的低通滤波器滤波后做差分得到差分信 号； 然后提取多个波形特征参数， 包括原始信号最大值amax、 原始信号最大值出现时刻相对 于按键闪烁时刻的时延tp、 差分信号最大值smax以及眨眼持续时间dpn； 所述眨眼持续时间dpn。
7、为差分信号最大值和最小值之间的时间间隔； 眨眼检测单元依据 每次实验前初始校准设置的阈值参数来检测该数据段中是否包含有眨眼波形； 具体来说， 系统设置了三个阈值， 分别是幅值阈值Ath、 速度阈值Sth和持续时间阈值D1,D2； 当眼电数 据中提取的amax和smax分别超过了幅值阈值和速度阈值， 且dpn在持续时间阈值规定的范围 内， 则认为在该段眼电数据中检测到了眨眼。 3.如权利要求1或2所述的基于眼电的轮椅控制系统， 其特征是： 只有当某个按键在最 近的连续三轮闪烁中至少两次被选中作为识别结果， 才判断为用户正在跟随该按键的闪烁 同步眨眼， 进而输出对应的轮椅控制指令； 如果不存在满足。
8、条件的按键， 系统进入新一轮闪 烁， 不输出任何控制指令。 4.如权利要求1或2所述的基于眼电的轮椅控制系统， 其特征是： 如果某个按键在本轮 闪烁中被选中为识别结果， 则直接将其视为最终结果并输出对应的轮椅控制指令。 权 利 要 求 书 1/1 页 2 CN 107007407 B 2 基于眼电的轮椅控制系统 技术领域 0001 本发明涉及一种电动轮椅控制系统， 特别是涉及一种基于眼电的电动轮椅控制系 统。 背景技术 0002 轮椅是常见的助残设备之一， 用来帮助腿部运动功能缺失的人重新获得行走能 力。 人机接口(human machine interface,HMI)将人的意图转化为控制命。
9、令， 而在人与外部 设备之间建立直接的交流和控制通道。 因此， 人机接口技术被广泛的运用于轮椅控制， 常见 的包括操纵杆和键盘。 不过， 现存的用于轮椅控制的人机接口很大部分是手动的， 需要用户 具有良好的上肢运动功能。 然而， 一些疾病(如肌萎缩性侧索硬化ALS， 脊髓损伤SCI等)会造 成病人深度瘫痪， 丧失四肢运动功能， 因此很难通过传统的手动人机接口操控轮椅， 需要为 他们提供一种非手动的人机交互方式， 让他们能够快速、 准确且充分地输出控制指令(如前 进， 后退， 转向， 加速， 减速， 停止等)。 通常， 深度瘫痪的病人的大脑和眼睛仍然保持着正常 功能， 因此研究人员提出了一些基于。
10、脑电信号(electroencephalography,EEG)或眼电信号 (electrooculography,EOG)的轮椅控制系统。 EEG和EOG分别来自于大脑和眼睛生成的生物 电信号， 二者都属于非侵入式信号。 0003 目前基于脑电信号的用于轮椅控制的人机接口主要使用运动想象、 P300以及 SSVEP等脑电模式， 其中运动想象的响应时间(生成一个命令的时间)最短， 但是能够提供的 控制指令数量有限(通常只有2个或3个)， 因此主要用于控制轮椅转向。 P300和SSVEP可以提 供丰富的控制命令， 但是它们的响应时间比较长， 准确率不高， 而且容易造成疲劳， 不适合 长时间控制。。
11、 此外， 运动想象的效果个体差异很大， 因此需要相对大量的训练数据， 比较耗 时。 0004 目前基于眼电的人机接口具有以下缺点： 第一， 不能快速准确地识别有意识的眼 部动作和无意识的眼部动作； 第二， 区分不同眼部动作的准确率有待提高； 第三， 多种眼部 动作的使用导致控制比较复杂， 容易引起眼部疲劳。 发明内容 0005 有鉴于现有技术的上述缺陷， 本发明所要解决的技术问题是提供一种更加快速安 全准确的轮椅控制系统。 0006 为实现上述目的， 本发明提供了一种基于眼电的轮椅控制系统,包括眼电信号采 集模块、 眨眼检测单元、 决策单元和轮椅执行单元； 0007 所述眼电信号采集模块用于信。
12、号采集并进行放大滤波， 然后将采集到的眼电信号 传送给所述眨眼检测单元； 0008 所述眨眼检测单元从眼电信号中提取波形特征参数， 所述波形特征参数包括原始 信号最大值、 原始信号最大值出现时刻相对于按键闪烁时刻的时延、 差分信号最大值以及 眨眼持续时间， 检查所述波形特征参数是否满足阈值条件， 从而判断是否存在眨眼； 说 明 书 1/5 页 3 CN 107007407 B 3 0009 所述决策单元根据眨眼检测单元的结果， 输出指令给所述轮椅执行单元； 0010 所述轮椅执行单元根据识别的指令结果， 控制轮椅执行相对应的动作； 0011 所述决策单元按以下方式根据根据眨眼检测单元的结果输出。
13、指令给所述轮椅执 行单元； 0012 通过初始校准测出每个用户的眨眼反应时间， 即原始信号最大值出现时刻相对于 按键闪烁时刻的时延tp的平均值Tp； 获取该轮闪烁中每个按键的时延tp， 依照以下公式对每 个按键进行评估： 0013 ei|tpi-Tp|； 0014 其中， ei为按键i的评估值， tpi为按键i的眼电数据段中原始信号最大值出现时刻 相对于按键闪烁时刻的时延， Tp为当前用户的眨眼反应时间； 然后， 选取评估值最小的按键 作为本轮闪烁的识别结果。 0015 较佳的， 所述眨眼检测单元按以下方式判断是否眨眼： 0016 首先， 每次按键闪烁后， 提取一段眼电数据， 其中包含闪烁时刻。
14、开始后100-500ms 的眼电数据； 对数据段进行降采样， 经截止频率为10Hz的低通滤波器滤波后做差分得到差 分信号； 然后提取多个波形特征参数， 包括原始信号最大值amax、 原始信号最大值出现时刻 相对于按键闪烁时刻的时延tp、 差分信号最大值smax以及眨眼持续时间dpn； 0017 本发明中眨眼持续时间dpn为差分信号最大值和最小值之间的时间间隔； 眨眼检测 单元依据每次实验前初始校准设置的阈值参数来检测该数据段中是否包含有眨眼波形； 具 体来说， 系统设置了三个阈值， 分别是幅值阈值Ath、 速度阈值Sth和持续时间阈值D1,D2； 当 眼电数据中提取的amax和smax分别超过。
15、了幅值阈值和速度阈值， 且dpn在持续时间阈值规定的 范围内， 则认为在该段眼电数据中检测到了眨眼。 0018 较佳的， 只有当某个按键在最近的连续三轮闪烁中至少两次被选中作为识别结 果， 才判断为用户正在跟随该按键的闪烁同步眨眼， 进而输出对应的轮椅控制指令； 如果不 存在满足条件的按键， 系统进入新一轮闪烁， 不输出任何控制指令。 0019 较佳的， 如果某个按键在本轮闪烁中被选中为识别结果， 则直接将其视为最终结 果并输出对应的轮椅控制指令。 0020 本发明的有益效果是： 本发明能够快速地检测到眨眼信号并将其准确定位到某一 个具体的按键上， 从而实现了仅仅使用一种眼部动作就能安全、 快。
16、速、 准确且充分地提供轮 椅控制指令。 现存的其它眼电控制系统通常不能很好地区分有意识眼部动作和无意识眼部 动作， 因而存在一定的误报率， 本发明可以很好的解决这个问题； 本发明还具有设备成本 低， 操作简单， 实用性好的优点。 附图说明 0021 图1是本发明一具体实施方式的结构示意图。 0022 图2是本发明的决策机制示意图。 具体实施方式 0023 下面结合附图和实施例对本发明作进一步说明： 0024 如图1、 图2所示， 一种基于眼电的轮椅控制系统,包括眼电信号采集模块1、 眨眼检 说 明 书 2/5 页 4 CN 107007407 B 4 测单元2、 决策单元3和轮椅执行单元4； 。
17、0025 所述眼电信号采集模块1用于信号采集并进行放大滤波， 然后将采集到的眼电信 号传送给所述眨眼检测单元2； 0026 所述眨眼检测单元2从眼电信号中提取波形特征参数， 所述波形特征参数包括原 始信号最大值、 原始信号最大值出现时刻相对于按键闪烁时刻的时延、 差分信号最大值以 及眨眼持续时间， 检查所述波形特征参数是否满足阈值条件， 从而判断是否存在眨眼； 0027 所述决策单元3根据眨眼检测单元2的结果， 输出指令给所述轮椅执行单元4； 0028 所述轮椅执行单元4根据识别的指令结果， 控制轮椅执行相对应的动作； 0029 所述决策单元3按以下方式根据根据眨眼检测单元2的结果输出指令给所。
18、述轮椅 执行单元4； 0030 通过初始校准测出每个用户的眨眼反应时间， 即原始信号最大值出现时刻相对于 按键闪烁时刻的时延tp的平均值Tp； 获取该轮闪烁中每个按键的时延tp， 依照以下公式对每 个按键进行评估： 0031 ei|tpi-Tp|； 0032 其中， ei为按键i的评估值， tpi为按键i的眼电数据段中原始信号最大值出现时刻 相对于按键闪烁时刻的时延， Tp为当前用户的眨眼反应时间； 然后， 选取评估值最小的按键 作为本轮闪烁的识别结果。 这种评估方法的有效性是根据实验观察， 每个用户对于闪烁的 反应时间Tp是相对稳定的， 会稳定在一定范围时间窗内(比如280-320ms， 时。
19、间窗宽度40ms 左右)。 而相邻按键闪烁间隔被设计为90ms， 远大于Tp稳定范围的宽度。 因此只有目标按键 的时延tp有可能位于反应时间Tp附近， 借此和非目标键区分开。 0033 所述的眼电信号采集模块1， 采用四通道眼电放大器实现， 主包括一个前置放大 器， 一个右腿驱动电路(DRL)， 一个带通滤波器(1-30Hz)， 以及一个后置放大器。 放大器总增 益为2000， 采样频率250Hz。 四个通道分别为 “CH1” , “CH2” ，“COM” ，“COMLEG” ， 每个通道通过 对应的贴于人体皮肤表面的电极采集信号， 其中通道 “CH1” 和 “CH2” 为数据采集通道， 通道。
20、 “COM” 作为参考，“COMLEG” 作为右腿驱动电路的输入通道， 用于去除眼电信号中的共模噪 声。 本实施例仅仅需要用到其中一个数据通道和两个参考通道， 其中数据通道( “CH1” )对应 电极贴于眉梢，“COM” 和 “COMLEG” 对应的电极分别贴于左右耳根。 0034 本实施例包括图形用户界面， 其包括两级界面， 分别是开关界面(1个控制按键)、 控制界面(13个控制按键)。 每个控制按键对应于某个特定功能， 且能够按一定频率闪烁， 用 于提示用户眨眼的时机。 用户通过跟随某个按键的闪烁同步眨眼来选中该按键。 在开关界 面中， 单一按键 “On” 按1Hz频率闪烁； 在控制界面中。
21、， 13个控制按键按照固定的顺序依次闪 烁， 前后两个按键闪烁间隔90ms。 一轮闪烁(每个按键闪烁一次)结束后90ms开启新一轮闪 烁。 0035 所述眨眼检测单元2按以下方式判断是否眨眼： 0036 首先， 每次按键闪烁后， 提取一段眼电数据， 其中包含闪烁时刻开始后100-500ms 的眼电数据； 对数据段进行降采样， 经截止频率为10Hz的低通滤波器滤波后做差分得到差 分信号； 然后提取多个波形特征参数， 包括原始信号最大值amax、 原始信号最大值出现时刻 相对于按键闪烁时刻的时延tp、 差分信号最大值smax以及眨眼持续时间dpn； 0037 本发明中眨眼持续时间dpn为差分信号最。
22、大值和最小值之间的时间间隔； 眨眼检测 说 明 书 3/5 页 5 CN 107007407 B 5 单元依据每次实验前初始校准设置的阈值参数来检测该数据段中是否包含有眨眼波形； 具 体来说， 系统设置了三个阈值， 分别是幅值阈值Ath、 速度阈值Sth和持续时间阈值D1,D2； 当 眼电数据中提取的amax和smax分别超过了幅值阈值和速度阈值， 且dpn在持续时间阈值规定的 范围内， 则认为在该段眼电数据中检测到了眨眼。 即一个成功的眨眼检测需同时满足下列 不等式： 0038 amaxAth (1) 0039 smaxSth (2) 0040 D1dpnD2 (3) 0041 每次使用前，。
23、 进行初始校准， 用来采集阈值参数。 按照1Hz的频率闪烁10次。 操作者 跟随闪烁同步眨眼， 校准程序会采集10次眨眼的原始信号， 提取多个波形特征参数， 包括原 始信号最大值amax、 原始信号最大值出现时刻相对于按键闪烁时刻的时延tp、 差分信号最大 值sm a x以及眨眼持续时间dp n。 然后将这10次眨眼的各种特征参数取平均值得到 和其中，分别作为眨眼检测单元的幅值阈值Ath和速度阈 值Sth，用来计算持续时间阈值D1,D2， 作为用户的眨眼反应时间。 0042 现有的眼电控制系统普遍存在一个问题： 很难区分无意识的眼部动作和有意识的 眼部动作。 这一问题会直接增大系统的误报率(当。
24、用户处于空闲状态下， 系统错误地输出控 制指令的概率)， 导致系统不稳定。 因此， 如果仅仅依靠一轮闪烁得出的结果来决定最终的 输出， 那么用户无意识的一次眨眼就可能导致轮椅错误的移动， 这在实际操作中可能会造 成危险状况。 为了解决这一问题， 本发明提出了一种 “同步决策机制” ： 只有当某个按键在最 近的连续三轮闪烁中至少两次被选中作为识别结果， 系统才判断为用户正在跟随该按键的 闪烁同步眨眼， 进而输出对应的轮椅控制指令； 如果不存在满足条件的按键， 系统进入新一 轮闪烁， 不输出任何控制指令。 这种 “同步决策机制” 强调用户多次眨眼和按键多次闪烁的 同步性， 而随机的无意识的眨眼几乎。
25、不可能和某个按键的闪烁同步， 从而消除了无意识眨 眼的影响。 此外， 为了加快控制指令产生的速度， 也可以采用另一种 “快速决策机制” ： 如果 某个按键在本轮闪烁中被选中为识别结果， 则直接将其视为最终结果并输出对应的轮椅控 制指令。“快速决策机制” 的优点是缩短了生成指令的时间， 缺点是准确率不高且容易受到 无意识眨眼的影响。 由于实际轮椅控制中对停止的反应速度要求较高， 需要实现 “即停” ， 并 且 “误停” 不会导致潜在的危险， 因此本发明对停止键采用了 “快速决策机制” ， 对其它按键 使用的则是 “同步决策机制” 。 根据实验结果， 本发明生成一个非停止指令的平均时间为 3.56。
26、s， 生成一个停止指令的时间为1.92s， 总体准确率达到97.1。 0043 本发明较现有技术的一大优势在于引入图形用户界面提示用户在特定时刻眨眼， 并提出了一种多阈值眨眼检测方法和一种基于时延的评估方法， 能够快速地检测到眨眼信 号并将其准确定位到某一个具体的按键上， 从而实现了仅仅使用一种眼部动作就能安全、 快速、 准确且充分地提供轮椅控制指令。 根据实验结果， 本发明生成一个非停止指令的平均 时间为3.56s， 生成一个停止指令的时间为1.92s， 总体准确率达到97.1， 误报率为0， 且能 够提供多达13个控制指令。 现有的非手动轮椅控制技术如脑电中的运动想象模式通常只能 提供2个。
27、或3个控制指令且准确率因人而异， 而P300模式生成一个控制命令一般需要4-6秒， SSVEP模式则容易引发疲劳和癫痫； 现有的基于眼电的轮椅控制技术准确率最高只有80 说 明 书 4/5 页 6 CN 107007407 B 6 左右。 本发明公开的方法可以很好的解决这些问题。 0044 本发明的另一大优势在于采用 “同步决策机制” ， 只有当检测到的眨眼与某个按键 的闪烁同步时才输出控制指令， 从而大大提高了准确率， 消除了单次无意识眨眼带来的影 响， 误报率为0。 现存的其它眼电控制系统通常不能很好地区分有意识眼部动作和无意识眼 部动作， 因而存在一定的误报率。 本发明公开的方法可以很好。
28、的解决这个问题。 0045 本发明的另一大优势在于设备成本低， 操作简单， 实用性好。 该系统的硬件信号采 集设备为自制的眼电放大器， 成本低廉， 只需使用三个电极采集信号。 用户只需要跟随按键 闪烁同步眨眼即可选中对应指令， 简单明了， 事先不需要经过训练。 并且由于引入了校准机 制， 克服了用户个体差异带来的影响。 0046 以上详细描述了本发明的较佳具体实施例。 应当理解， 本领域的普通技术人员无 需创造性劳动就可以根据本发明的构思作出诸多修改和变化。 因此， 凡本技术领域中技术 人员依本发明的构思在现有技术的基础上通过逻辑分析、 推理或者有限的实验可以得到的 技术方案， 皆应在由权利要求书所确定的保护范围内。 说 明 书 5/5 页 7 CN 107007407 B 7 图1 图2 说 明 书 附 图 1/1 页 8 CN 107007407 B 8 。