基于双模校验机制的脑电驱动高可靠操控系统 技术领域 本发明主要涉及到脑机接口技术领域， 特指一种基于双模校验机制设计的脑电驱 动高可靠操控装置。
背景技术 通过某种操作对特定设备实施控制的系统均可称之为操控系统。 例如， 电脑、 电视 及空调等家电的使用， 智能轮椅的控制， 飞机等武器装备的驾驶等等都需要通过操控系统 来实现。目前操控系统广泛应用于家电控制、 医疗助残及军事航空航天领域的飞行器驾驶 等场合。 近年来， 遥控装置的研发与应用满足了环境远距离操控的需求， 为实现人不能到达 或不方便到达的操控场景的控制带来了极大的便利。然而， 对于类似飞行员飞行过程中处 于超重状态无法抬起手臂， 负伤士兵运动能力丧失或行动不便， 及患有运动性功能障碍的 残疾人等无法实施动作或很难完成操作动作等场景， 传统的操控系统很难帮助人来实现对 设备的操作。目前， 针对这种非动作式的人机交互需求， 人们已经开发了语音识别系统、 眼 动识别系统及脑机接口系统等操控系统。 语音识别系统最大的缺点就是受背景噪声的影响 较为严重， 而眼动识别系统受人眼与识别装置的相对位置影响较大， 此外， 这两种系统均不 适用于完全丧失运动能力的用户。
脑机接口 (Brain-Computer Interface， BCI) 是一种新的不依赖于外周神经和肌 肉参与的通讯系统。 它通过检测并判别脑电信号中对应不同大脑活动所体现出来的时空模 式来识别人的意图， 从而实现人脑与外界交流和控制。 BCI 技术具有不需要人的肢体活动或 语言表达参与的、 无动作、 非接触的特点， 这使其不但在助残、 康复工程、 娱乐等领域有着广 泛的应用前景， 在国内外军方的武器装备研发领域也同样引起广泛关注。随着人们对大脑 功能不断深入的研究及信号处理技术的快速进步， 通过安放在用户头部电极采集到的头皮 脑电图 (Electroencephalogram， EEG) 信号的处理技术已经达到一定水平， 这为脑电驱动 的操控系统研究提供了技术基础。然而， 现有基于 EEG 信号驱动的操控系统仍处于实验室 研发阶段， 未在实际生活中得到广泛应用， 这主要是由于该类系统的可靠性在非实验室环 境下还难以满足要求。
近年来， 国内外众多 BCI 研究团队对采用视觉刺激诱发 EEG 信号的 BCI 范式展开 了大量研究， 这些研究目前主要集中在对 EEG 信号的时域成分和频域成分两种脑电模态的 分析处理上， 例如， 采用 P300 事件相关电位 (P300 Event-related Potentials， P300REP) 的时域信息和稳态视觉诱发电位 (Steady-state Visually Evoked Potentials， SSVEP) 的 频域信息的研究均已经达到了较高水平。 P300 范式通常将目标按键排列成 m×n 矩阵。 在刺 激过程中， 常采用 RC 编码， 矩阵 m 行和 n 列循环随机闪烁， 当用户所关注的目标所在行列闪 烁时， 其对这种视觉刺激事件产生一种 “预期到达” 的心理响应而产生的一种 EEG 信号。在 目标闪烁后约 300ms 左右， 用户的 EEG 信号会出现一个正的峰值， 即 P300 波。 通过检测 P300 波的出现时刻来反推出用户所关注的目标的闪烁时间， 进而推断出目标位置。而 SSVEP 范 式通常是通过一组定频闪烁的模块来施加视觉刺激的， 在刺激过程中， 用户注视以某特定
频率闪烁的字符模块， 此时， 用户头部枕区 EEG 信号会产生与刺激频率相对应的 SSVEP 脑电 电位。SSVEP 的频谱主要集中在刺激频率基波及其谐波频率处， 具有较高的信噪比。系统 通过对 EEG 信号频域成分的辨识来反推出视觉刺激的频率， 进而确定用户所注视的目标位 置。
上述采用单一模态脑电成分驱动的操控系统均可以通过增加刺激时间的方式在 一定程度上提高系统可靠性， 但目标选择时间成倍的增长使原本实时性较差的系统更加难 以满足实际应用场合的需要。 发明内容 本发明要解决的技术问题就在于 ： 针对现有技术存在的技术问题， 本发明提供一 种结构简单、 操作简便、 可提高操控速度并能够提高操控可靠性和精确性的基于双模校验 机制的脑电驱动高可靠操控系统。
为解决上述技术问题， 本发明采用以下技术方案 ：
一种基于双模校验机制的脑电驱动高可靠操控系统， 包括 ：
信号采集模块， 用来采集 EEG 信号并将采集到的 EEG 信号放大、 经 A/D 转换处理后 传入至信号处理模块 ；
阻抗检测模块和参数设置模块， 用来负责系统初始化 ；
信号处理模块包括时域成分信号处理模块和频域成分信号处理模块， 用以对 EEG 数据时频特征的提取与识别， 信号处理模块将所得到的 EEG 信号按脑电时频成分分成两组 处理 ；
目标校验模块包括校验码编码器和校验码解码器， 用于对由信号处理模块计算得 到的脑电时频成分两模态联合特征推断出的目标键初步判定结果进行验错和纠错操作 ；
人机交互模块， 包括控制状态显示模块和视觉刺激模块， 所述控制状态显示模块 用于接收目标校验模块输出的目标键坐标， 将经目标键操作后的系统运行状态显示出来， 形成视觉反馈 ； 所述视觉刺激模块用来继续施加刺激， 进行下一个操控命令的输入。
作为本发明的进一步改进 ：
所述信号处理模块根据 P300 成分在时域上的特征， 通过截取每个随机刺激事件 发生后 0 ～ 800ms 的 EEG 信号的方式进行特征提取， 求得各刺激事件对应的特征向量， 并通 过参数设置模块导入的分类器模板计算其所对应的特征值 ； 之后， 按码字分别求出特征值 的平均值， 即得出矩阵中各行列坐标对应的特征值。同时， 根据 SSVEP 成分在频域上的特 征， 使用参数设置中选择的特征提取方法提取 EEG 信号在各刺激频率处的特征向量， 并采 用导入的分类器模板分别计算各刺激频率对应的特征值。最后， 将脑电时频两种模态特征 融合在一起， 生成联合特征。
所述特征提取方法为快速傅里叶变换法、 或典型相关性分析法、 或最小二乘法法。
所述分类器为线性判别分析、 或支持向量机、 或人工神经网络。
所述阻抗检测模块通过检测电极阻抗来检验各电极与用户头部是否接触良好， 并 通过用户闭眼的方式检测 α 波， 以确保所采集的 EEG 信号没有被高频噪声污染 ； 所述参数 设置模块负责脑电频域成分 SSVEP 特征提取方法的选择、 两种脑电成分分类器的选择及其 针对不同用户事先离线训练得到的分类器模板导入。
所述校验码编码器对脑电频域成分 SSVEP 特征值最大值的显著度设置用于判定 用户无意识操作的门限值， 并将脑电时频成分联合特征转化成校验码 ； 所述校验码解码器 通过设定的校验机制对校验码进行解码， 并将求得的目标键坐标发送至控制状态显示模 块。
所述控制状态显示模块用于接收目标校验模块输出的目标键坐标， 并将经目标键 操作后的系统运行状态显示出来 ； 所述视觉刺激模块为一组成 m×n 矩阵排列的操作键， 通 过 LED 屏或电脑显示器实现， 所述各操作键以特定频率亮暗交替闪烁闪烁的同时， 以矩阵 行列为单位， 通过变色并增加亮度的形式随机闪烁， 所述定频闪烁共设置 n 个刺激频率， 且 各刺激频率在操作键矩阵中按行错位设置。
与现有技术相比， 本发明的优点在于 ：
1、 对于本发明所述系统， 大多数用户在不经过大量训练的情况下均可以达到较高 的目标识别准确率， 便于用户快速入门使用， 有利于所述方法的推广。
2、 本发明目标键选择时间的设置是一个正反馈机制， 即用户的状态越好， 选择时 间越短。 用户可以通过提高专注度、 调整注视方向， 以及选择距视觉刺激模块合适的距离等 方式提高目标键选择速度。 3、 系统针对 EEG 信号频域成分设置了门限值， 当其特征值最大值的显著度超过所 述门限值时， 系统判定为用户正在进行系统操控 ； 否则， 为用户未在执行操控任务。所述门 限值的设置消除了用户无意识操作影响， 更加适应系统实际应用场合的需要。
4、 本发明所提供的操控系统的目标校验模块， 从生理角度出发， 可有效排除目标 识别过程中伪目标的输出， 并可通过校错机制对伪目标加以校正， 可有效提高目标识别准 确率， 保证系统的高可靠性。
附图说明
图 1 是本发明的框架结构示意图。
图 2 是本发明在应用过程中视觉刺激界面的示意图。
图 3 是本发明在应用过程中时频刺激融合界面的示意图。
图 4 是本发明在应用过程中的流程示意图。
图 5 是本发明在应用过程中对脑电时频成分两种模态信号的处理流程示意图。
图 6 是本发明目标校验模块的工作流程示意图。 具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
如图 1 所示， 本发明的基于双模校验机制的脑电驱动高可靠操控系统， 包括信号 采集模块、 阻抗检测模块、 参数设置模块、 信号处理模块、 目标校验模块及人机交互模块， 各 组成模块依次相连。
信号采集模块， 用来采集 EEG 信号并将采集到的 EEG 信号放大、 经 A/D 转换处理 后传入至信号处理模块 ； 本实施例中， 信号采集模块包括主动电极、 脑电放大器及 A/D 转换 器。主动电极采用国际 10-20 标准， 安放在 Cz、 P3、 P4、 Pz、 Oz、 O1、 O2、 POz、 AFZ 及 P8 位置， 其中 AFZ 和 P8 分别设置为接地 Gnd 和参考电极 Ref， 为适应实际使用场合的需要可采用干电极。脑电放大器和 A/D 转换器可与主动电极一起集成在电极帽上， 并采用无线传输方式 将采集的 EEG 信号传入信号处理模块进行处理。
阻抗检测模块和参数设置模块， 用来负责系统初始化。 操作系统初始化时， 需通过 阻抗检测模块检查系统是否连接完好， 并通过参数设置模块导入系统使用所需参数 ； 初始 化后， 系统退出阻抗检测模块和参数设置模块的执行程序。 其中， 阻抗检测模块通过检测电 极阻抗来检验各电极与用户头部是否接触良好， 并通过用户闭眼的方式检测 α 波， 以确保 所采集的 EEG 信号没有被高频噪声污染。参数设置模块负责脑电频域成分 SSVEP 特征提取 方法的选择、 两种脑电成分分类器的选择及其针对不同用户事先离线训练得到的分类器模 板导入。
信号处理模块由时域成分信号处理模块和频域成分信号处理模块两部分组成， 用 以对 EEG 数据时频特征的提取与识别。信号处理模块将所得到的 EEG 信号按脑电时频成分 分成两组处理。首先， 系统采用不同带宽的带通滤波器分别对两通道的 EEG 信号进行预处 理。根据 P300 成分在时域上的特征， 系统通过截取每个随机刺激事件发生后 0 ～ 800ms 的 EEG 信号的方式进行特征提取， 求得各刺激事件对应的特征向量， 并通过参数设置模块导入 的分类器模板计算其所对应的特征值 ； 之后， 按码字分别求出特征值的平均值， 即得出矩阵 中各行列坐标对应的特征值。同时， 根据 SSVEP 成分在频域上的特征， 使用参数设置中选 择的特征提取方法提取 EEG 信号在各刺激频率处的特征向量， 并采用导入的分类器模板分 别计算各刺激频率对应的特征值。 最后， 将脑电时频两种模态特征融合在一起， 生成联合特 征。其中， 特征提取方法为快速傅里叶变换法、 或典型相关性分析法、 或最小二乘法。分类 器可以根据实际需要采用线性判别分析、 或支持向量机、 或人工神经网络。
目标校验模块包括校验码编码器和校验码解码器， 用于对由信号处理模块计算得 到的脑电时频成分两模态联合特征推断出的目标键初步判定结果进行验错和纠错操作。
人机交互模块， 包括控制状态显示模块和视觉刺激模块， 控制状态显示模块用于 接收目标校验模块输出的目标键坐标， 将经目标键操作后的系统运行状态显示出来， 形成 视觉反馈 ； 视觉刺激模块用来继续施加刺激， 进行下一个操控命令的输入。
其中， 视觉刺激模块为一组成 m×n( 一般 m， n 取 5 ～ 7， 令 n ≥ m) 矩阵排列的操 作键， 可通过 LED 屏或电脑显示器实现。进入目标键选择阶段后， 各操作键以特定频率闪烁 的同时， 操作键以矩阵行列为单位， 通过变色并增加亮度的形式随机闪烁， 以此同时诱发用 户脑电时域和频域成分。
为保证视觉刺激模块矩阵中各操作键同行、 列均以不同频率闪烁， 满足两种刺激 正交校验要求， 定频闪烁共设置 n 个刺激频率亮暗两个相位交替闪烁， 且各刺激频率在操 作键矩阵中按行错位设置。 n 个闪烁频率的选择需满足以下约束 ： 1、 为了在保证诱发 SSVEP 脑电电位的前提下避免 α 波 (8 ～ 12Hz) 的影响， 刺激频率应大于 12Hz ； 2、 由于 EEG 信号 在刺激频率的二次谐波频率处响应明显， 为了避免信息丢失， 所述刺激频率最大值的二次 谐波不应超过带宽范围 ； 3、 根据先前研究结论可知， 在 SSVEP 范式中， 为保证目标识别的准 确率， 刺激频率之差不能小于 0.2Hz。
由于 P300 是用户对刺激的随机性所产生的心理状态变化的响应， 而 SSVEP 是用户 EEG 信号对视觉刺激的共振响应， 两种 EEG 信号在大脑皮层上形成的位置和生理机理不同 ； P300 为脑电时域的成分， 而 SSVEP 为脑电的频域成分， 两种信号处理方法针对的信号空间不同， 没有信息重叠干扰， 因此融合两种 BCI 技术不会导致各自信号处理和识别准确率有 明显的下降， 从而可以有效保证目标识别的正确率。
在具体应用实例中， 本发明的具体实施例包括了依次相连的主动电极、 脑电放大 器 ( 集成了 A/D 转换模块 )、 初始化装置 ( 包括了阻抗检测模块和参数设置模块 )、 信号处 理装置、 控制状态显示屏、 视觉刺激键盘。图中， 按照国际惯例 10-20 系统， 主动电极安放在 Cz、 P3、 P4、 Pz、 Oz、 O1、 O2、 POz、 AFZ 及 P8 位置， 其中 AFZ 和 P8 分别设置为接地 Gnd 和参考 电极 Ref， 为适应实际使用场合的需要可采用干电极。 并可根据实际需要与脑电放大器集成 在一起， 设置在电极帽上， 并采用无线发射装置将 EEG 数据发送至信号处理装置中。
如图 2 所示， 为本发明的视觉刺激界面， 它由一组成 m×n( 图中为 5×5) 矩阵排列 的操作键组成， 各操作键之间应留有一定间隙， 用以减小目标键相邻操作键定频刺激的干 扰。视觉刺激界面可通过 LED 屏或电脑显示器实现， 并可采用控制软件播放视频文件的形 式呈现出虚拟的操控键盘。 视频文件可同时控制各操作键以不同频率定频率闪烁和以矩阵 行列为单位随机闪烁。
如图 3 所示， 从时频刺激融合的角度为本发明视觉刺激的实现提供了更形象的描 述。如图所示， 视觉刺激界面共分 3 层， 最底层为黑色背景， 中间一层为定频刺激层， 该层操 作键以各自设定频率进行出现、 消失两个相位的转换操作， 并与黑色背景一起完成亮暗两 个相位的定频闪烁。刺激界面最顶层为随机闪烁刺激层， 该层所施加的闪烁刺激颜色应与 定频闪烁颜色有较高的辨识度， 并同时通过提高亮度的方式加以区别。 显然， 所述两种刺激 的融合是合理的、 可行的。 此外， 定频刺激层中各操作键区域内的数字为定频闪烁刺激频率的编号， 定频闪 烁共设置 n( 本实施例中 n ＝ 5) 个刺激频率亮暗两个相位交替闪烁， 且各刺激频率在操作 键矩阵中按行错位设置， 这样保证了视觉刺激模块矩阵中各操作键同行、 列均以不同频率 闪烁， 满足两种刺激正交校验要求。
如图 4 所示， 本发明基于双模校验机制的脑电驱动高可靠操控系统基本工作流程 如下 ：
1、 系统开始后， 首先需进行初始化操作 ： 启动阻抗检测模块， 检查所有电极的阻抗 值， 并通过用户闭眼的方式检测 α 波， 以保证系统能采集到高信噪比的 EEG 信号， 如果检测 结果不理想， 将对电极的安放重新进行调整， 直至所有电极阻抗满足要求 ； 退出阻抗检测模 块， 启动参数设置模块， 选择 SSVEP 特征提取方法， 导入其针对不同用户事先离线训练得到 的分类器模板 ； 参数配置完成后， 退出参数设置模块。
2、 当进入目标键选择阶段后， 系统通过视觉刺激模块控制各操作键以不同频率定 频闪烁的同时， 操作键行列随机闪烁一次。在此过程中， 用户注视目标键， 并当该操作键所 在行列出现随机闪烁时， 用户默数计数。
3、 系统将视觉刺激施加过程中采集的 EEG 信号发送至信号处理模块， 根据脑电时 频特征求出各目标处特征值， 组成联合特征。
4、 系统通过目标校验模块的校验码编码器将求得的联合特征值编译成校验码， 并 使用校验码解码器解码， 得到目标键位置坐标。
5、 接下来， 若有目标键坐标输出， 系统将目标键坐标发送至控制状态显示模块， 输 出操控结果， 对用户建立起视觉反馈， 使用户可以通过反馈结果， 确定下一个操控键的输
入； 若目标键坐标输出为空， 系统将再执行一次操作键行列随机闪烁操作， 并对 EEG 信号重 新进行一次处理、 识别及目标校验操作， 输出目标判别结果 ； 如果仍无坐标输出， 可继续循 环操作至 N 次， 系统 N 次循环过后仍无输出， 则可判断为系统故障， 将转入初始化模块， 重新 进行阻抗检查及参数配置操作。在此过程中， 为了保证 SSVEP 建立足够长时间的视觉稳态 刺激， 目标键坐标输出之前， 各操作键保持定频闪烁状态， 用户一直注视着目标键。 此外， 第 M(M ＜ N) 次信号处理操作使用的 EEG 信号为前 M 次 EEG 数据之和。
如图 5 所示， 是本发明脑电时频成分两种模态信号处理流程图。如图所示， 系统将 用户采集到得 EEG 信号经过放大及 A/D 转换后发送至信号处理模块， 并将其按时频成分分 成将两组分别处理。
系统将时域成分信道的 EEG 信号采用频率为 0.01 ～ 50Hz 的带通滤波后， 截取每 个随机闪烁刺激序列发生后 0 ～ 800ms 的 EEG 信号， 并根据 P300 时域特征计算各刺激事 件的特征向量， 之后， 使用参数配置中选择的分类器模板对特征向量进行加权， 得到特征值 score。按照码字 C 对 M 个刺激序列的 score 进行平均， 得到特征值的平均值
系统将频域成分的 EEG 信号采用频率为 10 ～ 35Hz 的带通滤波器进行带通滤波 后， 使用参数配置中选择的特征提取方法， 根据 SSVEP 频域特征， 提取出各刺激频率处的特 征向量。接下来， 系统采用参数配置中选择的分类器模板分别计算出各特征向量对应的特 征值。 最后， 系统将脑电时频两模态特征融合在一起， 生成联合特征。
如图 6 所示， 为本发明目标校验模块的工作流程进行了直观的表述， 其具体实现 步骤如下 ：
1、 校验码编码器从信号处理模块所求得的脑电时频成分两模态联合特征中分别 提取出 P300 成分所有特征值的平均值， 及操作键行坐标范围内与列坐标范围内的最大值 和次最大值， SSVEP 成分所有刺激频率处特征值的平均值、 最大值、 次最大值。
2、 通过判断 SSVEP 特征值最大值的显著度 S 是否超过门限值 K， 来确定用户 EEG 信 号中是否建立起稳态响应。 若其值大于门限值， 执行编码操作 ； 否则， 输出目标按键空坐标， 即判定为用户无意识操作。特征值最大值的显著度计算公式如下 ：
i ＝ {1， 2，…， n} 且 i ≠ max式中， Pmax 为各刺激频率处特征值的最大值， Pi 代表除最大特征值外其它各刺激频 率处特征值。
3、 将联合特征转化成校验码 [a x b y c z]。其中 x 和 y 分别为 P300 成分操作键 矩阵行、 列范围内对应特征值最大值的坐标， z 为 SSVEP 成分特征值最大值对应的刺激频率 编号。a， b， c 分别为编码中对应 x， y， z 的校验位， 取 0 或 1， 具体推导公式表示如下 ：
i ＝ {1， 2， 3} ； j ＝ {1， 2}
i ＝ {1， 2， 3} ； j ＝ {1， 2}式中， Avei、 Maxi、 Max′ i 分别为上述从信号处理模块求得的平均值、 最大值及次最 大值， Ji 分别代表 x， y， z 所对应的特征值最大值较其次最大值的显著度， Thdj 是针对脑电 时频成分特征值最大值较其次最大值的显著度分别设置的门限值， Fi 为 a， b， c 的取值。
4、 基于校验码解码器验错机制， 判断脑电时频成分是否能共同锁定目标输出， 如 果可以， 输出目标按键坐标 (x， y) ； 如果不能， 启动校错机制， 对目标进行校对。
验错机制通过判断下式等式两边是否相等来验证目标键初步判定是否有错。
(x+y-1)％ n ＝ z
式中， n 为定频闪烁刺激频率个数。
5、 目标校错过程中， 若校验位 a， b， c 中有两个值取 1， 则表示可以通过校错机制给 出正确输出 ； 否则， 系统将目标键坐标设置为空。校错过程具体情形如下 ：
①当 [a， b， c] ＝ [1， 0， 1] 时， 表明编码中代表目标键列坐标的 y 对应的特征值不 够显著， 目标按键应为其同行处背景频率为 z 的操作键， 即目标键坐标为 (x， y′ )。其中， y′的公式表示如下 ：
Dy ＝ (z-x+1)％ n
式中， Dy 为中间变量。
②当 [a， b， c] ＝ [0， 1， 1] 时， 表明编码中代表目标键行坐标的 x 对应的特征值不 够显著， 目标键应为其同列处背景频率为 z 的操作键， 即目标键坐标为 (x′， y)。x′的公 式表示如下 ：
Dx ＝ (z-y+1)％ n
式中， Dx 为中间变量。
③当 [a， b， c] ＝ [1， 1， 0] 时， 表明编码中代表刺激频率标号的 z 对应的特征值不 够显著， 即 SSVEP 成分的识别不明显， 目标键坐标应以 P300 的识别结果为准， 其坐标为 (x， y)。
6、 最后， 系统将经目标校验模块求得的目标键坐标发送至控制状态显示模块。
以上仅是本发明的优选实施方式， 本发明的保护范围并不仅局限于上述实施例， 凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出， 对于本技术领域的 普通技术人员来说， 在不脱离本发明原理前提下的若干改进和润饰， 应视为本发明的保护 范围。