基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法技术领域
本发明涉及脑-机接口(Brain-Computer Interface,BCI)技术领域,具体涉及基
于稳态运动视觉诱发电位(稳态运动视觉诱发电位)与缺省刺激响应(缺省刺
激响应)的混合脑-机接口方法。
背景技术
脑-机接口(Brain Computer Interface,BCI)是在人脑与计算机或其他电子设
备之间建立直接的交流和控制通道,通过这种通道,人就可以直接通过大脑来
表达想法或操纵设备,而不需要言语或动作的辅助,这对很多残疾人甚至更严
重的神经坏死患者来说无疑是个福音,为他们提供了与外界进行交流的可能性。
脑-机接口技术形成于20世纪70年代,是一门涉及康复工程、神经科学、生物
医学工程、心理认知科学、计算机科学、信号检测与处理、模式识别等多学科
的交叉技术。自这门技术形成以来,从事研究的人员数目也呈明显的上升趋势,
而两次BCI国际会议的召开更是为BCI技术未来的发展指明了方向,使得BCI
技术成为当前的研究热点。随着研究团队的增多,人们对BCI技术的基础与应
用研究都取得了长足的进步。BCI技术的最初研究局限运用在康复工程上,帮助
残疾和脑瘫患者与外界交流和控制外界设备,帮助他们恢复控制和交流功能。
但随着脑-机接口技术的逐步成熟和外界需求的提高,该技术逐步地应用到其他
方面。比如在娱乐方面甚至军事领域,脑-机接口技术展现出其巨大的潜在价值。
视觉诱发电位(Visual Evoked Potential,VEP)是大脑皮质枕叶区对视觉刺激
发生的电反应,是代表视网膜接受刺激,经视路传导至枕叶皮层而引起的电位
变化。当视觉刺激的刺激频率在6Hz以上时,大脑视觉系统产生的对外部持续
周期性视觉刺激的响应,即为稳态视觉诱发电位(Steady State Visually Evoked
Potential,SSVEP)。然而,在传统的SSVEP-BCI领域,大多数研究是基于闪烁
或闪烁的反衬变化,很少有研究运动对视觉刺激的影响以及其潜在的稳定BCI
的设计。稳态运动视觉诱发电位(SSVEP)就是利用一种特殊的运动的视觉刺
激,类似于牛顿环的扩张和收缩运动,从而引发的大脑视觉系统产生的对外部
持续周期性视觉刺激的响应。与对光的感知和颜色对比类似,运动感知也是人
类视觉系统的基本任务之一。最近的研究利用运动产生的视觉诱发电位,来构
建类似于P300的拼字BCI系统,取得了不错的效果。基于稳态运动视觉诱发电
位的BCI系统主要优点是无需训练,信号获取容易,相比光闪烁范式还可以相
对地减少视觉疲劳,这类系统比较适合于多指令选择的离散控制型应用,如拼
字系统、脑控轮椅、操作界面等。改变运动的刺激频率,就可以得到不同的指
令,但由于大脑的低通滤波效应,该系统只能利用30Hz以下的低频区域,再者
由于显示屏幕的刷新频率的限制,以及一定频率刺激下的响应幅值效果不好等
问题,可用于稳态运动视觉诱发电位-BCI系统的刺激频率并不多。采用刷新频
率更高显示屏是一个解决方法,但最根本的解决办法还是改进范式,因此,增
加可呈现的目标数目,在相同目标数下尽可能提供更多的指令,提高系统的信
息传输率对于将该系统应用到实际生活中有非常重要的意义。
缺省刺激响应(theomitted stimulus response,缺省刺激响应)是一种内因性
的大脑反应,是指重复性感官刺激的停止可以引起头皮电位的一系列模式特征,
在一系列有规律的感官刺激缺失后可以被诱发出来。缺省刺激响应特征在刺激
频率小于2Hz和刺激频率大于5Hz两种情况下,在形式、延迟和属性上有一些
不同,但是二者在刺激缺失后都趋向于一个稳定的潜伏期。刺激频率在2-5Hz
之间时无法诱发出缺省刺激响应特征。缺省刺激响应特征根据刺激频率可以分
为“快”缺省刺激响应(大于6Hz)和“慢”缺省刺激响应(0.3-1.6Hz)两种。“快”
缺省刺激响应s(一般包括N120,P170-230等成分)要求受试者对刺激进行盯
视但不需要提供注意力,“慢”缺省刺激响应s(通常包括P500-1100成分)需要
受试者提供注意力。
发明内容
在现有的稳态运动视觉诱发电位-BCI系统中,提供的目标个数十分有限,
目标之间仅仅通过刺激频率加以区分。为解决目标数较少的问题,本发明提供
基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法,将稳态运动
视觉诱发电位特征与缺省刺激响应特征同时诱发,使得在同一刺激频率下,可
成倍增加目标指令,且具有操作简单、训练时间少、电极数目少等优点。针对
同时诱发出的稳态运动视觉诱发电位特征与缺省刺激响应特征,也提出了对应
的特征提取方法。
本发明是通过下述技术方案来实现的。
基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法,包括以
下步骤:
步骤1:受试者佩戴电极帽,分别将电极帽上的参考电极、地电极和测试电
极与受试者头部接触,受试者目测视线与计算机屏幕平视,受试者头部距离计
算机屏幕为60~90厘米,保证测试电极阻抗低于5千欧姆;
步骤2:预先通过MATLAB编写的稳态运动视觉诱发电位与缺省刺激响应
混合范式程序会在计算机屏幕中呈现,运行程序后,屏幕上有若干个刺激目标,
受试者根据目标提示选择一个刺激目标进行双目盯视,放大器将电极帽采集得
到的脑电信号经过放大、滤波、A/D转换后存储在计算机中;
步骤3:计算机将存储的脑电信号进行预处理,并对稳态运动视觉诱发电位
特征和缺省刺激响应特征分别进行特征提取,再对刺激目标进行分类识别;
步骤4:计算机屏幕显示刺激目标识别结果,对被试者进行视觉反馈;
步骤5:计算机在完成步骤4后,返回步骤2,重复步骤2-4,按照预设程序
进行下一轮的刺激目标分类识别以及视觉反馈,直至程序结束。
作为优选,稳态运动视觉诱发电位与缺省刺激响应混合范式方法是通过下述
方式来实现的:
2-1)在MATLAB界面中,利用Psychtoolbox工具箱,编程实现以牛顿环形
式闪烁用以诱发稳态运动视觉诱发电位的视觉刺激器,在视觉刺激器闪烁过程
中添加一定时间的刺激缺失,即可诱发出缺省刺激响应;
2-2)一个视觉刺激器即为一个刺激目标,程序中预设若干个刺激目标,运
行程序后呈现在屏幕上的若干个刺激目标按照阵列分布方式排布,其位置在程
序中设定;
2-3)将若干个刺激目标设置对应的标号,每一列具有相同的刺激频率,各
列之间刺激频率不同;每一行具有相同的首次闪烁刺激缺失时间,各行之间首
次闪烁刺激缺失时间不同;在每一次刺激目标呈现中,可出现多次闪烁刺激缺
失;首次闪烁刺激缺失时间和闪烁刺激缺失次数与每一次刺激目标呈现时间有
关,每次闪烁刺激缺失时间范围不能超出每一次刺激目标呈现时间范围;
2-4)进行训练样本采集:受试者根据程序中提前设定对某个刺激目标进行
双目盯视,在程序运行中,会在选定刺激目标处有相应提示,受试者只需根据
提示对选定的刺激目标进行盯视即可,直至训练样本采集部分结束;
2-5)进行刺激目标在线识别:受试者根据程序中随机产生的一个刺激目标
的标号,之后在标号对应的刺激目标处有相应提示,受试者仍然只需根据提示
对选定的刺激目标进行盯视即可,直至在线识别部分结束;
2-6)放大器将电极帽采集得到的训练样本采集脑电信号和在线识别脑电信
号经过放大器放大、滤波、A/D转换后存储在计算机中。
进一步,所述步骤2-3)中,刺激频率范围在6Hz-30Hz之间选择。
进一步,所述步骤2-3)中,闪烁刺激缺失方式包括刺激目标消失和刺激目
标停顿,可以任意选择一种闪烁刺激缺失方式。
进一步,每次闪烁刺激缺失时间范围为每一次刺激目标呈现时间的
10%-15%,在每一次刺激目标呈现中,可出现4~8次闪烁刺激缺失,每次闪烁
刺激缺失距上一次闪烁刺激缺失的间隔为任一刺激目标刺激频率的3~6个闪烁
周期;
作为优选,所述步骤2中,电极帽为64导联电极帽,电极放置位置由国际
10/20系统扩展而来;脑电信号的采集采用g.Tec公司的16导gUSBamp放大器
作为采集硬件,采样频率设置为1200Hz,利用硬件采集设备实现对信号的
0.01-100Hz的带通滤波及48-52Hz带阻滤波。
作为优选,所述步骤3中,对存储的脑电信号进行预处理,并对稳态运动视
觉诱发电位特征与缺省刺激响应特征分别进行特征提取,再对刺激目标进行分
类识别,包括以下步骤:
3-1)调用MATLAB中detrend函数去除时间序列中的直流成分,调用butter函
数和filter函数进行带通滤波对脑电信号进行预处理;实时获取一次刺激呈现中
预处理后的脑电数据;
3-2)采用典型相关分析方法对稳态运动视觉诱发电位的频率特征进行特征
提取,具体方法是将电极记录到的脑电数据经过步骤3-1)中的信号预处理后,分
别与不同刺激频率基频及二倍频、四倍频的正余弦信号求取典型相关系数,n个
刺激频率对应n个最大的典型相关分析系数ρn,其中典型相关分析最大的系数
被认为是刺激目标的刺激频率对应的典型相关分析系数,由此可以判断出受试
者注视的刺激目标位于第几列;
3-3)通过训练样本采集实验确定缺省刺激响应的时域特征出现在刺激缺失
后的125ms-450ms内,对同一刺激目标该时段内的脑电数据进行8次以下叠加
平均处理,再采用BP神经网络的方法对叠加平均处理后的缺省刺激响应的时域
特征进行特征提取,则可判断出受试者注视的刺激目标位于第几行,识别出最
终的刺激目标。
进一步,所述步骤3-2)中,电极记录到的脑电数据是采集到电极帽上包括
O1、Oz、O2、Cz、Pz、POz、PO3、PO4、PO7和PO8位置处的脑电信号。
进一步,所述步骤3-3)中,采用BP神经网络的方法对叠加平均处理后的
缺省刺激响应的时域特征进行特征提取,具体实现过程包括以下步骤:
3-3-1)数据叠加平均:根据步骤3-2)对稳态运动视觉诱发电位特征识别后
得到的结果可知位于第几列的刺激目标,按照该列刺激目标的刺激缺失时刻分
别作为起始时刻,对刺激缺失后125ms-450ms内的数据进行8次以下叠加平均,
则得到那一列叠加后的数据;
3-3-2)缺省刺激响应特征提取:针对那一列叠加后的数据,可求取出电极记
录到的脑电数据波形的包括峭度值、波形指标、脉冲指标;
3-3-3)确定神经网络参数:
(1)训练数据:确定训练数据数目n和脑电数据波形的峭度值、波形指标、
脉冲指标特征;
(2)目标矢量:给定目标矢量,目标矢量与步骤3-3-1)得到那一列的刺激目
标数目相对应,使得步骤3-3-1)得到那一列叠加后的数据训练目标不同;
(3)层数:BP神经网络的层数layer设定为输入层、输出层和中间层;
(4)各层神经元数目:输入层神经元数目按照脑电数据波形的包括峭度值、
波形指标、脉冲指标数目设定;输出层神经元个数为1;中间层神经元数目可以
用黄金分割法来确定;
(5)给定最大训练次数和最小训练误差;
3-3-4)构建BP神经网络模型:
BP神经网络模型包括输入层、输出层和中间层三层神经网络模型:
输入层神经网络模型:
其中,函数采用Sigmoid函数;为输入层的权系数,为输入层的阈
值;为输入层的输出;为输入层一组训练样本;为输入层的第i个神经
元的激励总和;
中间层神经网络模型:
其中,函数采用Sigmoid函数;为中间层输入;为中间层神经元
与输入层神经元之间的连接权值;为中间层的阈值;为中间层的第i个神经
元的激励总和;为中间层的输出;
输出层神经网络模型:
其中,函数采用Sigmoid函数;为输出层输入;为输出层神经元
与中间层神经元之间的连接权值;为输出层的阈值;为输出层的输出;yl
为神经网络的输出;为输出层的第i个神经元的激励总和;
3-3-5)缺省刺激响应特征训练:
(1)对于步骤3-3-1)那一列叠加后的数据,分别带入上述输入层、中间层和
输出层;
(2)给定一个训练样本ul,按照步骤3-3-4)中所述方法计算得到每一层的输
入输出值,计算输出层误差εl=target(l)-yl,l=1,2,...,2nC;
(3)定义误差函数其中,
其中,target(l)为训练样本ul对应的目标矢量;El为训练样本ul的误差函数;
(4)若E小于最小训练误差或迭代次数超过最大训练次数,则算法结束,否
则,采用梯度下降法对各层权值和阈值进行修正:
其中,为神经网络t层的第i个神经元的激励总和;为神经网络t层神
经元与神经网络t-1层神经元之间的连接权值;为神经网络t-1层输入样本特
征值;为神经网络t-1层的阈值;为神经网络t层的下降梯度;为神经
网络t层输入;为神经网络t层神经元与神经网络t-1层神经元之间的连接权
值修正量;为神经网络t层的阈值修正量;
要计算网络连接权值的修正量,需首先正向计算网络每一层的节点输出
然后反向计算
(5)计算得到和进行权值修正:
(6)转到第(2)步,直至算法收敛;
3-3-6)缺省刺激响应特征在线识别:
在步骤3-3-5)中对缺省刺激响应特征进行训练后得到BP神经网络各层的最
优权值和最优阈值,即得到训练好的BP神经网络模型;进行在线识别时,将与
训练数据相同格式的测试数据依次输入神经网络,若输出值在正确的目标矢量
范围内,则测试数据是按照正确刺激缺失时间叠加而得到的数据;相反,若输
出值在错误的目标矢量范围内,则测试数据是按照错误刺激缺失时间叠加而得
到的数据,因此可以得到正确的刺激缺失时间,即确定最终的识别目标。
本发明针对目前所有的基于稳态视觉诱发电位的BCI系统容易造成视觉疲
劳的缺点,改进了实验范式,采取运动的视觉刺激以减弱对受试者造成的视觉
疲劳;再者针对单纯地基于稳态运动视觉诱发电位的BCI系统刺激目标少、目
标指令少、实验范式简单、系统稳定性差、信息传输率低等缺点,提出了基于
稳态运动视觉诱发电位特征与缺省刺激响应特征同时诱发的混合BCI范式,探
索得到了该混合范式最优记录电极、合适的刺激频率、刺激缺失方式以及刺激
缺失时长,对各项参数进行了优化;并且提出了稳态运动视觉诱发电位特征与
缺省刺激响应特征的特征提取与分类识别方法。本发明采用两种特征识别信息,
无需强烈的视觉刺激,在相同刺激频率下,使刺激目标数成倍增加,可完成任
务种类增多,大大提高了信息传输率,且具有操作简单、训练时间少、电极数
目少等优点。在保证操作简单、所需训练时间短、电极数目少等已有范式的优
点的前提下,还具有在刺激目标数相同的情况下,成倍增加目标指令,相对地
减弱视觉疲劳等新的优势,为脑-机接口技术开辟了新的思路,显示了如下优越
性:
(1)提出了基于稳态运动视觉诱发电位(SSVEP)与缺省刺激响应(TSR)的混
合脑-机接口方法,在刺激目标数相同的情况下,成倍地增加目标指令。
(2)对新范式的各项参数进行了探索,取得了比较好的进展,保证了在该
混合范式下,受试者可以诱发出明显的稳态运动视觉诱发电位特征与缺省刺激
响应特征。
(3)提出了对应的稳态运动视觉诱发电位特征与缺省刺激响应特征的特征
提取与分类识别方法,通过对应的特征提取方法进行在线识别与分类,及时将
输出结果反馈给被试者,同时不同的分类结果对应不同的指令,用以控制其他
外设,具有实际应用价值。
(4)少次平均缺省刺激响应特征的提取及识别方法:对缺省刺激响应特征
经过8次以下叠加平均,即可以保证缺省刺激响应特征的有效提取和目标识别,
提高脑-机接口的辨识效率,保障脑-机接口信息的高效传输。
附图说明
图1是本发明的系统框图。
图2是本发明中的电极放置示意图。
图3是本发明的时间序列及行为任务图,其中图3(a)为训练样本采集部分,
图3(b)为在线识别部分。
图4是本发明的实验范式原理图,其中图4(a)为刺激目标在屏幕上的分布
图,图4(b)为刺激序列图。
图5是本发明中数据的在线处理算法流程图。
图6是本发明中用于分类识别缺省刺激响应特征的BP神经网络图。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
基于稳态运动视觉诱发电位(SSVEP)与缺省刺激响应(TSR)的混合脑-
机接口方法,包括以下步骤:
步骤1:如图1所示,受试者带好电极帽后,端坐于计算机正前方,受试者
头部距离计算机屏幕约为70厘米。电极按照“国际10/20标准导联系统”布置,
如图2所示。实验中记录数据的电极位于大脑枕部区域,包括O1、Oz、O2、
Cz、Pz、POz、PO3、PO4、PO7、PO8十个电极,参考电极位于左耳耳垂,地
电极为Fpz,位于额头位置。在实验开始时,依次给地电极、参考电极以及记录
电极注入导电膏,确保其与头皮接触良好,并在实验过程中保证电极阻抗低于5
千欧姆。
步骤2:预先通过MATLAB编写的稳态运动视觉诱发电位与缺省刺激响应
混合范式程序会在计算机屏幕中呈现,运行程序后,屏幕上有若干个刺激目标,
将稳态运动视觉诱发电位-缺省刺激响应混合范式通过计算机屏幕在受试者面前
播放,如图4(a)所示,受试者在实验中根据目标提示选择一个刺激目标进行
双目注视屏幕,并且根据提示选择一个刺激目标进行盯视,放大器将通过电极
帽采集得到的脑电信号经过放大、滤波、A/D转换等一系列变化存储在计算机
中。
稳态运动视觉诱发电位与缺省刺激响应混合范式方法是通过下述方式来实
现的:
2-1)在MATLAB界面中,利用Psychtoolbox工具箱,编程实现以牛顿环形
式闪烁用以诱发稳态运动视觉诱发电位的视觉刺激器,在视觉刺激器闪烁过程
中添加一定时间的刺激缺失,即可诱发出缺省刺激响应;
2-2)一个视觉刺激器即为一个刺激目标,程序中预设若干个刺激目标,运
行程序后呈现在屏幕上的若干个刺激目标按照阵列分布方式排布,其位置在程
序中设定;
2-3)将若干个刺激目标设置对应的标号,每一列具有相同的刺激频率,各
列之间刺激频率不同,刺激频率范围在6Hz-30Hz之间选择;每一行具有相同的
首次闪烁刺激缺失时间,各行之间首次闪烁刺激缺失时间不同;在每一次刺激
目标呈现中,可出现多次闪烁刺激缺失;首次闪烁刺激缺失时间和闪烁刺激缺
失次数与每一次刺激目标呈现时间有关,每次闪烁刺激缺失时间范围不能超出
每一次刺激目标呈现时间范围;闪烁刺激缺失方式包括刺激目标消失和刺激目
标停顿,可以任意选择一种闪烁刺激缺失方式。每次闪烁刺激缺失时间范围为
每一次刺激目标呈现时间的10%-15%,在每一次刺激目标呈现中,可出现4~8
次闪烁刺激缺失,每次闪烁刺激缺失距上一次闪烁刺激缺失的间隔为任一刺激
目标刺激频率的3~6个闪烁周期;
2-4)进行训练样本采集:受试者根据程序中提前设定对某个刺激目标进行
双目盯视,在程序运行中,会在选定刺激目标处有相应提示,受试者只需根据
提示对选定的刺激目标进行盯视即可,直至训练样本采集部分结束;
2-5)进行刺激目标在线识别:受试者根据程序中随机产生的一个刺激目标
的标号,之后在标号对应的刺激目标处有相应提示,受试者仍然只需根据提示
对选定的刺激目标进行盯视即可,直至在线识别部分结束;
2-6)放大器将电极帽采集得到的训练样本采集脑电信号和在线识别脑电信
号经过放大器放大、滤波、A/D转换后存储在计算机中。
本实施例的刺激范式中刺激目标分布图如图4(a)所示,采用六个牛顿环分
布为两排三列,分别位于左上、中上、右上、左下、中下、右下六个方位。实
验中所使用的电脑显示器为PHILIPS显示屏,屏幕刷新频率为144Hz。
图4(b)所示为基于稳态运动视觉诱发电位与缺省刺激响应相结合的混合
脑-机接口范式的闪烁与刺激缺失序列图,图中按比例作出各环的闪烁频率,其
中牛顿环1、4的刺激频率为10.3Hz,牛顿环2、5的刺激频率为13Hz,牛顿环
3、6的刺激频率为16Hz。牛顿环1、2、3在400ms处出现首次闪烁刺激缺失,
牛顿环4、5、6在600ms处出现首次闪烁刺激缺失,闪烁刺激缺失方式为刺激
目标消失。每一次刺激目标呈现时长为3.5s,每一次刺激缺失时长为0.4s,每次
闪烁刺激缺失距上一次的间隔为0.3s,每一次刺激呈现中出现4次闪烁刺激缺
失。如图3(a)和图3(b)所示,一次完整的实验包括训练样本采集部分和在
线识别部分。完整的实验包括训练样本采集部分和在线识别部分,训练样本采
集过程包括依次对这若干个刺激目标进行盯视的任务,每种任务包括8个Run,
每个Run中包括16次trail。在一次任务中受试者对同一目标进行盯视。在每次
Run中,首先呈现2s的提示,提示中说明只有在休息期间才能眨眼或发生动作;
紧接着是1s的Run的进度提示;再然后为每次trail中的trail进度提示、目标提
示和刺激呈现以及当前trail的结束提示,其中刺激目标呈现时长在2s-5s,其余
提示时长均为1s。在完成16次trail后,会有1s当前Run的结束提示。在线识
别阶段包括10个Run,每个Run包括16次trail。在每次Run中,首先呈现2s
的提示,紧接着是1s的Run的进度提示,再然后为每次trail中的trail进度提示、
目标提示和刺激呈现以及结果反馈,其中刺激目标呈现时长在2s-5s,其余提示
时长均为1s。在每次trail中,程序会随机产生一个刺激目标的标号,之后在标
号对应的刺激目标处有相应提示,受试者仍然只需根据提示对选定的刺激目标
进行盯视即可,直至在线识别部分结束。在实验中所使用的采集设备是g.Tec公
司的16导gUSBamp放大器,放大器的采样频率为1200hz,硬件滤波包括了
0.05-100hz的带通滤波及48-52hz的带阻滤波。
步骤3:计算机对脑电信号进行处理,数据的在线处理流程图如图5所示,
包括以下步骤:
步骤3-1:调用MATLAB中detrend函数去除时间序列中的直流成分,调用
butter函数和filter函数进行1-45Hz带通滤波对脑电信号进行预处理,实时获取
一次刺激呈现中预处理后的脑电数据;
步骤3-2:对稳态运动视觉诱发电位特征进行特征提取以及分类识别,采用
的算法为典型相关分析(Canonical Correlation Analysis,CCA),就是利用综合
变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方
法。将电极O1、Oz、O2、Cz、Pz、POz、PO3、PO4、PO7、PO8等电极记录
到的脑电数据经过步骤3-1中的信号预处理后,分别与不同刺激频率基频及二倍
频、四倍频的正余弦信号求取典型相关系数,在n个刺激频率对应的n个最大
CCA系数ρn中,具有最大值的CCA系数被认为是目标刺激频率对应的CCA系
数,因此可以判断出受试者注视的目标位于第几列;
步骤3-3:在步骤3-2对稳态运动视觉诱发电位特征分类识别完成之后,可
以判断出刺激目标的刺激频率,在该范式中,同一刺激频率对应两个不同的牛
顿环,二者首次刺激缺失时间不同,就需要对缺省刺激响应特征进行特征提取
以及分类识别。通过实验确定缺省刺激响应特征主要出现在刺激缺失后的
125ms-450ms内,因此对该时段内的数据进行叠加平均。
本发明采用BP神经网络的方法对缺省刺激响应特征的提取识别,得到最终
判别结果,BP神经网络模型如图6所示。具体实现过程包括以下几个步骤:
3-3-1)数据叠加平均:根据对稳态运动视觉诱发电位特征识别后得到的结果
可知刺激目标的刺激频率,按照该刺激频率对应的两个牛顿环的刺激缺失时刻
分别作为起始时刻,对刺激缺失后125ms-450ms内的数据进行8次叠加平均,
则得到两组叠加后的数据,分别称为叠加平均数组R1和叠加平均数组W1。采
集多组刺激缺失数据,按照同样的方法进行叠加平均,依次得到叠加平均数组
R2、R3、…、Rm和叠加平均数组W2、W3、…、Wm。
3-3-2)缺省刺激响应特征提取:针对矩阵R1中每一列,可求取出该通道波
形的峭度值、波形指标、脉冲指标,选取缺省刺激响应特征较好的C个通道,
则可得到一个新的3*C的R1矩阵。按照同样的方法,可得新的矩阵R2、…、
Rm与W1、…、Wm。
3-3-3)确定神经网络参数:
(1)训练数据:确定训练数据数目n,分别从R类矩阵和W类矩阵中抽取前
n个矩阵R1、…、Rn与W1、…、Wn,构成训练数据train_data,则共有2nC
个训练样本,每个样本有3个特征;
(2)目标矢量:给定目标矢量target,使两组的训练目标不同。令W组矩阵
的训练目标在(0.1,0.4)之间产生,R组矩阵的训练目标在(0.6,0.9)之间产生。
(3)层数:BP神经网络的层数layer设定为3层;
(4)各层神经元数目:输入层神经元数目为3;输出层神经元个数为1;中间
隐层神经元数目可以用黄金分割法来确定,本实施例中假设中间层的神经元个
数为b;
(5)最大训练次数和最小训练误差:给定最大训练次数和最小训练误差。
3-3-4)BP神经网络模型:
定义矩阵train_data中任一样本的峭度值、波形指标、脉冲指标分别为xk、xw、xm,
则BP网络分类问题的训练样本集合可给出U={u1,u2,...,u2nC},其中ul=(xl,dl),
xl=train_data(l,:)=(xk,xw,xm)T,dl=target(l),l=1,2,...,2nC。BP网络的输出向量为y,
网络的q层神经元分别有n1,n2,...,nq个节点,下文中i表示第i个节点输出,j表示
第j个输入。由节点i到节点j的连接权值记为ωij。
(1)输入层的输入为一组训练样本,即输入层
的权系数输入层的阈值为输入层
的输出为则有:
其中,函数采用Sigmoid函数。
(2)输入层的输出作为中间层输入,即中间层神经元与
输入层神经元之间的连接权值其中i=1,2,...b,j;=1,2,。3中间层的阈值为
中间层的输出为则有:
(3)中间层的输出作为输出层输入,即输出层神经元
与中间层神经元之间的连接权值其中i=1;j=1,2,...,b。输出层的阈值为
输出层的输出为即神经网络的输出。则有:
当输出值yl小于0.5时,对应上述中W类矩阵,当目标矢量大于0.5时,对
应上述中R类矩阵。
3-3-5)缺省刺激响应特征训练:
(1)对于训练数据,将按照正确刺激缺失时间叠加得到的数据存储在R类数
组中,将按照错误刺激缺失时间叠加得到的数据存储在W类数组中。各层的权
值ωij与阈值θi在(0,1)之间随机产生,给定最小训练误差min_error的值和最大训
练次数max_epoch的值,以及步长控制量η;
(2)给定一个训练样本ul,可以按3-3-4)中所述方法计算得到每一层的输入
输出值。计算输出层误差εl=target(l)-yl,l=1,2,...,2nC;
(3)定义误差函数其中,
其中,target(l)为训练样本ul对应的目标矢量;El为训练样本ul的误差函数;
(4)若E<min_error或迭代次数超过max_epoch,则算法结束,否则,采用梯
度下降法对各层权值和阈值进行修正。下面给出误差函数对连接权值和阈值的
计算公式:
假设网络输入样本向量xl时,网络t层的第i个神经元的激励总合为:
令
则对于输出层:
对于其他层:
于是得到网络连接权值和神经元阈值的修正计算公式为:
要计算网络连接权值的修正量,需首先正向计算网络每一层的节点输出然
后反向计算这就是反向传播计算思想。
(5)计算得到和进行权值修正:
(6)转到第(2)步,直至算法收敛。
3-3-6)缺省刺激响应特征在线识别:
在3-3-5)中对缺省刺激响应特征进行训练后得到BP神经网络各层的最优权
值和最优阈值,即得到训练好的BP神经网络模型。进行在线识别时,将与训练
数据相同格式的测试数据依次输入神经网络,若输出值几乎都大于0.5,则测试
数据是按照正确刺激缺失时间叠加而得到的数据;相反,若输出值几乎都小于
0.5,则测试数据是按照错误刺激缺失时间叠加而得到的数据,因此可以得到正
确的刺激缺失时间,即确定最终的识别目标。
步骤4:计算机屏幕显示识别结果,对被试者进行视觉反馈。
步骤5:计算机完成步骤4后,返回步骤2,重复步骤2、3、4,进行下一
轮的目标识别以及结果反馈。
以下结合具体实施实例对本发明进行说明。
采用本发明中的刺激范式对十名以上受试者进行了实验。在训练样本采集过
程中,一共设计了四组实验,实验一与实验二对刺激频率进行对比探索,刺激
频率分别在6~10Hz,10~20Hz,20~30Hz三个频率段中进行选择,两组实验的
刺激缺失时长均为1s,刺激缺失方式均为刺激目标消失;实验三与实验一进行
对比,探索0.1s和1s两种刺激缺失时长的影响,二者刺激频率相同,刺激缺失
方式均为刺激目标消失;实验四与实验一进行对比,探索刺激缺失方式对实验
结果的影响,在刺激频率与刺激缺失时长相同的情况下,实验一为刺激目标消
失的方式,而实验四采用刺激目标停顿的方式。在在线测试阶段,根据训练探
索阶段选择合适的刺激频率,刺激缺失时长以及刺激缺失方式。
在在线测试时,按照上述步骤1为受试者带好电极帽,记录电极选择枕部区
域的O1、Oz、O2、Cz、Pz、POz、PO3、PO4、PO7、PO8十个电极,参照图2
布置电极。按照步骤2所述,将实验刺激范式通过电脑显示屏呈现在受试者面
前,受试者只需根据屏幕提示盯视刺激目标,通过电极帽采集各个通道的脑电
信号,按步骤3所述的方法对受试者盯视的目标进行识别。步骤4将识别结果
反馈给受试者,并根据识别结果执行对应的任务。步骤5将返回步骤2,重复步
骤2、3、4,进行下一步的目标识别。实验中要求受试者只能在刺激段外的时间
进行眨眼休息或其他肢体动作,单次刺激持续时间很短。受试者按照屏幕提示
盯视相应的刺激目标,每种任务分别进行10轮实验,一轮实验中共有16次循
环。一轮实验中每次刺激间隔为3s。
本发明并不局限于上述实施例,在本发明公开的技术方案的基础上,本领
域的技术人员根据所公开的技术内容,不需要创造性的劳动就可以对其中的一
些技术特征作出一些替换和变形,这些替换和变形均在本发明的保护范围内。