一种SPELLERBCI系统及其控制方法.pdf

上传人:a*** 文档编号:5875009 上传时间:2019-03-27 格式:PDF 页数:12 大小:500.84KB
返回 下载 相关 举报
摘要
申请专利号:

CN201110126095.8

申请日:

2011.05.13

公开号:

CN102200833A

公开日:

2011.09.28

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06F 3/01申请日:20110513|||公开

IPC分类号:

G06F3/01; G06K9/62

主分类号:

G06F3/01

申请人:

天津大学

发明人:

奕伟波; 明东; 李文; 许敏鹏; 丁浩; 綦宏志; 万柏坤

地址:

300072 天津市南开区卫津路92号

优先权:

专利代理机构:

天津市北洋有限责任专利代理事务所 12201

代理人:

温国林

PDF下载: PDF下载
内容摘要

本发明公开了一种Speller BCI系统及其控制方法,涉及BCI技术领域,包括:脑电数据采集模块、数据预处理模块、特征提取模块和模式识别模块,在脑电数据采集模块的屏幕上显示Speller刺激界面,采集脑电信号,通过数据预处理模块对脑电数据进行预处理之后,通过特征提取模块获取视觉诱发的P300信号和想象动作特征;模式识别模块对视觉诱发的P300信号和想象动作特征进行分类识别,输出待选字符。本发明为丧失了语言交流能力但思维正常的病人提供了与外界进行信息交流的途径,使待选字符数提高一倍,并且有效地提高了信息传输效率,是新型的复合型Speller BCI系统。

权利要求书

1.一种Speller BCI系统,其特征在于,所述Speller BCI系统包括:脑电数据采集模块、数据预处理模块、特征提取模块和模式识别模块,在所述脑电数据采集模块的屏幕上显示Speller刺激界面,采集使用者的脑电信号,所述数据预处理模块对所述脑电信号进行预处理;通过所述特征提取模块提取所述脑电信号中视觉诱发的P300信号和想象动作特征;所述模式识别模块对所述视觉诱发的P300信号和所述想象动作特征进行分类识别,输出待选字符。2.根据权利要求1所述的一种Speller BCI系统,其特征在于,所述Speller刺激界面具体为:先进行列的随机无重复闪烁,再进行行的随机无重复闪烁。3.一种Speller BCI系统的控制方法,其特征在于,所述方法包括以下步骤:(1)使用者在脑电数据采集模块的屏幕上观看Speller刺激界面,注视待选字符所在区域并同时想象左右手动作,完成大小写字母的2选1或数字与符号的2选1输出,采集使用者的脑电信号;(2)通过相干平均方式将所述脑电信号中的噪声信号去除,提取视觉诱发的P300信号;(3)通过短时傅里叶变换获取脑电信号的二维时频图谱;(4)对所述脑电信号的二维时频图谱进行Fisher可分性分析,获取Fisher系数二维时频图谱,获取特征频段,提取想象动作特征;(5)对所述视觉诱发的P300信号和所述想象动作特征进行模式识别,输出待选字符;其中,步骤(2)中的所述相干平均方式具体为:xn(i,t)=pn(i,t)+en(i,t) n=1ΛN其中,n为刺激的序号,N为刺激的总数,i为导联的序号,t为时间,xn(i,t)为采集到的脑电信号,pn(i,t)为第n次刺激时理想的P300信号,en(i,t)为总的噪声信号;设背景噪声为零均值,方差为的平稳随机信号,且不同刺激产生的噪声信号都不相关,即第m次和第n次刺激产生的噪声信号不相关;E[em(i,t)en(i,t)]=0 m≠n假设每次刺激所产生的P300信号都表示成一个确定的信号p(i,t),即p1(i,t)=p2(i,t)=Λ=pN(i,t)=p(i,t);其中,步骤(3)中的所述通过短时傅里叶变换获取脑电信号的二维时频图谱具体为:使用一个有限宽度的观察窗W(t)对脑电信号x(t)进行观察,得到加窗后的脑电信号,对所述加窗后的脑电信号进行所述短时傅立叶变换,得到STFT(t,ω)=-+x(τ)W*(τ-t)e-jωτ]]>其中,ω是角频率,W*(τ-t)是W(τ-t)的复共轭函数,把所述有限宽度的观察窗沿时间轴平移,得到所述脑电信号的二维时频图谱;其中,步骤(4)中的所述Fisher可分性分析定义如下:J=|m1-m2|2σ12+σ22]]>其中,m1和m2分别为两类想象动作特征的均值、σ1和σ2分别为两类想象动作特征的方差;其中,步骤(5)中的所述对所述视觉诱发的P300信号和所述想象动作特征进行模式识别,输出待选字符具体为:进行列的随机无重复闪烁时,所述视觉诱发的P300信号和所述想象动作特征共同组成一个特征向量,作为SVM分类器的输入;进行行的随机无重复闪烁时,所述视觉诱发的P300信号和所述想象动作特征共同组成另一个特征向量,作为所述SVM分类器的另一个输入,经过所述SVM分类器的处理,确定X,Y和Z三个方向上的坐标,确定并输出所述待选字符。

说明书

一种Speller BCI系统及其控制方法

技术领域

本发明涉及BCI技术领域,特别涉及一种Speller BCI系统及其控制方法。

背景技术

第一次BCI(Brain-Computer Interface,脑-机接口)国际会议给出的BCI的定义是“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”到目前为止,最常用的BCI系统大都是基于脑电信息的,技术原理是一致的。参见图1,含有操作控制意图的脑电信息通过电极从头皮或颅内获得,经过信号处理提取反映使用者意图的脑电信息特征,并将之转化为控制外部设备的操作命令。BCI研究的主要应用目标是帮助肢体严重瘫痪的残疾人操纵和使用周边日常生活工具,以实现对外界的信息交流和设备控制。大脑在实施真实动作或想象动作条件下均能够显著地改变其所诱发的ERP(Event Related Potential,事件相关电位)信号中某些特征频段成份(例如alpha波、beta波和mu节律)的功率谱强弱比率。这一现象被定义为ERD(Evented Related Desynchronization,事件相关去同步)以及ERS(Evented Related Synchronization,事件相关同步)。其中ERD对应于功率谱比率的下降,ERS对应于功率谱比率上升。

P300是典型的内源性事件相关电位,它是对一系列无关事件刺激中相对稀少的有关刺激做出的反应。所谓P300电位是指距离刺激时刻的潜伏期为300ms左右,电位极性为正的ERP波峰信号。目前BCI系统中产生P300信号的思维作业设计较为复杂,较为典型的设计为oddball试验模式,即组成一个事件序列,该事件序列中含有一个或几个靶刺激事件,其它为非靶刺激事件。P300信号的产生条件是靶刺激事件的出现频率要远小于非靶刺激事件,这时靶刺激成为稀少刺激,靶刺激的出现概率越小,P300信号越显著。这样通过检测P300信号的发生时刻即可定位出使用者在一系列的刺激事件序列中的选择目标,从而完成思维指令的传输。

发明人在实现本发明的过程中,发现现有技术中至少存在以下缺点和不足:

传统P300-Speller BCI系统的刺激编码模式不利于实现大指令集的信息传输,存在信息传输效率低、可选字符数目有限等问题,难以满足实际应用中的需 要。

发明内容

为了解决信息传输效率低、可选字符数目有限的问题,本发明提供了一种Speller BCI系统及其控制方法,详见下文描述:

一种Speller BCI系统,所述Speller BCI系统包括:脑电数据采集模块、数据预处理模块、特征提取模块和模式识别模块,

在所述脑电数据采集模块的屏幕上显示Speller刺激界面,采集使用者的脑电信号,所述数据预处理模块对所述脑电信号进行预处理;通过所述特征提取模块提取所述脑电信号中视觉诱发的P300信号和想象动作特征;所述模式识别模块对所述视觉诱发的P300信号和所述想象动作特征进行分类识别,输出待选字符。

所述Speller刺激界面具体为:先进行列的随机无重复闪烁,再进行行的随机无重复闪烁。

一种Speller BCI系统的控制方法,所述方法包括以下步骤:

(1)使用者在脑电数据采集模块的屏幕上观看Speller刺激界面,注视待选字符所在区域并同时想象左右手动作,完成大小写字母的2选1或数字与符号的2选1输出,采集使用者的脑电信号;

(2)通过相干平均方式将所述脑电信号中的噪声信号去除,提取视觉诱发的P300信号;

(3)通过短时傅里叶变换获取脑电信号的二维时频图谱;

(4)对所述脑电信号的二维时频图谱进行Fisher可分性分析,获取Fisher系数二维时频图谱,获取特征频段,提取想象动作特征;

(5)对所述视觉诱发的P300信号和所述想象动作特征进行模式识别,输出待选字符;

其中,步骤(2)中的所述相干平均方式具体为:

xn(i,t)=pn(i,t)+en(i,t) n=1ΛN

其中,n为刺激的序号,N为刺激的总数,i为导联的序号,t为时间,xn(i,t)为采集到的脑电信号,pn(i,t)为第n次刺激时理想的P300信号,en(i,t)为总的噪声信号;设背景噪声为零均值,方差为 的平稳随机信号,且不同刺激产生的 噪声信号都不相关,即第m次和第n次刺激产生的噪声信号不相关;

E[em(i,t)en(i,t)]=0 m≠n

假设每次刺激所产生的P300信号都表示成一个确定的信号p(i,t),即

p1(i,t)=p2(i,t)=Λ=pN(i,t)=p(i,t);

其中,步骤(3)中的所述通过短时傅里叶变换获取脑电信号的二维时频图谱具体为:

使用一个有限宽度的观察窗W(t)对脑电信号x(t)进行观察,得到加窗后的脑电信号,对所述加窗后的脑电信号进行所述短时傅立叶变换,得到

STFT(t,ω)=-+x(τ)W*(τ-t)e-jωτ]]>

其中,ω是角频率,W*(τ-t)是W(τ-t)的复共轭函数,把所述有限宽度的观察窗沿时间轴平移,得到所述脑电信号的二维时频图谱;

其中,步骤(4)中的所述Fisher可分性分析定义如下:

J=|m1-m2|2σ12+σ22]]>

其中,m1和m2分别为两类想象动作特征的均值、σ1和σ2分别为两类想象动作特征的方差;

其中,步骤(5)中的所述对所述视觉诱发的P300信号和所述想象动作特征进行模式识别,输出待选字符具体为:

进行列的随机无重复闪烁时,所述视觉诱发的P300信号和所述想象动作特征共同组成一个特征向量,作为SVM分类器的输入;进行行的随机无重复闪烁时,所述视觉诱发的P300信号和所述想象动作特征共同组成另一个特征向量,作为所述SVM分类器的另一个输入,经过所述SVM分类器的处理,确定X,Y和Z三个方向上的坐标,确定并输出所述待选字符。

本发明提供的技术方案的有益效果是:

本发明提供了一种Speller BCI系统及其控制方法,本发明选用了脑电信息中ERD特征和事件相关电位中的P300特征作为特征控制信号,由此可以利用大脑在进行想象左右手动作时所引发的ERD现象和视觉刺激时诱发的P300特征作为对刺激事件有效应答的标志,区别于传统的仅基于视觉刺激诱发的P300Speller BCI系统;本发明为那些丧失了语言交流能力但思维正常的病人提供一种与外界进行信息交流的途径,即可以直接通过脑电来对外表达意愿或交流,以能 够实现病人与外界直接对话的目的;本发明将想象动作诱发的脑电ERD信号和视觉诱发的P300信号两种不同的特征信息有机地融合在一起,提取使用者想象左右手动作与视觉刺激时的脑电变化特征,将其作为Speller识别输出的分类标准;使可选字符数提高一倍,并且有效地提高了信息传输效率,是一种新型的复合型Speller BCI系统。

附图说明

图1为现有技术提供的BCI系统及其控制的结构示意图;

图2为本发明提供的Speller BCI系统的结构示意图;

图3为本发明提供的刺激界面的示意图;

图4为本发明提供的闪烁频率的波形示意图;

图5为本发明提供的Speller BCI系统的控制方法的流程图;

图6为本发明提供的三维矩阵的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。

为了解决信息传输效率低、可选字符数目有限的问题,本发明实施例提供了一种Speller BCI系统,详见下文描述:

一种Speller BCI系统,参见图2,该Speller BCI系统包括:脑电数据采集模块、数据预处理模块、特征提取模块和模式识别模块,

在脑电数据采集模块的屏幕上显示Speller刺激界面,采集使用者的脑电信号,数据预处理模块对脑电信号进行预处理;通过特征提取模块提取脑电信号中视觉诱发的P300信号和想象动作特征;模式识别模块对视觉诱发的P300信号和想象动作特征进行分类识别,输出待选字符。

其中,参见图3,该Speller刺激界面具体为:先进行列的随机无重复闪烁,再进行行的随机无重复闪烁;Speller刺激界面中包括大写字符、小写字符、数字字符等。

其中,闪烁频率根据实际应用中的需要进行设定,参见图4,本发明实施例中行列以75ms间隔闪烁,闪烁时间为100ms,每两个待选字符间有四秒钟的休 息时间。

一种Speller BCI系统的控制方法,参见图5,该方法包括以下步骤:

101:使用者在脑电数据采集模块的屏幕上观看Speller刺激界面,注视待选字符所在区域并同时想象左右手动作,完成大小写字母的2选1或数字与符号的2选1输出,采集使用者的脑电信号;

其中,为了取得较好的效果,使用者优选安静地正坐于距脑电数据采集模块的屏幕约1m的靠椅上,在Speller矩阵闪烁过程中,使用者注视待选字符所在区域,且心中默数目标区域闪烁的次数(有利于使用者集中精力)。注视的同时想象左右手动作,完成大小写字母的2选1或数字与符号的2选1输出任务。想象左手相当于不按shift时的键盘输出,想象右手相当于按住shift时的键盘输出。待选字符是a或A时,若待选字符是a则注视的同时想象左手;若待选字符是A则注视的同时想象右手。

102:通过相干平均方式将脑电信号中的噪声信号去除,提取视觉诱发的P300信号;

其中,噪声信号主要包括:自发脑电信号、外部背景噪声以及其他与导联相关的噪声。

相干平均方式是处理脑电信号常用的处理方式之一,是提取强噪声背景下微弱信号的有效方式。本发明实施例中所采集到的脑电信号通常伴随着很强的噪声或伪迹,而相干平均方式的作用就是将噪声信号从脑电信号中去除。对于每次的刺激,这些噪声信号都是不相关的。而ERP中的视觉诱发的P300信号可以看作是个确定性的信号,并且独立于自发脑电信号和其他噪声信号。其中,相干平均方式具体为:

xn(i,t)=pn(i,t)+en(i,t) n=1ΛN    (1)

其中,n为刺激的序号,N为刺激的总数,i为导联的序号,t为时间,xn(i,t)为采集到的脑电信号,pn(i,t)为第n次刺激时理想的P300信号,en(i,t)为总的噪声信号。

由于外部背景噪声的存在,单次的xn(i,t)并不能体现脑电信号中的视觉诱发的P300成分,并且往往淹没在强的背景噪声下。假设实验中客观条件不变,背景噪声为零均值,方差为 的平稳随机信号,且不同刺激产生的噪声信号都不相关,即满足下式:

E[em(i,t)en(i,t)]=0 m≠n                  (2)

假设每次刺激所产生的视觉诱发的P300信号都可以近似表示成一个确定的信号p(i,t),即

p1(i,t)=p2(i,t)=Λ=pN(i,t)=p(i,t)    (3)

本发明实施例中,首先将每一次闪烁刺激之后的脑电信号从连续的脑电信号中提取出来,然后按照每一次闪烁将这些脑电信号分段排列,再以点对点的方式进行简单的迭加平均。

103:通过短时傅里叶变换获取脑电信号的二维时频图谱;

由于想象动作引起的脑电ERD现象有着特定的发生频段和相对于诱发刺激固定的时间延迟,因此可以采用短时傅里叶变换对刺激前后的频谱成分变化以及分布特点进行分析。常用的谱分析方法中暗含着对于处理信号的平稳性假设,也即是假设信号的频谱成分在整个时间轴上是同分布的,而对于时间相关的诱发动态脑电信号而言,这一假设显然不成立。针对这种情况,替代方法是使用可以同时提取时域与频域信息的时频分析方法,短时傅里叶分析是目前常用的时频分析方法之一,它假设脑电信号具有一定程度的短时平稳性,也即是在一个有限的时间窗内信号的频谱分布式不变的。短时傅里叶变换的方法是首先使用一个有限宽度的观察窗W(t)对脑电信号x(t)进行观察,得到加窗后的脑电信号,对加窗后的脑电信号进行傅立叶变换,得到

STFT(t,ω)=-+x(τ)W*(τ-t)e-jωτ---(4)]]>

其中,ω是角频率,W*(τ-t)是W(τ-t)的复共轭函数,把有限宽度的观察窗沿时间轴平移,得到脑电信号的二维时频图谱,即可在二维的时频平面上得到信号的频谱分布随时间变化的信息。

其中,观察窗的有限宽度根据实际应用中的需要进行设定,例如:本发明实施例中可将观察窗的有限宽度设定为200ms,具体实现时本发明实施例对此不做限制。

104:对脑电信号的二维时频图谱进行Fisher可分性分析,获取Fisher系数二维时频图谱,获取特征频段,提取想象动作特征;

可分性分析是特征提取中的常用方法,它主要用来评价特征参数在不同类别样本中的分布是否具有明显的差异,一般来说差异度越大的参数越适于作为样本 的分类的特征值。对于想象动作诱发脑电信号而言,一种类型的动作任务脑电信号对应一类样本,如果脑电信号在某个频段上的功率谱密度在一类任务样本和其它样本之间的分布有着明显得差异,则此频段即为该类想象动作任务诱发脑电信号的特异性频段。对于样本参数可分性的评价方法有多种,而Fisher可分性分析已称为想象动作特征提取的最为有效的方法之一。在这里可以选用Fisher评价函数,其定义如下:

J=|m1-m2|2σ12+σ22---(5)]]>

其中,m1和m2分别为两类想象动作特征的均值、σ1和σ2分别为两类想象动作特征的方差。

Fisher评价函数实际上是不同想象动作脑电信号的类间离散度与类内离散度的比值,J越大则可分性越高,若两类不同想象动作脑电信号的均值相等,则J为0,即两类不同想象动作脑电信号不可分。

当对不同想象动作之间的脑电信号二维时频图谱作Fisher可分性分析时,得到Fisher系数二维时频图谱,从二维时频图谱上可以得出Fisher系数明显较大的位置对应的时间段和频率段,这样取得的时频窗内的功率谱密度值就可以作为提取到的一个特征。

105:对视觉诱发的P300信号和想象动作特征进行模式识别,输出待选字符。

其中,模式识别是通过对提取的脑电信号特征进行分类来辨识出其中所携带的自主性动作信息。SVM(支持向量机)是近年来在模式识别与机器学习领域中出现的新工具,以统计学习理论为基础,有效地避免经典学习方法中过学习、维数灾难和局部极小等传统分类存在的问题,在小样本条件下仍然具有良好的范化能力,它通过构造最优超平面,使得对未知样本的分类误差最小。模式识别的过程如下:在经过了特征提取阶段之后,将这些从样本中提取到的特征用来训练SVM分类器,训练后得到一个model,然后再利用这个model来对未知模式类型的想象动作进行分类,得到的结果即为未知模式想象动作的模式识别结果以及识别正确率。

如图5所示,在这个三维矩阵中由(x,y,z)坐标共同决定一个字符,视觉诱发的P300信号决定了字符在X-Y平面上的坐标,而左右手想象动作产出的ERD信号决定了字符在Z轴方向上的位置。Speller矩阵先进行列的随机无重复闪烁, 再进行行的随机无重复闪烁。使用者注视目标字符的同时想象左右手运动,若目标字符为小写字母,则注视目标字符的同时想象左手动作,若目标字符为大写字母,则注视目标字符的同时想象右手动作。当进行列或行的随机无重复闪烁时,靶刺激会产生一个视觉诱发的P300信号,注视目标字符的同时想象左右手动作,那么产生视觉诱发的P300信号的同时会产生相应的ERD信号。

其中,对视觉诱发的P300信号和想象动作特征进行模式识别,输出待选字符具体为:进行列的随机无重复闪烁时,视觉诱发的P300信号和想象动作特征共同组成一个特征向量,作为SVM分类器的输入;进行行的随机无重复闪烁时,视觉诱发的P300信号和想象动作特征共同组成另一个特征向量,作为SVM分类器的另一个输入,经过SVM分类器的处理,确定X,Y和Z三个方向上的坐标,确定并输出待选字符。

下面以一个简单的试验来验证本发明实施例提供的的可行性,详见下文描述:

本发明实施例使用64导联的脑电数据采集模块,所用电极均为Ag或AgCl电极(阻抗小于15000欧姆),以双侧乳突作为参考电平,脑电采样频率为1000Hz,滤波通带为0.5~100Hz,并采用50Hz陷波器去除工频干扰,通过试验验证了本发明实施例提供的一种Speller BCI系统及其控制方法的可行性,满足了实际应用中的需要。

综上所述,本发明实施例提供了一种Speller BCI系统及其控制方法,本发明选用了脑电信息中ERD特征和事件相关电位中的P300特征作为特征控制信号,由此可以利用大脑在进行想象左右手动作时所引发的ERD现象和视觉刺激时诱发的P300特征作为对刺激事件有效应答的标志,区别于传统的仅基于视觉刺激诱发的P300 Speller BCI系统;本发明为那些丧失了语言交流能力但思维正常的病人提供一种与外界进行信息交流的途径,即可以直接通过脑电来对外表达意愿或交流,以能够实现病人与外界直接对话的目的;本发明将想象动作诱发的脑电ERD信号和视觉诱发的P300信号两种不同的特征信息有机地融合在一起,提取使用者想象左右手动作与视觉刺激时的脑电变化特征,将其作为Speller识别输出的分类标准;使可选字符数提高一倍,并且有效地提高了信息传输效率,是一种新型的复合型Speller BCI系统。

本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实 施例序号仅仅为了描述,不代表实施例的优劣。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

一种SPELLERBCI系统及其控制方法.pdf_第1页
第1页 / 共12页
一种SPELLERBCI系统及其控制方法.pdf_第2页
第2页 / 共12页
一种SPELLERBCI系统及其控制方法.pdf_第3页
第3页 / 共12页
点击查看更多>>
资源描述

《一种SPELLERBCI系统及其控制方法.pdf》由会员分享,可在线阅读,更多相关《一种SPELLERBCI系统及其控制方法.pdf(12页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102200833 A (43)申请公布日 2011.09.28 CN 102200833 A *CN102200833A* (21)申请号 201110126095.8 (22)申请日 2011.05.13 G06F 3/01(2006.01) G06K 9/62(2006.01) (71)申请人 天津大学 地址 300072 天津市南开区卫津路 92 号 (72)发明人 奕伟波 明东 李文 许敏鹏 丁浩 綦宏志 万柏坤 (74)专利代理机构 天津市北洋有限责任专利代 理事务所 12201 代理人 温国林 (54) 发明名称 一种 Speller BCI 系统及其控。

2、制方法 (57) 摘要 本发明公开了一种 Speller BCI 系统及其 控制方法, 涉及 BCI 技术领域, 包括 : 脑电数据 采集模块、 数据预处理模块、 特征提取模块和模 式识别模块, 在脑电数据采集模块的屏幕上显示 Speller 刺激界面, 采集脑电信号, 通过数据预处 理模块对脑电数据进行预处理之后, 通过特征提 取模块获取视觉诱发的 P300 信号和想象动作特 征 ; 模式识别模块对视觉诱发的 P300 信号和想象 动作特征进行分类识别, 输出待选字符。 本发明为 丧失了语言交流能力但思维正常的病人提供了与 外界进行信息交流的途径, 使待选字符数提高一 倍, 并且有效地提高了。

3、信息传输效率, 是新型的复 合型 Speller BCI 系统。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 6 页 附图 3 页 CN 102200839 A1/2 页 2 1. 一种 Speller BCI 系统, 其特征在于, 所述 Speller BCI 系统包括 : 脑电数据采集模 块、 数据预处理模块、 特征提取模块和模式识别模块, 在所述脑电数据采集模块的屏幕上显示 Speller 刺激界面, 采集使用者的脑电信号, 所述数据预处理模块对所述脑电信号进行预处理 ; 通过所述特征提取模块提取所述脑电信 号中视觉诱发。

4、的 P300 信号和想象动作特征 ; 所述模式识别模块对所述视觉诱发的 P300 信 号和所述想象动作特征进行分类识别, 输出待选字符。 2.根据权利要求1所述的一种Speller BCI系统, 其特征在于, 所述Speller刺激界面 具体为 : 先进行列的随机无重复闪烁, 再进行行的随机无重复闪烁。 3. 一种 Speller BCI 系统的控制方法, 其特征在于, 所述方法包括以下步骤 : (1) 使用者在脑电数据采集模块的屏幕上观看 Speller 刺激界面, 注视待选字符所在 区域并同时想象左右手动作, 完成大小写字母的 2 选 1 或数字与符号的 2 选 1 输出, 采集使 用者的。

5、脑电信号 ; (2) 通过相干平均方式将所述脑电信号中的噪声信号去除, 提取视觉诱发的 P300 信 号 ; (3) 通过短时傅里叶变换获取脑电信号的二维时频图谱 ; (4)对所述脑电信号的二维时频图谱进行Fisher可分性分析, 获取Fisher系数二维时 频图谱, 获取特征频段, 提取想象动作特征 ; (5) 对所述视觉诱发的 P300 信号和所述想象动作特征进行模式识别, 输出待选字符 ; 其中, 步骤 (2) 中的所述相干平均方式具体为 : xn(i, t) pn(i, t)+en(i, t) n 1N 其中, n 为刺激的序号, N 为刺激的总数, i 为导联的序号, t 为时间, 。

6、xn(i, t) 为采集到 的脑电信号, pn(i, t) 为第 n 次刺激时理想的 P300 信号, en(i, t) 为总的噪声信号 ; 设背景 噪声为零均值, 方差为的平稳随机信号, 且不同刺激产生的噪声信号都不相关, 即第 m 次 和第 n 次刺激产生的噪声信号不相关 ; Eem(i, t)en(i, t) 0 m n 假设每次刺激所产生的 P300 信号都表示成一个确定的信号 p(i, t), 即 p1(i, t) p2(i, t) pN(i, t) p(i, t) ; 其中, 步骤 (3) 中的所述通过短时傅里叶变换获取脑电信号的二维时频图谱具体为 : 使用一个有限宽度的观察窗W(。

7、t)对脑电信号x(t)进行观察, 得到加窗后的脑电信号, 对所述加窗后的脑电信号进行所述短时傅立叶变换, 得到 其中, 是角频率, W*(-t) 是 W(-t) 的复共轭函数, 把所述有限宽度的观察窗沿时 间轴平移, 得到所述脑电信号的二维时频图谱 ; 其中, 步骤 (4) 中的所述 Fisher 可分性分析定义如下 : 其中, m1和 m2分别为两类想象动作特征的均值、 1和 2分别为两类想象动作特征的 权 利 要 求 书 CN 102200833 A CN 102200839 A2/2 页 3 方差 ; 其中, 步骤(5)中的所述对所述视觉诱发的P300信号和所述想象动作特征进行模式识 别。

8、, 输出待选字符具体为 : 进行列的随机无重复闪烁时, 所述视觉诱发的 P300 信号和所述想象动作特征共同组 成一个特征向量, 作为 SVM 分类器的输入 ; 进行行的随机无重复闪烁时, 所述视觉诱发的 P300 信号和所述想象动作特征共同组成另一个特征向量, 作为所述 SVM 分类器的另一个输 入, 经过所述 SVM 分类器的处理, 确定 X, Y 和 Z 三个方向上的坐标, 确定并输出所述待选字 符。 权 利 要 求 书 CN 102200833 A CN 102200839 A1/6 页 4 一种 Speller BCI 系统及其控制方法 技术领域 0001 本发明涉及 BCI 技术领。

9、域, 特别涉及一种 Speller BCI 系统及其控制方法。 背景技术 0002 第一次 BCI(Brain-Computer Interface, 脑 - 机接口 ) 国际会议给出的 BCI 的定 义是 “BCI 是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。 ” 到目前为 止, 最常用的 BCI 系统大都是基于脑电信息的, 技术原理是一致的。参见图 1, 含有操作控 制意图的脑电信息通过电极从头皮或颅内获得, 经过信号处理提取反映使用者意图的脑电 信息特征, 并将之转化为控制外部设备的操作命令。BCI 研究的主要应用目标是帮助肢体 严重瘫痪的残疾人操纵和使用周边日常生活工具。

10、, 以实现对外界的信息交流和设备控制。 大脑在实施真实动作或想象动作条件下均能够显著地改变其所诱发的 ERP(Event Related Potential, 事件相关电位 ) 信号中某些特征频段成份 ( 例如 alpha 波、 beta 波和 mu 节律 ) 的功率谱强弱比率。 这一现象被定义为ERD(Evented Related Desynchronization, 事件相 关去同步 ) 以及 ERS(Evented Related Synchronization, 事件相关同步 )。其中 ERD 对应 于功率谱比率的下降, ERS 对应于功率谱比率上升。 0003 P300 是典型的内。

11、源性事件相关电位, 它是对一系列无关事件刺激中相对稀少的有 关刺激做出的反应。所谓 P300 电位是指距离刺激时刻的潜伏期为 300ms 左右, 电位极性为 正的 ERP 波峰信号。目前 BCI 系统中产生 P300 信号的思维作业设计较为复杂, 较为典型的 设计为 oddball 试验模式, 即组成一个事件序列, 该事件序列中含有一个或几个靶刺激事 件, 其它为非靶刺激事件。P300 信号的产生条件是靶刺激事件的出现频率要远小于非靶刺 激事件, 这时靶刺激成为稀少刺激, 靶刺激的出现概率越小, P300 信号越显著。这样通过检 测 P300 信号的发生时刻即可定位出使用者在一系列的刺激事件序。

12、列中的选择目标, 从而 完成思维指令的传输。 0004 发明人在实现本发明的过程中, 发现现有技术中至少存在以下缺点和不足 : 0005 传统P300-Speller BCI系统的刺激编码模式不利于实现大指令集的信息传输, 存 在信息传输效率低、 可选字符数目有限等问题, 难以满足实际应用中的需 要。 发明内容 0006 为了解决信息传输效率低、 可选字符数目有限的问题, 本发明提供了一种 Speller BCI 系统及其控制方法, 详见下文描述 : 0007 一种 Speller BCI 系统, 所述 Speller BCI 系统包括 : 脑电数据采集模块、 数据预 处理模块、 特征提取模块。

13、和模式识别模块, 0008 在所述脑电数据采集模块的屏幕上显示 Speller 刺激界面, 采集使用者的脑电 信号, 所述数据预处理模块对所述脑电信号进行预处理 ; 通过所述特征提取模块提取所述 脑电信号中视觉诱发的 P300 信号和想象动作特征 ; 所述模式识别模块对所述视觉诱发的 P300 信号和所述想象动作特征进行分类识别, 输出待选字符。 说 明 书 CN 102200833 A CN 102200839 A2/6 页 5 0009 所述 Speller 刺激界面具体为 : 先进行列的随机无重复闪烁, 再进行行的随机无 重复闪烁。 0010 一种 Speller BCI 系统的控制方法。

14、, 所述方法包括以下步骤 : 0011 (1) 使用者在脑电数据采集模块的屏幕上观看 Speller 刺激界面, 注视待选字符 所在区域并同时想象左右手动作, 完成大小写字母的 2 选 1 或数字与符号的 2 选 1 输出, 采 集使用者的脑电信号 ; 0012 (2) 通过相干平均方式将所述脑电信号中的噪声信号去除, 提取视觉诱发的 P300 信号 ; 0013 (3) 通过短时傅里叶变换获取脑电信号的二维时频图谱 ; 0014 (4)对所述脑电信号的二维时频图谱进行Fisher可分性分析, 获取Fisher系数二 维时频图谱, 获取特征频段, 提取想象动作特征 ; 0015 (5) 对所述。

15、视觉诱发的 P300 信号和所述想象动作特征进行模式识别, 输出待选字 符 ; 0016 其中, 步骤 (2) 中的所述相干平均方式具体为 : 0017 xn(i, t) pn(i, t)+en(i, t) n 1N 0018 其中, n 为刺激的序号, N 为刺激的总数, i 为导联的序号, t 为时间, xn(i, t) 为采 集到的脑电信号, pn(i, t) 为第 n 次刺激时理想的 P300 信号, en(i, t) 为总的噪声信号 ; 设 背景噪声为零均值, 方差为 的平稳随机信号, 且不同刺激产生的 噪声信号都不相关, 即 第 m 次和第 n 次刺激产生的噪声信号不相关 ; 00。

16、19 Eem(i, t)en(i, t) 0 m n 0020 假设每次刺激所产生的 P300 信号都表示成一个确定的信号 p(i, t), 即 0021 p1(i, t) p2(i, t) pN(i, t) p(i, t) ; 0022 其中, 步骤 (3) 中的所述通过短时傅里叶变换获取脑电信号的二维时频图谱具体 为 : 0023 使用一个有限宽度的观察窗 W(t) 对脑电信号 x(t) 进行观察, 得到加窗后的脑电 信号, 对所述加窗后的脑电信号进行所述短时傅立叶变换, 得到 0024 0025 其中, 是角频率, W*(-t) 是 W(-t) 的复共轭函数, 把所述有限宽度的观察窗 沿。

17、时间轴平移, 得到所述脑电信号的二维时频图谱 ; 0026 其中, 步骤 (4) 中的所述 Fisher 可分性分析定义如下 : 0027 0028 其中, m1和 m2分别为两类想象动作特征的均值、 1和 2分别为两类想象动作特 征的方差 ; 0029 其中, 步骤(5)中的所述对所述视觉诱发的P300信号和所述想象动作特征进行模 式识别, 输出待选字符具体为 : 0030 进行列的随机无重复闪烁时, 所述视觉诱发的 P300 信号和所述想象动作特征共 同组成一个特征向量, 作为 SVM 分类器的输入 ; 进行行的随机无重复闪烁时, 所述视觉诱发 说 明 书 CN 102200833 A C。

18、N 102200839 A3/6 页 6 的P300信号和所述想象动作特征共同组成另一个特征向量, 作为所述SVM分类器的另一个 输入, 经过所述 SVM 分类器的处理, 确定 X, Y 和 Z 三个方向上的坐标, 确定并输出所述待选 字符。 0031 本发明提供的技术方案的有益效果是 : 0032 本发明提供了一种 Speller BCI 系统及其控制方法, 本发明选用了脑电信息中 ERD 特征和事件相关电位中的 P300 特征作为特征控制信号, 由此可以利用大脑在进行想 象左右手动作时所引发的 ERD 现象和视觉刺激时诱发的 P300 特征作为对刺激事件有效应 答的标志, 区别于传统的仅基。

19、于视觉刺激诱发的 P300Speller BCI 系统 ; 本发明为那些丧 失了语言交流能力但思维正常的病人提供一种与外界进行信息交流的途径, 即可以直接通 过脑电来对外表达意愿或交流, 以能 够实现病人与外界直接对话的目的 ; 本发明将想象动 作诱发的脑电 ERD 信号和视觉诱发的 P300 信号两种不同的特征信息有机地融合在一起, 提取使用者想象左右手动作与视觉刺激时的脑电变化特征, 将其作为 Speller 识别输出的 分类标准 ; 使可选字符数提高一倍, 并且有效地提高了信息传输效率, 是一种新型的复合型 Speller BCI 系统。 附图说明 0033 图 1 为现有技术提供的 B。

20、CI 系统及其控制的结构示意图 ; 0034 图 2 为本发明提供的 Speller BCI 系统的结构示意图 ; 0035 图 3 为本发明提供的刺激界面的示意图 ; 0036 图 4 为本发明提供的闪烁频率的波形示意图 ; 0037 图 5 为本发明提供的 Speller BCI 系统的控制方法的流程图 ; 0038 图 6 为本发明提供的三维矩阵的示意图。 具体实施方式 0039 为使本发明的目的、 技术方案和优点更加清楚, 下面将结合附图对本发明实施方 式作进一步地详细描述。 0040 为了解决信息传输效率低、 可选字符数目有限的问题, 本发明实施例提供了一种 Speller BCI 。

21、系统, 详见下文描述 : 0041 一种 Speller BCI 系统, 参见图 2, 该 Speller BCI 系统包括 : 脑电数据采集模块、 数据预处理模块、 特征提取模块和模式识别模块, 0042 在脑电数据采集模块的屏幕上显示 Speller 刺激界面, 采集使用者的脑电信号, 数据预处理模块对脑电信号进行预处理 ; 通过特征提取模块提取脑电信号中视觉诱发的 P300 信号和想象动作特征 ; 模式识别模块对视觉诱发的 P300 信号和想象动作特征进行分 类识别, 输出待选字符。 0043 其中, 参见图 3, 该 Speller 刺激界面具体为 : 先进行列的随机无重复闪烁, 再进。

22、行 行的随机无重复闪烁 ; Speller 刺激界面中包括大写字符、 小写字符、 数字字符等。 0044 其中, 闪烁频率根据实际应用中的需要进行设定, 参见图 4, 本发明实施例中行列 以 75ms 间隔闪烁, 闪烁时间为 100ms, 每两个待选字符间有四秒钟的休 息时间。 0045 一种 Speller BCI 系统的控制方法, 参见图 5, 该方法包括以下步骤 : 说 明 书 CN 102200833 A CN 102200839 A4/6 页 7 0046 101 : 使用者在脑电数据采集模块的屏幕上观看 Speller 刺激界面, 注视待选字符 所在区域并同时想象左右手动作, 完成。

23、大小写字母的 2 选 1 或数字与符号的 2 选 1 输出, 采 集使用者的脑电信号 ; 0047 其中, 为了取得较好的效果, 使用者优选安静地正坐于距脑电数据采集模块的屏 幕约1m的靠椅上, 在Speller矩阵闪烁过程中, 使用者注视待选字符所在区域, 且心中默数 目标区域闪烁的次数 ( 有利于使用者集中精力 )。注视的同时想象左右手动作, 完成大小 写字母的 2 选 1 或数字与符号的 2 选 1 输出任务。想象左手相当于不按 shift 时的键盘输 出, 想象右手相当于按住 shift 时的键盘输出。待选字符是 a 或 A 时, 若待选字符是 a 则注 视的同时想象左手 ; 若待选字。

24、符是 A 则注视的同时想象右手。 0048 102 : 通过相干平均方式将脑电信号中的噪声信号去除, 提取视觉诱发的 P300 信 号 ; 0049 其中, 噪声信号主要包括 : 自发脑电信号、 外部背景噪声以及其他与导联相关的噪 声。 0050 相干平均方式是处理脑电信号常用的处理方式之一, 是提取强噪声背景下微弱信 号的有效方式。本发明实施例中所采集到的脑电信号通常伴随着很强的噪声或伪迹, 而相 干平均方式的作用就是将噪声信号从脑电信号中去除。对于每次的刺激, 这些噪声信号都 是不相关的。而 ERP 中的视觉诱发的 P300 信号可以看作是个确定性的信号, 并且独立于自 发脑电信号和其他噪。

25、声信号。其中, 相干平均方式具体为 : 0051 xn(i, t) pn(i, t)+en(i, t) n 1N (1) 0052 其中, n 为刺激的序号, N 为刺激的总数, i 为导联的序号, t 为时间, xn(i, t) 为采 集到的脑电信号, pn(i, t) 为第 n 次刺激时理想的 P300 信号, en(i, t) 为总的噪声信号。 0053 由于外部背景噪声的存在, 单次的 xn(i, t) 并不能体现脑电信号中的视觉诱发的 P300 成分, 并且往往淹没在强的背景噪声下。假设实验中客观条件不变, 背景噪声为零均 值, 方差为 的平稳随机信号, 且不同刺激产生的噪声信号都不。

26、相关, 即满足下式 : 0054 Eem(i, t)en(i, t) 0 m n (2) 0055 假设每次刺激所产生的视觉诱发的 P300 信号都可以近似表示成一个确定的信号 p(i, t), 即 0056 p1(i, t) p2(i, t) pN(i, t) p(i, t) (3) 0057 本发明实施例中, 首先将每一次闪烁刺激之后的脑电信号从连续的脑电信号中提 取出来, 然后按照每一次闪烁将这些脑电信号分段排列, 再以点对点的方式进行简单的迭 加平均。 0058 103 : 通过短时傅里叶变换获取脑电信号的二维时频图谱 ; 0059 由于想象动作引起的脑电 ERD 现象有着特定的发生频。

27、段和相对于诱发刺激固定 的时间延迟, 因此可以采用短时傅里叶变换对刺激前后的频谱成分变化以及分布特点进行 分析。常用的谱分析方法中暗含着对于处理信号的平稳性假设, 也即是假设信号的频谱成 分在整个时间轴上是同分布的, 而对于时间相关的诱发动态脑电信号而言, 这一假设显然 不成立。 针对这种情况, 替代方法是使用可以同时提取时域与频域信息的时频分析方法, 短 时傅里叶分析是目前常用的时频分析方法之一, 它假设脑电信号具有一定程度的短时平稳 性, 也即是在一个有限的时间窗内信号的频谱分布式不变的。短时傅里叶变换的方法是首 说 明 书 CN 102200833 A CN 102200839 A5/6。

28、 页 8 先使用一个有限宽度的观察窗W(t)对脑电信号x(t)进行观察, 得到加窗后的脑电信号, 对 加窗后的脑电信号进行傅立叶变换, 得到 0060 0061 其中, 是角频率, W*(-t) 是 W(-t) 的复共轭函数, 把有限宽度的观察窗沿时 间轴平移, 得到脑电信号的二维时频图谱, 即可在二维的时频平面上得到信号的频谱分布 随时间变化的信息。 0062 其中, 观察窗的有限宽度根据实际应用中的需要进行设定, 例如 : 本发明实施例中 可将观察窗的有限宽度设定为 200ms, 具体实现时本发明实施例对此不做限制。 0063 104 : 对脑电信号的二维时频图谱进行 Fisher 可分性。

29、分析, 获取 Fisher 系数二维 时频图谱, 获取特征频段, 提取想象动作特征 ; 0064 可分性分析是特征提取中的常用方法, 它主要用来评价特征参数在不同类别样本 中的分布是否具有明显的差异, 一般来说差异度越大的参数越适于作为样本 的分类的特 征值。 对于想象动作诱发脑电信号而言, 一种类型的动作任务脑电信号对应一类样本, 如果 脑电信号在某个频段上的功率谱密度在一类任务样本和其它样本之间的分布有着明显得 差异, 则此频段即为该类想象动作任务诱发脑电信号的特异性频段。对于样本参数可分性 的评价方法有多种, 而 Fisher 可分性分析已称为想象动作特征提取的最为有效的方法之 一。在这。

30、里可以选用 Fisher 评价函数, 其定义如下 : 0065 0066 其中, m1和 m2分别为两类想象动作特征的均值、 1和 2分别为两类想象动作特 征的方差。 0067 Fisher 评价函数实际上是不同想象动作脑电信号的类间离散度与类内离散度的 比值, J 越大则可分性越高, 若两类不同想象动作脑电信号的均值相等, 则 J 为 0, 即两类不 同想象动作脑电信号不可分。 0068 当对不同想象动作之间的脑电信号二维时频图谱作 Fisher 可分性分析时, 得到 Fisher 系数二维时频图谱, 从二维时频图谱上可以得出 Fisher 系数明显较大的位置对应 的时间段和频率段, 这样取。

31、得的时频窗内的功率谱密度值就可以作为提取到的一个特征。 0069 105 : 对视觉诱发的 P300 信号和想象动作特征进行模式识别, 输出待选字符。 0070 其中, 模式识别是通过对提取的脑电信号特征进行分类来辨识出其中所携带的自 主性动作信息。SVM( 支持向量机 ) 是近年来在模式识别与机器学习领域中出现的新工具, 以统计学习理论为基础, 有效地避免经典学习方法中过学习、 维数灾难和局部极小等传统 分类存在的问题, 在小样本条件下仍然具有良好的范化能力, 它通过构造最优超平面, 使得 对未知样本的分类误差最小。 模式识别的过程如下 : 在经过了特征提取阶段之后, 将这些从 样本中提取到。

32、的特征用来训练 SVM 分类器, 训练后得到一个 model, 然后再利用这个 model 来对未知模式类型的想象动作进行分类, 得到的结果即为未知模式想象动作的模式识别结 果以及识别正确率。 0071 如图 5 所示, 在这个三维矩阵中由 (x, y, z) 坐标共同决定一个字符, 视觉诱发的 P300 信号决定了字符在 X-Y 平面上的坐标, 而左右手想象动作产出的 ERD 信号决定了字符 说 明 书 CN 102200833 A CN 102200839 A6/6 页 9 在 Z 轴方向上的位置。Speller 矩阵先进行列的随机无重复闪烁, 再进行行的随机无重复 闪烁。 使用者注视目标。

33、字符的同时想象左右手运动, 若目标字符为小写字母, 则注视目标字 符的同时想象左手动作, 若目标字符为大写字母, 则注视目标字符的同时想象右手动作。 当 进行列或行的随机无重复闪烁时, 靶刺激会产生一个视觉诱发的 P300 信号, 注视目标字符 的同时想象左右手动作, 那么产生视觉诱发的 P300 信号的同时会产生相应的 ERD 信号。 0072 其中, 对视觉诱发的 P300 信号和想象动作特征进行模式识别, 输出待选字符具体 为 : 进行列的随机无重复闪烁时, 视觉诱发的 P300 信号和想象动作特征共同组成一个特征 向量, 作为SVM分类器的输入 ; 进行行的随机无重复闪烁时, 视觉诱发。

34、的P300信号和想象动 作特征共同组成另一个特征向量, 作为 SVM 分类器的另一个输入, 经过 SVM 分类器的处理, 确定 X, Y 和 Z 三个方向上的坐标, 确定并输出待选字符。 0073 下面以一个简单的试验来验证本发明实施例提供的的可行性, 详见下文描述 : 0074 本发明实施例使用 64 导联的脑电数据采集模块, 所用电极均为 Ag 或 AgCl 电极 ( 阻抗小于 15000 欧姆 ), 以双侧乳突作为参考电平, 脑电采样频率为 1000Hz, 滤波通带为 0.5100Hz, 并采用50Hz陷波器去除工频干扰, 通过试验验证了本发明实施例提供的一种 Speller BCI 系。

35、统及其控制方法的可行性, 满足了实际应用中的需要。 0075 综上所述, 本发明实施例提供了一种Speller BCI系统及其控制方法, 本发明选用 了脑电信息中 ERD 特征和事件相关电位中的 P300 特征作为特征控制信号, 由此可以利用 大脑在进行想象左右手动作时所引发的 ERD 现象和视觉刺激时诱发的 P300 特征作为对刺 激事件有效应答的标志, 区别于传统的仅基于视觉刺激诱发的 P300 Speller BCI 系统 ; 本 发明为那些丧失了语言交流能力但思维正常的病人提供一种与外界进行信息交流的途径, 即可以直接通过脑电来对外表达意愿或交流, 以能够实现病人与外界直接对话的目的 。

36、; 本 发明将想象动作诱发的脑电 ERD 信号和视觉诱发的 P300 信号两种不同的特征信息有机地 融合在一起, 提取使用者想象左右手动作与视觉刺激时的脑电变化特征, 将其作为 Speller 识别输出的分类标准 ; 使可选字符数提高一倍, 并且有效地提高了信息传输效率, 是一种新 型的复合型 Speller BCI 系统。 0076 本领域技术人员可以理解附图只是一个优选实施例的示意图, 上述本发明实 施 例序号仅仅为了描述, 不代表实施例的优劣。 0077 以上所述仅为本发明的较佳实施例, 并不用以限制本发明, 凡在本发明的精神和 原则之内, 所作的任何修改、 等同替换、 改进等, 均应包含在本发明的保护范围之内。 说 明 书 CN 102200833 A CN 102200839 A1/3 页 10 图 1 图 2 图 3 说 明 书 附 图 CN 102200833 A CN 102200839 A2/3 页 11 图 4 图 5 说 明 书 附 图 CN 102200833 A CN 102200839 A3/3 页 12 图 6 说 明 书 附 图 CN 102200833 A 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1