脑波接口系统、脑波接口装置、方法及计算机程序.pdf

本发明提供一种脑波接口系统、脑波接口装置、方法及计算机程序，对于希望选择在脑波接口上的显示位置较为明确的选择项的用户等不会感觉到系统难以使用及无效，从而，用户从多个选择项中高效率地选择所期望的选择项。所述脑波接口系统具备：测量脑波及眼球运动的脑波信号测量部及眼球运动测量部；输出部，在画面上提示与设备的动作有关的选择项；高亮显示判定部，以眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点并经过了规定的时间时，基于眼球运动特别指定用户注视的画面中的区域，确定高亮显示的选择项；接口部，高亮显示确定后的选择项，以对选择项进行高亮显示的定时为起点，基于脑波信号中包含的事件相关电位的成分确定设备的动作；一级定时调整部，其基于开始进行用于显示画面的处理之后至显示画面之间的眼球运动，对高亮显示的开始定时进行调整。

1、  一种脑波接口系统，利用用户的脑波信号控制设备的动作，其具备：
脑波测量部，其对所述用户的脑波信号进行测量；
眼球运动测量部，其对所述用户的眼球运动进行测量；
输出部，其在画面上提示与设备的动作有关的选择项；
高亮显示判定部，其判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时点为起点是否经过了规定的时间，在经过了规定的时间时，基于所述眼球运动特别指定所述用户注视的所述画面中的区域，并确定被高亮显示的选择项；
接口部，其对由所述高亮显示判定部所确定的所述选择项进行高亮显示，且以对所述选择项进行高亮显示的定时为起点，识别包含于所述脑波信号的事件相关电位的成分，并基于识别出的所述成分确定所述设备的动作；
定时调整部，其基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，对高亮显示的开始定时进行调整。

2、  如权利要求1所述的脑波接口系统，其特征在于，
所述定时调整部在所述眼球运动的变化量达到预先保持的阈值以上且所述画面显示后，从所述眼球运动的变化量以比所述规定时间短的时间达到预先保持的阈值以下的状态的时点起，开始所述选择项的高亮显示。

3、  如权利要求1所述的脑波接口系统，其特征在于，
所述定时调整部在显示所述画面之后，在所述用户注视所述画面中的区域的情况下测定各注视区域的注视时间，在测定时间的平均值达到所述规定时间以上的情况下，且从所述眼球运动的变化量以比所述规定时间长的时间达到预先保持的阈值以下的状态的时刻起，开始所述选择项的高亮显示。

4、  如权利要求1所述的脑波接口系统，其特征在于，
所述高亮显示判定部确定将包含于所述画面中的区域的选择项确定为所述被高亮显示的选择项。

5、  如权利要求1所述的脑波接口系统，其特征在于，
所述接口部，在所述画面上，通过改变由所述高亮显示判定部确定的所述选择项的亮度、色调及大小中的任一项，而对确定后的所述选择项进行高亮显示。

6、  如权利要求1所述的脑波接口系统，其特征在于，
所述接口部根据由所述高亮显示判定部所确定的所述选择项的数量来改变高亮显示的方法。

7、  如权利要求6所述的脑波接口系统，其特征在于，
在存在多个由所述高亮显示判定部确定的所述选择项的情况下，随机或者按顺序以规定的高亮显示间隔来对多个选择项进行高亮显示。

8、  如权利要求1所述的脑波接口系统，其特征在于，
在所述画面中的区域不存在选择项的情况下，所述高亮显示判定部则不确定所述被高亮显示的选择项。

9、  如权利要求1所述的脑波接口系统，其特征在于，
还具备间隔调整部，其基于所述眼球运动调整高亮显示的时间间隔。

10、  如权利要求1所述的脑波接口系统，其特征在于，
所述间隔调整部基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，调整高亮显示的时间间隔。

11、  如权利要求10所述的脑波接口系统，其特征在于，
所述间隔调整部，在所述眼球运动的变化量达到预先保持的阈值以上，且在所述画面显示后，所述眼球运动的变化量以比所述规定时间短的时间达到预先保持的阈值以下的状态时，将所述高亮显示的时间间隔调整为比设定值短。

12、  如权利要求1所述的脑波接口系统，其特征在于，
所述间隔调整部在显示出所述画面之后，在所述用户注视所述画面中的区域时，测定在各注视区域的注视时间，在测定时间的平均值达到所述规定时间以上的情况下，将所述高亮显示的时间间隔调整为比设定值长。

13、  一种脑波接口系统，其利用用户的脑波信号控制设备的动作，其特征在于，
具备：
脑波测量部，其对所述用户的脑波信号进行测量；
眼球运动测量部，其对所述用户的眼球运动进行测量；
输出部，其在画面上提示与设备的动作有关的选择项；
高亮显示判定部，其判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间，在经过了规定的时间时，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定高亮显示的选择项；
接口部，其对由所述高亮显示判定部确定的所述选择项进行高亮显示，并以对所述选择项进行高亮显示的时刻为起点，识别所述脑波信号包含的事件相关电位的成分，基于识别出的所述成分确定所述设备的动作。

14、  如权利要求13所述的脑波接口系统，其特征在于，
所述高亮显示判定部将包含于所述画面中的区域的选择项确定为进行高亮显示的选择项。

15、  如权利要求13所述的脑波接口系统，其特征在于，
所述接口部，在所述画面上，通过改变由所述高亮显示判定部所确定的所述选择项的亮度、色调及大小中的其中一项，而对确定后的所述选择项进行高亮显示。

16、  如权利要求13所述的脑波接口系统，其特征在于，
所述接口部根据由所述高亮显示判定部所确定的所述选择项的数量改变高亮显示的方法。

17、  如权利要求16所述的脑波接口系统，其特征在于，
在存在多个由所述高亮显示判定部确定的所述选择项的情况下，随机或者按顺序以规定的高亮显示间隔高亮显示多个选择项。

18、  如权利要求13所述的脑波接口系统，其特征在于，
所述高亮显示判定部，在所述画面中的区域不存在选择项的情况下，不确定所述进行高亮显示的选择项。

19、  一种脑波接口装置，其用于脑波接口系统，所述脑波接口系统在画面上提示与设备的动作有关的选择项，并利用用户的眼球运动及脑波信号控制所述设备的动作，其中
所述脑波接口系统具有对所述用户的脑波信号进行测量的脑波测量部和对所述用户的眼球运动进行测量的眼球运动测量部，
具备：
高亮显示判定部，其判断：以从所述眼球运动测量部接受到的所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时点为起点是否经过了规定的时间，在经过了规定的时间的情况下，基于所述眼球运动特别指定所述用户注视的所述画面中的区域，并确定被高亮显示的选择项；
接口部，其对由所述高亮显示判定部所确定的所述选择项进行高亮显示，并以高亮显示所述选择项的定时为起点，识别从所述脑波测量部接受到的所述脑波信号锁包含的事件相关电位的成分，并基于识别出的所述成分确定所述设备的动作；
定时调整部，其基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，对高亮显示的开始定时进行调整。

20、  一种方法，用于利用用户的脑波信号控制设备的动作的脑波接口系统，其中，
具备：
对所述用户的脑波信号进行测量的步骤；
对所述用户的眼球运动进行测量的步骤；
在画面上提示与设备的动作有关的选择项的步骤；
判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间的步骤；
在经过了规定的时间的情况下，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定进行高亮显示的选择项的步骤；
对确定后的所述选择项进行高亮显示，并以高亮显示所述选择项的时刻为起点，识别所述脑波信号中包含的事件相关电位的成分的步骤；
基于识别出的所述成分确定所述设备的动作的步骤；
基于从开始进行用于显示所述画面的处理到显示所述画面之间的所述眼球运动，对高亮显示的开始时刻进行调整的步骤。

21、  一种方法，用于利用用户的脑波信号控制设备的动作的脑波接口系统，其特征在于，
具备：
对所述用户的脑波信号进行测量的步骤；
对所述用户的眼球运动进行测量的步骤；
在画面上提示与设备的动作有关的选择项的步骤；
判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间的步骤；
在经过了规定的时间的情况下，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定进行高亮显示的选择项的步骤；
对所确定的所述选择项进行高亮显示，并以高亮显示所述选择项的定时为起点，识别所述脑波信号中包含的事件相关电位的成分的步骤；
基于识别出的所述成分确定所述设备的动作的步骤。

22、  一种计算机程序，在脑波接口装置中执行，其特征在于，
所述脑波接口装置被编入利用用户的脑波信号控制设备的动作的脑波接口系统中，
所述脑波接口系统，具有：
对所述用户的脑波信号进行测量的脑波测量部；
对所述用户的眼球运动进行测量的眼球运动测量部；
在画面上提示与设备的动作有关的选择项的输出部，
所述计算机程序对于所述脑波接口装置的计算机执行下述步骤：
判断以由所述眼球运动测量部测量的所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间的步骤；
在经过了规定的时间时，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定进行高亮显示的选择项的步骤；
对所确定的所述选择项进行高亮显示，并以高亮显示所述选择项的定时为起点，识别所述脑波信号中包含的事件相关电位的成分的步骤；
基于所识别的所述成分确定所述设备的动作的步骤；
基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，调整高亮显示的开始时刻的步骤。

23、  一种计算机程序，在脑波接口装置中执行，其特征在于，
所述脑波接口装置被编入利用用户的脑波信号控制设备的动作的脑波接口系统中，
所述脑波接口系统具有：
对所述用户的脑波信号进行测量的脑波测量部；
对所述用户的眼球运动进行测量的眼球运动测量部；
在画面上提示与设备的动作有关的选择项的输出部，
所述计算机程序在所述脑波接口装置的计算机上执行下述步骤：
判断以由所述眼球运动测量部测量的所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间的步骤；
在经过了规定的时间时，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定进行高亮显示的选择项的步骤；
高亮显示所确定的所述选择项，并以对所述选择项进行高亮显示的定时为起点，识别所述脑波信号中所包含的事件相关电位的成分的步骤；
基于识别出的所述成分确定所述设备的动作的步骤。

脑波接口系统、脑波接口装置、方法及计算机程序
技术领域
本发明涉及一种能够利用脑波操作设备的接口系统(脑波接口)。更具体而言，本发明涉及一种脑波接口系统，其具备用于从多项选择中高效率地选择用户所期望的选择项的功能。
背景技术
近年来，由于电视、手机、PDA(Personal Digital Assistant)等各种类型的信息设备得到广泛普及，因而用户在日常生活中的许多情况下需要操作信息设备。作为其操作输入装置，例如通常使用一边观察由按压按键、移动光标而确定的画面，一边操作鼠标等方法。
但是，例如在家务、育儿、汽车驾驶中等两手不能用于设备操作以外的作业时，利用操作输入装置的输入就变得困难，有时不能实现设备操作。因此，用户在所有情况下都可操作信息设备的需求日益高涨。
对于这样的需求，正在开发一种利用用户的身体信号的装置，具体而言，正在开发一种利用用户的事件相关电位的脑波接口。在此，所谓的“事件相关电位”是指与外在的或者内在的事件时间性相关联而产生的大脑的暂时性电位变动。在脑波接口中可利用以外在的事件发生定时为起点而测量的事件相关电位。例如，假设为：若利用针对视觉刺激等而产生的事件相关电位的P300成分，则能够选择菜单的选择项。所谓的该“P300”是指在距起点约300毫秒附近所表现出的事件相关电位的阳性成分。
专利文献1公开有一种使用事件相关电位来识别用户想选择的选择项的脑波接口技术。对专利文献1所记载的技术作具体说明，就是按一定的时间间隔随机高亮显示(ハイライト)选择项，并利用在以选择项被高亮显示的定时为起点约300毫秒后出现的事件相关电位的波形，来实现用户想选择的选择项的识别。根据该技术，不论在占用着用户的双手的情况下，还是因病等而使手脚不能活动的情况下都可选择想要选择的选择项。因此，实现了与上述的要求相一致的设备操作等接口。
为了将事件相关电位应用于接口，就必须有对接口画面上的选择项进行高亮显示或者弹出(ポツプアツプ)等视觉刺激。在选择项多(例如十几个或者数十个)的情况下，由于将它们分别高亮显示需要非常多的时间，因而重要的是高效率地进行高亮显示。
图18是表示非专利文献1列举的接口画面。其用6×6的矩阵表示36个文字。在非专利文献1中，按一定的时间间隔随机高亮显示各行及各列，并利用上述的事件相关电位识别用户想要选择的哪一行及哪一列的文字。由此，将分别高亮显示时需要36次的高亮显示次数降低到6+6即12次。
另一方面，例如以往以来已经提出一种如专利文献2所示的使用了视线检测装置的视线输入接口技术。在专利文献2中，对用户在接口画面上的注视区域进行检测，且该注视区域中的选择项作为被选择状态来处理。而且，在存在被选择状态的选择项时，检测到用户足够长的时间闭眼睛的动作(闭眼动作)时，则判断为确定选择该选择项。由此，输出确定信息输入的信号，并确定选择。
在该技术中，若将用于检测用户的闭眼动作的时间的阈值设定为较小的值，则例如有可能即使在无意识进行的瞬间也误检测为选择项的选择被确定，而进行非用户意图的信息输入。另一方面，若将用于检测用户的闭眼动作的时间的阈值设定为较大的值，则尽管降低了有关瞬间的误检测的可能性，但用户必须有意识地长时间保持闭眼动作，因此有可能因耗费力量过大而使眼周围的肌肉疲劳。
如上所述，视线输入接口在下述方面是非常有效的，即在确定选择项的选择执行时，会迫使用户进行规定的动作，与此相对，脑波接口不会迫使用户进行规定的动作而是能够识别用户所希望的选择项。
专利文献1：日本国特开2005-34620号公报
专利文献2：日本国特开平10-187334号公报
非专利文献1：伊曼纽尔Donchin(Emanuel Donchin)、另外二人著“TheMental Prosthesis：Assessing the Speed of a P300-Based Brain-ComputerInterface”、IEEE TRANS ACTIONS ON REHABILITATIONENGINEERING、Vol.8、No.2、2000年6月
在上述的脑波接口技术中，成为高亮显示的对象的选择项、开始高亮显示的定时、以及高亮显示的时间间隔，都是通过接口的系统唯一确定的。因此，使用脑波接口的用户需要等待所希望的选择项被高亮显示，另外，即使在不希望的选择项被高亮显示时，也必须注视接口画面。因此，不一定能够高效率地选择选择项。
其结果是产生如下的问题。
以第一例为例，即使明确设定脑波接口上所显示的选择项的坐标位置，用户也不能迅速地选择目的选择项。在所述的非专利文献1的6×6个选择项的情况下，将高亮显示间隔设定为350毫秒时，一次选择需要4.2秒(等于350毫秒×12次)的时间。这就是在假设操作日常所使用的设备的情况下，越感到不好使用或挫败(フラストレ一シヨン)，时间就越长。
以第二例为例，对选择对象犹豫或者不能确定选择对象的用户，难以顺利地执行意志确定行为。因为对于选择对象踌躇不决的用户，高亮显示多个选择项时，对用户而言这些成为不必要且碍眼的高亮显示。在将脑波接口应用于日常用途时，必须发挥其原有的功能，使用户不会感到不好使用或挫败。
发明内容
本发明的目的在于，在具备利用脑波的接口的系统中，对于希望选择在脑波接口上的显示位置明确的选择项的用户及对应该选择哪个选择项感到犹豫的用户，都不会感到系统难以使用或无效，用户可以从多个选择项中高效率地选择出所期望的选择项。
本发明的脑波接口系统用来利用用户的脑波信号来控制设备的动作，上述脑波接口系统具备：脑波测量部，其对所述用户的脑波信号进行测量；眼球运动测量部，其对所述用户的眼球运动进行测量；输出部，其在画面上提示与设备的动作有关的选择项；高亮显示判定部，其判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时点为起点是否经过了规定的时间，在经过了规定的时间时，基于所述眼球运动特别指定所述用户注视的所述画面中的区域，并确定被高亮显示的选择项；接口部，其对由所述高亮显示判定部所确定的所述选择项进行高亮显示，且以对所述选择项进行高亮显示的定时为起点，识别包含于所述脑波信号的事件相关电位的成分，并基于识别出的所述成分确定所述设备的动作；定时调整部，其基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，对高亮显示的开始定时进行调整。
也可以是，所述定时调整部在所述眼球运动的变化量达到预先保持的阈值以上且所述画面显示后，从所述眼球运动的变化量以比所述规定时间短的时间达到预先保持的阈值以下的状态的时点起，开始所述选择项的高亮显示。
也可以是，所述定时调整部在显示所述画面之后，在所述用户注视所述画面中的区域的情况下测定各注视区域的注视时间，在测定时间的平均值达到所述规定时间以上的情况下，且从所述眼球运动的变化量以比所述规定时间长的时间达到预先保持的阈值以下的状态的时刻起，开始所述选择项的高亮显示。
也可以是，所述高亮显示判定部确定将包含于所述画面中的区域的选择项确定为所述被高亮显示的选择项。
也可以是，所述接口部，在所述画面上，通过改变由所述高亮显示判定部确定的所述选择项的亮度、色调及大小中的任一项，而对确定后的所述选择项进行高亮显示。
也可以是，所述接口部根据由所述高亮显示判定部所确定的所述选择项的数量来改变高亮显示的方法。
也可以是，在存在多个由所述高亮显示判定部确定的所述选择项的情况下，随机或者按顺序以规定的高亮显示间隔来对多个选择项进行高亮显示。
也可以是，在所述画面中的区域不存在选择项的情况下，所述高亮显示判定部则不确定所述被高亮显示的选择项。
也可以是，还具备间隔调整部，其基于所述眼球运动调整高亮显示的时间间隔。
也可以是，所述间隔调整部基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，调整高亮显示的时间间隔。
也可以是，所述间隔调整部，在所述眼球运动的变化量达到预先保持的阈值以上，且在所述画面显示后，所述眼球运动的变化量以比所述规定时间短的时间达到预先保持的阈值以下的状态时，将所述高亮显示的时间间隔调整为比设定值短。
也可以是，所述间隔调整部在显示出所述画面之后，在所述用户注视所述画面中的区域时，测定在各注视区域的注视时间，在测定时间的平均值达到所述规定时间以上的情况下，将所述高亮显示的时间间隔调整为比设定值长。
本发明的另一种脑波接口系统，利用用户的脑波信号控制设备的动作，其具备：脑波测量部，其对所述用户的脑波信号进行测量；眼球运动测量部，其对所述用户的眼球运动进行测量；输出部，其在画面上提示与设备的动作有关的选择项；高亮显示判定部，其判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间，在经过了规定的时间时，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定高亮显示的选择项；接口部，其对由所述高亮显示判定部确定的所述选择项进行高亮显示，并以对所述选择项进行高亮显示的时刻为起点，识别所述脑波信号包含的事件相关电位的成分，基于识别出的所述成分确定所述设备的动作。
也可以是，所述高亮显示判定部将包含于所述画面中的区域的选择项确定为进行高亮显示的选择项。
也可以是，所述接口部，在所述画面上，通过改变由所述高亮显示判定部所确定的所述选择项的亮度、色调及大小中的其中一项，而对确定后的所述选择项进行高亮显示。
也可以是，所述接口部根据由所述高亮显示判定部所确定的所述选择项的数量改变高亮显示的方法。
也可以是，在存在多个由所述高亮显示判定部确定的所述选择项的情况下，随机或者按顺序以规定的高亮显示间隔高亮显示多个选择项。
也可以是，所述高亮显示判定部，在所述画面中的区域不存在选择项的情况下，不确定所述进行高亮显示的选择项。
本发明的脑波接口装置，用于脑波接口系统，所述脑波接口系统在画面上提示与设备的动作有关的选择项，并利用用户的眼球运动及脑波信号控制所述设备的动作，其中所述脑波接口系统具有对所述用户的脑波信号进行测量的脑波测量部和对所述用户的眼球运动进行测量的眼球运动测量部，具备：高亮显示判定部，其判断：以从所述眼球运动测量部接受到的所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时点为起点是否经过了规定的时间，在经过了规定的时间的情况下，基于所述眼球运动特别指定所述用户注视的所述画面中的区域，并确定被高亮显示的选择项；接口部，其对由所述高亮显示判定部所确定的所述选择项进行高亮显示，并以高亮显示所述选择项的定时为起点，识别从所述脑波测量部接受到的所述脑波信号锁包含的事件相关电位的成分，并基于识别出的所述成分确定所述设备的动作；定时调整部，其基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，对高亮显示的开始定时进行调整。
本发明的方法是用于利用用户的脑波信号控制设备的动作的脑波接口系统，其中，具备：对所述用户的脑波信号进行测量的步骤；对所述用户的眼球运动进行测量的步骤；在画面上提示与设备的动作有关的选择项的步骤；判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间的步骤；在经过了规定的时间的情况下，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定进行高亮显示的选择项的步骤；对确定后的所述选择项进行高亮显示，并以高亮显示所述选择项的时刻为起点，识别所述脑波信号中包含的事件相关电位的成分的步骤；基于识别出的所述成分确定所述设备的动作的步骤；基于从开始进行用于显示所述画面的处理到显示所述画面之间的所述眼球运动，对高亮显示的开始时刻进行调整的步骤。
本发明的方法是用于利用用户的脑波信号控制设备的动作的脑波接口系统的方法，其具备：对所述用户的脑波信号进行测量的步骤；对所述用户的眼球运动进行测量的步骤；在画面上提示与设备的动作有关的选择项的步骤；判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间的步骤；在经过了规定的时间的情况下，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定进行高亮显示的选择项的步骤；对所确定的所述选择项进行高亮显示，并以高亮显示所述选择项的定时为起点，识别所述脑波信号中包含的事件相关电位的成分的步骤；基于识别出的所述成分确定所述设备的动作的步骤。
本发明的计算机程序是在脑波接口装置中执行的计算机程序，其中，所述脑波接口装置被编入利用用户的脑波信号控制设备的动作的脑波接口系统中，所述脑波接口系统，具有：对所述用户的脑波信号进行测量的脑波测量部；对所述用户的眼球运动进行测量的眼球运动测量部；在画面上提示与设备的动作有关的选择项的输出部，所述计算机程序对于所述脑波接口装置的计算机执行下述步骤：判断以由所述眼球运动测量部测量的所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间的步骤；在经过了规定的时间时，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定进行高亮显示的选择项的步骤；对所确定的所述选择项进行高亮显示，并以高亮显示所述选择项的定时为起点，识别所述脑波信号中包含的事件相关电位的成分的步骤；基于所识别的所述成分确定所述设备的动作的步骤；基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，调整高亮显示的开始时刻的步骤。
本发明的计算机程序是在脑波接口装置中执行的计算机程序，其中，所述脑波接口装置被编入利用用户的脑波信号控制设备的动作的脑波接口系统中，所述脑波接口系统具有：对所述用户的脑波信号进行测量的脑波测量部；对所述用户的眼球运动进行测量的眼球运动测量部；在画面上提示与设备的动作有关的选择项的输出部，所述计算机程序在所述脑波接口装置的计算机上执行下述步骤：判断以由所述眼球运动测量部测量的所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间的步骤；在经过了规定的时间时，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特别指定，并确定进行高亮显示的选择项的步骤；高亮显示所确定的所述选择项，并以对所述选择项进行高亮显示的定时为起点，识别所述脑波信号中所包含的事件相关电位的成分的步骤；基于识别出的所述成分确定所述设备的动作的步骤。
根据本发明的脑波接口装置、脑波接口装置、方法及计算机程序，关于脑波接口所需要的高亮显示，基于用户的眼球运动来判定作为其对象的选择项及开始的定时或者时间间隔。由此，在具备利用脑波的接口的系统中，对于希望选择在脑波接口上的显示位置较为明确的选择项的用户、及对应该选择哪个选择项感到犹豫的用户，都不会感到系统难以使用或无效，用户可以从多个选择项中高效率地选择出所期望的选择项。
附图说明
图1是表示脑波接口系统1的构成及使用环境的图。
图2是表示第一实施方式的脑波接口系统1的功能块构成的图。
图3是表示通过EOG法测量眼球运动的眼球运动测量部13的构成的图。
图4是表示通过角膜反射法测量眼球运动的眼球运动测量部13的构成的图。
图5(a)是表示一体化后的第一及第二校准信息的数据结构例的图，(b)是表示在显示画面上的注视位置的坐标例的图。
图6是表示将图18所示的6×6个选择项的接口画面划分成9个区域时的分割例的图。
图7是表示各接口画面的分割信息的数据结构例的图。
图8是表示高亮显示判定部15的处理过程的流程图。
图9是表示脑波IF部14的处理过程的流程图。
图10(a)～(e)是表示在脑波接口系统1中，操作电视，用户10看到希望视听的信道的节目时的例的图。
图11是表示包含内容显示区域111和菜单显示区域110的接口画面例的图。
图12(a)～(b)是表示第二实施方式的在接口画面的注视位置及时序图。
图13是表示第二实施方式的脑波接口系统1的结构的图。
图14是表示高亮显示判定部15的处理过程的流程图。
图15是表示高亮显示定时调整部16的处理过程的流程图。
图16是表示高亮显示间隔调整部17的处理过程的流程图。
图17(a)及(b)是表示根据用户10和输出部11的距离变更项目的分割单位时的分割例的图。
图18是表示现有例的接口提供时的画面显示例的图。
图中：
1：脑波接口系统
2、20：脑波接口装置
11：输出部
12：脑波测量部
13：眼球运动测量部
14：脑波IF部
15：高亮显示判定部
16：高亮显示定时调整部
17：高亮显示间隔调整部
具体实施方式
下面，参照附图说明本发明的脑波接口系统及脑波接口装置的实施方式。
首先，说明本发明的脑波接口系统及脑波接口装置的主要特征的概略。其后，说明脑波接口装置的各实施方式。
本申请发明人等假设将来在将安装式脑波仪和安装式显示器组合在一起的环境下构建脑波接口系统。用户可正常安装脑波仪和显示器，并利用安装式显示器进行内容的视听及画面的操作。除此之外，还假想在将家用电视机和安装式脑波仪组合在一起的家庭内等环境下构建脑波接口系统。用户在观看电视时，可安装脑波仪并进行内容的视听及画面的操作。
例如图1表示后者的例子的本申请发明人等假想的脑波接口系统1的结构及使用环境。所例示的该脑波接口系统1与第一实施方式的系统结构相对应。
脑波接口系统1为用于提供利用用户10的脑波信号操作(控制)电视机11的接口的系统。用户10的脑波信号可通过用户安装于头部的脑波仪(脑波测量部12)来获得，并通过无线或者有线发送到脑波接口装置2。用户10的眼球运动可通过安装于用户的头部的眼球运动的测量器(眼球运动测量部13)来进行测量，并通过无线或者有线发送到脑波接口装置2。内装于电视机11内的脑波接口装置2根据眼球运动来确定成为高亮显示的对象的选择项、开始的定时、以及时间间隔，并利用构成脑波的一部分的事件相关电位的P300成分识别用户的意图，而进行信道的切换等处理。
(第一实施方式)
图2表示本实施方式的脑波接口系统1的功能块构成。脑波接口系统1具有：脑波接口装置2、输出部11、脑波测量部12、眼球运动测量部13。脑波接口装置2由脑波接口部(脑波IF部)14、高亮显示判定部15构成，通过有线或者无线与输出部11、脑波测量部12、眼球运动测量部分别连接，进行信号的发送及接受。用户10的块是为了便于说明而表示。
输出部11对用户10输出内容及脑波接口的应选择的菜单。如图1所示的电视机11为输出部的具体例，因而以下将参照符号11赋予输出部进行说明。输出部11在输出的内容为动画或者静止画面时与显示画面相对应，在输出的内容中包含声音时，显示画面及扬声器有时也作为输出部11并用。
脑波测量部12是通过测量安装于用户10的头部的电极中的电位变化来检测脑波信号的脑波仪。脑波仪也可以是如图1所示的头置式脑波仪。假设用户10预先安装了脑波仪。
在安装于用户10的头部时，以与其头部的规定位置相接触的方式将电极配置于脑波测量部12。电极的配置例如有Pz(头顶正中)、A1(耳朵)及用户的鼻根部。但是，电极最低是两个即可，例如可以只在PZ和A1进行电位测量。该电极位置可根据信号的可靠性及安装的容易度等来确定。
其结果是，脑波测量部12可以测量用户10的脑波。测量出的用户10的脑波以可以用计算机处理的方式进行采样，并被输送到脑波接口装置2。另外，为了降低混杂在脑波中的噪声的影响，而对在脑波测量部12测量到的脑波预先进行例如0.05～20Hz的带通滤波处理，并以接口画面提示之前的例如200毫秒的平均电位进行行扫描修正。
接着，参照图3及图4说明两种类型的眼球运动测量部13的构成。无论采用哪一种结构，眼球运动测量部13都可以是如图1所示的头置式测量器，用户10在利用脑波接口系统1之前，预先安装测量器。
图3表示通过EOG法对眼球运动进行测量的眼球运动测量部13的构成。而图4表示通过角膜反射法测量眼球运动的眼球运动测量部13的构成。图3所示的眼球运动测量部13通过测量角膜网膜电位来测量眼球运动。而图4所示的眼球运动测量部13通过向眼球照射近红外线对眼球进行拍摄，并测量该拍摄图像上的瞳孔及角膜表面的光源的反射像(角膜反射像)的位置来测量眼球运动。
如后所述，图3及图4所示的眼球运动测量部13都要对眼球的转动速度及注视位置进行特别指定。这意味着，眼球运动可根据眼球的旋转角速度这一物理变化量(单位时间的眼球运动的旋转角度)及视线位置的变化量来定义。
下面，参照图3及图4来说明分别利用EOG法及角膜反射法如何来测量眼球运动。但是这些方法只不过是作为例子列举。还可以利用其它的测量方法。
如图3所示的眼球运动测量部13具备：多个电极41、电位检测部42、转换部43、校准信息存储部44。
多个电极41被粘贴于眼的周围。电位检测部42对经由多个电极41得到的角膜网膜电位进行测量。
校准信息存储部44存储表示角膜网膜电位和眼球的旋转角度的对应关系的信息(第一校准信息)。第一校准信息是利用眼球的角膜相对于网膜带正电的性质而得到的信息，预先储存于校准信息存储部44。校准信息存储部44还储存有表示眼球的旋转角度和用户10在显示器画面上的注视位置的关系的信息(第二校准信息)。第二校准信息也预先储存于校准信息存储部44。
转换部43基于测量到的角膜网膜电位并参照第一校准信息特别指定眼球的旋转角度及旋转角速度。而且，转换部43基于所特别指定的转动角度并再参照第二校准信息特别指定用户10在显示器画面上的注视位置。
图5(a)表示一体化后的第一及第二校准信息的数据结构的例。所例示的校准信息的构成为，与水平方向及垂直方向的各种角膜网膜电位、眼球的旋转角度以及显示器画面上的注视位置的坐标相对应。另外，也可以不将第一及第二校准信息做成一体化而独立设计。
下面，说明利用校准信息后的眼球的旋转角度及注视位置的特别指定方法。
例如，角膜网膜电位在1秒钟内关于水平方向变化+50μV时，转换部43参照校准信息特别指定成水平方向的注视位置为X1。在关于垂直方向+30μV变化时，则转换部43同样参照校准信息特别指定成垂直方向的注视位置为Y1。其结果是，用户10在显示器画面上的注视位置特别指定为坐标(X1，Y1)。图5(b)表示在显示器画面上的注视位置的坐标例。
此外，在上述例中，水平方向及垂直方向的角膜网膜电位的变化量在1秒钟内分别为+50μV及+30μV。因此，根据图5(a)所示的校准信息，眼球向右方向移动了5度(degrees)，向上方向也移动了5度。于是，转换部43可以将眼球的旋转角速度特别指定为度(degrees)/秒。
另外，如图5(a)所示的校准信息中的“眼球的旋转角度”及“注视位置”依存于从用户10到显示器画面的距离及显示器画面的大小等。因此，这些值既可以不必是固定值，用户10也可以在其使用环境中进行变更。
下面参照图4。如图4所示的眼球运动测量部13具备：近红外线光源51、CCD照相机52、反射像位置检测部53、转换部54、校准信息存储部55。
近红外线光源51为近红外线的点光源，用于对眼球照射近红外线。CCD照相机52拍摄被近红外线照射后的眼球。反射像位置检测部53基于拍摄到的眼球的影像识别瞳孔及角膜表面，再检测光源在瞳孔及角膜表面的反射像(角膜反射像)的位置。
校准信息存储部55预先存储有表示反射像的位置和眼球的旋转角度的关系的信息(第三校准信息)，同时，还预先存储有表示眼球的旋转角度和用户10在显示器画面上的注视位置的关系的信息(第四校准信息)。
转换部54基于反射像的位置并参照第三校准信息，特别指定眼球的旋转角度及旋转角速度。然后，转换部54基于所得到的眼球的旋转角度并参照第四校准信息，特别指定用户10在显示器画面上的注视位置。第三及第四校准信息的数据结构由于类似于图5(a)，其具体的例示从略。
再来参照图2。高亮显示判定部15从眼球运动测量部13所测量到的用户10的注视坐标位置开始，检测用户10在显示器画面上的注视区域，并基于注视区域从选择项中判定高亮显示的对象。然后，高亮显示判定部15以眼球的旋转角速度达到预先保持的阈值以下的时刻为起点，判定是否经过了规定的时间(例如400毫秒)，并在已经过的时刻对脑波IF部14发出指示，以使得开始对存在于有用户10的视线的区域的选择项进行高亮显示。
与眼球的旋转角速度有关的阈值的确定方法如下。根据现有文献(日本国特开2006-204855公报)，进行人体静止图像的识别时的眼球运动，与注视运动和跳跃性眼球运动大不相同。在此，所谓的“跳跃式眼球运动”是指在视线快速移动且一点也不接收来自外界的信息的状态下的眼球运动。有报告称，跳跃式眼球运动其持续时间短到只有40～50毫秒，且旋转角度超过100度(degrees)/秒。因此，眼球运动的阈值(X1)只要以例如旋转角速度达到100度/秒的方式设为每50毫秒5度即可。
下面，参照图6详细说明高亮显示判定部15的功能。
首先，假设向用户10提示的各种接口画面的每个画面，预先都被分割为多个区域。例如图6表示将图18所示的6×6个选择项的显示器画面分割成9个区域时的分割例。但是，在画面上不需要显示用户10能够识别的分隔线。
高亮显示判定部15中预先保持有在接口画面中区域被如何分割的信息。
图7表示各接口画面的分割信息的数据结构例。接口画面的分割信息的构成为，包括：成为对象的接口画面的编号、分割该接口画面时的各区域的编号、各区域的X轴方向的范围、各区域的Y轴方向的范围、以及该区域所包含的接口画面上的选择项的内容。
预先如何(多少个地)分割各接口画面，取决于选择项的数量及眼球运动测量的可靠性。例如也可以不是分割成图6那样的9个而是更粗分为4个或者更细分为36个。前者在眼球运动测量的精度低时有效，后者在精度高时有效。
另外，接口画面的分割可通过输出部(电视机)11和用户10的位置关系确定。具体而言，就是由脑波测量部12测量用户10的位置信息(例如二维的位置)并将位置信息发送到高亮显示判定部15。高亮显示判定部15预先保持有输出部11的位置信息，并基于用户10的位置信息和输出部11的位置信息计算出用户10和输出部11的距离。然后，通过对该距离和阈值进行比较来确定画面的分割单位。
例如，在用户10和输出部11的距离大时，高亮显示判定部15以比预先确定的分割单位大的方式调整分割单位。这是由于用户10难以详细地看到输出部11所显示的项目。现在，如果假设图6的分割单位为预先设定的分割单位，则高亮显示判定部15如图17(a)所示将增大分割单位。由此，即使用户10远离输出部11也可详细地看到输出部11所显示的项目。
另外，在用户10和输出部11的距离比较小的情况下，高亮显示判定部15以比预先确定的分割单位小的方式调整分割单位。这是由于用户10和输出部11的距离较近，用户10可以详细的看到输出部11所显示的项目。如果假设图6的分割单位为预先设定的分割单位，则如图17(b)所示，高亮显示判定部15减小分割单位。由此，用户10可看到输出部11所显示的、被更多地分割的项目。
如上那样，在考虑到因用户10和输出部11的距离比较远而使得眼球运动测量的精度降低的情况下，增大分割并重视基于脑波信号的识别。另一方面，在考虑到因用户10和输出部11的距离比较近而使得眼球运动测量的精度提高的情况下，减小分割并重视基于眼球运动的识别。
由此，可更有效地使用眼球运动的识别和脑波信号的识别中被认为精度较高的一方。
高亮显示判定部15从眼球运动测量部13接收用户10的眼球的旋转角速度的信息和显示器画面上的注视坐标位置的信息。例如在眼球的旋转角速度为阈值以下时，高亮显示判定部15基于用户10的注视位置及接口画面分割信息，对接口画面上的用户10的注视区域进行检测。
在判定为以规定时间以上维持眼球的旋转角速度为阈值以下的状态，且接口画面上的用户10的注视区域相同的情况下，高亮显示判定部15对脑波IF部14发出指示以使得在该时刻开始进行高亮显示。同时，高亮显示判定部15确定该区域包含的0个、1个或者多个选择项作为高亮显示对象，并对脑波IF部14发送该高亮显示对象的选择项的信息。另外，所谓的选择项为0个，是指不存在该区域所包含的选择项，意味着在该情况下高亮显示判定部15不确定成为高亮显示对象的选择项。
根据上述的(日本国)特开2006-204855公报，有报告称人类进行识别时的注视运动所需的时间为大约200毫秒～400毫秒左右。因此，将直至开始高亮显示的规定时间(T1)设定为例如400毫秒。下面，参照图8的流程图说明高亮显示判定部15的处理过程。
脑波IF部14通过输出部11向用户10提示与设备操作有关的接口画面。然后，脑波IF部14接受来自高亮显示判定部15的触发，高亮显示作为高亮显示对象而被确定的选择项，并将由脑波测量部12测量到的脑波的P300成分切出而进行识别。
在作为高亮显示对象而被确定的选择项为多个的情况下，识别时，脑波IF部14可以选择每个所被高亮显示的选择项的某一区间的脑波信号的最大振幅为最大的接口画面，也可以选择一定区间的平均电位为最大的接口画面。或者，也可以选择与模板的相关系数的值最大的接口画面。
在作为高亮显示对象而被确定的选择项为1个的情况下，只要该选择项高亮显示时的一定区间的脑波信号的最大振幅或者平均电位为规定的阈值以上，脑波IF部14就可确定，或者只要与模板的相关系数的值为规定的阈值以上就可确定。
另外，在事件相关电位的研究中，通常，使相同选择项高亮显示N次(例如5次、10次、20次)，即作为高亮显示对象确定的选择项为4个时进行4×N次高亮显示，并在求出每个同一选择项的加权平均后进行P300成分的识别。但是，本实施方式的脑波IF部14的处理不限于这样的相加次数。下面，参照图9的流程图说明脑波IF部14的处理过程。
下面，参照图8及图9的流程图并参照图10来说明图2所示的高亮显示判定部15及脑波IF部14的处理过程。该图10表示在脑波接口系统1中，用户10从16个信道中选择了想视听的电视机的信道“CH21”时的显示例。
图8是表示高亮显示判定部15的处理过程的流程图。
首先，在输出部11显示有图10(a)所示的画面。在满足下述的条件的情况下，脑波IF部14经由输出部11显示图10(b)所示的接口画面。由此，脑波接口在脑波接口系统1中被启动。
在显示有图10(b)所示的接口画面时，高亮显示判定部15通过从脑波IF部14接收预先分配给该接口画面的画面编号而开始进行处理。在如图7所示的分割信息中，该画面编号与左端的“画面No”相对应。
在步骤S81，高亮显示判定部15判定从眼球运动测量部13接受到的眼球的旋转角速度是否为阈值X1以下。只有在阈值X1以下时才实施以下的处理。
在步骤S82中，高亮显示判定部15基于从脑波IF部14接收到的接口画面的画面编号来读取预先保持的接口画面的分割信息(图7)。其结果是，通过脑波IF部14且经由输出部11提示出图10(b)所示的接口画面。在图10(b)所示的接口画面中，显示有从电视机的信道CH0至CH33共16个选择项，将接口画面划分为A～D四个区域。
在步骤S83，高亮显示判定部15基于接口画面的分割信息和从眼球运动测量部13接收到的用户10在显示器画面上的注视位置，检测出用户10在接口画面上的注视位置。在图10(b)的例子中，由于可推定用户10的注视位置处于画面左下的区域C，因而将用户10的注视区域设为画面左下的区域C。另外，用户10所注视的位置通常不是固定的而是稍有变动。因此，在图10(b)上，注视位置不是点而是作为用虚线表示的范围来显示。
在步骤S84，高亮显示判定部15判别用户10的注视位置在规定的时间(T1)以上是否都处于同一区域内。在处于同一区域时则进入步骤S85。在不处于同一区域时则返回到步骤S81。另外，所谓存在注视位置的“区域”是指在接口画面内设定的区域。即使用户在规定的时间(T1)以上注视接口画面外的一点，也不进入步骤S85而是返回到步骤S81。
在步骤S85，高亮显示判定部15将该区域所包含的选择项设定为高亮显示对象的选择项，并将该选择项的内容发送到脑波IF部14。脑波IF部14以此为触发开始进行高亮显示。这意味着在经过了规定时间(T1)的时刻开始进行高亮显示。在图10(b)的例子中，确定画面左下的区域C所包含的CH20、21、30、31共四个作为高亮显示对象。
其次，图9是表示脑波IF部14的处理过程的流程图。在步骤S91，脑波IF部14经由输出部11提示接口画面。例如，在用户10视听内容时，在电视机的显示器上显示有如图10(a)所示的选择前的画面(此时为新闻)。此时，在画面的右下方显示有被记做“菜单”的菜单图标100，并以特别指定的频率闪烁。
在用户看到该菜单100时，脑波中对应于图标100的闪烁的特别指定的频率成分被叠加。脑波IF部14通过识别脑波信号中的闪烁周期的频率成分的功率谱，可判别用户10是否看到该菜单图标100。在判断为用户10看到该菜单图标100时，则脑波IF部14可启动脑波接口。所谓的“脑波接口的启动”是指开始进行旨在使用脑波进行选择等的接口提供动作。通过启动脑波接口，可显示图10(b)所示的接口画面。
在步骤S92，脑波IF部14通过将该接口画面的编号发送到高亮显示判定部15，使上述的高亮显示判定部15开始进行处理。
在步骤S93中，脑波IF部14从高亮显示判定部15一并接收高亮显示的开始触发和成为高亮显示的对象的选择项的内容。在图10(b)的例子中，在成为高亮显示的对象的选择项内容列表记录有作为区域C内的选择项的CH20、21、30、31。
在步骤S94，脑波IF部14对成为高亮显示的对象的所有选择项的高亮显示是否结束进行判别。若没有结束则进入步骤S95，若已经结束则进入步骤S97。
在步骤S95，按顺序或者随机地高亮显示成为对象的各选择项。
图10(c)表示脑波IF部14经由输出部11随机地对成为对象的各选择项进行高亮显示的情况。将此时的高亮显示的切换时间的间隔设定为例如350毫秒。如图10的画面(c)-1～(c)-4的例子所示，选择项的列表所记述的属于区域C的四个选择项就是高亮显示的对象。因此，在四个选择项的高亮显示全部结束的时刻，处理进入步骤S97。
在图10(c)的例子中，CH20、21、30、31按该顺序高亮显示。高亮显示只要是在接口画面上的选择项的亮度、色调及大小变化的至少一个即可，另外，也可以代替高亮显示，或者与高亮显示一起利用使用了辅助性箭头的指针，提示选择项。另外，选择项的高亮显示顺序可以不是随机的，例如也可以按照信道编号顺序等规定的顺序。
在步骤S96，脑波IF部14取得由脑波测量部12测量到的脑波信号中以高亮显示各选择项的时刻为起点的事件相关电位的P300成分。
在步骤S97，脑波IF部14识别针对在步骤S97取得的各选择项的事件相关电位的P300成分，确定用户10要选择的选择项。图10(d)示意性表示以对各选择项进行高亮显示的时刻为起点的事件相关电位。
现在，假设用户想观看CH21。如从附图(c)-1～附图(c)-4分别所示那样，以对各选择项进行高亮显示的时刻为起点取得脑波信号1～4。若用户10看到高亮显示有CH21的画面(c)-2，则在其脑波信号中，在以高亮显示CH21的时刻为起点约300毫秒附近出现特征性的阳性成分。若脑波IF部14识别出出现该P300成分，则能够进行认为是用户10想要选择的信道的选择。
在步骤S98中，在作为高亮显示对象而确定的选择项为0个时，或者在事件相关电位的P300成分中出现特征性的阳性成分时，则再次执行步骤S92的处理。除此之外的情况都进入步骤S99。
在步骤S99，执行脑波IF部14所选择的设备动作的处理。在图10(e)的例子中，脑波IF部14将信道切换成CH21(天气预报)，由此在输出部11上显示与CH21相对应的天气预报节目。
根据本实施方式的构成及处理过程，高亮显示判定部15根据眼球运动检测接口画面上的用户10的注视区域，并基于注视区域从选择项中判定高亮显示的对象。然后，判定从眼球的旋转角速度达到预先保持的阈值以下的时刻起是否经过了规定时间，在经过了规定时间时则开始高亮显示。由此，在具备利用脑波的接口的系统中，即使在接口画面上存在多达十几个或者数十个选择项的情况下，也可从中高效率地选择出用户10所期望的选择项。
例如，在存在图6所示的6×6个选择项时，通过将注视区域划分为9个，就可将高亮显示的次数降低至4次。因此，可以更快速地对选择项进行选择。
由于由高亮显示判定部15来确定成为高亮显示对象的选择项，并由脑波IF部14从作为高亮显示对象而确定的选择项中特别指定出用户10想要选择的选择项，因而可以降低不必要的高亮显示。
下面，进行具体说明。
在不存在本实施方式的高亮显示判定部5而只是在脑波IF部14高亮显示选择项时，在用户10没看见选择项的情况及用户对选择项没有选择意图的情况下，都有可能造成对象的高亮显示。
另一方面，在本实施方式中，高亮显示判定部15确定高亮显示对象的选择项，脑波IF部14使该选择项高亮显示并取得事件相关电位。基于眼球的运动来确定高亮显示对象。由于在用户10没看见选择项时高亮显示对象不能被确定，因而在高亮显示选择项时用户10必然已看见选择项。换言之，只要选择项高亮显示就一定是用户10看到了选择项。
另外，由于可以认为，如果用户10有选择意图而没看到选择项，那么就不会在规定时间(T1)以上持续观看1个选择项，因而就不会将这样的选择项作为高亮显示对象来确定。因此，在用户10没有选择意图的情况下，就不会发生高亮显示。因此，可降低不必要的高亮显示。
下面，参照图11说明本实施方式的变形例。图11表示包含内容显示区域111和菜单显示区域110的接口画面的例子。用户10要选择的选择项只存在于菜单显示区域110。
在这样的接口画面上，只要仅在用户10的注视区域处于菜单显示区域110、从眼球的旋转角速度达到阈值以下的时刻起经过规定的时间(T1)以上、且用户10的注视区域存在于相同的菜单显示区域110的情况下，开始高亮显示即可。由此，可以抑制用户10处于内容视听中时不必要的高亮显示，可以仅在用户10进行菜单变更等希望设备动作时开始进行高亮显示。
(第二实施方式)
在第一实施方式的脑波接口系统1中，基于用户10的眼球运动，与所需要的高亮显示相关地，对脑波接口判定作为其对象的选择项及使其开始的定时。在第一实施方式中，从用户10的眼球的旋转角速度达到阈值以下的时刻起到开始高亮显示的规定时间、和/或高亮显示的时间间隔，为恒定的值。
但是，如果可以根据用户的状态灵活且更有效地进行选择，则更加理想。具体而言，在用户10通过多次使用脑波接口系统1而预先知道在脑波接口画面上所显示的选择项的位置的情况下，更加理想的是，用户10可以更快地选择这样的选择项，或者相反，为了使对选择对象感到犹豫的用户10顺利地确定意向，能够抑制不必要的高亮显示。
在此，参照图12说明相对上述的用户10的状态的用户10的眼球运动。
图12的(a)-1及(b)-1表示用户预先知道选择项的位置时的用户10的注视位置的变化及其时间变化。
图12(a)-1是由节目表的项目(节目A～D)及设备操作菜单项目构成的接口画面。设备操作菜单项目显示有：使节目表移动的上下左右移动方向图标、对节目表等存在的节目进行检索的“检索”项目图标、基于用户10的视听经历用于显示存在于节目表等的节目的继续节目的“继续”项目图标。箭头表示用户的注视位置自点A向点B的移动。
接口画面被分为如节目表那样的可不断更新的项目部分、和设备操作菜单那样的总是相同的项目在相同位置被提示的部分。但是，设备操作菜单并不限于总是相同的项目在相同位置被提示，也可以设计为更新频度比节目表那样的不断(例如没一个小时或者每一天)更新的项目低的项目。
在本实施方式中，在一个分割区域内，以总是相同的项目在相同位置被提示的项目为一个的方式构成脑波接口画面。由此，就设备操作菜单的选择而言，在脑波IF部14使用事件相关电位只确认是否有选择该选择项的意图，由此，相比于有多个高亮显示对象的情况，可以更快地确定选择项。
图12(b)-1示意性表示在图12(a)-1的点，即用户10的注视位置的时间变化。图12(b)-1中的时刻tα是开始进行用于显示接口画面的处理的时刻，tβ是提示接口画面的时刻。具体而言，从时刻tα到时刻tβ期间，表示从如图10(a)那样的选择前的画面至显示被切换为如图10(b)那样的画面(可显示与设备的动作有关的项目的画面)的期间。即，从时刻tα至时刻tβ期间并不显示图12(a)的接口画面。因此，为用户10通过目视不知道接口画面上显示哪个项目的状态。
在此，时刻tα也可以设为比开始进行用于对接口画面的处理进行显示的时刻前规定时刻。
可以认为，若用户多次使用脑波接口而形成习惯，则即使在显示如图12(a)-1那样的接口画面之前，用户10也会记住其后提示的接口画面上的项目的位置。对于习惯于利用存储有这样的项目的脑波接口的用户10而言，理想的是可以迅速地进行选择。
在本实施方式中，通过观测接口画面被提示之前的时刻(从时刻tα到时刻tβ)的眼球的旋转角速度，用户10接着就可迅速地选择所期望的选择项。下面，说明其详细情况。
假设用户10已经记住了接口画面所显示的项目及其项目的坐标，且明确知道作为目的选择项在脑波接口上的坐标位置。此时，用户10的眼球的旋转角速度在接口画面被提示之前(即自时刻tα至时刻tβ期间)，眼球进行跳跃式运动，显示接口画面后，成为对目的选择项进行注视的状态。原因是，只要记住目的选择项在接口画面上的坐标，用户10的注视位置就可以在接口画面显示提示前向存在目的选择项的区域移动。
例如，根据图12(b)-1可以理解，在接口画面被提示的时刻tβ之前，用户10的眼球进行跳跃性眼球运动，注视位置从“节目C”区域移动到“检索”区域。然后，在接口画面被提示的时刻tβ之后停留在“检索”区域。这可以判断为记住了接口画面上的“检索”的坐标位置的用户10在接口画面提示之前就想选择“检索”。
在此，所谓的“跳跃式眼球运动”是指在被提示的项目中移动时的眼球运动。跳跃式眼球运动及对接口画面上被提示的显示进行读取时的眼球运动，可根据眼球运动的角速度的差异来判别。即，可以设定能够对它们进行判别的眼球运动的角速度。
接下来，研究对选择对象感到犹豫的用户10的眼球运动。
可认为，对选择对象感到犹豫的用户10的眼球运动在接口画面被提示后的各注视位置的注视时间变长。例如，在想选择的节目名明确时，注视节目表中的节目名之后立即可以判断其是否合适。但是，在没有确定想要选择的节目并感到犹豫时，因思考是否在各注视位置进行选择而使注视时间变长。
图12(a)-2及(b)-2表示在用户10对选择对象感到犹豫时的用户10的注视位置的变化及其时间变化。
在该例中，没有确定目的选择项，因而也就不能确定目的选择项在脑波接口上的坐标位置。因此，在接口画面提示之前的时间(从时刻tα到时刻tβ)，看不见跳跃性眼球运动，接口画面提示后(时刻tβ以后)，用户10的注视位置游移在“节目A”、“节目C”、“节目B”、“继续”、“节目D”上，而使各注视时间变长。
在本实施方式的脑波接口系统中，基于用户10的眼球运动，调整自用户10的眼球运动达到阈值以下的时刻至开始进行高亮显示的规定时间、及高亮显示的时间间隔。
具体而言，假定在启动接口画面后至接口画面被提示的期间，眼球的旋转角速度达到预先保持的阈值(X1)以上，且以比接口画面被提示后的初始值的规定时间(T1)更短的时间(T2)，使眼球运动的旋转角速度达到阈值(X1)以下的状态。
此时，可判断为该用户10已明确选择对象且记住了脑波接口画面上的坐标位置。然后，以该时刻为起点开始进行高亮显示。因此，通过观测接口画面被提示之前的眼球的旋转角速度，记住了脑波接口上的坐标位置的用户10就可以更快地作出选择。只要将高亮显示的时间间隔调整为比初始设定值(Ta)短(Tb)即可。
这样，通过将直至开始进高亮显示的时间及高亮显示的时间间隔调整得比通常小，上述的用户10就可更快地选出目的选择项。
另一方面，接口画面提示后的各注视位置的注视时间的平均值达到规定时间(T1)以上时，则可判断为该用户10对选择对象感到犹豫。而且判定为，将眼球的旋转角速度在比规定时间(T1)长的时间(T3)内达到预先保持的阈值(X1)以下的状态的时点判定为高亮显示的开始时刻，将高亮显示的时间间隔也调整为比初始设定值(Ta)长(Tc)。这样，通过将直至开始高亮显示的时间及高亮显示的时间间隔设定为比通常长，对于上述的用户10就可抑制不必要的高亮显示。
根据现有文献即Eric W.Sellers“A P300 event-related potentialbrain-computer Interface(BCI)：The effects of matrix size and inter stimulusinterval on performance”、BIOLOGICAL PSYCHOLOGY、73(2006)、242-252及日本国特开2005-21569公报，报道了将高亮显示的时间间隔设为175毫秒、350毫秒及1.5秒时的脑波接口的实例。
因此，在本实施方式中，例如将高亮显示的时间间隔的初始设定值(Ta)设定为350毫秒，比较短地调整时(Tb)，设为175毫秒，比较长地调整时(Tc)，设定为1.5秒。
另外，在现有文献即日本国特开2006-204855公报中记载有，人类进行识别时的注视运动所需要的时间为大约200毫秒～400毫秒左右。于是，在本实施方式中，将直至开始高亮显示的规定时间的初始设定值(T1)设为400毫秒，较短地调整的情况下(T2)，设定为200毫秒，较长地调整的情况下(T3)，保持余量而设定为800毫秒。
图13表示本实施方式的脑波接口系统1的构成。本实施方式的脑波接口系统1具备与第一实施方式的脑波接口装置2不同的脑波接口装置20。
脑波接口装置20构成为，对第一实施方式的脑波接口装置2追加了高亮显示定时调整部16及高亮显示间隔调整部17。另外，有时将高亮显示定时调整部16及高亮显示间隔调整部17简化，分别被记载为“定时调整部”及“间隔调整部”。
如上所述，高亮显示定时调整部16对眼球的旋转角速度达到预先保持的阈值(X1)以下的状态之后至开始高亮显示的规定时间进行调整。高亮显示间隔调整部17对高亮显示的时间间隔进行调整。
图14表示高亮显示判定部15的处理过程。与第一实施方式的高亮显示判定部15的流程图(图8)的不同之处在于，追加了步骤S134的高亮显示定时调整处理及步骤S135的高亮显示间隔调整部，以及在步骤S137的向脑波IF部14发送的信息中追加了高亮显示间隔。下面，对这些处理进行说明。
在步骤S131，判别从眼球运动测量部13接收到的眼球的旋转角速度是否达到阈值X1以下。只有在达到阈值X1以下时才实施以后的处理。
在步骤S132，高亮显示判定部15基于从脑波IF部14接收到的接口画面的画面编号，读取预先保持的接口画面的分割信息(图7)。
在步骤S133，高亮显示判定部15基于接口画面的分割信息和从眼球运动测量部13接收到的用户10在显示器画面上的注视位置，检测用户10在接口画面上的注视区域。
在步骤S134，高亮显示定时调整部16进行开始高亮显示的定时的调整处理。该处理的详情参照图15将在以后述及。
在步骤S135，高亮显示对象17进行高亮显示的时间间隔的调整处理。该处理的详情参照图16将在后面记述。
在步骤S136，高亮显示判定部15判别用户10的注视位置是否在规定时间(T1)以上都处于相同区域。若处于相同区域则进入步骤S137，若没有处于相同区域则返回步骤S131。另外，在步骤S134对直至开始高亮显示的规定时间T进行调整。
在步骤S137，高亮显示判定部15设定该时点为开始高亮显示的时刻，且设定该区域包含的选择项为高亮显示对象的选择项，将该选择项的内容及在步骤S135进行了调整的高亮显示间隔发送到脑波IF部14。脑波IF部14以此为触发开始高亮显示。
图15表示高亮显示定时调整部16的处理过程。通过图15所示的处理，可将直至开始高亮显示的规定时间设定为T1、T2、T3中的任一个。
设定以下所示的直至开始高亮显示的规定时间T1、T2、T3分别为400毫秒、200毫秒、800毫秒。即，设定保持如下关系：T2＜T1＜T3。
在步骤S141，高亮显示定时调整部16判别在图12(b)-1的tα和tβ之间，即在接口画面启动之后至接口画面被提示的时间内，眼球的旋转角速度是否达到预先保持的阈值(X1)以上。若达到阈值X1以上则进入步骤S144，若在此之外则进入步骤S142。
在步骤S142，高亮显示定时调整部16计算出接口画面被提示后的各注视位置的注视时间的平均值。
在步骤S143，高亮显示定时调整部16判断在步骤S142计算出的平均值是否达到规定时间(T1)以上。若达到规定时间(T1)以上则进入步骤S145，若在此之外则进入步骤S146。
在步骤S144，高亮显示定时调整部16将直至开始高亮显示的规定时间调整为T2。即，调整为比初始设定值短。
在步骤S145，高亮显示定时调整部16将直至开始高亮显示的规定时间调整为T3。即，调整为比初始设定值长。
在步骤S146，高亮显示定时调整部16将直至开始高亮显示的规定时间调整为T1。即，调整为与初始设定值相同的值。
图16表示高亮显示间隔调整部17的处理过程。通过图16所示的处理，将高亮显示的时间间隔设定为Ta、Tb、Tc中的任一个。
另外，如下所示的高亮显示的时间间隔Ta、Tb、Tc分别设定为350毫秒、175毫秒、1.5秒。即设定为保持如下关系：Tb＜Ta＜Tc。
从步骤S171至步骤S173，高亮显示间隔调整部17执行与上述的图15所示的从步骤S141至步骤S143相同的处理。
在步骤S174，高亮显示间隔调整部17将高亮显示的时间间隔调整为Tb。即，调整为比初始设定值短。
在步骤S175，高亮显示间隔调整部17将高亮显示的时间间隔调整为Tc。即，调整为比初始设定值长。
在步骤S176，高亮显示间隔调整部17将高亮显示的时间间隔调整为Ta。即，调整为与初始设定值相同的值。
根据本发明的构成及处理过程，在具备利用脑波的接口的系统中，基于用户10的眼球运动调整直至开始高亮显示的规定时间及高亮显示的时间间隔。因此，在用户明确知道想选择的选择项在脑波接口上的坐标位置时，可以使用户10更快地选出选择项。相反，对于对选择对象感到犹豫的用户10，可以抑制为了顺利地执行意志确定行为而不需要的高亮显示。
另外，在本实施方式中，参照如图12(a)-1及(a)-2所示的画面例说明了脑波接口装置20的动作。但是，这并不意味着不能应用于在第一实施例的说明中所参照的图10(b)的画面例。如图12(a)-1所示的自点A至点B的箭头同样可应用于图10(b)的画面例。但是，此时A点为通过用户10注视图10(a)的菜单图标100而开始进行旨在显示接口画面的处理的时刻的注视位置，点B为图10(b)的接口画面被提示之前的时刻的注视位置。
对于上述实施方式的任一个，使用流程图进行了说明的处理都可作为由计算机执行的程序来实现。这样的计算机程序可记录于CD-ROM等记录介质上并作为产品在市场上流通，或者通过互联网等电通信线路来传输。
例如，图2所示的脑波接口装置2可作为执行计算机程序的通用的处理器(半导体电路)来实现。或者，作为这样的计算机程序和处理器一体化而成的专用处理器来实现。
眼球运动测量部13及脑波测量部12也可作为执行计算机程序的通用的处理器(半导体电路)或者专用的处理器(半导体电路)来实现。例如，眼球运动测量部13基于取得的角膜网膜电位计算眼球的旋转角度和旋转角速度的处理可作为程序来实现。另外，脑波测量部12的带通滤波处理及行扫描修正处理都可作为程序来实现。
产业上的可利用性
根据本发明的脑波接口装置及安装了该装置的脑波接口系统，关于脑波接口与需要的高亮显示，基于用户的眼球运动来判定成为其对象的选择项及开始的定时以及时间间隔。由此，有利于改善搭载有使用脑波的设备操作接口的信息设备及影像音响设备等的操作性。
权利要求书(按照条约第19条的修改)
1、一种脑波接口系统，利用用户的脑波信号控制设备的动作，其中，
具备：
脑波测量部，其对所述用户的脑波信号进行测量；
眼球运动测量部，其对所述用户的眼球运动进行测量；
输出部，其在画面上提示与设备的动作有关的选择项；
高亮显示判定部，其判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时点为起点是否经过了规定的时间，在经过了规定的时间时，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特定，并确定被高亮显示的选择项；
接口部，其对由所述高亮显示判定部所确定的所述选择项进行高亮显示，且以对所述选择项进行高亮显示的定时为起点，识别包含于所述脑波信号中的事件相关电位的成分，并基于识别出的所述成分确定所述设备的动作；
定时调整部，其基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，对高亮显示的开始定时进行调整。
2、如权利要求1所述的脑波接口系统，其特征在于，
所述定时调整部在所述眼球运动的变化量达到预先保持的阈值以上且所述画面显示后，从所述眼球运动的变化量以比所述规定时间短的时间达到预先保持的阈值以下的状态的时点起，开始所述选择项的高亮显示。
3、如权利要求1所述的脑波接口系统，其特征在于，
所述定时调整部在显示所述画面之后，在所述用户注视所述画面中的区域的情况下测定各注视区域的注视时间，在测定时间的平均值达到所述规定时间以上的情况下，且从所述眼球运动的变化量以比所述规定时间长的时间达到预先保持的阈值以下的状态的时点起，开始所述选择项的高亮显示。
4、如权利要求1所述的脑波接口系统，其特征在于，
所述高亮显示判定部确定将包含于所述画面中的区域的选择项确定为所述进行高亮显示的选择项。
5、如权利要求1所述的脑波接口系统，其特征在于，
所述接口部，在所述画面上，通过改变由所述高亮显示判定部确定的所述选择项的亮度、色调及大小中的任一项，而对确定后的所述选择项被高亮显示。
6、如权利要求1所述的脑波接口系统，其特征在于，
所述接口部根据由所述高亮显示判定部所确定的所述选择项的数量来改变高亮显示的方法。
7、如权利要求6所述的脑波接口系统，其特征在于，
在存在多个由所述高亮显示判定部确定的所述选择项的情况下，随机或者按顺序以规定的高亮显示间隔来对多个选择项进行高亮显示。
8、如权利要求1所述的脑波接口系统，其特征在于，
在所述画面中的区域不存在选择项的情况下，所述高亮显示判定部则不确定所述被高亮显示的选择项。
9、如权利要求1所述的脑波接口系统，其特征在于，
还具备间隔调整部，其基于所述眼球运动调整高亮显示的时间间隔。
10、如权利要求1所述的脑波接口系统，其特征在于，
所述间隔调整部基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，调整高亮显示的时间间隔。
11、如权利要求10所述的脑波接口系统，其特征在于，
在所述眼球运动的变化量达到预先保持的阈值以上，且在所述画面显示后，所述眼球运动的变化量以比所述规定时间短的时间达到预先保持的阈值以下的状态时，所述间隔调整部将所述高亮显示的时间间隔调整为比设定值短。
12、如权利要求1所述的脑波接口系统，其特征在于，
所述间隔调整部在显示出所述画面之后，在所述用户注视所述画面中的区域的情况下，测定各注视区域的注视时间，在测定时间的平均值达到所述规定时间以上的情况下，将所述高亮显示的时间间隔调整为比设定值长。
13、(删除)。
14、(删除)。
15、(删除)。
16、(删除)。
17、(删除)。
18、(删除)。
19、一种脑波接口装置，其用于脑波接口系统，所述脑波接口系统在画面上提示与设备的动作有关的选择项，并利用用户的眼球运动及脑波信号控制所述设备的动作，其中，
所述脑波接口系统具有对所述用户的脑波信号进行测量的脑波测量部和对所述用户的眼球运动进行测量的眼球运动测量部，
具备：
高亮显示判定部，其判断：以从所述眼球运动测量部接受到的所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时点为起点是否经过了规定的时间，在经过了规定的时间的情况下，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特定，并确定被高亮显示的选择项；
接口部，其对由所述高亮显示判定部所确定的所述选择项进行高亮显示，并以高亮显示所述选择项的定时为起点，识别从所述脑波测量部接受到的所述脑波信号中所包含的事件相关电位的成分，并基于识别出的所述成分确定所述设备的动作；
定时调整部，其基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，对高亮显示的开始定时进行调整。
20、一种方法，用于利用用户的脑波信号控制设备的动作的脑波接口系统，其中，
具备：
对所述用户的脑波信号进行测量的步骤；
对所述用户的眼球运动进行测量的步骤；
在画面上提示与设备的动作有关的选择项的步骤；
判定以所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时刻为起点是否经过了规定的时间的步骤；
在经过了规定的时间的情况下，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特定，并确定进行高亮显示的选择项的步骤；
对确定后的所述选择项进行高亮显示，并以高亮显示所述选择项的时刻为起点，识别所述脑波信号中包含的事件相关电位的成分的步骤；
基于识别出的所述成分确定所述设备的动作的步骤；
基于从开始进行用于显示所述画面的处理到显示所述画面之间的所述眼球运动，对高亮显示的开始时刻进行调整的步骤。
21、(删除)。
22、一种计算机程序，在脑波接口装置中执行，其特征在于，
所述脑波接口装置被组入利用用户的脑波信号控制设备的动作的脑波接口系统中，
所述脑波接口系统，具有：
对所述用户的脑波信号进行测量的脑波测量部；
对所述用户的眼球运动进行测量的眼球运动测量部；
在画面上提示与设备的动作有关的选择项的输出部，
所述计算机程序对于所述脑波接口装置的计算机执行下述步骤：
判断以由所述眼球运动测量部测量的所述眼球运动的旋转角速度达到预先保持的阈值以下的状态的时点为起点是否经过了规定的时间的步骤；
在经过了规定的时间时，基于所述眼球运动对所述用户所注视的所述画面中的区域进行特定，并确定进行高亮显示的选择项的步骤；
对所确定的所述选择项进行高亮显示，并以高亮显示所述选择项的定时为起点，识别所述脑波信号中包含的事件相关电位的成分的步骤；
基于所识别的所述成分确定所述设备的动作的步骤；
基于从开始进行用于显示所述画面的处理起到显示所述画面之间的所述眼球运动，调整高亮显示的开始时刻的步骤。
23、(删除)。