本发明总的涉及眼睛操纵的控制器,更具体地,涉及利用由眼运动产生的眼动电信号(EOG)及肌肉运动产生的肌动电信号直接地与计算机或电视游戏机对话的装置。 过去的数年以来,对话式电视游戏机获得了普遍性的广泛传播。独立式游戏机已经安装在店廊、饭店、电影院及另外公众易至的场所。此外,电视游戏机又以标准电视机附件的形式进入了家庭娱乐市场。这些电视游戏机需要使用“操纵杆”、“跟踪球”或另外的用于玩游戏机的手动输入装置。为了熟练地玩这些游戏机就需要大量的“手眼”配合。
相似地,个人计算机的应用同时在工作单位及在家庭中也已增长。许多运转个人计算机的操作是用“鼠标器”(“mouse”)控制显示器上光标的位置来实现的。
此外,对于相当多的残疾人缺乏:合适的电机控制以操作手动或脚动开关,或另外形式的控制,因而需要操作设备的替代装置。
数年来已经开发了多种类型的系统,使能仅利用眼睛的运动控制计算机或机械。例如,美国专利US3462604号(1969年8月19日授予马森(Mason))公开了基于由眼视网膜反射的光线与眼前表面反射地光线的比较确定眼睛定向的测眼计。光射入眼球,在眼处同时由眼前表面及眼后面的视网膜反射出来。一个检测系统观察反射的图象,并由这些反射图象的相对位置确定眼的位置。
美国专利US4109145号(1978年8月22日授予格拉夫(Graf)),公开了一种用于眼睛定向的“视线”检测装置。利用测眼计或另外的视线确定装置监测眼睛的定向,该装置测量出操作者眼睛保持在相应于特定控制功能的视线位置上的时间间隔。如果该视线位置被保持得长于一预定时间,则该装置产生一个控制信号。
美国专利US3986030号(1976年10月12日授予泰耳切尔(Teltscher)),公开了一种用于截瘫者或另外失去能力者的可由眼转动操作的键盘附件。该装置包括一个将光线射入操作者眼睛的光源及多个响应光线的传感器,后者由操作者眼睛来的反射光线启动。该传感器连接到由眼运动控制起动装置的键盘上。
美国专利US4081623号(1978年3月28日授予伏加利(Vogaley)),公开了使用光源、幅射传感器、指令识别器及显示单元检测操作者以特定编码序列的眨眼。该眨眼信号被解码并被使用来拨电话号码或控制一件机械。
美国专利US3507988号(1970年4月21日授予福尔摩斯(Holmes)),公开了一种窄带电视系统,它具有与人眼相似的分辨率特性,并能高度分辨出发射场部分,它的位置是根据观察者的视线变化的。通过反射光线的应用确定眼的位置。
美国专利US3724932号(1973年4月3日授予康斯威特(Cornsweet)等人),公开了一种装置,其中眼睛充满了光线,以使得由眼睛的反射表面形成多个普尔钦(Purkinje)图象。利用将图象在一转盘上成象检测到二个普尔钦图象,该转盘具有多个矩形的槽孔,普尔钦图案穿过槽孔进而成象在一光检测器上。利用监测普钦图象的分离度来确定眼睛光轴的方向。
美国专利US4866299号(1989年6月12日授予夏芬贝格(Scharfenberg)),公开了一种用于将光信号投射到耳机上的装置,致使载耳机者能观察到与直接看到的周围影象分离的或重叠的图象。
美国专利US4651145号(1987年3月17日授予塞特尔(Sutter)),公开了一种眼脑图象对话系统,其中具有特殊码的视觉刺激信号被传送给操作者并监测操作者的脑电图(EEG)信号。该码能被操作者的EEG信号识别,因此,显示器上的符号通过观看能简便地被选择它。
美国专利US4576184号(1986年3月18日授予维斯特曼(Westerman)),公开了一种基于角膜-视网膜电势和/或脑电波并利用电眼球震颤描记仪(ENG)检测毒品摄取量的装置。
上述各专利中公开的多种系统的缺点在于:使用了由眼睛反射的光,就易于受另外光源的干扰,另外一些系统需要特殊的视觉刺激信号供给操作者,并需要相应的用于监控的反应码。
与已公开的系统相比,本发明好在复杂性小,更为可靠及更为精确。十分意想不到的是EOG信号所表徵的眼运动电信号能被应用在多种用途中。
还可参见论文:“由人的生物电信号产生的音乐”(Hugh S.Lusted及R.Benjamin Knapp1989年1月18日,发表于美国科学进步协会155届会议,旧金山)。
根据本发明的一种构思,在于提供一种眼睛操纵控制器,它包括用于传感由眼运动产生的眼动电信号的装置;用于将眼的电信号处理成表徵眼运动方向的方向控制信号的装置;及将该方向控制信号连接到受控制装置上的装置。
根据本发明的另一种构思,在于提供一种眼睛操纵控制装置,它包括用于传感由身体的生理活动产生的电信号的装置;用于放大该电信号的装置;用于选择性地从放大的电信号中滤出由眼运动产生的眼动电信号的装置;用于区分由垂直眼运动及水平眼运动产生的眼动电信号的装置;用于将由垂直眼运动产生的眼动电信号转换成代表向上及向下眼运动的垂直控制信号的装置;用于将由眼的水平运动产生的眼动电信号转换成代表向左及向右眼运动的水平控制信号的装置。
根据本发明的又一构思,在于提供一种由人的生理活动产生的电信号控制一装置的方法,包括下列步骤:传感由眼运动产生的眼动电信号;将眼动电信号处理成代表眼运动方向的方向控制信号;及将该方向控制信号连接到受控装置上。
本发明涉及一种新的对话技术能够作到与计算机、电视游戏机或另外的装置直接地对话,只要简便地使用眼运动和/或面部肌肉收缩。
在本发明中所公开的眼操纵控制器的原理是由眼运动产生的眼动电信号(EOG),EOG信号即为眼运动的电特征。本发明优选使用放置在操作者头部的传感器来检测水平及垂直方向的眼运动。该EOG信号被放大及被处理,以提炼出代表输出指令的有用特征,例如对计算机屏幕上光标的控制指令。以此方式,在一电视显示器上精确光标位置可被反映成相应于眼光注视点的位置。由于能使EOG信号的各种特性变换成各种可选择的输出指令,信号处理器对系统提供了灵活性。
此外,由面颊肌肉运动产生的肌动电信号(electro-myo-gram Signals)可被利用来重复开关的操作。例如:眨两下眼睛可转换成鼠标器的“喀呖”发声操作,而正常的单次眨眼可被忽略。并且,特定的眼运动模式可编为程序以触发计算机的功能,例如在电视显示器的一个区域中选择信息而不是在另一区域中选择。
本发明优选地使用眼动电信号检测运动。本发明能简便地利用移动操作者的眼睛控制计算机电视显示器上光标的位置,并对残疾者提供一种计算机输入装置。
本发明也对计算机,电视游戏机及类似装置提供了一种替代的输入装置,它利用眼运动代替了计算机的“鼠标器”或类似物。
本发明还可利用眼运动取代电视游戏机的“操纵杆”或类似物,可使人方便地提高玩电视游戏机的技巧。
参照下列附图可更全面地理解本发明,这些附图仅是用于说明的目的。
图1为根据本发明的一种眼睛操纵控制器的工作原理图;
图2为本发明的电部件概要框图;
图3为图2中所描绘的装置的测量放大器部件的概要框图;
图4为图2所描绘的装置的低通滤波器的概要框图;
图5为图2中所示装置的高通滤波器的概要框图;
图6为图2中所示装置的差分比较器的概要框图;
图7为图2中所示装置的信号输出通道比较器的概要框图;
图8为图2中所示装置的光隔离开关部件的概要框图;
图9为图2中所示装置的均方根-直流值变换器的概要框图;
图10为本发明另一实施例的电部件的概要框图;
图11为本发明的传感器组件的透视图。
为了更准确地参考附图,本发明的一个用于说明发明目的的实施例是用来作“操纵杆”功能的,它被描绘在图1,图2及图10上。可以理解:该装置的构型与部件细节在不脱离本申请公开的基本构思范围上是可以作出变化的。
一种眼动电信号(EOG)是人眼球相对于头部运动所产生的电信号轨迹的记录。利用在眼周围放置的电极,检测由眼运动产生的信号,并且放大及滤波该电生理信号,将EOG信号记录下来。为了检测眼的垂直运动,电极放置在高于及低于眼的部位上。为了检测其水平运动,电极被置于太阳穴上。
当在电极检测的电场中眼睛动动时就产生EOG信号。眼睛本身的作用相当于偶极子(或电池)。其角膜相当于正极,而视网膜相当于负极。
例如,若电极被对称地布置在眼的每一侧上,当一只眼睛正视前方时,该偶极子对于电极所检测的电场是直角,故产生的输出为零。当该只眼睛运动时,就具有以向正前方看的位置为参考的电压漂移。
眼睛的运动产生了非常低频率的电信号(接近0.1至2赫兹),事实上相对于稳态输出(向正前方看的位置)产生了一个随时间变化的信号。该信号的幅值很低,并且需要放大及滤波才能使其成为有用的信号。此外,放大器需具有优良的低频响应以防止信号损失。
需郑重指出,为使EOG信号成为有用,必须滤去其它的由生理产生的信号。例如,一个EOG信号可由幅度及频率来区别于一个电脑图象(EEG)信号。EEG信号是一脑电波信号,它有较高的频率(均为5至50赫兹),这是由于大量的脑神经细胞同步地激发引起的。EEG信号典型地是由放置于头皮上的传感器记录的,并且其幅值比EOG信号低得多(对于EEG信号为100微伏,相对的EOG信号为1毫伏)。因而EOG及EEG信号能利用频率及幅度进行分离。
由肌肉运动产生的肌动电信号(EMG)的强度依赖于参与肌肉收缩的肌肉细胞数而发生变化。EMG信号的幅度典型地约为1毫伏,而具有的频率范围接近于100至4000赫兹。因而EMG信号也能通过频率及幅值进行分离。
参照图1,一个人类操作者10在其头上带着传感器组件12。这里必须指出,本发明的应用并不局限于人类,也可扩展到被动物使用。
传感器组件12经由传感器导线14及16与EOG控制处理器18相连接,EOG控制处理器18通过多个内部连线20与装置22相连接。装置22可以为一个计算机,电视游戏机或是受控制的其它仪器。当操作者10在任何方向上移动其眼睛时,操作者10能与电视显示屏24或控制装置22产生相互联系,如文中所述。
参照图2,测量放大器26放大水平EOG倍号,其放大倍数为10,000左右。测量放大器26是一种高阻抗、宽频带放大器、其频率响应可低至0.1Hz,并且其噪声系数小于5微伏。测量放大器26是差分放大器,它从传感器导线14接收正及负的水平EOG信号。图3表示测量放大器26的概要框图。测量放大器26可包括通用的运算放大器,例如LM363测量放大器,及分立元件或类似的元器件。
该测量放大器26的输出由低通滤波器34及高通滤波器36滤波。低通滤波器34经由内部连线30与测量放大器26相连接。高通滤波器36也经由内部连线30与测量放大器26相连接。
低通滤波器34将EOG信号与经测量放大器26放大的EEG、EMG及另外的放大信号进行隔离,并仅使滤波后的EOG信号传送到差分比较器46,低通滤波器34具有的截止频率约为1.0Hz,并且仅接收具有低于截止点频率的信号。因而,低通滤波器34能将EOG信号与另外具有较高频率的信号,如EEG及EMG信号区别与分离开。
图4表示低通滤波器34的概要框图。低通滤波器可包括通用的运算放大器,例如TL064四芯器件中的运算放大器,及分立元件或类似的元器件。
高通滤波器36将EMG信号与被测量放大器26放大的信号,如EOG、EEG以及另外的放大信号分离开,并仅使滤波后的EMG信号传送到将均方根值转变成直流值的转换器48(RMS-DC转换器)。高通滤波器36的截止频率为100,0Hz左右并且仅接收具有截止点以上频率的信号。高通滤波器36因此可将由肌肉收缩产生的EMG信号与具有低频的信号EOG及EEG区分与分离开。该EMG信号可用作按“鼠标器”上或者其它装置上的按钮或键相似的开关。
图5表示高通滤波器36的概要框图。高通滤波器36可包括通用的运算放大器,例如TL064四芯器件中的运算放大器,及分立元件或其它类似元器件。
差分比较器46通过内部连线40与低通滤波器34相连接。差分比较器46将放大及滤波后的水平EOG信号与一正及负参考电压相比较。如果EOG信号的幅值超过正的参考电压,则差分比较器46启动隔离开关66。如果EOG信号的幅值比负的参考电压还负,则差分比较器46启动隔离开关68。这就形成了眼睛向左或右方向的注视与操纵杆操作方向之间的直接对应。
图6表示差分比较器46的概要框图。差分比较器46包括具有正及负参考电压的差分比较器,用以区别眼睛向左及向右的运动,以及具有两个输出通道用来区分眼睛向左及向右的运动。
差分比较器46用于将EOG信号的幅值与一预置阈值电平相比较,以使得由眼睛的“杂散”运动产生的信号被忽略掉,并仅使分眼睛有意识的运动相应的信号转换成控制信号。
差分比较器46可包括通用的运算放大器,如TL064四芯器件中的运算放大器,及分立元件,或与它们相似的元器件。
RMS-DC转换器48通过内部接线42与高通滤波器36相连接,并产生一电压触发电平,以响应由肌肉运动产生的EMG信号。RMS-DC转换器48在1.0秒左右的周期时间对EMG信号进行积分,并产生一个放大的直流输出信号,该信号正比于与EMG信号相关的能量。
图9表示RMS-DC转换器48的概要框图。RMS-DC转换器可包括通用的运算放大器,例如在TL064四芯器件中的运算放大器。及分立元件,或与它们相似的元器件。
RMS-DC转换器48的输出通过内部接线52与比较器54相连接。比较器54将EMG信号与一预定的参考电压相比较,在EMG信号超过参考电压时输出一个+5伏的信号。以此方式,由肌肉的“扭动”或是另外的由肌肉围绕头部的明显运动可作为“触发器”式控制或是类似于按被操作装置上的一个按钮或是启动其上的一个开关的操作。杂散的肌肉运动被忽略掉,只有由有意识的运动产生的EMG信号被转换成控制信号。
图7表示比较器54的概要框图。比较器54可包括通用的运算放大器,例如TL064四芯器件中的运算放大器,及分立元件,或与它们相似的元器件。
由传感器导线16来的垂直EOG信号,以对待水平信号相似的方式,被放大、滤波及处理。其区别在于:EMG信号没有从垂直输入通道中分离出来及被处理。测量放大器28的结构和工作与测量放大器26相同,并通过内部连线32与低通滤波器38相连接。低通滤波器38在结构上和工作上与低通滤波器34相同,并且通过内部连线44与差分比较器50相连接。差分比较器50在结构上和工作上与差分比较器46相同。
隔离开关66经由内部连线56可与差分比较器46相连接,并作为一个对差分比较器46传送来的向左眼运动信号产生响应的开关。
隔离开关68经由内部连线58与差分比较器46相连接,并作为一个对差分比较器46传送来的向右眼运动信号产生响应的开关。
隔离开关70经由内部连线60与比较器54相连接,并作为一个对肌肉“扭动”或另外明显的肌肉运动产生响应的开关。
隔离开关72经由内部连线62与差分比较器50相连接,并作为一个对向上眼运动产生响应的开关。
隔离开关74经由内部连线64与差分比较器50相连接,并作为一个对向下眼运动产生响应的开关。
多个隔离开关66、68、72及74实现了电视游戏机“操作杆”的功能,由此使得使用者能在一电视屏幕上将一两维目标移动到任何一点上。由隔离开关传出的控制信号也可被用来控制计算机显示器上光标的位置。每个开关由差分比较器46或差分比较器50传送来的5V信号启动,隔离开关66、68、72及74各自径连线76、78、82及84连接到受控的装置上。
隔离开关70是由肌肉的“扭动”启动的,它被连接到游戏机输入接口上,起游戏机选择按钮功能的作用。例如:用于“空中大战”游戏中的“开火控制”按钮。隔离开关70经由连接线80与受控装置相连接。
参照图8,每个隔离开关与计算机、电视游戏机、或另外受控装置的电输入端形成光隔离。每个隔离开关可以是一个四芯器件,如HSR-8200或类似器件中的每个光隔离开关,或包括分立元件,或与其类似的元器件。
一个计算机的“鼠标器”可以在如图10的所示电路中加进一个电压-频率转换器来实现。一个鼠标器与一个操纵杆区别之处在于:操纵杆闭合相应于“向左”、“向右”、及“向上”、“向下”运动的开关,而鼠标器产生相应于“向左”、“向右”、“向上”及“向下”运动的一系列脉冲。在给定方向上的运动量反映为所产生的脉冲数目。
参照图10,用作鼠标器电路与用作操纵杆电路的差别在于对放大及滤波后EOG信号的处理不同。对于水平方向运动,由低通滤波器34传出的EOG信号被分解为正半波整流器150整流的正向直流电压分量及由负半波整流器152整流的负向直流电压分量。由正半波整流器150产生的正电压表示向右方向的运动,而由负半波整流器152产生的负电压代表向左方向的运动。
正半波整流器150及负半波整流器152经由公共连接线40与低通滤波器24的输出端相连接。
正半波整流器150的正输出电压被电压-频率转换器166转换成脉冲,该转换器166经由连接线158连接到正半波整流器150的输出端。电压-频率转换器166产生一连串的脉冲,它的频率直接地与正半波整流器150输出的正电压电平成正比。当该电压上升时,其频率增高,并由此使每给定单位时间的脉冲数增多。由该电压-频率转换器166产生的脉冲数代表在向右方向的运动量。
电压-频率转换器166可以是LM331器件及分立元件,或是与它们相似的元件。
由电压-频率转换器166产生的脉冲然后驱动隔离门182,后者经由连接线174与电压-频率转换器166相连接。隔离门183用作与一计算机或另外装置的串行输入端接口用的光隔离门,它可为HP6N138器件或类似器件。隔离门183经由连接线190与一计算机或另外装置的串行输入端相连接。
对于向左方向的运动,由负半波整流器152输出的负输出电压被电压-频率转换器168转换成脉冲,该转换器168经由连接线160与负半波整流器152的输出相连接。电压-频率转换器168与电压-频率转换器166除以下外均相同:前者的输入端包括一个转换器,用以将负半波整流器152的负电压转换成合适驱动该电压-频率转换器的正向电压。
当眼睛正视前方时,由测量放大器26检测到没有电压差,并且正半波整流器150的输出以及负半波整流器152的输出均为零。相对于中心(前视),眼睛向右方向的运动产生一正电压,而向左方向的运动产生一负电压。因而,所产生的脉冲在某一时刻代表的是仅为一个方向运动。
垂直方向眼的运动以对待水平方向运动相同的方式被转换成脉冲,可以看到,在图10中所示电路的垂直运动部分是与该电路中水平运动部分处处相同的。
参照图11,传感器组件12经由连接输入通道的连接导线14及16与EOG控制器18相连接。传感器组件12通常包括一个由皮革、塑料或其它半刚性材料做的头圈98,它围绕在操作者10的头部。头圈98的配合是由调整钮100调整的。调整钮100调节调整带102相对于头圈98的位置。利用转动调节钮100,可使头圈98在操作者10头上的贴紧程度受到改变。应该注意到,还有许多另外的装置可用来使传感器组件12附着在操作者10上,并且可调节它使其适应操作者10。
传感器组件12包括水平输入电极90,对偶输入电极91,参考电极92,及垂直输入电极93。对偶输入电极91同时地用作水平输入及垂直输入电极。这些电极典型是由银网布或另外合适的柔性电材料制成的。
电极90及91在传感器组件12的侧面彼此对置,以使得当操作者10带上该传感器组件12时,它们将与操作者10头部的太阳穴附近相接触。
参照电极92这样地定位在传感器组件12上,即它与操作者10在前额处相接触。
垂直电极93被设置在侧板94上。侧板94利用按扣96连接到传感器组件12上。按扣96可以是一锁眼或另外的按扣,它可允许侧板94绕轴转动,该轴在其与传感器组件12的连接点上。侧板94被调整到使其垂直电极93放置在接近操作者10颊部。
传感器引线14包括三个单根导线,其中一根连接到位于操作者10左太阳穴附近的水平电极90上,另一根连接到位于操作者10前额附近的参照电极92上,第三根连接到位于操作者10右太阳穴附近的对偶输入电极91上。
传感器引线16也包括三根单根导线,一根连接到对偶输入电极91上,另一根连接到参照电极92上,第三根连接到安装在侧板94上并位于操作者10颊部附近的垂直电极93上。
可以看出,传感器引线14及16中每个均具有用作对参照电极92公用连接的一根导线。水平EOG信号及垂直EOG信号是利用此电极作为参照点进行测量的。
传感器引线14及16各自与测量放大器的输入端26及28相连接。
因而可以看出,由于借助于由眼睛的运动或肌肉的收缩产生的电信号,本发明可用于操纵计算机电视显示器上光标的位置,实现电视游戏机“操纵杆”的功能,用作计算机的“鼠标器”,以及操作另外类型的设备及机械。虽然以上的说明包括许多特殊性,但这些不能被视为是对本发明范围的限制,只能看作是对本发明现有优选实施例的某些说明。而本发明的范围应被附设的权利要求书或它的法律等同物来确定。