技术领域
本申请涉及包括电磁传感器如磁场(和/或电流)传感器和/或电场(和/或电压)传感器例如电位传感器的听力装置。
背景技术
传统的脑电图学(EEG)要求与皮肤接触并使用至少两个电极产生闭合电路、有效和参考电极。从而，小但可检测的电流从大脑流到拾取装置(如运算放大器)，可读取电压差。通过取得两个电极的电位之间的差，可检测EEG信号。
这也是EEG从耳道读取的情形，即EarEEG(耳朵EEG)的形式，其中电极包含在助听器耳模、圆顶中或者在助听器壳体表面处。
EarEEG的问题在于，由于有效和参考电极之间的物理距离有限，所得的差信号或a)低于传统的EEG，因为两个电极彼此相当靠近，从而从大脑拾取类似的电活动；或b)在两个助听器之间需要通信通道(如线缆)以产生距有效电极更大距离的参考电极。
EEG或EarEEG的另一问题在于它们均需要与皮肤物理接触以产生小(但可检测的)电流。这产生要求湿电极具有导电膏接触膏或干电极具有可引起运动伪像的高阻抗的问题。
发明内容
本发明涉及在听力装置中使用电磁传感器如电位传感器(EPS)从用户身体拾取信号，如来自用户耳朵或耳道的脑电图(EEG)信号和/或眼电图(EOG)信号。在实施例中，这样的所谓的EarEEG或EarEOG(耳朵EOG)信号用于控制助听器和/或其它装置，如与助听器通信的辅助装置。
包括传感器部分的听力装置
在本申请的一方面，提供包括传感器部分的听力装置如助听器，所述传感器部分适于位于耳朵处或耳朵中或者完全或部分植入在用户头部中。
在实施例中，该传感器配置成感测因眼睛运动如肌肉收缩引起的生物电信号或者因眼球转动或眼睛注视或大脑活动引起的电眼场电位的变化，例如因神经兴奋或脑电波信号引起的诱发电位。
在实施例中，该传感器部分包括电磁传感器，其包括配置成在听力装置操作地安装在用户身上时连接到用户头部表面(如耳朵处或附近或耳道中)的感测电极。在实施例中，听力装置还包括连接到电磁传感器的电子电路以提供放大的输出。
在实施例中，该传感器部分包括用于感测电位的电位传感器，及听力装置还包括连接到电位传感器的电子电路以提供放大的输出。
在另一实施例中，听力装置包括用于感测磁场的磁场传感器及连接到磁场传感器以提供放大的输出的电子电路。
在实施例中，电位和/或磁场传感器配置成分别感测电和/或磁脑电波信号。
从而可提供改进的听力装置。
在实施例中，电磁传感器包括配置成在听力装置操作地安装在用户身上时电容性或电感性耦合到用户头部表面的感测装置。
包括传感器如电位传感器的听力装置
在本申请的一方面，提供一种具有传感器部分的听力装置如助听器，所述传感器部分适于位于耳朵处或耳朵中或者完全或部分植入在用户头部中。该听力装置例如包括用于感测电位的电位传感器及连接到电位传感器以提供放大的输出的电子电路。在实施例中，电位传感器配置成感测源自用户大脑中的神经活动的脑电波信号。
在实施例中，电位传感器包括配置成在听力装置操作地安装在用户身上时连接到用户头部表面(如耳朵处或周围或耳道中)的感测电极。在实施例中，电位传感器包括配置成在听力装置操作地安装在用户身上时电容性耦合到用户头部表面的感测电极。在实施例中，电位传感器包括配置成在听力装置操作地安装在用户身上时直接(如电(流电))连接到用户头部表面(如经用户皮肤和(导电)感测电极之间的“干”或“湿”接触区域)的感测电极。
在实施例中，感测电极包括配置成在听力装置操作地安装在用户身上时提供所述电容性耦合到用户头部的电导体和介质材料。
在实施例中，电子电路包括连接到传感器部分的参考电压和连接到感测电极的偏流通路。
在实施例中，电子电路包括连接到感测电极和偏流通路的电压跟随电路，该电压跟随电路包括第一和第二输入及一输出。
在实施例中，电位传感器包括用于屏蔽感测电极的防护导体。在实施例中，防护导体连接到电压跟随电路的输出。
在实施例中，偏流通路和感测电极连接到第一输入，及其中所述输出连接到所述电压跟随电路的第二输入。
在实施例中，听力装置如电子电路配置成提供参考电位。在实施例中，电子电路包括低噪声放大器，设置成相对于参考电位放大所述电位以提供放大电压(如数字化电压)形式的放大的输出。在实施例中，听力装置包括用于提供参考电位的参考电极。
在实施例中，电子电路包括耦合在电压跟随电路的输出和第一输入之间的反馈阻抗。
在实施例中，电子电路包括设置成放大电压跟随电路的输出以提供放大的输出的放大器。在实施例中，电子电路(如放大器)包括模数转换器以从电子电路提供数字输出。
在实施例中，听力装置包括助听器、头戴式耳机、耳麦、耳朵保护装置或其组合。
在实施例中，听力装置适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。在实施例中，听力装置包括用于增强输入信号并提供处理后的输出信号的信号处理单元。数字助听器的各个方面在[Schaub；2008]中描述。
在实施例中，听力装置包括用于基于处理后的电信号提供由用户感知为声信号的刺激的输出单元。在实施例中，输出单元包括耳蜗植入物的多个电极或者骨导听力装置的振动器。在实施例中，输出单元包括输出变换器。在实施例中，输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)。在实施例中，输出变换器包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。
在实施例中，听力装置包括用于提供表示声音的电输入信号的输入单元。在实施例中，输入单元包括用于将输入声音转换为电输入信号的输入变换器。在实施例中，输入单元包括用于接收包括声音的无线信号及用于提供表示所述声音的电输入信号的无线接收器。在实施例中，听力装置包括定向传声器系统，其适于增强佩戴听力装置的用户的局部环境中的多个声源之中的目标声源。在实施例中，定向系统适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。
在实施例中，听力装置包括用于从另一装置如通信装置或另一听力装置接收直接电输入信号的天线和收发器电路。在实施例中，听力装置包括(可能标准化的)电接口(例如连接器的形式)，用于从另一装置如通信装置或另一听力装置接收有线直接电输入信号。在实施例中，直接电输入信号表示或包括音频信号和/或控制信号和/或信息信号。在实施例中，听力装置包括用于对所接收的直接电输入进行解调的解调电路，以提供表示音频信号和/或控制信号的直接电输入信号，例如用于设置听力装置的运行参数(如音量)和/或处理参数。总的来说，听力装置的发射器和天线及收发器电路建立的无线链路可以是任何类型。在实施例中，无线链路在功率约束条件下使用，例如由于听力装置包括便携式(通常电池驱动的)装置。在实施例中，无线链路为基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。在另一实施例中，无线链路基于远场电磁辐射。在实施例中，经无线链路的通信根据特定调制方案进行安排，例如模拟调制方案，如FM(调频)或AM(调幅)或PM(调相)，或数字调制方案，如ASK(幅移键控)如开-关键控、FSK(频移键控)、PSK(相移键控)或QAM(正交调幅)。
在实施例中，听力装置和另一装置之间的通信处于基带(音频频率范围，如在0和20kHz之间)。优选地，听力装置和另一装置之间的通信基于高于100kHz的频率下的某类调制。优选地，用于在听力装置和另一装置之间建立通信链路的频率低于50GHz，例如位于从50MHz到50GHz的范围中，例如高于300MHz，例如在高于300MHz的ISM范围中，例如在900MHz范围中或在2.4GHz范围中或在5.8GHz范围中或在60GHz范围中(ISM＝工业、科学和医学，这样的标准化范围例如由国际电信联盟ITU定义)。在实施例中，无线链路基于标准化或专用技术。在实施例中，无线链路基于蓝牙技术(如蓝牙低功率技术)。
在实施例中，听力装置是便携式装置，例如包括本地能源如电池例如可再充电电池的装置。
在实施例中，听力装置包括输入变换器(传声器系统和/或直接电输入(如无线接收器))和输出变换器之间的正向或信号通路。在实施例中，信号处理单元位于该正向通路中。在实施例中，信号处理单元适于根据用户的具体需要提供随频率而变的增益。在实施例中，听力装置包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。在实施例中，分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中，分析通路和/或信号通路的部分或所有信号处理在时域进行。
在实施例中，表示声信号的模拟电信号在模数(AD)转换过程中转换为数字音频信号，其中模拟信号以预定采样频率或采样速率fs进行采样，fs例如在从8kHz到40kHz的范围中(适应应用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n])，每一音频样本通过预定的Ns比特表示声信号在tn时的值，Ns例如在从1到16比特的范围中。数字样本x具有1/fs的时间长度，如50μs，对于fs＝20kHz。在实施例中，多个音频样本按时间帧安排。在实施例中，一时间帧包括64个音频数据样本。根据实际应用可使用其它帧长度。
在实施例中，听力装置包括模数(AD)转换器以按预定的采样速率如20kHz对模拟输入进行数字化。在实施例中，听力装置包括数模(DA)转换器以将数字信号转换为模拟输出信号，例如用于经输出变换器呈现给用户。
在实施例中，听力装置如传声器单元和/或收发器单元包括用于提供输入信号的时频表示的TF转换单元。在实施例中，时频表示包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。在实施例中，TF转换单元包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。在实施例中，TF转换单元包括用于将时变输入信号转换为频域中的(时变)信号的傅里叶变换单元。在实施例中，听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围包括从20Hz到20kHz的典型人听频范围的一部分，例如从20Hz到12kHz的范围的一部分。在实施例中，听力装置的正向通路和/或分析通路的信号拆分为NI个(如均匀)频带，其中NI例如大于5，如大于10，如大于50，如大于100，如大于500，至少部分频带个别地进行处理。在实施例中，听力装置适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
在实施例中，听力装置包括用于确定输入信号的电平的电平检测器LD(如针对频带级和/或全(宽带)信号)。从用户声环境拾取的电传声器信号的输入电平例如是该环境的分类参数。在实施例中，电平检测器适于根据多个不同的(如平均)信号电平将用户当前的声环境例如分类为高电平或低电平环境。
在特定实施例中，听力装置包括话音检测器(VD)，用于确定输入信号(在特定时间点)是否包括话音信号。在本说明书中，话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。在实施例中，话音检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅包括其它声源(如人工产生的噪声)的时间段分离。在实施例中，话音检测器适于将用户自己的话音也检测为“话音”。作为备选，话音检测器适于从“话音”的检测排除用户自己的话音。
在实施例中，听力装置包括自我话音检测器，用于检测特定输入声音(如话音)是否源自系统用户的话音。在实施例中，听力装置的传声器系统适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。
在实施例中，听力装置还包括用于所涉及应用的其它适宜功能，如反馈抑制、压缩、降噪等。
用途
此外，本发明提供上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置的用途。
听力系统
另一方面，本发明提供包括上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置及包括辅助装置的听力系统。
在实施例中，该听力系统适于在听力装置和辅助装置之间建立通信链路以使信息(如控制和状态信号，可能音频信号)能在其间进行交换或从一装置转发给另一装置。
在实施例中，辅助装置是或包括音频网关设备，其适于(如从娱乐装置例如TV或音乐播放器，从电话装置例如移动电话，或从计算机例如PC)接收多个音频信号，及适于选择和/或组合所接收音频信号(或信号组合)中的适当信号以传给听力装置。在实施例中，辅助装置是或包括遥控器，用于控制听力装置的功能和运行。在实施例中，辅助装置是或包括智能电话或类似装置如智能手表。在实施例中，遥控器的功能实施在智能电话(或智能手表)中，该智能电话(或智能手表)可能运行使能经智能电话控制音频处理装置的功能的APP(听力装置包括适当的到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。
在实施例中，辅助装置为另一听力装置。在实施例中，听力系统包括适于实施双耳听力系统如双耳助听器系统的两个听力装置。
在实施例中，听力装置和辅助装置配置成使能在其间交换数据，包括EarEEG信号。
在实施例中，辅助装置包括另一如上所述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置。从而，该听力系统包括适于位于用户的左和右耳之处或之中和/或完全或部分植入在左和右耳处的头部中的左和右听力装置。在实施例中，该听力系统包括如上所述的、“具体实施方式”中详细描述的及权利要求中限定的左和右听力装置，及包括另一辅助装置，如包括用户接口及非必需的另外的处理能力的遥控装置。用户接口例如可实施为APP，例如智能电话、平板电脑、智能手表或类似装置的APP。
在实施例中，听力系统配置成使至少一听力装置能产生耳朵EEG或/或耳朵EOG信号。
在实施例中，听力装置和辅助装置(如另一听力装置和/或单独的处理或转播装置，如智能电话等)配置成使能在其间交换数据，包括所述放大的输出或基于其的信号，如EarEEG和/或EarEOG信号。
在实施例中，听力系统的至少一听力装置配置成使能从多个音频源如无线传声器接收音频信号，及包括用于根据EarEEG和/或EarEOG控制信号选择音频信号之一的控制单元。
在实施例中，至少一听力装置包括波束形成单元，及所述至少一听力装置配置成根据EarEEG和/或EarEOG控制信号控制波束形成单元。
在实施例中，听力系统包括到计算机或智能电话的接口，其中至少一听力装置配置成根据EarEEG和/或EarEOG控制信号控制该接口如鼠标功能。
在实施例中，听力系统如至少一听力装置或单独的单元包括用于提供参考电位(P0)的参考电极。
在实施例中，听力系统配置成随时间感测a)左和右EPS感测电位Pleft和Pright；及b)将感测的电位与参考电位P0比较；及c)提供相应的放大的电压Vleft＝A(Pleft–P0)和Vright＝A(Pright–P0)，其中A为放大因子。
在实施例中，左和右放大的电压Vleft和Vright表示相应的左和右EEG信号，分别称为EarEEGleft和EarEEGright，其中在眼睛注视检测模式下，测得的电位Vleft和Vright表示眼睛运动，及其中听力系统配置成将左和右放大的电压Vleft和Vright之一传给相应的另一听力装置或传给另一装置或在左和右听力装置之间交换所述放大的电压或将所述放大的电压传给另一装置。
在实施例中，表示眼睛注视的EarEOG信号基于左和右放大的电压Vleft和Vright确定。
在实施例中，EarEOG信号是左和右放大的电压Vleft和Vright之间的差的函数(f)，EarEOG＝f(Vleft-Vright)。
在实施例中，听力系统包括处理单元，配置成基于所述EarEOG信号提供用于控制至少一听力装置的功能的EarEOG控制信号。
在实施例中，听力系统包括用于提供表示用户的当前位置的位置数据的位置传感器单元(如头部跟踪器，例如基于线性加速度(加速计)和/或角加速度(陀螺仪)数据)，及包括配置成将所述位置数据与所述EEG和/或耳朵EOG信号组合以提供组合的位置数据的计算单元。
在实施例中，听力系统包括卡尔曼滤波器，用于对所述组合的位置数据进行滤波以在固定坐标系统中提供绝对注视角度。在实施例中，听力系统包括卡尔曼滤波器，用于对所述组合的位置数据进行滤波并提供物体如声源的绝对坐标，其是用户目前感兴趣的数据。在实施例中，听力系统包括卡尔曼滤波器和变化检测器，配置成用于对所述放大的输出或基于其的信号进行滤波。在实施例中，计算单元配置成基于所述组合的位置数据确定表示用户的首选眼睛注视方向的热点的位置。从而，可确定用户当前感兴趣的区域(“热点”)的空间地图。在实施例中，听力系统(如各个听力装置或其它辅助装置)配置成使用当前(声学上)感兴趣的区域的空间地图简化处理，例如，当给定热点估计是用户当前感兴趣的热点(根据当前的组合的位置数据，例如基于眼睛注视)时，针对至少部分识别的热点(如最重要的热点)计算波束形成器滤波单元将要施加的固定波束形成器。
APP
在另一方面，本发明提供保存处理器可执行的程序的非短暂存储介质，当所述程序由辅助装置的处理器执行时，实施包括左和右听力装置的双耳听力系统的用户接口过程。该过程包括：
-与第一和第二助听装置交换信息；
-提供图形界面，配置成相对于用户图示一个或多个当前声源；及
-将至少一所述当前声源图示为用户通过眼睛注视选择的声源以呈现给用户的左和右听力装置中的至少一个。
在实施例中，非短暂存储介质上的处理器可执行的程序配置成：
-基于经用户接口来自用户的输入，执行至少下述之一：
--添加另一所述当前声源以呈现给用户的左和右听力装置中的至少一个；及
--用另一所述当前声源替代用户通过眼睛注视选择的所述当前声源；
--调节所选当前声源的音量。
在实施例中，处理器可执行的程序(在此称为APP)，当由辅助装置的处理器执行时，实施如上所述的、“具体实施方式”中详细描述的及权利要求中限定的双耳听力系统的用户接口过程。在实施例中，该APP配置成在移动电话如智能电话上运行，或者在使能与听力装置或听力系统通信的另一便携装置上(包括在听力装置上)运行。
在实施例中，该APP配置成显示用户感兴趣的当前可用的声源集合。在实施例中，APP配置成显示在多个可用声源之中通过眼睛注视进行当前的声源选择(参见图15中的EarEOG APP)。
定义
在本说明书中，“听力装置”指适于改善、增强和/或保护用户的听觉能力的装置如听力仪器或有源耳朵保护装置或其它音频处理装置，其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。“听力装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供：辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
听力装置可构造成以任何已知的方式进行佩戴，如作为佩戴在耳后的单元(具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元、或作为整个或部分植入的单元等。听力装置可包括单一单元或几个彼此电子通信的单元。
更一般地，听力装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的(通常可配置的)信号处理电路、及用于根据处理后的音频信号将听得见的信号提供给用户的输出单元。信号处理单元可适于在时域或者在多个频带处理输入信号。在一些听力装置中，放大器和/或压缩器可构成信号处理电路。信号处理电路通常包括一个或多个(集成或单独的)存储元件，用于执行程序和/或用于保存在处理中使用(或可能使用)的参数和/或用于保存适合听力装置功能的信息和/或用于保存例如结合到用户的接口和/或到编程装置的接口使用的信息(如处理后的信息，例如由信号处理电路提供)。在一些听力装置中，输出单元可包括输出变换器，例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些听力装置中，输出单元可包括一个或多个用于提供电信号的输出电极(例如用于电刺激耳蜗神经的多电极阵列)。
在一些听力装置中，振动器可适于经皮或由皮将结构传播的声信号传给颅骨。在一些听力装置中，振动器可植入在中耳和/或内耳中。在一些听力装置中，振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些听力装置中，振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些听力装置中，输出电极可植入在耳蜗中或植入在颅骨内侧上，并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉皮层和/或大脑皮层的其它部分。
听力装置如助听器可适应特定用户的需要如听力受损。听力装置的可配置的信号处理单元可适于施加随频率和电平而变的输入信号压缩放大。定制的随频率和电平而变的增益可在验配过程中基于用户的听力数据如听力图使用验配依据通过验配系统确定。随频率和电平而变的增益例如可体现在处理参数中，例如经到编程装置(验配系统)的接口上载到听力装置并由该听力装置的可配置的信号处理电路执行的处理算法使用。
“听力系统”指包括一个或两个听力装置的系统。“双耳听力系统”指包括两个听力装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。听力系统或双耳听力系统还可包括一个或多个“辅助装置”，其与听力装置通信并影响和/或受益于听力装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话(如智能电话)或音乐播放器。听力装置、听力系统或双耳听力系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。听力装置或听力系统例如可形成与广播系统、有效耳朵保护系统、免提电话系统、汽车音频系统、娱乐(如卡拉OK)系统、远程会议系统、教室放大系统等交互作用的部分。
本发明的实施例如可用在如助听器、头戴式耳机、耳麦、有源耳朵保护系统或其组合的应用中。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：
图1示出了EPS连同相关电子电路的示意图，由电场调制的内部电流被产生。
图2示出了电位传感器的实施例。
图3A和3B示出了使用眼电图(EOG)检测眼睛运动，图3A示出了检测眼睛向右的眼睛运动的EOG信号，图3B示出了检测向左的眼睛运动的EOG信号。
图4示出了在左和右耳中拾取的EarEEG信号，其彼此相减并后处理以去除DC分量从而产生EarEOG信号(记为“EarEEG”的曲线)，及该信号与基于眼睛注视的红外跟踪的眼睛跟踪信号(记为“EyeTribe”的曲线)比较。
图5示出了在耳模表面上具有EEG电极的一对耳后(BTE)听力装置。
图6示意性地示出了左和右耳中的EPS电极，其中在一只耳朵处的一个EPS电极拾取的EarEEG信号传给另一只耳朵以产生差信号，藉此提供耳中EOG即EarEOG。
图7示出了在具有多个讲话者的情形下使用EarEOG的根据本发明的听力装置或一对听力装置的应用场景。
图8示出了根据本发明的听力装置的波束形成器使用EarEOG控制的情形。
图9示出了由不锈钢制成的个别3D打印的耳模的例子。
图10示出了根据本发明的包括EEG和参考电极的听力系统实施例的使用场景。
图11示出了包括彼此通信的听力装置和辅助装置的听力系统的实施例。
图12示出了提供用于控制头戴听力装置如助听器中的功能的数据的方法。
图13A示出了根据本发明的听力装置的第一实施例。
图13B示出了根据本发明的听力装置的第二实施例。
图14示出了根据本发明的包括彼此通信的左和右听力装置及辅助装置的双耳听力系统的实施例。
图15示出了包括彼此通信的左和右听力装置及辅助装置的双耳听力系统的使用，辅助装置包括实施根据本发明的用于听力系统的用户接口的APP。
图16示出了卡尔曼滤波器连同检测注视角度的快速变化的变化检测器的使用。
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、及配置成执行本说明书中描述的多个不同功能的其它适当硬件。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
电位传感器
本发明涉及在听力装置中使用电位传感器克服现有技术的问题。电位传感器(EPS)是感测电场变化而不是感测(小)电流的装置。这只需一个有效电极产生可读电压。此外，感测电场不必直接接触皮肤。图1示出了拾取和放大来自大脑的电位的EPS连同相关电子电路(称为电位集成电路(EPIC))的示意图。
图1示出了EPS连同相关电子电路的示意图。内部电流被产生，其由电场调制。EPIC实施(连同EPS一起)非接触静电计，从外面世界到传感器输入没有直接DC通路，条件有点类似于MOS晶体管的栅电极。该电极受介质材料覆盖层保护以确保该电极与所测身体电绝缘。该装置为AC耦合，例如具有几十MHz的下拐点频率(-3dB)和高于200MHz的上拐点频率。该频率响应可调节并可调整为适合特定应用。这样的静电计不能是DC耦合，因为靠近该表面的地球电场≈100-150V/m。
在单端模式下，该装置可用于读取电位。当在差分模式下使用时，其可测量局部电场；或者其可按阵列部署以提供空间电位映射(定位自由空间内的传导或介质材料)。
图1示出了示例性EPIC传感器的基本框图(例如参见[Prance et al.,1997]或[Harland et al.；2002])。电极的大小可以是随意的大小，但取决于特定应用需要的输入电容。对于处于靠近电极的身体，电极的大小很重要，及装置运行可从容性耦合方面进行理解。对于几米远的装置，耦合电容仅通过电极的自电容确定，装置的响应很大程度上是输入阻抗的函数，因为其与电场交互作用。这相当违反直觉，但为EPIC在有效模式下从电场取得的非常小能量的函数。
图2示出了电位传感器的实施例。材料通常为由绝缘材料覆盖的固体金属(如铜)。
进一步参见http://www.plesseysemiconductors.com/epic-plessey-semiconductors.php。
有多个专利覆盖EPIC技术：602 32 911.6-08(DE)；AU2007228660；CA2646411；CN200780026584.8；EP1451595(CH)；EP1451595(ES)；EP1451595(FR)；EP1451595(IE)；EP1451595(IT)；EP1451595(NL)；EP2002273；EP2047284；EP2174416；GB1118970.1；JP2009-500908；JP4391823；TW097126903；TW1308066；US12/293872；US12/374359；US12/669615；US13/020890；US13/163988；US7885700。
声学波束形成器和远程传声器
多传声器阵列及相关的信号处理已朝着解决声学场景分析问题迈了一大步。使用正确配置的传声器和足够的引导信息，通常可实现极好的定位和分离。最严重的障碍在于缺少简单的方式朝向场景内的声源操纵选择性的声学处理。选择错误的声源进行增强可明显导致不想要的结果。
对于听力受损人员，另一重要的解决方案是使用靠近目标的远程传声器来提高信噪比(SNR)。在具有多个远程传声器的情形下，出现怎样选择(操纵)最重要的远程传声器(或远程传声器的组合)的问题。
经使用红外光学传感器的眼睛跟踪及眼睛和头部位置监视(使用加速计、磁强计和陀螺仪)的注意状态操纵波束形成器对于听力受损已展现积极的结果(例如参见[Kidd et al.；2013])。
眼电图(EOG)
EOG信号表示眼睛位置的电度量，其被测量为通常放在头部任一侧的眼睛附近的电极之间的电压差。由于眼睛生理学固有的永久前-后电极化，这是可能的(例如参见[Carpenter；1988])。
在早前的专利申请(US2014369537A1)中，本申请的发明人已提出经来自耳道的眼电图(EarEOG)提供眼睛注视控制。眼电图以电方式感测眼睛位置。该话题还在[Manabe&Fukamoto；2010]和US20140198936A1中涉及。
图3A-3B示出了使用眼电图(EOG)检测眼睛运动，图3A示出了检测向右眼睛运动的EOG信号，图3B示出了检测向左眼睛运动的EOG信号。
图4示出了在左和右耳中拾取的EarEEG信号，其彼此相减并后处理以去除DC分量从而产生EarEOG信号(记为“EarEEG”的曲线)，及该信号与基于眼睛注视的红外跟踪的眼睛跟踪信号(记为“EyeTribe”的曲线)比较。EarEOG解决方案在助听器中的问题在于需要电导线连接左和右电极。
图5示出了在耳模表面上具有EEG电极的一对耳后(BTE)听力装置。对上面具有皮肤接触和在耳朵之间需要导线的问题的解决方案是在任一只耳朵或两只耳朵的耳道中使用EPS传感器连同集成电路EPIC(代替传统的电极，如图5中所示)。这些解决方案例如在耳内耳模、圆顶中可被使得可能或者可集成在耳后解决方案中。在实施例中，EPS包括用于在皮肤和电极之间建立直接电接触的“传统电极”。
[Hart et al.,2009]描述了使用用于监视用户眼睛运动的眼睛跟踪器(照相机和处理能力)选择听觉源。
图6示出了左和右耳中的EPS电极(例如包括在左和右耳件(如助听器)中，分别位于左和右耳处，或者分别完全或部分位于用户的左和右耳道中)，其中在一只耳朵处的一个EPS电极拾取的EarEEG信号传给另一只耳朵以产生差信号，藉此提供耳中EOG即EarEOG。在给定时间点，a)左和右EPS分别感测电位Pleft和Pright；b)将感测到的电位与参考电位进行比较(例如虚拟接地P0，例如参见EP2997893A1)；及c)提供相应的放大的电压Vleft＝A(Pleft–P0)和Vright＝A(Pright–P0)，其中A为放大因子。左和右未放大的或者放大的电压Vleft和Vright(在EEG测量模式下)可表示相应的左和右EEG信号，(由于电极的位置)分别称为EarEEGleft和EarEEGright。换言之，左和右EarEEG信号为左和右EPS拾取的左和右电压的函数(f)，即EarEEGleft＝f(Vleft)和EarEEGright＝f(Vright)。在眼睛注视检测模式下(其中眼睛注视由用户“提供”)，测得的电位表示眼睛运动，通过将左和右放大的电压Vleft和Vright之一传给相应的另一耳件(或另一装置)或者在左和右耳件之间交换所述放大的电压(或者将所述放大的电压传给另一装置如处理装置)，可基于左和右放大的电压Vleft和Vright确定表示眼睛注视的EarEOG信号。EarEOG信号是左和右放大的电压Vleft和Vright之间的差的函数(f)，即EarEOG＝f(Vleft-Vright)。在实施例中，EarEEG和EarEOG的函数(f)可以不同。左和/或右放大的电压Vleft和Vright传给另一装置可经有线或无线链路执行。无线链路可基于辐射场(如基于专有或标准化协议，例如蓝牙，如蓝牙低功率)或者基于近场通信(如基于相应线圈天线之间的感应耦合，及基于专有或标准化协议)。
使用EarEOG的鲁棒眼睛注视评估
实时眼睛注视模型可基于来自每一耳朵的一个或几个EarEEG电极的输入进行开发(基于EPS电极，例如基于用于在皮肤和电极之间建立直接电接触的“传统电极”)以形成鲁棒的EarEOG控制信号。EarEOG信号与相对于正面(鼻子指向的)方向(参见图4)的真实眼睛注视方向高度相关。眼睛注视模型可基于控制理论(例如参见[Ljung；1999])并包括伪像拒绝以使得该模型针对眨眼和肌肉伪像及电极漂移和变化的环境光条件仍鲁棒(例如参见[Berg&Scherg；1991])。
使用EarEOG和头部跟踪器的绝对注视角度评估
可开发空间中的绝对注视角度(视向)的实时模型。绝对注视角度模型可将EarEOG控制信号及9维头部跟踪器(3D加速计、3D磁强计、3D陀螺仪)取为输入以在绝对房间坐标中实时校准眼睛注视角度。从而，运动数据可用于增加眼睛位置估计的可靠性；在头部运动期间强制眼睛逆方向转动(眼球震颤)[Carpenter；1988]。通过检测前述运动及关联的眼睛-头部运动，该信息源可用于连续调节和重新校准源自EarEOG信号的角度。EOG(如EarEOG)信号的组合(提供相对于头部的眼睛注视，如相对于鼻子方向)及来自9维头部跟踪器的信息(提供头部的位置)可看作等同于眼睛照相机。
例子1：无线远程传声器操纵
可实施一种设置，其中无线远程传声器放在如4-5个空间上分开的方向，其佩戴在听力装置佩戴者计划与其通话的人身上或靠近这些人，例如在餐厅情形下。绝对注视角度可用于操纵远程传声器的重点在注视方向。
图7示出了在具有多个讲话者(S1,S2,S3,S4,S5)的情形下使用EarEOG的根据本发明的听力装置或一对听力装置的应用场景。N个远程传声器(M1,M2,M3,M4,M5，在图中N＝5)将它们的信号无线发送给助听器(如从传声器单元朝向用户的带箭头的线指明的)。从用户U的头部位置可确定绝对角度，其将水平空间分开为多个部分，远程传声器M1,M2,M3,M4预期位于这些部分中。在实施例中，EarEOG信号用于控制来自N个传声器的哪一无线接收的信号呈现给听力装置的佩戴者(即在N个可用输入信号之间控制输入信号的选择)。在图7中，(经眼睛注视)选择了第二讲话者S2，助听器因而配置成提供从第二传声器M2接收的信号并经听力装置的输出变换器(如扬声器)将对应的信号呈现给用户U。这在图7中由指向第二讲话者S2的眼睛注视方向EyeGD(对应于眼睛注视角度θ)指明，及第二无线链路被示为从第二讲话者S2朝向用户U的粗黑点线箭头。
另一补充解决方案是使用基于视觉的眼睛跟踪器，例如具有照相机的眼镜(http://www.eyetracking-glasses.com/；http://www.tobiipro.com/product-listing/tobii-pro-glasses-2/)或者具有EOG的眼镜(例如参见Jins Meme,https://jins-meme.com/en/eyewear-apps/)。
例子2-操纵波束形成器
图8示出了根据本发明的听力装置的波束形成器使用EarEOG控制的情形。可操纵的实时波束形成器可实施在听力装置中。在实施例中，EarEOG控制信号用于操纵波束形成器朝向注视方向具有最大灵敏度的角度。
图8的场景图示了多个偶尔的讲话者/听者(S1-S5)具有准恒定位置的桌子情形。在实施例中，根据本发明的听力系统的听力装置提供眼睛注视控制(即包括用于拾取身体电位的电极，其适于交换基于所述电位的放大的电压以提供表示用户当前眼睛注视方向(图8中的EyeGD，例如相对于用户的视向(图8中的LookD))的控制信号)。每一听力装置包括波束形成器，用于受用户眼睛注视的控制提供朝向目标声源的波束(即传声器系统在特定方向具有最大灵敏度)，在此为朝向用户附近的讲话者。对于这样的情形，可确定预定视向量(从声源到传声器的传递函数)和/或对应于特定方向的滤波器权重并保存在听力装置的存储单元MEM中，使得在选择特定讲话者时它们可被快速加载到波束形成器内。从而，稳定的波束可被认为表示实际上的传声器，其一次可启动一个。
图8示出了根据本发明的听力系统用于在多声源环境中分开各个声源。在图8中，声源为位于用户U(在所示时间为听者L)周围的人(在给定时间为讲话者S或听者L)。用户U佩戴根据本发明的听力系统，其使能分开每一讲话者及使用户能根据当前讲话的人(S1,S2,S3,S4,S5)调谐，如角宽度(Δθ)足够小以(主要)包围用户周围的人之一的(示意性)椭圆形波束所示。在图8的例子中，讲话的人由S2指示，声音系统聚焦于该人，如用户的眼睛注视方向θ(EyeGD)及包括该讲话者S2的粗椭圆形波束所示。
在实施例中，用户U佩戴的听力系统的听力装置为根据本发明的听力装置。优选地，该听力系统包括两个听力装置，其形成双耳听力系统如双耳助听器系统的一部分。在实施例中，听力装置的传感器部分包括多个电磁传感器，每一电磁传感器包括在听力装置操作地安装在用户身上时配置成连接到用户头部表面(如耳朵处或附近或者耳道中)的感测电极。在实施例中，传感器部分包括用于感测电位的电位传感器。在另一实施例中，传感器部分包括用于感测磁场(例如由用户身体产生，例如源自用户头部如大脑中的神经活动)的磁场传感器。在实施例中，电位传感器和/或磁场传感器配置成分别感测电和/或磁脑电波信号。在实施例中，感测电极配置成在听力装置操作地安装在用户身上时电容性或电感性地耦合到用户头部的表面。在实施例中，电位传感器包括配置成在听力装置操作地安装在用户身上时连接到用户头部表面(如耳朵处或周围或耳道中)的感测电极。在实施例中，感测电极配置成在听力装置操作地安装在用户身上时直接(如电(流电))连接到用户头部表面(如经用户皮肤和(导电)感测电极之间的“干”或“湿”接触区域)。
另一补充解决方案是使用基于视觉的眼睛跟踪器，例如具有照相机的眼镜(http://www.eyetracking-glasses.com/)或者具有EOG的眼镜(例如参见Jins Meme,https://jins-meme.com/en/eyewear-apps/)
在具有视觉和听觉对象的场景中，如餐馆问题解决者(RPS)情形(参见图7、8)，有多个感兴趣的需要控制其声输入的对象(如3个)。声输入的控制例如可包括下述之一或多个：(1)控制靠近对象嘴巴放置的远程传声器的混合；(2)控制头戴装置中的一个或几个多传声器波束形成器(参见图8)；或(3)使用分布式传声器网络(参见图7)。
通过对来自(耳朵)EOG传感器(或其它眼睛跟踪器)的输出进行卡尔曼滤波，可估计相对于头部的鼻子指向的方向(例如参见图8中的LookD)的眼睛角度(例如参见图8中的角度θ)。通过对来自靠近耳朵放在头部处的9DOF传感器(9自由度传感器，3D加速计，3D陀螺仪，3D磁强计)或其它运动跟踪装置的输出进行卡尔曼滤波，可确定相对于房间的绝对头部角度。通过组合来自(耳朵)EOG和9DOF的输出，可得到另一(或同样的)卡尔曼滤波器，其输出为相对于房间的绝对眼睛角度。
通过对来自相对于用于同时定位和制图(SLAM)的房间的绝对眼睛角度输出进行进一步卡尔曼滤波(如使用另一或同样的卡尔曼滤波器)，可估计一类“热点”，在这些热点处一些眼睛注视角度相较于其它地方更似真(该人可能更多地看场景中的人而不是背景)。主要想法是扩展卡尔曼滤波器，其中眼睛注视角度是一状态，使用多个状态/参数描述相对于“热点”的角度(一般的机器人术语称为Map(地图))。如果在多个分散的热点之间切换，就像本申请中一样，该原理可很好地工作。Map可以是点或正态分布，假定眼睛注视角度遵循高斯分布的混合。
上面的程序在图12中示出。图12示意性地示出了提供用于控制头戴听力装置如助听器中的功能的数据的方法，其通过组合如结合图2、3B、4、5、6、7、8描述的EarEOG数据(图12中的EOG)和头部跟踪数据(图12中的头部跟踪)进行。耳朵EOG测量基于从位于用户耳朵处的传感器(电极，例如参见图5)提取的眼睛注视提供相对于用户的方向(EyeGD)。头部跟踪数据提供用户U的头部在给定位置(xU,yU,zU)或球面坐标的绝对坐标(在笛卡尔或球面坐标系统中，参见图12左下部的绝对坐标系统)。该坐标系统的中心(起点)可以在任何适当的位置，例如房间的中心或角落，或者在GPS坐标系统的中心。通过组合这些数据，可确定在固定坐标系统中的绝对注视角度(例如在二维(如水平面)中)。这些数据例如可通过卡尔曼滤波(参见图12中的卡尔曼滤波)进一步改善，例如减少漂移(例如参见[Manabe&Fukamoto；2010])。在此基础上，可按绝对或相对坐标确定热点的位置(在用户的首选眼睛注视方向)，参见图12右下部的声源S1,S2,S3。可按绝对坐标确定热点(参见图12中的热点)，因而表示用户U的“声学上感兴趣的位置”的空间地图(参见图12中的空间地图/绝对空间)。对于助听器应用，相对于用户(具体相对于助听器)的首选声源(热点)的位置将是感兴趣的位置以简化计算(因而降低功耗)，例如结合波束形成或有效无线链路的选择(例如参见图7、8)。
EarEOG的卡尔曼滤波(1)
相对于头部的眼睛注视角度的卡尔曼估计的一实施例在[Komogortsev&Khan；2009]的3.2.1部分中定义的模型中发现，其使用(耳朵)EOG信号作为眼睛跟踪器信号。仅使用位置和速度作为状态的简化版本也可看作一实施例。
头部角度的卡尔曼滤波(2)
使用头部安装的9DOF传感器估计相对于房间的绝对头部角度的一实施例可在文献“Statistical Sensor Fusion—Lab 2,Orientation Estimation using Smartphone Sensors”中发现，参见该文献的3.1部分，其使用四元法表示转动。另一信息源为[Kuipers；2000]，其中可发现更多用于“四元法和转动顺序”的等式。
同时定位和制图(SLAM)的热点-卡尔曼滤波(3)
同时定位和制图(SLAM)的介绍例如可在[Bailey&Durrant-Whyte；2006]的自学材料中发现。多种不同的SLAM算法实施在开源机器人操作系统(ROS)库中。制图(SLAM)描述了构建或更新未知环境的地图的计算问题，同时跟踪主体在其内的位置。在这初始表现为鸡-蛋问题的同时，已知有几个对某些环境在易处理的时间中解决它的算法，至少近似解决。一般的近似解方法包括粒子滤波器和扩展的卡尔曼滤波器。
在本说明书中，提出扩展卡尔曼滤波器，其中眼睛注视角度为一状态，使用多个状态/参数描述相对于“热点”的角度(一般机器人术语中的地图)。如果在多个分散的热点之间切换，就像本申请中一样，该原理可很好地工作。Map可以是点或正态分布，假定眼睛注视角度遵循高斯分布的混合。
一个实施例可以是对于分开的阶段，参见上面的(1)-(3)，使用单独的卡尔曼滤波器。另一实施例可以是一个卡尔曼滤波器解决整个问题。
在简单的跟踪模型中，卡尔曼滤波器可被递归最小二乘方RLS、最小均方LMS或任何其它自适应算法代替。
图16示出了在跟踪模型中连同变化检测器一起使用卡尔曼滤波器KF。在图16的实施例中，卡尔曼滤波器KF由变化检测器支持CUSUM(CUSUM＝累积和)。变化检测器的作用是检测注视角度的快速变化，然后瞬间增大跟踪速度。这是回避任何线性滤波器中的固有平衡的标准方式，前述滤波器包括KF、RLS和LMS，其不能同时实现快速跟踪速度和高准确度(良好的噪声衰减)。然而，具有非线性变化检测器的线性自适应滤波器可提供性能猛增。在一实施例中，可使用CUSUM检测器，及当发出警报时，卡尔曼滤波器中的协方差矩阵被人为增加。表现为自适应滤波器仅可对注视数据低通滤波，而KF-CUSUM组合可高准确度地发现固定点。使用卡尔曼滤波和CUSUM的组合的变化检测例如在[Severeo&Gama；2010]中描述。
相对于感兴趣对象(如音频源)的角度的另一估计器是使用从声输入的到达方向检测器，例如参见EP3013070A2。
例子3-个别制作的电极
图9示出了由不锈钢制成的个别3D打印的耳模的例子。EPS中的固体金属可通过个别打印的耳道形状制成。
例子4-助听器拾音线圈作为EPS传感器
助听器拾音线圈为铜线圈。这可用于代替EPIC解决方案中的铜金属片。在该情形下，感测来自大脑的磁场代替感测电场。在备选实施例中，一超导量子干涉仪用于感测磁场。
例子5-计算机/智能电话的鼠标控制
在另一使用场景中，EarEOG信号(具有或没有头部跟踪数据)被发送给计算机/智能电话以控制屏幕上的鼠标。在该情形下，每只耳朵需要两个EPS电极或两个有效EarEEG电极。每一助听器内的两个(以上)电极在纵向对准以捕获上/下眼睛偏转。如上所述，产生水平的EarEOG信号。
眨眼(具有高于80-300微伏的电压的大伪像)的检测可用作鼠标点击。
例子6-用于例如麻痹人的控制
经屏幕的EarEOG的鼠标控制可用于操纵例如用于麻痹患者的专用程序，例如参见https://powermore.dell.com/business/eye-tracking-technology-allows-paralyzed-people-to-control-pcs-tablets/。
图10示出了根据本发明的包括电位传感器形式的EEG和参考电极的助听系统实施例的使用场景。
在图10的实施例中，第一和第二听力装置(HD1,HD2)分别包括适于位于用户U的耳朵处或耳朵中的第一和第二部分(P1,P2)。此外，第一和第二听力装置(HD1,HD2中的每一个包括EEG电极(EEGe1,EEGe2)和参考电极(REFe1,REFe2)，设置在相应耳件(EarP1,EarP2)的外表面上。每一耳件适于位于耳朵处或者完全或部分位于耳道中。当第一和第二听力装置操作地安装在用户身上时，耳件的电极定位成具有与用户皮肤的电接触以使能感测脑电波信号。耳件EarP1,EarP2构成或形成第一和第二部分P1,P2的一部分。第一和第二部分(P1,P2)中的每一个包括多个EEG电极(EEGe1,EEGe2)，在此示出了3个(但在实践中，根据应用，可存在更多或更少的电极)，及包括参考电极(REFe1,REFe2)。从而，由第二部分P2的参考电极REFe2拾取的参考电压VREF2可用作第一部分P1的EEG电极EEGe1拾取的EEG电位VEEG1i的参考电压，反之亦然。在实施例中，第一和第二听力装置提供双耳助听系统。参考电压(VREF1, VREF2)可经电接口EI(及非必须地，经辅助装置PRO，例如遥控装置，例如智能电话)从一部分传给另一部分(P1<->P2)。辅助装置PRO例如可配置成处理EEG信号(及非必须地，进行与助听系统有关的其它处理任务)和/或为助听系统提供用户接口。第一和第二听力装置(HD1,HD2)及辅助装置PRO中的每一个包括天线和收发器电路Rx/Tx，配置成建立到彼此的无线链路WLCon。两组EEG信号电压差(ΔVEEG1,ΔVEEG2)可在每一相应的第一和第二听力装置(HD1,HD2)中单独地使用(例如以控制输入音频信号的处理，如上面的例子中概述的)或者在听力装置之一中和/或在辅助装置PRO(例如用于显示和/或进一步处理)中组合使用，例如以提供(耳朵)EOG信号(如结合图6所述)。
图11示出了包括彼此通信的听力装置和辅助装置的听力系统的实施例。图11示出了根据本发明的包括位于用户耳后的BTE部分和位于用户耳道中的ITE部分的助听器的实施例。
图11示出了示例性的助听器HD，其包括适于位于耳廓后面的BTE部分(BTE)及包括容纳用于捕获身体电位的一个或多个感测电极SEL(可能及用于产生对应的感测电压的相关电子电路)的部分(ITE)。如图11中所示，ITE部分可进一步包括输出变换器(如扬声器/接收器)SPK，适于位于用户耳道中并提供声信号(在耳膜处提供或贡献声信号SED)。在后一情形下，提供所谓的耳内接收器式(RITE)助听器。BTE部分和ITE部分通过连接元件IC连接(如电连接)，连接元件例如包括多个电导体。BTE部分包括两个输入变换器(如传声器)(IT1,IT2)，每一个用于提供表示来自环境的输入声音信号SBTE的电输入音频信号。在图11的场景中，输入声音信号SBTE包括来自声源S的贡献。图11的助听器HD还包括两个无线收发器(WLR1,WLR2)，用于传输和/或接收相应的音频和/或信息信号和/或控制信号(包括由感测电极SEL提供的电位或电压)。该助听器HD还包括其上安装多个电子元件的衬底SUB，这些电子元件根据所涉及应用进行功能上划分(模拟、数字、无源元件等)，但包括彼此连接及经电导体Wx连接到输入和输出变换器的可配置的信号处理单元SPU、波束形成器滤波单元BFU和存储单元MEM。所提及的功能单元(及其它元件)可根据所涉及的应用(例如为了大小、功耗、模拟-数字处理等)进行电路和元件划分，例如集成在一个或多个集成电路中，或者作为一个或多个集成电路和一个或多个单独的电子元件(如电感器、电容器等)的组合。可配置的信号处理单元SPU提供处理后的音频信号，其计划呈现给用户。在图11的助听器装置实施例中，ITE部分包括输入变换器(如传声器)IT3，用于提供表示耳道处或耳道中来自环境(包括来自声源S)的输入声音信号SITE的电输入音频信号。在另一实施例中，该助听器可仅包括BTE传声器(IT1,IT2)。在另一实施例中，该助听器可仅包括ITE传声器IT3。在又一实施例中，该助听器可包括位于不同于耳朵处的别处的输入单元IT4，其与位于BTE部分和/或ITE部分中的一个或多个输入单元结合。ITE部分还可包括引导元件如圆顶或等效元件，用于引导和将ITE部分定位在用户耳道中。
图11中例示的助听器HD为便携装置，及另外包括用于对BTE部分可能及ITE部分的电子元件供电的电池BAT。
助听器HD(如图所示)可包括定向传声器系统(包括波束形成器滤波单元BFU)，适于在佩戴助听器的用户的局部环境中的多个声源之中滤出目标声源。波束形成器滤波单元BFU可将来自输入变换器IT1,IT2,IT3(可能及IT4)(或其任何组合)的相应电信号接收为输入并基于其产生波束成形信号。在实施例中，该定向系统适于检测(如自适应检测)传声器信号的特定部分(如目标部分和/或噪声部分)源自哪一方向。在实施例中，波束形成器滤波单元适于从用户接口(如遥控器或智能电话)接收关于目前目标方向的输入。在实施例中，波束形成器滤波单元BFU受来自感测电极的信号(或其处理版本，如表示用户的眼睛注视的EOG信号)控制或影响。在实施例中，波束形成器滤波单元的波束方向(或零点)从而受到控制或影响。在另一实施例中，来自无线接收器之一的输入基于来自感测电极的信号(或其处理版本，如表示用户的眼睛注视的EOG信号)进行选择。存储单元MEM例如可包括预定(或自适应确定)的复数、随频率而变的常数Wij，其指定预定(或自适应确定)的或“固定的”波束图(如全向、目标抵消、指向相对于用户的多个方向(例如参见图7、8)等)，一起限定波束成形信号YBF。
图11的助听器可构成或形成根据本发明的助听器和/或双耳助听器系统的一部分。助听器的正向通路(该正向通路包括输入变换器、波束形成器滤波单元、信号处理单元和输出变换器)中的音频信号的处理例如可全部或部分在时频域进行。类似地，助听器的分析或控制通路中的信号处理可全部或部分在时频域进行。
根据本发明的助听器HD可包括用户接口UI，如图11中所示，实施在辅助装置AUX如遥控器中，例如实施为智能电话或其它便携(或固定)电子装置中的APP。在图11的实施例中，用户接口UI的屏幕示出了EarEOG APP，具有副标题“在助听器中选择眼睛注视控制”(屏幕的上部)。可由用户经APP经眼睛注视控制选择的可能功能在屏幕的中部例示。选项为“波束形成”、“音量”和“有效的无线接收器”。在图11所示的屏幕中，选项“波束形成”已被选择(如实心符号■所指明的，及选项下面的图形符号图示的)。屏幕底部的箭头使能变到APP的前一屏或下一屏，两个箭头之间的圆点上的标签把操作员带到使能选择该装置的其它APP或特征的菜单。在实施例中，APP配置成提供当前选择的或启用的波束形成器(例如参见图15)或音量设置或无线连接的(可能图形)图示。“波束形成”和“有效的无线接收器”例如可受水平的眼睛注视控制。“音量”例如可经竖向的眼睛注视控制。
辅助装置和助听器适于使能将数据，包括表示将经眼睛注视控制的当前选取的功能的数据，例如经无线通信链路(参见图11中的虚线箭头WL2)传给助听器。通信链路WL2例如可基于远场通信，例如蓝牙或蓝牙低功率(或类似技术)，通过助听器HD和辅助装置AUX中的适当天线和收发器电路实施，由助听器中的收发器单元WLR2指示。
该助听器可包括多个无线接收器(如由图11中的WLR1象征)，或者可设置成在可配置的通道上接收信号，用于从多个发射器如从多个无线传声器(例如参见图7)接收不同的音频信号和/或其它信号。在实施例中，从给定发射器接收信号可经眼睛注视(在此源自EarEOG信号)受用户的控制，参见EarEOG APP的“有效的无线接收器”模式。
图13A示出了根据本发明的听力装置的第一实施例。该听力装置如助听器HD包括从用于拾取声音或接收表示声音(“声音输入”)的电信号的M个输入单元(IU1,…,IUM)到用于提供表示所述声音并可由佩戴听力装置的用户感知为声音的刺激(“声音刺激输出”)的输出单元OU的正向通路。该正向通路还包括操作地连接到每一相应输入单(IU1,…,IUM)元的M个模数转换器AD和分析滤波器组FBA，其按时频表示提供相应的数字化电输入信号IN1,…,INM，每一信号包括K个子频带信号IN1(k,m),…,INM(k,m)，k和m分别为频率和时间指数，k＝1,…,K。该正向通路还包括加权单元WGTU，其将电输入信号接收为输入并将M个电输入信号的加权组合提供为所得信号RES。换言之，RES＝IN1(k,m)*w1(k,m),…,INM(k,m)*wM(k,m)，其中wi.i＝1,…,M为实数或复数(通常随时间和频率而变的)权重。该正向通路还包括信号处理单元SPU，用于进一步处理所得信号RES并提供处理后的信号OUT。信号处理单元SPU例如配置成根据用户需要(如听力受损)施加随电平和/或频率而变的增益或衰减。该正向通路还包括合成滤波器组FBS，用于将子频带信号OUT转换为单一时域信号，及非必须地包括数模转换单元DA，以将数字的处理后的时域信号转换为给输出单元OU的模拟电输出信号。
听力装置HD还包括用于从用户身体拾取生物信号的生物信号单元BSU。该生物信号单元BSU包括适于位于耳朵处或耳朵中和/或完全或部分植入在用户头部中的传感器部分(E1,E2,…,EN)。传感器部分包括用于从用户身体尤其是从头部感测例如因大脑活动或眼睛运动引起的电位的电位传感器。在图13A和13B中，传感器部分体现为电极E1,E2,…,EN，其为听力装置的配置成在听力装置操作地安装在用户身上(如耳道中)或植入在用户头部中时接触用户头部的皮肤或组织的电极。生物信号单元BSU还包括连接到电位传感器部分的电子电路形式的放大器AMP，以提供放大的输出。放大器如差分放大器从电极E1,E2,…,EN接收多个电位P1,P2,…,PN及从参考电极REF接收参考电位P0，并提供相应的放大的电压V1,V2,…,VN。放大的电压V1,V2,…,VN馈给相应的模数转换器AD，从而提供数字化的放大的电压DAVi(i＝1,.2.…,N)。在实施例中，放大器AMP包括模数转换或者由模数转换器构成。
在实施例中，至少一(如所有)输入单元包括输入变换器如传声器。在实施例中，至少一(如所有)输入单元包括无线收发器如无线接收器，例如配置成接收表示由远程(无线)传声器拾取的声音的信号。
听力装置还包括或连接到位置传感器LSU，其提供表示用户的当前位置如表示用户的头部在固定坐标系统(如相对于特定位置，如房间)中的位置数据LOCD。在实施例中，位置传感器包括头部跟踪器。在实施例中，位置传感器包括加速计和陀螺仪。在实施例中，位置传感器包括9自由度传感器，包括3D加速计、3D陀螺仪和3D磁强计。
听力装置还包括无线收发器Rx/Tx和适当的天线电路，使能经无线链路X-WL从对侧听力装置接收生物信号BioV及将生物信号BioV传给对侧听力装置，如放大的电压V1,V2,…,VN，如眼睛运动，参见图13A和13B中的记为“去往/来自其它HD”的波浪形带箭头的线。来自对侧听力装置的生物信号BioV馈给计算单元CALC并与对应的本地产生的生物信号BioV(如放大的V1,V2,…,VN)比较。在实施例中，EarEOG信号为左和右放大的电压Vleft和Vright之间的差的函数(f)，即EarEOG＝f(Vleft-Vright)。在实施例中，每对电压V1,left和V1,right,….,VN,left和VN,right可提供对应的耳朵EOG信号，例如EarEOG1＝f(V1,left-V1,right),…,EarEOG1＝f(VN,left–VN,right)。在实施例中，在给定时间得到的耳朵EOG信号可发现为N个耳朵EOG信号的平均(如加权平均，如根据所涉及电极距眼睛的距离)。
助听器还包括处理单元PU，用于基于EarEOG信号提供控制听力装置的功能的控制信号，如选择从特定人无线接收(参见图7)，或者如图8、13A和13B例示的，控制波束形成单元BF，例如根据眼睛注视控制信号EOGCtr选择多个预定的波束形成器之一。预定的波束形成器例如可保存在听力装置的存储器中，例如保存为波束形成器滤波系数集，每一个对应于感兴趣声源的多个预定位置中的给定位置。处理单元PU包括计算单元CALC，配置成将位置数据LOCD与来自(本地)生物信号单元BSU的及从对侧听力装置的生物信号单元接收的(例如参见图13A、13B中的无线链路X-WL)表示(耳朵)EEG和/或(耳朵)EOG信号的数字化放大电压DAVi(i＝1,.2.…,N)组合，以提供组合的位置数据。处理单元PU还包括卡尔曼滤波器FIL(或者一个或多个卡尔曼滤波器)，用于对组合的位置数据进行滤波并提供固定坐标系统中的注视角度，参见EOG数据信号EOGD。EOG数据信号EOGD被转发给控制单元CONT。控制单元CONT基于EOG数据信号EOGD向波束形成单元BFU提供控制信号EOGCtr并配置成选择或提供关于当前感兴趣位置(或方向)的信息(如波束形成器滤波系数)给用户。
在特定运行模式(“学习模式”)下，计算单元可配置成基于所述组合的位置数据确定表示用户的首选眼睛注视方向的热点的位置(例如参见图12中的热点S1,S2,S3)。这些位置(如表示在固定坐标系统中)可保存在听力装置的存储器中(或辅助装置中，如智能电话等)。这些位置例如可经用户接口进行显示(如经智能电话的app)，例如参见图15。
图13B示出了根据本发明的听力装置的第二实施例。图13B的实施例与图13A的实施例一样，除了图13A的输入单元(IU1,…,IUM)实施为图13B的传声器(IT1,…,ITM)之外。
图14示出了根据本发明的包括彼此通信的左和右听力装置(HDleft,HDright)及辅助装置AD的双耳听力系统的实施例。左和右听力装置适于位于左和右耳之处或之中和/或完全或部分植入在左和右耳处的头部中。左和右听力装置及辅助装置(如单独的处理或转播装置，如智能电话等)配置成使能在其间交换数据(参见图14中的链路IA-WL和AD-WL)，包括交换来自连接到电位传感器部分(包括生物传感器，参见相应的单元DEEG)的电子电路的放大的输出或者基于其的信号如EarEEG和/或EarEOG信号，它们全部或部分由相应的左和右听力装置拾取。双耳听力系统包括完全或部分实施在辅助装置AD中的用户接口UI，如实施为APP，参见图14中的辅助装置的EarEOG APP屏幕(也可参见图11)。在图14的实施例中，听力装置上的用户接口元件例如可指明通信接口或(如补充地或备选地)启动元件。
图14的左和右听力装置例如可按图13A或13B中所示实施。图14的实施例中加权单元WGTU的控制由来自信号处理单元SPU的控制信号CTR提供，及例如可基于眼睛注视，如经EOG控制信号EOGCtr。在图14的实施例中，信号处理单元SPU假定包括图13A和13B实施例中的处理单元PU的(至少部分)功能。
图15示出了包括包含彼此通信的左和右听力装置(HDleft,HDright)及便携式(如手持)辅助装置AD的双耳听力系统的场景。辅助装置配置成运行实施用于根据本发明的听力系统的用户接口UI的APP。辅助装置AD例如可构成或形成遥控器或智能电话的一部分，用作用于听力系统的用户接口UI。第一和第二听力装置(HDleft,HDright)中的每一个包括适于分别位于耳后和耳中的BTE部分和ITE部分，及例如经连接元件电连接(例如参见图11)。第一和第二ITE部分和/或第一和第二BTE部分包括结合图1、5、6和10描述的电极。第一和第二BTE部分和/或ITE部分还可(每一个)例如包括一个或多个输入变换器及输出变换器。在实施例中，摒弃BTE部分(及连接元件)，使得听力装置(HDleft,HDright)的所有功能位于相应ITE部分(ITEl,ITEr)中。第一和第二BTE部分例如可包括电池、一个或多个输入变换器、信号处理单元和无线收发器。在实施例中，第一和第二BTE部分中的每一个包括输出变换器及所连接的第一和第二连接元件，每一连接元件包括声学导体如管，用于将来自BTE部分的输出变换器的声音传播到对应的ITE部分(因而传到所涉及的耳朵的耳膜)。ITE部分可包括可能定制的耳模。在实施例中，该助听系统包括辅助装置AD和用户接口UI。在实施例中，用户接口配置成显示与听力系统有关的信息，如与声学热点的识别和分析有关的信息(例如参见图7、8和12)，例如用户最可能尝试听的多个声源(在此为S1,S2,S3)的估计，及可能它们相对于用户的位置的估计。在图15显示的EarEOG控制场景下，听力系统的“波束形成”运行模式被选择(如由用户经EarEOG APP)。用户接口配置成展现用户正听多个声源(S1,S2,S3)中的哪一个，例如经本发明中提出的眼睛注视选择。这在所呈现的EarEOG APP屏幕中图示为听力系统的波束形成器朝向声源之一(在此为S1)。在听力系统的另一运行模式下，由用户接口展现的可用声源可表示从多个音频源之一(或多个)无线接收，所述音频源将其相应的音频信号无线传给听力系统(例如参见图14中的“有效无线接收器”模式(表示图7的场景))。
在图15的实施例中，可用无线链路记为IA-WL(如听力装置(HDleft,HDright)之间的感应链路)和AD–WL(l)及AD–WL(r)(如辅助装置AD和左听力装置之间及辅助装置AD和右听力装置之间的RF链路)。无线接口分别通过天线和收发器电路((Rx1/Tx1)l,(Rx2/Tx2)l)和((Rx1/Tx1)r,(Rx2/Tx2)r)实施在左和右听力装置(HDleft,HDright)中。可使用不同的无线链路以确保相应装置中有关数据(音频和/或信息/控制)的稳定的可用性。包括用户接口UI的辅助装置AD例如适于拿在用户U的手中，因此方便向用户显示信息及由用户使用于控制系统。
应用程序EarEOG APP显示当前存在的声源(S1,S2,S3)及它们的估计的如眼睛注视选择的相对于用户U的定位。这样的系统可与其它估计用户当前首选的音频源的方式结合，例如通过使(使用听力装置的生物传感器)捕获的EEG信号和各个当前存在的声源信号(如由听力装置或辅助装置的声源分离算法提供)相关联。这样的用于(自动)关联脑电波信号和当前声源的方案例如在US2014098981A1中涉及，其中确定测得的脑电波和听力装置(或辅助装置)的正向通路拾取和处理的音频信号之间的相干性。基于音频信号和脑电波信号确定用户当前感兴趣的声源例如可在相应听力装置中进行，及结果传给辅助装置进行比较(评估)和显示。作为备选，计算可在辅助装置中进行以节约听力装置的功率。
作为备选或另外，通过眼睛注视进行选择可与当前被用户注意的声源(如S2)的手动选择结合(如手动选择优先于眼睛注视选择)(从而优先于通过眼睛注视确定的声源S1)。手动选择(和/或取消选择)例如可经用户接口UI进行，例如通过触摸显示器上所涉及的感兴趣声源(如S2)。作为备选或另外，感兴趣声源的手动选择可用于添加另外的感兴趣声源，使得用户同时从两个以上声源(在所示场景中如S1和S3)接收音频信号。
在实施例中，用户接口配置成使用户能控制所接收的声源的音量(声音电平)，及如果一个以上声源被选择，控制所选声源的音量的相对强度。
当由对应的过程适当替代时，如上所述的、“具体实施方式”中详细描述的和/或权利要求中限定的装置的结构特征可与本发明方法组合。
除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按照所说明的顺序执行。
应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。
本发明主要使用用于感测电位的电位传感器例示，但也可通过用于感测磁通量的磁场传感器例示。
因而，本发明的范围应依据权利要求进行判断。
参考文献
·[Bailey&Durrant-Whyte；2006]Tim Bailey,Hugh Durrant-Whyte,Simultaneous Localization and Mapping(SLAM).IEEE Robotics&Automation Magazine,Part I:June 2006,pp.99-108,Part II:September 2006,pp.108-117.
·[Berg&Scherg；1991]Berg,P.,Scherg,M.Dipole models of eye movements and blinks.Electroencephalography and clinical Neurophysiology,79,36-44(1991).
·[Carpenter；1988]Carpenter,R.H.Movements of the eyes(2nd rev).Pion Limited(1988).
·EP2997893A1(Oticon)23.03.2016
·EP3013070A2(Oticon)27.04.2016.
·[Harland et al.；2002]Harland C,Clark T.D.,Prance R.J.,J.Meas.Sci.and Technol.13,163-169(2002).
·[Hart et al.,2009]Jamie Hart,Dumitru Onceanu,Changuk Sohn,Doug Wightman,and Roel Vertegaal,The Attentive Hearing Aid:Eye Selection of Auditory Sources for Hearing Impaired Users,in T.Gross et al.(eds.)INTERACT2009,Part I,LNCS5726,pp.19-35(2009).
·[Kidd et al.；2013]Kidd,G.,Favrot,S.,Desloge,J.G.,Streeter,T.M.,and Mason,C.R.,Design and preliminary testing of a visually guided hearing aid.The Journal of the Acoustical Society of America,133(3),EL202.doi:10.1121/1.4791710(2013).
·[Komogortsev&Khan；2009]Oleg V.Komogortsev,Javed I.Khan,Eye movement prediction by oculomotor plant Kalman filter with brainstem control,J Control Theory Appl.,Vol.7(1),pp-14–22(2009).
·[Kuipers；2000]Jack B.Kuipers,Quaternions And Rotation Sequences,Geometry,Integrability and Quantization,September 1-10,1999,Varna,Bulgaria,lvarlo M.Mladenov and Gregory L.Naber,Editors,Coral Press,Sofia 2000,pp 127-143.
·[Ljung；1999]Ljung L.System Identification.Theory for the User(2nd ed.).New Jersey:Prentice Hall(1999).
·[Manabe&Fukamoto；2010]H.Manabe,M.Fukamoto,Using earphones to Perform Gaze Detection for Wearable Interfaces,NTT Docomo Technical Journal,Vol.12,No.3,pp.12-17(2010).
·[Prance et al.；1997]Prance R J,Clark T D,Prance H and Nock M.Electrometer arrays:sensing of spatio-temporal ELF fields Proc.Marelec(London,1997)p 3.4.
·[Schaub；2008]Arthur Schaub,Digital hearing Aids,Thieme Medical.Pub.(2008).
·[Severeo&Gama；2010]M Severo,J Gama,Change detection with Kalman filter and CUSOM,Chapter Ubiquitous Knowledge Discovery,Volume 6202 of the series Lecture Notes in Computer Science,pp 148-162,Springer Berlin Heidelberg(2010).
·Statistical Sensor Fusion—Lab 2,Orientation Estimation using Smartphone Sensors,(https://www.control.isy.liu.se/student/tsrt14/file/orientation.pdf)Automatic Control,May 2014,19 pages
·US20140198936A1(Starkey Laboratories)17.07.2014
·US2014098981A1(Oticon)10.04.2014.
·US2014369537A1(Oticon A/S)18.12.2014.