有助于耳蜗听力受损人员的N频带FM解调.pdf

本发明为有助于耳蜗听力受损人员的N频带FM解调。本发明公开了信号处理装置，包括用于处理包括最小频率和最大频率之间的听得见频率范围中的频率的电SPU输入信号并提供处理后的SPU输出信号的信号处理单元。本发明还涉及其用途及运行音频处理设备的方法。本发明包括FM到AM变换单元，用于将源自SPU输入信号并包括SPU输入信号的频率范围的至少一部分的FM2AM输入信号从调频信号变换为调幅信号以提供FM2AM输出信号，该FM2AM输出信号用于产生处理后的SPU输出信号。本发明改善了听力受损用户对输入声音的感知。

1.  信号处理装置，包括用于处理包括最小频率和最大频率之间的听得见频率范围中的频率的电SPU输入信号并提供处理后的SPU输出信号的信号处理单元，包括：
FM到AM变换单元，用于将源自所述SPU输入信号并包括所述SPU输入信号的频率范围的至少一部分的FM2AM输入信号从调频信号变换为调幅信号以提供FM2AM输出信号，该FM2AM输出信号用于产生处理后的SPU输出信号。

2.  根据权利要求1的信号处理装置，还包括时间到时间-频率的变换单元，该单元提供所述SPU输入信号在多个频率范围中的时变表示。

3.  根据权利要求1或2的信号处理装置，包括AM解调单元，用于提取源自所述SPU输入信号的至少一信号的调幅函数am_n(t)，n为频率范围下标。

4.  根据权利要求1-3任一所述的信号处理装置，包括FM解调单元，用于提取源自所述SPU输入信号的至少一信号的调频函数fm_n(t)，n为频率范围下标。

5.  根据权利要求4的信号处理装置，适于实现：源自所述SPU输入信号并包括频率范围p的信号的FM到AM的变换基于从包括频率范围n的信号提取的调频函数fm_n(t)，其中p等于n或不同于n。

6.  根据权利要求4或5的信号处理装置，包括用于提供载频等于频率范围n的中间值的正弦波的载波单元及用于以解调的FM信号fm_n(t)调制所述正弦波的AM调制器，从而在频率范围n中实现FM到AM的变换及提供FM2AM输出信号。

7.  根据权利要求4-6任一所述的信号处理装置，包括以解调的FM信号fm_n(t)对频率范围或频带n的SPU输入信号进行调制的AM调制器，从而在频率范围n中实现FM到AM的变换及提供FM2AM输出信号。

8.  根据权利要求4-7任一所述的信号处理装置，包括组合器单元，用于对源自所述SPU输入信号的至少一信号、调幅函数、调频函数和/或FM2AM变换的信号进行加权组合并提供加权调幅函数。

9.  根据权利要求3-7任一所述的信号处理装置，包括组合器单元，用于对所提取的调幅函数am_n(t)和对应频率范围的FM2AM变换的信号进行加权组合并提供加权调幅函数。

10.  根据权利要求1-7任一所述的信号处理装置，包括组合器单元，用于对源自所述SPU输入信号的至少一信号和FM2AM变换的信号进行加权组合并提供加权调幅函数。

11.  根据权利要求8-10任一所述的信号处理装置，其中所述组合器单元适于根据所述SPU输入信号的信噪比控制权重。

12.  根据权利要求8-11任一所述的信号处理装置，包括用于提供载频在频率范围n中的正弦波的载波单元，及包括用于以所述加权调幅函数对所述正弦波调幅以产生该频率范围中的调幅加权输出信号的AM调制器。

13.  根据权利要求8-12任一所述的信号处理装置，包括用于以所述加权调幅函数对频率范围n中的SPU输入信号进行调幅从而产生该频率范围中的调幅加权输出信号的AM调制器。

14.  根据权利要求1-13任一所述的信号处理装置，包括FT单元，用于提供源自FM2AM信号和/或加权调幅函数和/或调幅加权输出信号的信号的时间-频率到时间的变换以产生时域中的SPU输出信号。

15.  根据权利要求1-14任一所述的信号处理装置，适于实现：包含在电SPU输入信号的调频中的信息作为调幅应用于处理后的SPU输出信号。

16.  根据权利要求1-15任一所述的信号处理装置在听音设备中的用途。

17.  运行音频处理设备的方法，包括根据用户需要处理SPU输入信号，所述SPU输入信号包括最小频率和最大频率之间的范围中的频率；及提供处理后的SPU输出信号；其中根据用户需要SPU输入信号包括实现源自所述SPU输入信号并包括所述SPU输入信号的频率范围的至少一部分的至少一信号的FM到AM的变换，及提供FM2AM信号。

18.  根据权利要求17的方法，其中根据用户需要处理SPU输入信号包括：所述FM2AM信号用于对恒定包络输入信号调幅以提供所得的调幅信号，该调幅信号用作所述处理后的SPU输出信号的基础。

有助于耳蜗听力受损人员的N频带FM解调
技术领域
本发明涉及助听器，尤其涉及声信号的调制(如AM和FM)对用户的信号感知的重要性。本发明具体涉及信号处理装置、其使用及运行音频处理装置的方法。
本发明还涉及听音设备、数据处理系统和计算机可读介质。
背景技术
Zeng等(2005年)已证明将FM变化通过频带限制和压缩为“慢”变化对听力受损人员有利。涉及耳蜗植入(CI)的美国专利7,225,027描述了称为FAME(频率-振幅-调制-编码)的信号处理策略。当前CI频率编码策略与FAME策略之间的差别在于，以前在基频编码策略中只有基频用于跨部分或全部频带调制载波，而在应用根据该发明的FAME策略时，频带特有频率调制特征(其可以也可不携载基频信息)将被提取并用于调制相应频带中的载频。
总之，目前的技术发展水平认为相关FM和AM信号在自然语音中产生(参见Zhou，Hansen and Kaiser(2001))，FM信号对正常听力人群的负信噪比非常重要，但FM提取在耳蜗受损人群中将削弱(参见Swaminathan和Heinz(2008))。然而，听力受损人员可利用AM提示。此外，有针对CI的发明通过给定(窄)频带内的频率调制载波提取FM信息并呈现这些信息而使信号可为CI用户所用。
发明内容
本发明的目标在于提供一种改进用户的声信号感知的方案。
本发明的基础在下面描述。
1、利用文献中的根据，可以推断出：语音既产生调幅(AM)提示也产生调频(FM/时域细微结构，TFS)提示，二者均携载与说话消息有关的信息。
2、FM和AM组成均对现实听音情形很重要。
3、耳蜗起端的听力受损可导致不能利用FM/TFS提示。
4、FM/TFS提示可通过FM/TFS-AM变换而被使得可为听力受损人员所用。
1.AM和FM语音调制
人类可按两种根本不同的方式在喉及声道气道中形成声源。第一种方式是线性源-滤波器耦合(如LPC(线性预测编码)中所使用的)，其中源频率独立于气道中的声压产生。第二种方式为非线性耦合，其中声道压力对声源处的频率产生起作用。在非线性情形下，跨声门压包括强声分量，非常像木管乐器中的声音，其中通过管乐器的气流由乐器孔的声压驱动，或者像铜管乐器演奏中的声音，其中唇流由铜管中的声压驱动(参见Barney等(1999)；Shadle等(1999))。有大量实验和理论证据证明存在非线性耦合，其表明语音谐振信号中的调幅(AM)和调频(FM)，这使得谐振的振幅和频率在音周期内瞬间改变(参见McLaughlin & Maragos(2006)，Maragos等(1993a)，Teager & Teager 1990)。受该证据启示，Maragos等(1993a)提出用AM-FM信号模仿每一语音谐振且总语音信号为这些AM-FM信号的叠加。
2.FM和AM均对现实情形很重要
最近已投入研究对语音的包络/AM调制和细微结构FM调制的作用进行探究。Zeng等(2005)将部分研究概述为下面的语句，其强调AM和FM在不同声情形下的重要性：
-来自有限数量的频带的AM(FM提示由噪声声码器去除)足以进行安静情形下的语音识别。
-FM大大增强嘈杂情形下的语音识别及扬声器和音识别。
-FM对于具有比赛话音的语音识别特别关键。
-在现实听音情形下AM和FM对支持鲁棒语音识别提供独立、互补的作用。
3.听力受损与TFS/FM
Swaminathan和Heinz(2008)已估算神经系统互相关系数(CCC)度量以量化听觉神经响应中的包络(ENV)和TFS/FM编码。他们的分析表明，对于正SNR，CCC ENV＞CCC TFS；对于负SNR，CCCTFS＞CCC ENV；这表示强音根据SNR在ENV和TFS提示之间转换。
新出现的证据表明，具有耳蜗起端听力受损的人利用TFS/FM提示有困难(如参见Lorenzi等(2006)，Hopkins & Moore(2007)，Hopkins等(2008))，而AM/包络提示似乎未受听力损伤影响。已证明具有中度耳蜗听力损伤的人具有有限的使用FM/TFS信息的能力，尤其对于中频和高频更是如此。这可部分解释在这样的人群中发现的语音感知缺陷，尤其是在比赛背景中利用时域倾斜的能力降低。
Hilbert变换使真实信号能变换为解析信号，
x~(t)=x(t)+jH(x(t))]]>
H(x(t))=∫-∞∞x(τ)π(t-τ)dτ]]>
其中是信号x(t)的包络，是信号的相位。包络可以其它方式提取，例如Zeng等(2005)中所述的纠正和低通滤波。调频和时域细微结构均从相位进行定义。时域细微结构术语经常用作相位的同义词。到调频的链路是通过瞬时频率(相位的时间导数)。总的情况和特殊情形等为本领域技术人员众所周知。严格地说，由于通过时间导数的链路，所有相位信号均可通过调频函数产生。在本说明书中，术语调频意图包括与时域细微结构(相位)有关的调制。
4.FM-AM变换
本发明通过承认下述情况产生：话音携载在整个语音频区传播的信息，及语音FM分量可携载冗余信息因为它们源于同一发生源。这可能在具有比赛信号/话音的情形下由抗噪特性使用，其中大脑的自顶向下处理可选择依赖于哪些频区以将分组的提示分配给给定对象。然而，频带特有FM/AM变化也是可能的。
本发明承认，原样FM解调能力对于正常听力而言似乎是必然的。有证据表明FM-AM解调连同正常耳蜗处理发生。对于正常听力，在听觉稳态脑干响应ASSR中AM和FM均表示为相对独立的振幅信息(参见John等(2001)；Picton等(2002))；但对于听力受损，FM表示是最小的。此外，Ghitza(2001)提出(正常)陡的听觉滤波带侧面可用作FM-AM转换/解调。听力受损将给予较少的陡滤波侧面，从而具有较少的FM-AM解码能力。
此外，有充足的证据表明在讲话语音中产生的谐波配合物中各个FM分量高度互相关(参见Ru等，2003)，因为它们在产生时源自相同的非线性。例如，谱带复制技术(参见Liljeryd等(1998)；Liljeryd等(2001))在将调频信息(FM/TFS)从一个频带复制到另一频带时即利用该特征。
此外，话音的F₀范围(F₀为特定话音信号的基频)例如可为150-250Hz之间的范围(具有相应的更高阶谐波变化)。这可假定为(固定)载频为200Hz及FM变化(即消息)为+/-0.25F₀的FM信号。
锁相环在Wang和Kumaresan(2006)的文献中阐释。正常健康耳蜗中的一个有效构件为用作压控振荡器(VCO)的外毛细胞(OHC)；Rabbitt等(2005)、Hudspeth等(2005)、Libermann等(2002)，及在反馈环中包括有效构件(Geisler(1991))。
本发明的一实施例利用下述事实：正常健康耳蜗包括有效(及脆弱)构件，其在此实施为包括VCO的锁相环电路(PLL)的构件。例如，已表明，对于健康耳蜗的正弦输入，OHC的振动模式具有接近正弦输入的典型频率，OHC以同一频率振动。然而，在内毛细胞(IHC，其将振动编码为神经系统输入)处，振动频率是OHC处的两倍(参见Fridberger等(2006))。这与OHC在与Wang和Kumaresan(2006)类似的PLL中用作VCO的提法一致，及IHC处是输入信号和VCO信号(即产生DC分量和具有双倍频率的正弦)的产品(解调)。
此外，可认为正常健康耳蜗沿基膜具有多个不同频率调谐的锁相环的性质。正常耳蜗功能表明与锁相环的相似性如锁相环电路的典型“捕获效应”(参见Miller等(1997))；捕获效应随着耳蜗损伤(有效构件失去)而丧失。此外，正常听力人员的FM检测表明AM调制的鲁棒性(参见Moore & Skrodzka(2002))，这是锁相环电路的典型性质。耳蜗损伤降低了相应人员的FM检测AM调制鲁棒性(参见Moore&Skrodzka(2002))。
本发明利用下述事实：在耳蜗损伤时锁相环性态丧失，通过人造信号处理锁相环恢复前述性态。
本发明的目标通过附图及下述内容描述的发明实现。
信号处理装置
本发明的目标通过包括信号处理单元(SPU)的信号处理装置实现，信号处理单元用于处理包括最小频率和最大频率之间的听得见频率范围中的频率的电(SPU-)输入信号(称为SPU输入信号)，及用于提供处理后的(SPU)输出信号(称为SPU输出信号)，其中FM-AM变换单元用于将源自SPU输入信号的(FM2AM)输入信号(称为FM2AM输入信号)从调频信号变换为调幅信号以提供(FM2AM)输出信号(称为FM2AM输出信号)，这在产生处理后的SPU输出信号时使用，其中FM2AM输入信号至少包括SPU输入信号的一部分频率范围。
这具有改善听力受损用户对输入声音的感知的优点。
应当理解，电输入信号是表示包括调幅和调频分量的时变音频信号的电信号，音频信号如来自人类话音如讲话、唱歌或其它人类说话方式的音频信号。
在本说明书中，作为“第一”和“第二”的备选方案，与输入和输出信号有关的缩写SPU(信号处理单元)和FM2AM(FM-AM)暗含它们与所提及的单元(分别为“信号处理装置”和“FM-AM变换单元”)的关系。
在本申请中，术语“频率范围”(或“范围”)、“频带”和“频道”可互换地使用以指示从最小到最大频率的频率间隔。例如，频率范围或频带可属于等宽范围或频带，但不必须这样。它们可重叠或不相重叠。本申请中考虑的总频率范围是人类听觉频率范围，如20Hz到25kHz。相应的信号处理频率范围通常为其子范围。输入信号拆分成频带的数量可以是任何实用数量N，如2或更大，例如8或16或128或更大。
应当理解，除了“调频信号到调幅信号的变换”之外或作为其备选方案，调幅信号中的信息可源自调相(PM)信号或包括时域细微结构(TFS)的信号到调幅信号的变换。优选地，从调频信号提取的调制函数用于改变“恒常包络信号”(如载波信号)的包络，从而实现“FM2AM功能”。换言之，优选地，FM2AM输出信号用于对具有恒常包络的输入信号调幅。也就是说，应用于(SPU-)输入信号(全部或给定频带，并导致SPU输出信号)的调幅基于从输入信号(全部或给定频带)提取的“调频信号到调幅信号的变换”。优选地，包含在电输入信号的调频中的信息应用于输入信号作为调幅。所得的调幅信号在进一步的处理中使用或经适当的输出变换器呈现给用户。
在实施例中，信号处理装置包括时间到时间-频率变换单元，其提供SPU输入信号在多个频率范围中的时变表示。在实施例中，信号处理装置包括用于将SPU输入信号拆分为多个频带的滤波器组。或者，信号处理装置适于接收多个频率范围中的按时变表示安排的SPU输入信号。
在实施例中，信号处理装置包括AM解调单元，用于从包括本申请(如SPU)考虑的总频率范围的信号提取源自SPU输入x(t)的至少一信号的调幅函数am(t)。在实施例中，信号处理装置包括AM解调单元，用于提取源自SPU输入信号的至少一信号的调幅函数am_n(t)，n为频率范围下标，n＝1，2，...，N。
在实施例中，信号处理装置包括FM解调单元，用于从包括本申请考虑的总频率范围的信号提取源自SPU输入x(t)的至少一信号的调频函数fm(t)。在实施例中，信号处理装置包括FM解调单元，用于提取源自SPU输入信号的至少一信号的调频函数fm_n(t)，n为频率范围下标，n＝1，2，...，N。
术语“函数”在此用于指示与独立参数的特定函数相关性的重要性(在此如时间t，如am_n(t)，fm_n(t))。所提取的“函数”可同样处理为“信号”。通常，所提及的函数是从载波提取或调制到载波上或可与另一电信号结合的信息信号或调制信号。函数如am_n、fm_n、FM2AM_n等中的下标n用于指示所涉及的函数与频带或范围n有关。
在实施例中，信号处理装置适于实现FM-AM变换在同一频带内进行，使得初始信号(如SPU输入信号)和FM2AM信号位于同一频带内，p＝n。其效果/优点在于在同一频率范围中实现呈现给听力受损用户的不可达信息的局部变换。
或者，来自一频带的FM2AM信息可被换位到另一频带。在实施例中，信号处理装置适于实现，源自SPU输入信号并包括频率范围p的信号的FM-AM变换基于从包括频率范围n的信号提取的调频函数fm_n(t)，其中p≠n。从而利用输入信号跨几个频率范围的典型调和性，参见Lunner(2007)。在实施例中，在给定频率范围或频带中的SPU输入信号的SNR可确定复制哪一频带或从哪一频带复制。例如，如果频带中的SNR低于某一SNR阈值，则算法选择另一具有更好SNR的频带并从其复制。
在实施例中，信号处理装置包括锁相环电路，用于产生源自SPU输入信号的至少一信号的调幅函数am_n(t)(参见Wang和Kumaresan，2006)。
在实施例中，AM解调单元适于实现：源自SPU输入信号的至少一信号的调幅函数am_n(t)通过提取频道信号的包络产生。
在实施例中，信号处理装置包括锁相环电路，用于产生源自SPU输入信号的至少一信号的调频函数fm_n(t)。
在实施例中，FM解调单元适于实现：源自SPU输入信号的至少一信号的调频函数fm_n(t)通过提取频道信号的瞬时频率产生。
在实施例中，信号处理装置包括载波单元，用于提供具有频率范围n内的载频的正弦波c_n。在实施例中，信号处理装置包括载波单元，用于提供载频等于频率范围n的中间值及振幅为A_n的正弦波c_n，及AM调制器用于以解调的FM信号fm_n(t)对正弦波c_n调幅，从而在频率范围n中实现FM-AM变换(FM2AM_n)。
在实施例中，信号处理装置包括AM调制器，用于以解调的FM信号fm_n(t)对频率范围或频道n的SPU输入信号x_n进行调幅，从而在频率范围n中提供FM-AM变换和FM2AM输出信号(FM2AM_n)。
在实施例中，信号处理装置包括组合器单元(例如在下面称为AM组合器)，用于将源自SPU输入信号的至少一信号(如信号中的两个、三个或所有信号)、调幅函数、调频函数和/或FM2AM信号进行加权组合并提供加权调幅函数。在实施例中，组合器单元将输入信号X_i的线性组合SUM(w_i*X_i)提供为输出信号，其中w_i为权，及i＝1，2，...，Q，其中Q为给组合器单元的输入信号的数量。在实施例中，对于给定频带n，组合器单元的输出信号为w_1n*x_n+w_2n*am_n+w_3n*fm_n+w_4n*FM2AM_n，其中输入信号(X_i)x_n、am_n、fm_n和FM2AM_n具有它们先前对于频率范围n的含义。在实施例中，一个或多个权w_i(w_in)可以为零。在实施例中，组合器单元提供包括输入信号X_i的乘积的、形式为PROD(a_i+X_i)的输出信号，其中a_i为常数如1。在频带拆分记法中，频率范围n的组合器输出可按下述方式书写：PROD((a_n1+wn_1bX_n)(a_n2+b_n2 am_n)(a_n3+b_n3 fm_n)(a_n4+b_n4 FM2AM_n))，其中输入信号具有它们先前对于频率范围n(n＝1，2，...，N)的含义。
在实施例中，信号处理装置包括组合器单元，用于对所提取的调幅函数am_n(t)和相应频率范围的FM2AM变换信号(FM2AM_n(t))进行加权组合并提供加权调幅函数。
在实施例中，信号处理装置包括组合器单元，用于对源自SPU输入信号x的至少一信号和FM2AM变换信号进行加权组合并提供加权调幅函数。
在实施例中，FM2AM变换信号是SPU输入信号的调频函数fm(t)。在实施例中，给定频率范围n的FM2AM变换信号FM2AM_n(t)等于源自SPU输入信号x的至少一信号x_n的调频函数fm_n(t)。
在实施例中，信号处理装置包括组合器单元，用于对源自SPU输入信号的至少一信号x_n和相应频率范围的调频函数fm_n(t)进行加权组合并提供加权调幅函数。
在实施例中，信号处理装置包括SQE单元，用于评估SPU输入信号的信号质量，如其信噪比(SNR)、误比特率等。在实施例中，信号处理装置适于接收SPU输入信号的信号质量的度量。在实施例中，组合器单元适于根据信号质量如SPU输入信号的信噪比(SNR)控制权重。
在实施例中，信号处理装置适于实现：给定频率范围中的FM2AM信号的权随着该频率范围中的SPU输入信号的SNR降低而增加。在实施例中，信号处理装置适于实现：在中间SNR(SNR_med)和低SNR(SNR_low)之间的范围中，所提供的加权调幅函数唯独基于FM2AM函数。在实施例中，对于负SNR，初始信号(SPU输入信号)的权为零。
在实施例中，AM组合器适于从三个调幅源进行选择或对其组合：1、所提供的AM函数am(t)，2、所提供的FM函数fm(t)，及3、FM-AM转换函数FM2AM(t)。在实施例中，AM组合器适于在具有相当高的SNR(SNR＞SNR_high，其中AM函数被认为对于用户使用而言足够好)的情形中选择AM函数(am(t))。在实施例中， AM组合器适于在SNR较低(SNR_high＞SNR＞SNR_med，其中AM函数被认为对用户单独依赖而言不足够好)的情形中组合AM函数(am(t))和FM函数(FM2AM(t))。在实施例中，如果SNR更差(SNR_med＞SNR＞SNR_low，其中AM函数被认为掩盖在噪声中)，AM组合器适于选择FM函数(FM2AM(t))并完全丢弃AM函数(am(t))。在实施例中，AM组合器适于另外选择频道信号x或与其组合。在实施例中，如果FM函数(FM2AM(t))被评估为失真到不能为听力受损用户利用的程度(SNR_low＞SNR)，AM组合器适于选择可能衰减或无声的频道信号x。
在实施例中，给定频率范围n中的加权调幅函数(直接或作为进一步处理、增强的信号的基础)用于呈现给该频率范围中的用户，藉此改善输入(如语音)信号的感知。
实施FM2AM转换的一种方式是直接使用FM函数fm(t)用于对(在频道中心的)纯音进行调幅。在实施例中，信号处理装置包括载波单元，用于提供载频在频率范围n中如等于频率范围n的中间值的正弦波c_n；及包括AM调制器，用于以加权调幅函数对正弦波调幅从而产生该频率范围中的调幅加权输出信号。其效果在于：调频函数中携载的先前不可达的信息被使得可用作用户的调幅信息。
第二种方法是直接使用FM函数对频道信号x_n本身进行调幅。在实施例中，信号处理装置包括AM调制器，用于以加权调幅函数对频率范围n中的SPU输入信号x_n进行调幅，从而产生该频率范围中的调幅加权输出信号。
实施FM2AM转换的第三种方法是提取正常耳蜗可从FM信号提取的调幅，如Ghitza(2001)提出的那样。在这种情况下，FM函数fm(t)用于调制频带中心频率f_c处的纯音，及FM调制器的输出FM(t)反馈通过定中在频道中心频率上的宽ERB滤波器(ERB＝等矩形带宽)。滤波器输出的包络为随FM函数变化产生的AM函数(参见图6)。
第四种方法可容易地从Teager的能量算子的DESA-1a逼近法进行演绎(Maragos、Kaiser和Quatieri(1993b))(参见图10)。
优选地，给定频率范围n中的调幅加权输出信号(直接或作为进一步处理、增强的信号的基础)用于呈现给该频率范围中的用户，藉此改善输入(如语音)信号的感知。
当在SPU输入信号的特定频率范围或频带中提取FM函数时，可能以该FM函数调制频带的中心频率，以再产生调频，尤其在FAME处理中增强FM函数之后(Zeng等(2005))。
在实施例中，信号处理装置包括FT单元，用于实现源自FM2AM信号的信号的(时间-)频率到时间(FT)的变换，以在时域中产生SPU输出信号。
在实施例中，信号处理装置适于实现：SPU输出信号适于驱动普通听音设备的接收器、或耳蜗植入的电极、或骨导装置的振动器。
信号处理装置的使用
一方面，本发明还提供如上所述的、“具体实施方式”中详细描述的及权利要求中限定的信号处理装置的使用。在实施例中，其用在听音设备中，如助听器、听力仪器、头戴式耳机、头戴受话器或主动耳保护装置。
包括信号处理装置的听音设备
另一方面，提供听音设备，该听音设备包括如上所述的、“具体实施方式”中详细描述的及权利要求中限定的信号处理装置及包括用于将输入声音转换为电输入信号的输入变换器，其中电SPU输入信号源自输入变换器的电输入信号。
在本说明书中，术语第二信号“源自”第一信号意为第二信号等于第一信号或可从第一信号导出(或预测)，例如第二信号是第一信号的处理版本和/或包括第一信号的频率范围的一部分。
在实施例中，听音设备包括输出变换器，用于将处理后的电输出信号转换为给用户的声音的信号表示，其中处理后的电输出信号源自FM2AM输出信号。
在实施例中，输出变换器为接收器(如听力仪器或音频处理系统的任何其它扬声器的接收器)或耳蜗植入的电极或骨导装置的机电变换器。
在实施例中，听音设备包括听力仪器、头戴式耳机、头戴受话器、主动耳保护装置或其组合。
运行听音设备的方法
运行音频处理装置的方法包括根据用户需要处理SPU输入信号，本发明还提供包括最小频率和最大频率之间的范围中的频率的SPU输入信号及提供处理后的SPU输出信号，其中根据用户需要处理SPU输入信号包括实现源自SPU输入信号并包括SPU输入信号的至少一部分频率范围的至少一信号的FM-AM变换及提供FM-AM(FM2AM)变换信号。
当用相应的过程特征适当替代时，如上所述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与在此所述的方法结合。该方法的实施例具有与相应装置一样的优点。
在具体实施例中，根据用户需要处理SPU输入信号包括：FM2AM变换信号用于对恒常包络输入信号进行调幅以提供所得的调幅信号，该调幅信号用作处理后的SPU输出信号的基础。
优选地，包含在电SPU输入信号的调频中的信息应用于输入信号作为调幅，这用作处理后的SPU输出信号的基础。
优选地，FM2AM变换信号用于对恒常包络输入信号(如载波)进行调幅以提供所得的调幅信号(处理后的SPU输出信号)。所得的调幅信号在进一步的处理中使用或经适当的输出变换器呈现给用户。该信号包含听力受损人员感知不到的信息。
在实施例中，本发明方法包括将输入声音转换为电输入信号，及其中SPU输入信号源自该电输入信号。在实施例中，本发明方法包括从有线或无线连接接收SPU输入信号。
在实施例中，本发明方法包括基于源自SPU输出信号的信号产生给用户的输入声音的输出刺激表示。
在实施例中，本发明方法包括时间-频率变换，其提供SPU输入信号在多个频率范围中的表示。
在实施例中，本发明方法还包括时间到时间-频率变换，其提供SPU输入信号在多个频率范围中的时变表示。
在本发明的实施例中，电输入信号被拆分为N个(频带受限)FM信号，这些信号被个别处理成听力受损人员可利用的形式，即将频带受限FM信号转换/解调为同一或另一频带内的AM信号。例如，这可通过下述步骤进行：取FM解调的信号，以等于频带中间值的载频对正弦波进行调制(音-声码)，及以解码的FM信号调幅。
在实施例中，本发明方法包括提取源自SPU输入信号的至少一信号的调幅函数am_n(t)，n为频率范围下标。
在实施例中，本发明方法包括提取源自SPU输入信号的至少一信号的调频函数fm_n(t)，n为频率范围下标。
在实施例中，源自SPU输入信号并包括频率范围p的信号x_p的FM-AM变换基于从包括频率范围n的信号x_n提取的调频函数fm_n(t)。
在实施例中，FM-AM变换在同一频带内进行，使得初始信号和FM2AM信号位于同一频带内，p＝n。其效果/优点在于在同一频率范围中实现呈现给听力受损用户的不可达信息的局部变换。或者，来自一频带的FM2AM信息可被换位到另一频带。在实施例中，FM-AM变换在一频率范围p中进行并复制到另一频率范围n，p≠n。从而利用输入信号跨几个频率范围的典型调和性，参见Lunner(2007)。在实施例中，在给定频率范围或频带中的SPU输入信号的SNR可确定复制哪一频带或从哪一频带复制。例如，如果频带中的SNR低于某一SNR阈值，则算法选择另一具有更好SNR的频带并从其复制。
在实施例中，源自SPU输入信号的至少一信号的调幅函数am_n(t)由锁相环电路产生(参见Wang和Kumaresan，2006)。在实施例中，源自SPU输入信号的至少一信号的调幅函数am_n(t)通过提取频道信号的包络产生。
在实施例中，源自SPU输入信号的至少一信号的调频函数fm_n(t)由锁相环电路产生。在实施例中，源自SPU输入信号的至少一信号的调频函数fm_n(t)通过提取频道信号的瞬时频率产生。
在实施例中，本发明方法包括产生载频等于频率范围n的中间值的正弦波并以解调的FM信号fm_n(t)对该正弦波调幅，从而在频率范围n中实现FM-AM变换(FM2AM_n(t))。
在实施例中，本发明方法包括对源自SPU输入信号x的至少一信号(如该频带特有信号x_n中的一个或多个或全部)、调幅函数am(t)(am_n(t))、调频函数fm(t)(fm_n(t))和/或FM2AM变换信号FM2AM(t)(FM2AM_n(t))进行加权组合并提供加权调幅函数。
在实施例中，源自SPU输入信号并至少包括SPU输入信号的频率范围的一部分的至少一信号与FM2AM变换信号被加权组合并提供加权调幅函数(可能在多个频带中个别处理)。
在实施例中，所提取的调幅函数am_n(t)和相应频率范围的FM2AM变换信号(FM2AM_n(t))进行加权组合并提供加权调幅函数。
在实施例中，频率范围n的FM2AM变换信号FM2AM_n(t)等于源自SPU输入信号的至少一信号x_n的调频函数fm_n(t)。
在实施例中，加权调幅函数(或全部频带或给定频率范围n)(直接或作为进一步处理、增强的信号的基础)用作处理后的SPU输出信号以呈现给用户(或在全部频率范围中或在所涉及频率范围中)，藉此改善对SPU输入(如语音)信号的感知。
在实施例中，根据SPU输入信号的信噪比(SNR)对权重进行控制。在实施例中，给定频率范围中的FM2AM信号的权随着该频率范围中的SPU输入信号的SNR降低而增加。在实施例中，在中间SNR(SNR_med)和低SNR(SNR_low)之间的范围中，加权调幅函数唯独基于FM2AM函数。在实施例中，对于负SNR，初始信号(SPU输入信号)的权为零。
在实施例中，本发明方法包括产生载频等于频率范围n的中间值的正弦波并以加权调幅函数对该正弦波调幅从而产生该频率范围n中的调幅加权输出信号。其效果在于：调频函数中携载的先前不可达的信息被使得可用作用户的调幅信息。
优选地，调幅加权输出信号(全部频带或给定频率范围n)(直接或作为进一步处理、增强的信号的基础)用作处理后的SPU输出信号以呈现给用户(在全部频率范围中或在所涉及频率范围中)，藉此改善对SPU输入(如语音)信号的感知。
当在SPU输入信号的特定频率范围或频带中提取FM函数时，可能以该FM函数调制频带的中心频率，以再产生调频，尤其在FAME处理中增强FM函数之后(Zeng等(2005))。
FM2AM转换：实施FM2AM转换的一种方式是直接使用FM函数对(在频道中心的)纯音进行调幅。第二种方法是直接使用FM函数对频道信号本身进行调幅。第三种方法是提取正常耳蜗可从FM信号提取的调幅，如Ghitza(2001)提出的那样。在这种情况下，FM函数用于调制频带中心频率处的纯音或频道信号本身，及FM调制器的输出反馈通过定中在频道中心频率上的宽ERB滤波器(ERB＝等矩形带宽)。滤波器输出的包络为随FM函数变化产生的AM函数。第四种方法可容易地从Teager的能量算子的DESA-1a逼近法进行演绎(Maragos、Kaiser和Quatieri(1993b))。
在实施例中，本发明方法包括实现源自FM2AM信号的信号的时间-频率到时间的变换以在时域中产生SPU输出信号。
在实施例中，输出刺激适合包括普通听音设备的接收器的助听器、或耳蜗植入的电极或骨导装置的振动器。
在实施例中，本发明方法包括源自FM2AM信号的信号的频率-时间(FT)变换及产生时域中的SPU输出信号。
数据处理系统
另一方面，提供数据处理系统，该数据处理系统包括处理器及使处理器执行如上所述的、“具体实施方式”中详细描述的及权利要求书限定的方法的至少部分步骤的程序代码。在实施例中，程序代码至少包括本发明方法的部分步骤，如大部分步骤或所有步骤。在实施例中，数据处理系统形成如上所述的、“具体实施方式”中详细描述的及权利要求书限定的信号处理装置的一部分。
计算机可读介质
另一方面，提供计算机可读介质，该计算机可读介质保存包括程序代码的计算机程序，当所述计算机程序在数据处理系统上运行时，其使数据处理系统执行如上所述的、“具体实施方式”中详细描述的及权利要求书限定的方法的至少部分步骤。在实施例中，程序代码至少包括本发明方法的部分步骤，如大部分步骤或所有步骤。
本发明的进一步的目标通过从属权利要求和本发明的详细描述中限定的实施方式实现。
除非明确指出，在此所用的单数形式的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，在说明书中使用的术语“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接到”另一元件时，可以是直接连接或耦合到其他元件，也可以存在介于中间的元件。此外，如在此使用的“连接”或“耦合”可包括无线连接或耦合。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
附图说明
下面将结合优选实施例和参考附图对本发明进行更充分地说明，其中：
图1示出了根据本发明实施例的信号处理装置(图1a)、包括信号处理装置的听音设备(图1b)、包括信号处理装置和PC的第一音频处理系统(图1c)和包括信号处理装置和电视机的第二音频处理系统(图1d)。
图2示出了根据本发明实施例的包括信号处理装置的听音设备的部分。
图3示出了根据本发明实施例的信号处理装置的FM/AM组合器部分。
图4示出了根据本发明实施例的包括信号处理装置的听音设备的部分。
图5示出了根据本发明实施例的信号处理装置的部分，图5a包括滤波器组和分开的AM和FM解调单元，图5b包括AM函数和FM函数的基于锁相环的提取。
图6为根据本发明实施例的FM2AM转换器单元。
图7示意性地示出了根据本发明实施例的用于确定加权单元的加权函数的方案。
图8示出了在根据本发明实施例的信号处理装置中使用的FM调制器的实施例。
图9示出了在根据本发明实施例的信号处理装置中使用的AM调制器的实施例。
图10示出了在根据本发明实施例的信号处理装置中使用的FM2AM转换器的实施例。
图11示出了两种处理方案的频道处理电路怎样处理具体输入信号之间的差别，图11a表明了现有技术FAME原理的效果(Zeng等(2005))，及图11b表明了本发明原理的效果。
图12示出了AM、FM和AM-FM信号的不同基本分量。
图13是Hopkins和Moore(2007)文献的图1的复制，其表明在TFS1测试刺激下纯音的水平和频率位置。
图14表示针对TFS1测试刺激的调频函数，fm(t)[0-50Hz]对时间[0-3s]。
图15示出了TFS1测试刺激的包络[0-0.09](强度或振幅)对时间[0-3s]。
图16示出了使用本发明的FM2AM方案的应用为不同的AM率[0-0.16](强度或振幅)对时间[0-3s]的FM函数。
图17示出了使用本发明的FM2AM方案的应用为不同的AM率和AM调制深度[0-0.14](强度或振幅)对时间[0-3s]的FM函数。
图18示出了使用本发明的FM2AM方案的应用为水平变化[0-0.14](强度或振幅)对时间[0-3s]的FM函数。
图19示出了使用本发明的FM2AM方案的应用为衰减水平变化[0-0.1]对时间[0-3s]的FM函数的变化。
为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出，因为，对于本领域的技术人员来说，通过这些详细说明在本发明精神和范围内做出各种变化和修改是显而易见的。
具体实施方式
语音信号包括调幅(AM)及调频(FM)提示，二者均携载与讲话消息有关的信息。图12示出了AM、FM和AM-FM信号的不同基本分量。图12包含8个具有振幅对时间波形的小图及图例。图12的右下部中的4个图可被当作具有4个矩阵元的2×2矩阵，行分别表示“没有FM”和“FM”，列分别表示“没有AM”和“AM”。右下部的四个(2×2)曲线图表明例示四种组合的简单的随时间变化的信号波形。因而，右下部的矩阵元表示包括AM和FM分量的FMAM(t)信号的简单例子。
在第二(中间)列中所示的信号没有AM调制，而在第三(最右边)列中的信号分享同一AM调制(如顶部行中的图的虚线所示)。第二(中间)行中的信号没有FM调制，而第三(底部)行中的信号分享同一FM调制(如第一(最左边)列中的图的点线所示)。AM和FM信号或多或少地表明(分别在顶部行和最左边列中所示的AM和FM调制函数(分别为am(t)、fm(t)))同样的信息可怎样以不同的方式传送，而FMAM信号表示信息通过AM和FM分量同时传送的信号。AM和FM调制函数之间的偏移是任意的，但在此明确选择以使印刷容易。
Hopkins和Moore(2007)提出的TFS1测试使用刺激，其中基准和移位后的刺激之间的差被认为由细微结构传送。刺激的分量水平为图13中所示的“成形”刺激(图13的最左边的刺激)。在正常听力听者能够完成依照按Hz测量的频率变换提供鉴别阈值的自适应过程的同时，听力受损人员即使在最大频移时也不能可靠地识别变换后的刺激。
对于TFS1测试的具体配置，移位后的刺激可被认为是基准刺激频率偏移50Hz，即图14中所示的调频函数。
问题在于听力受损人员不能接入图14中所示的调频函数，而仅能接入图15的不能提供相当信息的包络。下面给出几个例子，其中TFS1刺激用FM2AM算法进行处理以使听力受损人员能在基准刺激和移位后的刺激之间进行鉴别。
在图16中，随调幅率增加而应用FM函数，具体地：
FM2AM(t)=B+Dsin(2π(f0CS+fΔSS)),]]>
其中CS为载波定标，SS为移位定标，使得所应用的调制率为载波和频移的线性组合。由于f₀＞＞f_Δ，似乎CS＞＞SS也是适当的。这还包括CS＝∞，使得只有频移被编码在调幅率中。
在图17中，随调幅率和调幅深度的增加而应用FM函数，具体地：
R=Rmax(12+fΔf0)]]>
D=Dmax(1-3fΔ2f0)]]>
FM2AM(t)＝B+Dsin(2πtRt)
在图18中，随刺激的振幅的增加而应用FM函数，具体地：
FM2AM(t)=SomeAuditoryFilterTemplate(abs(scl)fΔg(t)fcentre,30)]]>
其中，当刺激被移位时g(t)＝1，及当其为谐波时g(t)＝0。此外，如果scl为负，则频移通过使用min(FM2AM(t)，gain_max)而转换为放大率。这确保水平不被增加得太多。
在图19中，随刺激振幅的突然增加和衰变而应用FM函数的变化。具体地，图18的FM2AM(t)由独立的FM率变化检测器选通以获得衰变。
所有例子均共享FM2AM以这样的方式应用FM函数，使得即使只有时域包络被听力受损人员保持其也可被感知。
本发明的具体实施方式包括：
a、初始频带信号和根据本发明的新的频带受限信号加权组合使得它们可根据SNR而不同组合。
b、对于负SNR，初始信号的权为零(仅通过“FM”信息)。
c、给定频带中的SNR可确定复制哪一频带或从哪一频带复制。
优选地，可利用电信领域的FM解调技术。例如锁相环(PLL)具有良好的抗噪特性，并包括可不同设计的捕获区(最强FM信号被给予优先权的区域)和锁定区(FM信号被解码的频率范围)参数。PLL应被设计成使得它们可捕获和锁定典型话音的基频F₀(及谐波)的变化。
跨语音区的频带每滤波器组需要至少一PLL。之后，PLL将锁定该频带内的最强载波。优选地，滤波器组应(高度)重叠以使具有接近F₀的频率的话音能被锁定。
FM解调的备选方案是Teager算子(Kaiser，1990)，其实施相当简单，但具有不是太好的抗噪特性。
图1示出了根据本发明实施例的信号处理装置(图1a)、包括信号处理装置的听音设备(图1b)、包括信号处理装置和PC的第一音频处理系统(图1c)和包括信号处理装置和电视机的第二音频处理系统(图1d)。
图1a示出了根据本发明的信号处理装置(SPU)的实施例，信号处理装置(SPU)接收包括最小频率和最大频率之间的范围中的频率的SPU输入信号，并提供处理后的SPU输出信号。信号处理装置还包括FM-AM变换单元(FM2AM)，用于将源自SPU输入信号并包括SPU输入信号的频率范围的至少一部分的至少一信号从调频信号变换为调幅信号从而提供FM2AM信号。SP表示信号处理装置的输入和输出之间的信号路径中的可选信号处理模块。优选地，信号处理装置通过至少在输入信号的一频率范围中将调频输入信号转换为调幅输出信号而适于特定用户的听力损伤情况。在实施例中，处理后的SPU输出信号用作ASR(自动语音识别)系统的输入，该系统对其输入信号中的AM和FM信息的敏感方式与一些听力受损人员的方式类似。
图1b示出了听音设备如听力仪器，包括用于将输入声音转换为电输入信号的输入变换器(在此为传声器)、如图1a中所示的用于处理源自电输入信号并包括最小频率和最大频率之间的范围中的频率的SPU输入信号及提供处理后的SPU输出信号的信号处理装置(SPU)、及基于源自SPU输出信号的信号产生给用户的输入声音的输出刺激表示的输出变换器(在此为接收器)。SP表示输入和输出变换器之间的信号路径中的可选信号处理模块。在图1b中，可选的SP单元位于SPU单元的外面和里面以表明在FM2AM变换单元之前和之后可进行(其它)信号处理。
图1c示出了音频处理系统，包括从传声器接收其输入(从而实施专用无线传声器)的信号处理装置(例如如图1a中所示的信号处理装置)及包括扬声器的PC，在信号处理装置和PC之间具有无线链路(该无线链路包括SPU中的发射器(Tx)(及可选地包括用于双向通信的接收器)和PC中的相应接收器(可选地包括发射器))。或者，信号处理装置及传声器(可选地)可形成PC的一部分，从而使它们之间的无线链路多余。这样的系统对在PC中实现专用音频接口是有利的，给专用信号处理单元的输入为传声器拾取的讲话输入(如图1c中所示)，或者，表示语音的电子信号，如经网络(如因特网)接收的基于IP的电话会话或流自环境中的音频源如电视机的音频信号(参见图1d)。或者，音频处理系统可形成ASR系统的一部分(或用作ASR系统的预处理系统)(如实施在PC上以在PC上将语音转换为文本)，处理后的SPU输出信号用作ASR算法的输入。
图1d示出了包括电视机和处理设备的音频处理系统，处理设备包括信号处理装置(例如如图1a中所示的信号处理装置)，在电视机和处理设备之间具有无线链路，电视机包括无线发射器，及处理设备包括对应的无线接收器(Rx)。例如，无线链路为单向链路，但也可以是双向链路(以确保适当的频道)。电视机将音频信号发射给处理设备，其在那里接收并在SPU(特定用户专用)中处理以提供改善的输出。改善的输出(SPU输出)可连接到扬声器(接收器)以提供可为用户更好感知的输出声音。或者，SPU输出可直接转发给听音设备(如果处理设备形成听音设备的一部分)或无线发送给听音设备如听力仪器(如果处理设备形成电视机和听音设备之间的中间设备的一部分)。无线链路可基于感应(近场)通信，或者基于辐射场。作为备选方案，电视机和处理设备之间的连接可以是有线连接如线缆，或者处理设备可形成电视机或连接到电视机的机顶盒的一部分。
图2示出了包括根据本发明实施例的信号处理装置的听音设备的部分。
图2示出了听音设备的部分，包括用于将输入声音转换为模拟电输入信号的传声器、用于将模拟电输入信号(通过以预定采样频率f_s对电输入信号进行采样从而提供包括数字时间样本y_m的数字化输入信号)转换为数字电输入信号的模数转换器(AD)，数字电输入信号馈给信号处理装置。在本实施例中，信号处理装置包括时间到时间-频率的变换单元(TF拆分，其中输入信号的时间帧经历时间到频率变换以提供相应的频率样本的频谱，每一时间帧包括M个数字时间样本y_m(n＝1，2，...，M)并对应于时间为L＝M/f_s的帧长)。TF拆分单元将输入信号拆分为多个频带N，频带的每一信号x_n为包含该频带的频率的时变信号，(n＝1，2，...，N)。每一频带的信号路径拆分为三个路径，分别包括输入信号x_n、AM提取单元和FM提取单元。给定频带n的AM提取单元提取该频带的信号x_n的调幅函数(包络)am_n(t)(t为时间)。给定频带n的FM提取单元提取该频带的信号x_n的调频函数fm_n(t)。输入信号x_n和AM提取单元及FM提取单元的输出分别馈给组合器单元(FM/AM组合器)。组合器单元的实施例如图3中所示。FM/AM组合器根据当前的声音环境和用户偏好组合频道信号、AM函数和FM函数及从FM函数提取的AM函数。AM和FM提取的例子为Hilbert包络和瞬时相位的时间导数(例如，参见Proakis和Manolakis(1996))。此外，Teager能量算子可用于提取AM和FM，如Kaiser(1990)、Maragos等(1993a)或Zhou等(2001)文献中所示。类似地，AM和FM可使用最近由Betser等(2008)提出的Taylor逼近法进行提取。给定频带的FM/AM组合器单元的输出信号馈给处理单元以进行可选的进一步的处理(图2中的模块P，用于使适合用户对随频率变化的增益、压缩等的特别需要)。信号处理装置还包括FT合并单元，其将各个频带信号合并为时域中的SPU输出信号。听音设备还可包括变换器(未示出，但可参见图1b)，用于基于源自信号处理单元的信号产生给用户的输入声音的输出刺激表示。例如，信号处理装置的输出(参见图1中的SPU输出)可馈给(听力仪器的)接收器以向听力受损用户呈现改善的声音信号。
当然，听力设备还可包括其它功能单元，如反馈抵消单元等。
图3示出了根据本发明实施例的信号处理装置的FM/AM组合器部分。该模块的目的在于通过AM函数、FM函数、频道信号、中心频率和噪声的非线性组合产生频道输出信号。这通过对载波(为纯音、(使用FM函数)调频的纯音、频道信号自身或随机噪声)强加调幅(由AM和FM函数构建)而实现。
现在假定频道信号中的调幅和调频被估计和应用为AM和FM函数。在此，AM函数描述频道信号中的包络，及FM函数描述频道信号的瞬时频率。FM函数和AM组合器之间的直接连接使FM函数中的信息能直接提供为水平提示；例如，越高的频率产生越大声的频道输出。从FM函数通过FM2AM转换器到AM组合器的连接使FM函数中的信息能在其应用为调幅前进行处理，例如，与正常耳朵中的FM2AM转换类似。
直到现在，只描述了AM调制器左手侧的输入。给AM调制器的底部输入-称为载波-具有四种模式。