次波带指数平滑噪声消除系统 相关申请
以下应用和专利被引用并在此引入作为参考：1999年2月18日提交的U.S专利申请序列号09/252,874，U.S.专利申请序列号09/157,035(现在授权的2000年4月11日的U.S.专利No.6,049,607)，1998年4月7日提交的U.S专利申请序列号09/055,709，1998年8月6日提交的U.S专利申请序列号09/130,923，U.S.专利申请序列号08/672,899(现在授权的1998年10月20日U.S.专利No.5,825,898)以及国际申请No.PCT/US99/21186。并且，所引用的所有文件在此引入作为参考，以及在此所引用的文件中的所引用或参考文件也在此作为参考。
【发明领域】
本发明涉及噪声消除和减小，并且更具体地，涉及使用次波带处理和指数平滑的噪声消除和减小。
【发明背景】
被附加给语音的环境噪声降低了语音处理算法的性能。这种处理算法可包括口授(dictation)、语音激活、语音压缩和其它系统。环境噪声亦降低声音和语音的质量和可理解性。在这样的系统中，需要不影响语音及其特征而减小噪声并提高信噪比(S/N比)。
相近领域的噪声消除话筒提供了令人满意的解决，但需要话筒位于语音源(例如，嘴)附近。在许多情况下，这是通过在耳机地吊杆上安装话筒而实现的，所述耳机使话筒位于佩戴者嘴附近的吊杆末端处。然而，耳机已被证实不是佩戴不舒服，就是对在例如汽车内的操作过于限制。
一般的话筒阵列技术和具体的自适应射束形成阵列，以最有效的方式处理严重的定向噪声。这些系统绘制噪声场并生成向噪声源的静音点(null)。静音点的数量由话筒单元的数量和处理能力来限定。这种阵列具有无需耳机而进行不需要手的操作的好处。
然而，当噪声源被扩散(diffused)时，自适应系统的性能将被减小到有规律延迟与和(sum)话筒阵列的性能，其不是总令人满意的。当环境相当回响时，如当噪声从房间的墙被强烈反射并且从无限数量的方向到达阵列时，情况是这样的。在汽车环境中，情况也是这样的，这是由于一些噪声从汽车底盘被辐射。阵列解决的另一个不利方面是它需要多个话筒，其对解决的物理尺寸和价格有影响。它亦消除了给现有系统提供噪声减小能力的能力，所述系统已具有一个所实施的话筒并不能被附加另外的话筒。
进一步减小噪声的一个所提出的解决是谱相减技术，其估算被污染信号的噪声幅度谱，通过在由语音开关检测的非声音时间间隔期间测量它，然后从该信号减去噪声幅度谱。被具体描述于Suppression ofAcoustic Noise in Speech Using Spectral Subtraction(使用谱线相减的声音中噪声的抑制)(Steven F Boll，IEEE ASSP-27 NO.21979年4月)的这种方法实现了针对不与声音信号相关的静止扩散噪声的好的结果。然而，谱线相减方法生成了有时被描述为音乐噪声的假象，其可降低声音算法(如语音记录或语音激活)的性能，如果谱线相减是不受控制的。
另一个问题是FFT结果的幅度计算是相当复杂的。这涉及平方和平方根计算，其就计算负荷来说是很贵的。还有一个问题是为了获得用于IFFT的信息，使相位信息与无噪声的幅度谱的关联。这个过程需要计算相位、存储信息以及将信息应用于幅度数据，所有的一切就计算和存储器要求来说是贵的。缩短FFT结果的长度导致每个元(bin)的较宽的带宽和较好的稳定性，但降低了系统的性能。而且，在时间上的平均抹去了数据并且为了这个原因，不能被扩展到多于几帧。
改进的谱线减法技术已被提出于1999年2月18日提交的U.S.专利序列号09/252,874。改进的系统具有阈值检测器，其通过确定输入信号的频谱元素或元是否处于在时间的预设周期上依照频谱元素的最小值设定的阈值内，从而精确地检测噪声元素的位置，即使是在连续的声音段内。更精确的是频谱元素的当前和将来最小值。这样，对于每个音节，噪声元素的能量通过没有整个信号能量检查的分离的阈值确定而被确定，由此提供对噪声好且稳定的估算。另外，该系统优选地连续设定所述阈值，并在例如五秒的时间的预定周期内重设该阈值。
为了减小谱线估算的不稳定性，进行二维(2D)平滑过程的改进的谱线相减技术被应用于信号估算。在每个时间帧中使用第一相邻频率元然后应用指数时间平均、导致对每个频率元在时间上的平均，这个两步平滑功能产生了极好的结果。
为了减小在相减过程中确定频率元相位的复杂度以由此对准相减元素的相位，改进技术应用了滤波乘法(filter multiplication)以实现所述相减。滤波函数，例如维纳滤波函数，或维纳滤波的近似，被乘以频域音频信号的复(complex)数据。
然而，这些谱线相减技术仍需要复杂且在计算上强化的FFT计算，以便于当在频域中时对数据进行运算。附加给计算时间的是等待时间，当在进行计算前等待足够的数据点/采样到缓冲器时，它导致该等待时间。这个等待时间的问题导致整个系统的延迟，其可导致实时应用中的困难。还有，2D平滑过程减少了假象(亦已知为音乐噪声)，但它们将仍是可听见的，特别是当语音不存在时。在安静的部分，这个残留噪声在本质上听起来是人为的，并且听上去可以是令人讨厌的。
发明目的和概述
因此，本发明的目的是提供次波带时域噪声消除系统，其具有简单而有效的机构以估算并减去噪声，即使是在差的信噪比情况下并且在连续快速声音的情况下。
本发明的另一目的是提供有效的机构，其通过减小相关技术系统中的等待时间问题而提高处理能力。
本发明的又一个目的是提供有效的机构，其去除在相关技术系统中的残留(音乐)噪声问题。
依照以上目的，本发明提供了一种系统，其正确地确定音频信号的非语音段，由此防止错误地处理语音段内的噪声消除信号。
为达到以上目的，本发明提供了输入，用于输入包括噪声信号分量的数字信号；波带分离器，用于将数字输入信号分为许多频率被限制的时域信号次波带；许多噪声处理器，其对应于每个次波带以使数字输入信号中的噪声信号分量被消除；以及组合器，用于将噪声被处理的次波带组合为数字输出信号。
本发明的特定方面是，输入射束由波带分离器分为许多有限频率的次波带，优选为16个均匀间隔的波带，以使噪声处理在每个频带上分别进行。通过将波带分为例如16个通道，本发明减小了欲由噪声处理器处理所需的采样速率。将理解，不仅是这个系统更加可管理，而且通过例如调节对应于给定波带内期望噪声水平的各个阈值处理参数，噪声处理器可对每个频率而被分别最优化。波带分离器为例如DFT滤波器组(bank)，其使用单边带调制以分离数字输入信号。
每个噪声处理器均由指数平均器、噪声估算器和相减处理器组成。指数平均器在先前平均值和当前输入值的加权平均的基础上计算滚动平均(rolling average)输入值。噪声估算器通过在先前噪声值和当前输入值的加权平均的基础上进行指数平滑而产生波带噪声值。假定当前输入被考虑为噪声，如果当前输入值比预定倍数的当前最小值大，则噪声估算器不使用该输入来确定新的噪声估算。相减处理器在滚动平均输入值和波带噪声值的基础上产生滤波系数H，并且用滤波系数乘以当前输入值，以产生噪声被消除的值。
另外，相减处理器可进行最小滤波系数阈值功能。如果计算值低于特定最小值，则这个特定最小值被用实际的计算值替换。这个阈值可被用于控制噪声减小量。另外，如果当前输入比预定倍数的噪声阈值小，则进行滤波系数的指数平滑。
本发明可用于各种噪声消除系统，包括但不局限于被描述于在此引入作为参考的U.S.专利申请中的那些系统。例如，本发明可用于蜂窝电话、个人数字助理(PDA)、音频应用、汽车音响、耳机和话筒阵列。另外，本发明可被实施为计算机程序，用于驱动作为应用软件被安装或作为硬件的计算机处理器。
附图简述
参照被与附图一起考虑的以下详述，将容易获得对本发明和许多其伴随的优点的较完整理解，在附图中：
图1示出本发明的次波带噪声消除系统；
图2示出本发明的波带分离单元；
图3示出本发明的噪声处理单元；
图4示出本发明的噪声估算过程；
图5示出本发明的相减过程；以及
图6示出本发明的组合单元。
详述
图1示出本发明100的实例。该系统在输入102处接收以至少音频信号带宽两倍的频率而被采样的数字音频信号。在一个实施例中，该信号从话筒信号得到，该话筒信号已通过模拟前端、A/D转换器和抽取(decimation)滤波器而被处理以获得所需采样频率。在另一个实施例中，输入是从射束形成器或甚至自适应射束形成器的输出取得的。在此情况下，信号已被处理以消除从不是所需方向的方向到达的噪声，而主要剩下源自与所需方向相同的方向的噪声。在又一个实施例中，当处理在PC处理器或类似的计算机处理器上被实施时，输入信号可从声音板(sound board)获得。
然后输入信号102被传递经过波带分离器104，其将信号分为16个时域次波带信号Yn(Y0-Y15)。然后每个次波带由相应的噪声处理器106n(1060-10615)处理。当维持源(声音)信号时，噪声处理器起减小每个次波带中噪声信号的作用。噪声处理技术特别适合于音乐噪声的出现。然后16个噪声被处理的次波带由组合器108组合。组合器108输出对应于仅有被明显减小的噪声分量的输入信号102的输出数字音频信号110。
本发明的特定方面是输入射束102由波带分离器104分为许多频率被限制的次波带以使噪声处理在每个频带上分别进行。图2示出本发明的波带分离器200(图1，单元104)。尽管各种波带分离技术可被采用，但优选的是，使用单边带调制的通用DFT滤波器组被采用，如被描述于例如“Multirate Digital Signal Processing(多速率数字信号处理)”，Ronald E.Crochiere，Prentice Hall SignalProcessing Series(信号处理系列)，或“Multirate digitalsFilters，Filter Banks，Polyphase Networks，and Application ATutorial(多速率数字滤波器、滤波器组、多相网络和应用A指南)”，P.P.Vaidyanathan，Proceedings of the IEEE，Vol.78，No.1，1990年1月。波带分离器的目的是将输入信号分为多个有限频带，优选为16个均匀间隔的波带。本质上，波带分离一次处理例如8个输入点，导致16个输出点，每个表示每个频带一个时域采样。当然，如将为本领域的技术人员所理解的，依赖于系统的处理能力，其它量的采样可被处理。
更具体地，输入信号102被采集为8个输入点202，其被存储于表示128点输入矢量的128抽头(tap)延迟线204，其通过乘法器206被乘以128点复系数预设计滤波器208的系数。通过将乘法结果存储于128点缓冲器210并使用加法器212求第一16个点与第二16个点等的和，128复点结果矢量被折叠(fold)。被称为混叠(aliasing)序列214的折叠结果通过16点快速傅立叶变换(FFT)216被处理。FFT的输出通过乘法器218被乘以16点调制系数循环缓冲器220的调制系数。包含例如8组的16个系数的循环缓冲器，每个循环选择一个新组。乘法结果的实部分作为被请求的16点输出224被存储于实缓冲器222。将理解，尽管特定的变换被用于优选实施例，当然应理解，其它变换亦可被应用于本发明以获得次波带。
每个频率被限制的次波带Yn302(224)由相应的噪声处理器300(106n)处理。图3为对噪声处理器300之一的具体描述。每个噪声处理器都包括指数平均器304、噪声估算器308和相减处理器306。次波带信号被馈给每个这些单元，用于连续的处理。首先，依照方程1，指数平均器304产生平均输入值YAn。
YAn＝0.95*YAn+0.05|Yn(t)| (1)
用于指数平均的时间常数典型地为0.95，其可被理解为取最后20帧的平均。这个平均输入值然后被传递给噪声估算器308，随后是相减处理器306，其在以下被描述。
图4为噪声处理器308的具体描述。理论上，应通过在非语音时间间隔上取信号的长时间平均来估算噪声。这需要声音开关被用于检测语音/非语音间隔。然而，过于灵敏的开关可导致用于噪声估算的语音信号的使用，其将降级声音信号。另一方面，较不灵敏的开关可明显减小噪声时间间隔的长度(特别是在连续语音的情况下)并影响噪声估算的有效性。
在本发明中，分离的自适应阈值被实施用于每个次波带402。这允许每个频率被限制的次波带中的噪声分量被单独处理。因此有可能将不灵敏的阈值用于噪声，而为每个元定位许多非语音数据点，即使是在连续语音的情况下。这种方法的优点是，它允许为噪声的好且稳定的估算采集许多噪声段，即使是在连续的语音段中。
在阈值确定过程中，对于每个次波带，两个最小值被计算。将来最小值用当前值|Yn(t)|(Y的绝对值)在404处每5秒初始化一次，并通过以下过程在接下来的5秒内用较小的最小值替换。每个波带的将来最小值被与信号的当前值比较。如果当前值小于将来最小值，则将来最小值被用该值替换，其成为新的将来最小值。
同时，当前最小值在406处被计算。当前最小值被用在先前5秒内确定的将来最小值每5秒初始化一次，并通过比较它的值与当前值，在接下来5秒遵循信号的最小值。当前最小值由相减过程使用，而将来最小值被用于初始化和更新当前最小值。
本发明的噪声估算机理确保了以有限的存储器需要(5秒)进行对噪声值的紧密(tight)且快速的估算，而防止了对噪声的过高估算。
每个次波带的值|Yn(t)|通过比较器408被与那个次波带当前最小值的四倍进行比较，该比较器起到那个次波带的自适应阈值的作用。如果值在该范围内(因此在阈值以下)，它被允许作为噪声并被指数平均单元410使用，其确定那个次波带的噪声Nn412的水平。如果值在阈值以上，则该值被舍弃(即，它不被用于噪声估算)。用于指数平均的时间常数典型地为0.95，其可被理解为取最后20帧的平均。对于一些应用，4*最小值的阈值可被改变。
图5为相减处理器500(306)的具体描述。在直接方法中，所估算的次波带噪声的值从当前平均输入值被减去。在本发明中，该相减被理解为由滤波器Hn(滤波系数)进行的滤波乘法。依照方程2，Hn由滤波计算器504计算。Hn=YAn-NnYAn---(2)]]>
其中YAn为由指数平均器304计算的次波带n的当前平均值。Nn为由噪声估算器308计算的次波带n的当前估算噪声。
滤波器Hn然后通过调节/限制运算被处理以确保适当的滤波器值被使用。这些运算由H指数平均器506和最小H限制器508进行。首先，如果YAn小于估算噪声Nn的两倍，则依照方程3，滤波器由指数平均器506进行指数平均。
Hn(t)＝0.9 5*Hn(t-1)+0.05Hn(t) (3)
这种运算在信号不明显高于噪声的周期内平滑了滤波器。当没有声音存在并且音乐噪声最有可能出现并干扰时，情况是这样的。平滑过程将消除这种音乐噪声。第二运算为硬限制阈值，其中如果Hn小于0.3，则最小H限制器508设定Hn＝0.3。对于当噪声相对于信号特别强时，这有效地设定了最小滤波器水平。这两个运算均是改进，其被设计从而以被减少的假象来增强滤波性能并提供优于相关领域处理技术的相应的优点。
然后输入次波带502(302)在逐点的基础上被乘以相应的滤波系数Hn以产生输出噪声被处理的次波带510(310)。
图6示出本发明的组合器600(图1，108)，其与上述次波带分离技术是对称的，即相反的。在此的目的是将噪声被处理的信号的16个有限频带组合为一个宽带输出。该过程经过逆快速傅立叶变换(IFFT)过程，但输入和输出两者均为时域信号。示例实施例的组合单元处理每个表示每个频带1个时域采样的16个输入点602(510、310)，导致宽带信号的8个输出点604。当然，本领域的技术人员将容易理解，其它量的采样输入点可用于本发明。
更具体而言，新的16个输入点602通过乘法器606被乘以16点解调滤波系数，该系数被存储于包含例如8组的16个系数的解调系数循环缓冲器608，其中每个循环选择一个新组。该结果通过16点IFFT610或任何等效变换被处理，并且这个IFFT的结果通过复制16点数据8次而被提取为128个复点。被存储于缓冲器612的128点结果矢量通过乘法器614被乘以由预设计复滤波器616产生的128点复系数并被存储于实缓冲器618。该结果的实部分由加法器620求和为128点循环历史缓冲622，在其中最老的8个点被当作结果604并且为组合过程接下来的迭代，在缓冲器622中被用零替换。
将理解，本发明以与8个一样少的数据点202的组在连续的基础上处理输入数据。这提供了优于相关技术系统的处理能力的优点，所述相关技术系统在频域中进行处理并且在进行FFT处理之前必须等到足够的数据点例如1024个被累积。因此，本发明消除了大量在其它相关技术系统中固有的等待时间。
有了本发明，次波带噪声相减系统被提供，其具有简单而有效的机构以估算噪声，即使是在差的信噪比情况下和在连续快速语音的情况下。提供了一个有效机构，其以小成本进行幅度估算并将克服处理等待时间的问题。提供了稳定的机构以估算噪声并防止音乐噪声的生成。
本发明的噪声处理技术可被与阵列技术、近谈话话筒技术一起使用或用作独立系统。作为独立系统、作为其它实施算法如自适应射束形成的一部分、或作为使用从声音端口获得的数据在PC上运行的固件应用，本发明的噪声相减可被实施于所实施的硬件(DSP)中。
将理解，本发明亦可被用作软件应用，优选地使用C或其它任何编程语言来编写，其可被实施于例如可编程存储器芯片上或被存储于计算机可读介质如，例如光盘上，并从其取回以驱动计算机处理器。
将理解，尽管特定值被用于在本发明中采用的几个方程和计算，这些值可不同于所示的值。
尽管本发明的优选实施例及其修改已在此被具体描述，应理解，本发明不局限于那些明确的实施例和修改，并且其它修改和变化可由本领域的技术人员实现，而不背离如由随后的权利要求所限定的本发明的精神和范围。