用于处理音频信号的方法和音频接收电路.pdf

上传人:111****11 文档编号:664794 上传时间:2018-03-02 格式:PDF 页数:36 大小:3.17MB
返回 下载 相关 举报
摘要
申请专利号:

CN201410200217.7

申请日:

2014.05.13

公开号:

CN104158990A

公开日:

2014.11.19

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):H04M 9/08申请日:20140513|||公开

IPC分类号:

H04M9/08

主分类号:

H04M9/08

申请人:

英特尔IP公司

发明人:

C·叶姆基; L·勒保卢; C·博热昂; N·埃文斯

地址:

美国加利福尼亚

优先权:

2013.05.13 US 13/892,420

专利代理机构:

永新专利商标代理有限公司 72002

代理人:

王英;张立达

PDF下载: PDF下载
内容摘要

本发明描述了用于处理音频信号的方法和音频接收电路,该音频信号接收方法包括:经由包括第一麦克风的第一接收路径接收第一音频信号;经由包括第二麦克风的第二接收路径接收第二音频信号;并且基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制。

权利要求书

1.  一种用于处理音频信号的方法,包括:
经由包括第一麦克风的第一接收路径接收第一音频信号;
经由包括第二麦克风的第二接收路径接收第二音频信号;
基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制。

2.
  如权利要求1所述的方法,进一步包括经由一个或多个其它的接收路径接收一个或多个其它的音频信号,并且基于所述第一音频信号、所述第二音频信号和所述一个或多个其它的音频信号来执行所述第一音频信号的回声抑制。

3.
  如权利要求2所述的方法,其中,每一个其它的接收路径包括其它的麦克风。

4.
  如权利要求1所述的方法,其中,所述麦克风是相同通信设备的一部分。

5.
  如权利要求1所述的方法,其中,基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制包括:基于所述第一音频信号和所述第二音频信号来确定回声抑制增益并且基于所确定的回声抑制增益来执行所述第一音频信号的回声抑制。

6.
  如权利要求1所述的方法,包括基于所述第一音频信号与所述第二音频信号的比较来执行所述第一音频信号的回声抑制。

7.
  如权利要求6所述的方法,包括确定表示所述第一音频信号和所述第二音频信号之间的电平差的值并且基于所述值来执行所述第一音频信号的回声抑制。

8.
  如权利要求7所述的方法,其中,所述电平差是功率电平差、电压电平差或能量电平差。

9.
  如权利要求7所述的方法,将所述电平差与阈值进行比较并且基于比较的结果来执行所述第一音频信号的所述回声抑制。

10.
  如权利要求6所述的方法,包括基于比较的结果来检测双端通话情景。

11.
  如权利要求1所述的方法,其中,执行回声抑制包括自适应回声滤波。

12.
  如权利要求11所述的方法,其中,基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制包括:基于所述第一音频信号和所述第二音频信号来设置回声滤波的适应性。

13.
  如权利要求1所述的方法,其中,执行回声抑制包括回声后滤波。

14.
  如权利要求1所述的方法,其中,基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制包括:基于所述第二音频信号来确定滤波器系数并且使用所述滤波器系数来对所述第一音频信号进行滤波。

15.
  如权利要求1所述的方法,其中,基于所述第一音频信号和所述第二音频信号来执行回声抑制包括:基于第一接收到的音频信号和第二接收到的音频信号来确定回声抑制增益,并且基于第一接收到的音频信号和所述回声抑制增益来对回声抑制进行滤波。

16.
  一种其上具有记录的指令的计算机可读介质,所述指令在由处理 器执行时使所述处理器执行根据权利要求1到15中的任意一项的用于执行无线电通信的方法。

17.
  一种音频接收电路,包括:
第一接收路径,包括配置为接收第一音频信号的第一麦克风;
第二接收路径,包括配置为接收第二音频信号的第二麦克风;
回声抑制电路,配置为基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制。

18.
  如权利要求17所述的音频接收电路,包括配置为接收一个或多个其它的音频信号的一个或多个其它的接收路径,其中,所述回声抑制电路配置为基于所述第一音频信号、所述第二音频信号和所述一个或多个其它的音频信号来执行所述第一音频信号的回声抑制。

19.
  如权利要求18所述的音频接收电路,其中,每一个其它的接收路径包括其它的麦克风。

说明书

用于处理音频信号的方法和音频接收电路
技术领域
本公开涉及用于处理音频信号的方法和音频接收电路。
背景技术
在物理学中,可以将回声定义为由其周围环境中的波的反射所产生的复制。这样的现象会在语音远程通信中发生。在电话终端中,声学回声是由于扬声器和终端的麦克风之间的耦合。结果,电话的麦克风不仅包含有用的语音信号,而且还包含回声。如果没有在麦克风路径上执行处理,则回声信号以及近端语音信号被传输到远端扬声器,并且远端扬声器听到他/她自己的话音的延迟版本。当回声信号的电平为高时且当原始信号和其回声之间的延迟为高时,由于听到他/她自己的话音而产生的烦恼增加。
为了保证良好的语音质量,可以在能够发生传输之前在麦克风路径上实现一些处理。近年大量地研究了声学回声消除算法。声学回声消除的方案可以包括自适应滤波器,后面是回声后滤波器。自适应滤波器产生声学路径的复制。这一回声路径估计然后用于估计由麦克风拾取的回声信号。实际上,自适应回声消除(AEC)的性能被环境噪声和/或近端语音信号的存在干扰。为了限制这样的干扰对AEC的影响,可以使用双端通话检测器(DTD)和/或仅噪声检测器。
双端通话检测器可能典型地相当复杂。情景分类算法可以例如利用语音存在概率和/或信号相干性。DTD的典型使用在于在双端通话(DT)时段(双端通话时段指代其间远端和近端扬声器都是活动的时段)期间冻结AEC的适应性。然而,即使在使用DTD的情况下,一些残余回声典型地存在于自适应滤波器的输出端处。后滤波器可以用于使回声变得不可闻。回声后滤波器可以由应用于来自自适应回声消除的误差信号的衰减增益构成。为了更好的双端通话性能,能够在子带或频域中计算这一衰减。然而,单通道回声消除的性能仍然受限,特别是在免提配置中,对于免提配置, 近端与回声比为低。这一受限的性能会导致在双端通话时段期间在经处理的近端语音信号中的高失真并且因此导致差的通信质量。在仅回声时段期间的回声抑制和在DT时段期间的近端语音的低电平失真之间可以产生折衷。在低的近端与回声比的情况下提高语音质量的方案可以基于用于回声处理的多个麦克风的使用。
进而,可以使用基于波束成形方案的多通道回声消除,以便在低的近端与回声比的情况下提高语音质量。
回声后滤波或回声抑制的有效方法仍然是期望的。
发明内容
提供一种用于处理音频信号的方法,包括:经由包括第一麦克风的第一接收路径接收第一音频信号;经由包括第二麦克风的第二接收路径接收第二音频信号;并且基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制。
进而,提供一种根据上述方法的用于处理音频信号的音频接收电路。
附图说明
在附图中,类似的附图标记通常在不同的视图中指代相同的部件。附图不一定按比例绘制,相反通常强调说明本发明的原理。在下面的描述中,参照下面的附图来描述各种方面,在附图中:
图1示出了配备有一个扬声器和两个麦克风的示例。
图2示出了具有用于换能器配置的示例的移动终端。
图3示出了与位于如图1所述的系统的声源和换能器之间的物理交互相匹配的信号模型的示意性表示。
图4示出了根据在HF(免提)模式中执行的示例性测量位于扬声器和麦克风之间的声学路径的频率响应。
图5示出了根据在HF模式中执行的示例性测量位于人造头部的嘴部和麦克风之间的频率响应。
图6示出了在HF模式中的示例性情景中记录的麦克风信号的光谱图。
图7示出了说明用于处理音频信号的方法的流程图。
图8示出了音频接收电路。
图9示出了包括自适应滤波器部分的回声消除(或抑制/处理)电路,该自适应滤波器部分包括跟随有回声后滤波器的一个自适应滤波器。
图10示出了包括自适应滤波器部分的回声消除电路,该自适应滤波器部分包括跟随有回声后滤波器的一个自适应滤波器。
图11示出了包括双端通话检测器的误差消除电路。
图12示出了说明标准化功率电平差(PLD)的值分布的图。
图13示出了过高估计因子设置函数的给定示例的图。
具体实施方式
下面的详细描述参照通过说明的方式示出其中可以实践本发明的本公开的具体细节和方面的附图。可以利用其它方面,并且在不偏离本发明的范围的情况下,可以做出结构、逻辑和电气改变。本公开的各种方面不必是相互排他的,因为可以将本公开的一些方面与本公开的一个或多个其它方面进行组合以便形成新的方面。
用于提高移动终端中的语音质量的方案可以包括多麦克终端的使用。多麦克风终端隐含地提供关于近端声学环境的空间信息。例如,对来自双麦克风移动终端的麦克风信号的观察表明,根据当前是否存在仅回声、双端通话或仅近端时段,存在明显的电平差。
如下面进一步描述的,为了提高的回声消除目的,可以利用这一电平差。
图1示出了配备有一个扬声器101和两个麦克风102、103的终端100的示例。
术语“扬声器”可以指代耳机和免提扬声器。
可以将麦克风观察中的一个考虑为主要观察并且将另一个麦克风观察考虑为辅助观察。如图1所示,远端扬声器话音由扬声器101播放到近端扬声器104。这一扬声器信号的一部分可以在近端环境105中反射并且可以稍后被两个麦克风102、103拾取作为回声106。扬声器101和每一个麦克风之间的耦合可以限定一个声学路径:针对两个麦克风102、103的两个声学路径。每一个麦克风102、103(具有可能的随后处理部件)形成接收路 径。
麦克风102、103可以记录近端扬声器话音或语音信号107并且最终记录背景噪声108。近端扬声器话音107也可以在被麦克风102、103拾取之前在环境105中反射。因为两个麦克风102、103可能不一定被放置在相同的位置处,因此可能必须对近端扬声器和每一个麦克风之间的声学路径进行建模。应该认识到,图1并不提供麦克风的位置的限制性示例,而且麦克风102、103可以被不同地放置在终端100上。
图2中给出了用于换能器的定位的示例。术语“换能器”指代扬声器和麦克风二者。
图2示出了移动终端201、202。
第一移动终端201具有底部-底部配置,其中麦克风203、204都被放置在电话的底部处且距离扬声器205大致是等距的。
第二移动终端202具有底部-顶部配置,其中麦克风205、206被放置为使得一个麦克风相当接近扬声器207而另一麦克风相当远离扬声器207。
在底部-顶部配置中,将较接近扬声器207的麦克风206称为辅助麦克风,而将较远离扬声器的麦克风称为主要麦克风。应该注意,辅助麦克风和/或主要麦克风也可以布置在移动终端202的后侧处。进而,免提扬声器可以布置在移动终端201、202的后侧处。
移动终端201、202可以是配备有一个扬声器和两个或更多个麦克风的远程通信终端。
进而,下面的功能和方案也可以应用于也可能经历回声的其它通信设备,例如膝上型或平板计算机。
图3中说明了双通道(DC)回声问题的信号模型。
图3示出了与如在图1中描述的系统的声源和换能器之间的物理交互相匹配的信号模型的示意性表示,说明了如何对主要麦克风信号和辅助麦克风信号进行建模。
主要麦克风信号300和辅助麦克风信号301由麦克风102、103提供,并且分别由yp(n)和ys(n)表示。信号dp(n)302和ds(n)303表示分别由主要麦克风102和辅助麦克风103拾取的回声信号。这两个信号都由扬声器101的扬声器信号x(n)304生成,其中hp|s(n)由说明扬声器101和相应的麦克风 102、103之间的声学路径的卷积块305、306表示。
信号sp(n)307和信号ss(n)308表示分别由主要麦克风102和辅助麦克风103拾取的近端语音信号。这两个信号都由近端语音信号s(n)309(或107)生成,其中gp|s(n)由说明近端扬声器101和主要麦克风102或辅助麦克风103之间的声学路径的卷积块310、311表示。
主要麦克风信号yp(n)300由通过加和块312提供的sp(n)307和dp(n)302的和给出。辅助麦克风信号ys(n)301由通过加和块313提供的ss(n)308和ds(n)303的和给出。
关于图3中的信号模型,可以导出下面的等式:yp(n)=gp(n)*s(n)+hp(n)*x(n)
A                                        等式(1)
ys(n)=gs(n)*s(p)+hs(n)*x(n)     等式(1)
其中:
●x(n)是扬声器信号304,
●yp|s(n)分别表示主要麦克风信号300或辅助麦克风信号301。它们包括回声信号和近端语音信号。
●hp|s(n)305、306表示扬声器101和主要麦克风102或辅助麦克风103之间的声学路径。
●s(n)309是近端扬声器信号。
●gp|s(n)310、311表示近端扬声器104和主要麦克风102或辅助麦克风103之间的声学路径。
●*表示卷积操作。
应该注意,在下文中,也使用附标1、2来代替p、s(都作为上标和下标,这两个使用分别表示对主要麦克风和辅助麦克风或接收路径的指代)。
为了查验图3中说明的信号模型,可以执行针对耳机和免提模式二者使用双麦克风设备记录的信号的分析。将来自移动设备的记录与来自样机(mock-up)电话的记录进行比较,用于信号模型的验证和查验。
记录的分析允许研究麦克风信号之间的电平差。可以将信号的电平测量为其幅度、能量或功率。在下文中,使用功率谱密度。在下文中,主要麦克风指代放置得距离扬声器更远,即,在仅回声时段期间具有较少功率,的麦克风。将主要麦克风和辅助麦克风的功率谱密度分别表示为。附标k和i分别表示帧和频率二元附标。
免提情况
在下文中,示出了在不同的声学环境(工作间、办公室、会议室)中利用样机电话的脉冲响应的测量结果。样机电话配备有一个扬声器和两个麦克风。将麦克风放置在电话的相对角处。将扬声器放置为稍微靠近麦克风之一。具有嘴部模拟器的人造头部用于模拟近端扬声器。使用电话的两个不同位置:一个位置是将电话放置在人造头部的嘴部正前方30cm处,另一位置是将电话放置在桌上。在所有记录中,将电话放置为使得电话的两个麦克风大致在人造嘴部的相等距离处。
图4示出了根据针对主要麦克风的第一曲线401和针对第二麦克风的第二曲线402中的示例性测量在扬声器和麦克风之间的声学路径的频率响应。可以看到,对于每一个麦克风,由麦克风接收的扬声器信号没有被声学环境相等地衰减。这暗示在仅回声时段期间,辅助麦克风上的信号的功率将高于主要麦克风上的信号的功率。
图5示出了根据针对主要麦克风的第一曲线501和针对第二麦克风的第二曲线502中的示例性测量在人造头部的嘴部和麦克风之间的声学路径的频率响应。可以看到,这两个频率响应非常相似。这些相似性可以由与人造头部的嘴部相比较的麦克风的位置进行解释。图4和图5一起示出:
●在仅回声时段期间,主要麦克风上的信号的PSD低于辅助麦克风上的信号的PSD。
Φy1y1(k,i)<<Φy2y2(k,i)]]>     等式(2)
●在仅近端时段期间,这两个麦克风信号的PSD大致相等
Φy1y1(k,i)&ap;Φy2y2(k,i)]]>       等式(3)
●通过内插,可以说,在双端通话时段期间,主要麦克风功率将低于辅助麦克风功率。然而,在双端通话情况中观察到的功率电平差(PLD)将明显小于在仅回声中观察到的。
如上所述,k是时间或帧附标,而i是频率附标。
在下文中,讨论在耳机位置中麦克风信号的工作情况。为此,考虑具有一个扬声器和如在移动终端201的情况中放置在终端的相对角处的两个 麦克风的移动电话。
图6示出了在这样的情景中记录的麦克风信号的光谱图601、602。
高强度点指示高能量:颜色越暗,在该点处的功率就越高。图6中说明的麦克风信号由跟随有仅回声时段(~9s到结束)的仅近端时段(从0到~9s)构成。基于光谱图601、602,可以看到下面的内容:
●在仅近端时段期间,与辅助麦克风上的信号的PSD相比较,主要麦克风上的信号的PSD非常高。
Φy1y1(k,i)>>Φy2y2(k,i)]]>         等式(4)
●在仅回声时段期间,主要麦克风上的信号的PSD低于辅助麦克风上的信号的PSD。
Φy1y1(k,i)<<Φy2y2(k,i)]]>      等式(5)
●通过内插,可以看到在双端通话时段期间,主要麦克风的PSD低于辅助麦克风的PSD。然而,在双端通话情况中观察到的差值明显小于在仅回声中观察到的。
从麦克风信号的分析中可以看到,对于免提和耳机这两种情景,在仅回声时段期间,
Φy1y1(k,i)<<Φy2y2(k,i)]]>      等式(6)
这一PSD差值主要是由于终端上麦克风的位置,并且不是非常依赖于声学环境。实际上,只要使用配备有具有按照底部-顶部配置放置的换能器的两个麦克风的终端,在仅回声时段中,主要麦克风的电平就将总是低于辅助麦克风的电平。将换能器按照底部-顶部配置进行放置可以被看作在移动设计中引入的约束,然而这一约束仍然给设计者留下一些自由度。
因此,对于麦克风的底部-顶部配置,可以观察到下面的不同情景:
-仅回声:这里,作为源的扬声器接近辅助麦克风。结果是辅助麦克风电平高于主要麦克风的电平。这对于耳机和免提二者都适用。
-仅近端:
○耳机:近端扬声器的嘴部在主要麦克风附近。结果,主要麦克风电平高于辅助麦克风的电平。
○免提:近端嘴部远离两个麦克风并且可以假设处于距离麦克风的相 等距离处。典型地,这两个麦克风具有相等的电平。然而,由于HF扬声器和辅助麦克风的接近度,在仅回声时段期间,辅助麦克风电平高于主要麦克风的电平。
-双端通话:通过从仅回声和仅近端功率差进行外插,可以推断出,在DT期间,取决于信号与回声比并且取决于通信终端是免提还是耳机配置,在两个麦克风之间存在电平差。然而,由于近端语音的存在,在DT期间观察到的功率差将不如在仅回声中观察到的功率差一样极端。
在下文中,描述了用于处理音频信号的方法,可以例如基于上面描述的功率差来执行回声抑制。例如,可以使用基于不同麦克风的功率差的DT检测规则或回声抑制增益规则。可以将上述方案看作是基于硬件的,因为主要利用麦克风在通信终端上的位置。
图7示出了流程图700。
流程图700说明了用于处理音频信号的例如由音频处理电路执行的方法。
在701,音频接收电路经由包括第一麦克风的第一接收路径接收第一音频信号。
在702,音频接收电路经由包括第二麦克风的第二接收路径接收第二音频信号。
在703,音频接收电路基于所述第一音频信号和所述第二音频信号执行所述第一音频信号的回声抑制。
换句话说,基于如经由不同的接收路径接收到的音频信号的两个版本,例如借助于不同的麦克风,执行针对音频信号的回声抑制或消除。例如,双端通话检测和/或回声抑制规则可以基于经由两个接收路径接收到的音频信号,例如基于这些信号的功率电平差。
换句话说,可以利用不同麦克风之间的电平差。可以将信号的电平测量或计算为其能量幅度或功率。例如,麦克风信号功率谱密度(PSD)可以用作信号电平,但是也可以使用信号能量。主要麦克风和辅助麦克风的PSD在下面的示例中分别被表示为,其中k和i分别表示帧和频率二元附标。
第一音频信号和第二音频信号可以分别包括期望音频信号(例如,语 音输入)、输出信号(例如,扬声器信号)和噪声的组合。由第一音频信号的回声抑制产生的信号可以具有被抑制的回声(例如,来自输出信号),并且可以类似于期望信号。
该方法可以进一步包括经由一个或多个其它的接收路径接收一个或多个其它的音频信号(例如,每其它的接收路径一个其它的音频信号)并且基于该第一音频信号、第二音频信号以及一个或多个其它的音频信号来执行第一音频信号的回声抑制。
例如,每一个其它的接收路径包括其它的麦克风。
麦克风例如是相同通信设备的一部分(例如,容纳诸如在图8中说明的音频处理电路800的音频处理电路)。
基于第一音频信号和第二音频信号来执行第一音频信号的回声抑制可以包括基于第一音频信号和第二音频信号来确定回声抑制增益并且基于所确定的回声抑制增益来执行第一音频信号的回声抑制。
该方法可以包括基于第一音频信号与第二音频信号的比较来执行第一音频信号的回声抑制。
例如,该方法包括确定表示第一音频信号和第二音频信号之间的电平差的值并且基于该值来执行第一音频信号的回声抑制。
电平差例如是功率电平差、电压电平差或能量电平差。
该方法可以包括将电平差与阈值进行比较并且基于比较的结果来执行第一音频信号的回声抑制。
该方法可以包括基于比较的结果来检测双端通话情景。
执行回声抑制例如包括自适应回声滤波。
基于第一音频信号和第二音频信号来执行第一音频信号的回声抑制例如包括基于第一音频信号和第二音频信号来设置回声滤波的适应性。
执行回声抑制例如包括回声后滤波。
基于第一音频信号和第二音频信号来执行第一音频信号的回声抑制可以例如包括基于第二音频信号来确定滤波器系数并且使用该滤波器系数来对第一音频信号进行滤波。
基于第一音频信号和第二音频信号来执行回声抑制可以例如包括基于第一接收到的音频信号和第二接收到的音频信号来确定回声抑制增益并且 基于第一接收到的音频信号和回声抑制增益来对回声抑制进行滤波。
图7中说明的方法例如由如图8中说明的音频接收电路(例如是诸如移动终端的通信设备的一部分)执行。
图8示出了音频接收电路800。
音频接收电路800包括第一接收路径801和第二接收路径802,第一接收路径801包括配置为接收第一音频信号的第一麦克风802,并且第二接收路径802包括配置为接收第二音频信号的第二麦克风804。
音频接收电路800进一步包括配置为基于第一音频信号和第二音频信号来执行第一音频信号的回声抑制的回声抑制电路805。
应该注意,在图7中说明的用于处理音频信号的方法的背景中描述的实施例对于音频接收电路800类似地有效,并且反之亦然。
音频接收电路的部件(例如,接收路径和回声抑制电路)可以例如由一个或多个电路实现。“电路”可以被理解为任何种类的逻辑实现实体,其可以是专用电路或执行存储在存储器中的软件、固件、或其任何组合的处理器。因而,“电路”可以是硬连线逻辑电路或诸如可编程处理器的可编程逻辑电路,例如微处理器(例如复杂指令集计算机(CISC)处理器或精简指令集计算机(RISC)处理器)。“电路”也可以是处理器执行的软件,例如任何种类的计算机程序。可以将下面更详细描述的相应功能的任何其它种类的实现理解为“电路”。
在下文中,给出了根据在图7中说明的方法用于双通道终端中的回声消除的示例。在下面的示例中,回声消除由跟随有回声后滤波的自适应滤波构成,如在图9中说明的。在下文中解释每一个回声消除模块的选择和位置。
图9示出了回声消除(或回声抑制)电路900。
回声消除电路900包括自适应滤波器部分,该自适应滤波器部分包括两个自适应滤波器901、902(每麦克风路径一个自适应滤波器),后面是回声后滤波器903。
回声消除电路900处理从声源(即,近端语音905、噪声907、引起回声906的扬声器909的信号)和换能器(即,扬声器909和两个麦克风908、910)的系统904接收的音频信号。系统904可以与图1的系统100相对应, 并且可以由如图3中说明的信号模型表示。
对于每一个麦克风908、910,可以认为回声的效果与在SC回声消除中的相同。因此,对于每一个麦克风信号yp|s(n)911、912,回声信号913、914的估计可以通过使用自适应滤波器901、903来获得,与在SC情况中的相同。
应该注意,可以应用任何自适应回声消除处理,例如,任何自适应回声消除算法。例如,LMS(最小均方)或NLMS(标准化LMS)算法可以用于估计回声信号。
出于相同的原因,在SC情况中,一些残余回声会存在于声学回声消除(AEC)的输出端处的误差信号ep|s(n)915、916中。误差信号ep|s(n)915、916可以通过由相应的加和块917、918提供的、麦克风信号yp|s(n)911、912和回声信号913、914的相应估计之间的差值来获得。后滤波器903可以用于实现进一步的回声抑制。后滤波器903可以包括滤波器更新块919和回声后滤波块920。滤波器更新块919基于ep|s(n)915、916和扬声器909的扬声器信号x(n)922来产生输出921。例如在图9中,将这一输出921和ep(n)915输入到回声后滤波块920中以便给出回声抑制信号(或)923。
电路900可以被看作是图8的音频接收电路800的示例。
在下文中描述的示例中,使用DC回声处理,以便使用仅应用于一个麦克风路径的回声后滤波器来输出近端语音信号的估计。AEC要求大量存储器和高计算能力。因此,通过使用一个AEC而不是两个AEC,可以降低电路800的计算复杂度。这在图10中进行说明,其中将辅助麦克风直接输出到回声后滤波器。按照这种方式,能够将计算复杂度保持为低。
图10示出了包括自适应滤波器部分的回声消除电路1000,该自适应滤波器部分包括跟随有回声后滤波器1002的一个自适应滤波器1001。
电路1000仅使用一个自适应回声滤波器来回声消除地处理音频信号。电路1000从声源(即,近端语音1004、扬声器1007的信号和噪声1006)和换能器(即,扬声器1007和两个麦克风1008、1009)的系统1003接收音频信号。系统1003可以与附图的系统100相对应,并且可以由如图3中说明的信号模型表示。
在图10中,可以通过由加和块1011提供的、主要麦克风信号y1(n)1013 和回声信号1012的估计之间的差值来获得误差信号e1(n)1010。可以通过使扬声器信号x(n)1014经过自适应滤波器1001来获得回声信号1012的估计。后滤波器1002可以用于实现进一步的回声抑制。后滤波器1002可以包括滤波器更新块1015和回声后滤波块1016。滤波器更新块1015基于e1(n)1010、辅助麦克风信号y2(n)1018和扬声器1007的扬声器信号x(n)1014产生输出1017(例如,回声后滤波增益W(k,i))。例如在图10中,将这一输出1017和e1(n)1010输入到回声后滤波块1016中以便给出回声抑制信号,其也可以被理解为近端语音信号s(n)1004的估计。应该注意,滤波器更新块1015可以等效于如图9中示出的滤波器更新块919。
电路1000可以例如与图8的电路800相对应。
通常,电路1000可以按照与图9的电路900类似的方式起作用,除了在电路1000中仅使用一个自适应滤波器1001以外。仅使用一个自适应滤波器1001可以降低多通道回声后滤波器的计算复杂度。
可以将电路900、1000扩展到多通道m。在多通道中包括多个接收路径。
在下面的示例中,执行频域回声后滤波。在SC情况中,频域回声后滤波器目的在于估计近端语音信号。为此,SC回声后滤波器使用其输入信号(扬声器和麦克风信号)来计算衰减增益。然后将这一衰减增益应用于频域中的麦克风路径以便完全抑制残余回声。
在电路900、1000中,回声抑制仅应用于主要麦克风路径。这意味着可以仍然使用现有的SC回声抑制增益规则。增益规则的计算可能通常要求残余回声PSD和近端PSD的估计。例如,可以使用下面的增益规则:
W1(k,i)=ΦSpSp(k,i)ΦSpSp(k,i)+ΦD~pD~p(k,i)]]>       等式(7)
W2(k,i)=SER(k,i)1+SER(k,i)]]>       等式(8)
其中,是近端语音的PSD,是主要麦克风(存在于ep中)处的残余回声的PSD,并且是主要麦克风处的信 号与回声比(SER)。
上面的等式在数学上是等效的。然而,它们的实际实现并不一定导致相同的结果和语音质量。这是因为,估计PSD或SER的手段不一定是在数学上等效的。SER可以例如通过下面的Ephraim和Malah形式体系来计算:
SER(k,i)=β.|S1(k,i)|2ΦD~1D~1(k,i)+(1-β).max[SERpost(k,i),0]SERpost(k,i)=|E1(k,i)|2ΦD~1D~1(k,i)-1.]]>      等式(9)
这些等式给出仅要求残余回声PSD的估计而不要求如对W1(k,i)的情况的残余回声和近端PSD的估计的SER估计的示例。
如上所述,取决于有源声源(远端扬声器或近端扬声器),能够观察(主要麦克风和辅助麦克风的)接收路径之间的功率电平差。在下文中,使用利用双端通话检测器(DTD)的示例,该双端通话检测器(DTD)利用PLD。这在图11中进行说明。
图11示出了回声消除电路1100。
与回声消除电路1000类似,回声消除电路1100从系统1103接收音频信号,包括自适应滤波器1101以及具有滤波器更新块1115和回声后滤波块1116的后滤波器1102。
进而,回声消除电路1100包括双端通话检测器1120,其接收误差信号e1(n)和辅助麦克风信号y2(n)1018并且基于这些信号来执行双端通话检测。双端通话检测器1120也可以执行这些信号之间的PLD的确定,并且可以向滤波器更新块1115和/或自适应滤波器1101提供PLD以及双端通话检测的结果,并且因而控制这些模块中的一个或两个。
上面示出了可以在仅回声时段中观察麦克风信号之间的功率电平差:
Φy1y1(k,i)<<Φy2y2(k,i).]]>       等式(10)
因此,在这一示例中,双端通话检测器1120在得到每一个麦克风信号的PSD之后计算PLD的度量并且针对DTD使用它。可以经过不同的方式获得PLDΔΦPLD(k,i):
-给出关于麦克风信号之间的电平差的解释,可以按照下面来定义 PLD:
ΔΦPLD(k,i)=Φy1y1(k,i)-Φy2y2(k,i)]]>       等式(11)
-可以将可选PLD定义为:
ΔΦPLD(k,i)=Φy1y1(k,i)-BiasComp×Φy2y2(k,i)]]>      等式(12)
这一PLD包括额外的参数BiasComp,其能够补偿可能存在于硬件中的每一个麦克风的增益之间的任何偏差或不匹配。因而,BiasComp是用于放大或衰减辅助麦克风通道的调整因子。
-可以将这一PLD的标准化版本定义为:
ΔΦPLD(k,i)=Φy1y1(k,i)-Φy2y2(k,i)Φy1y1(k,i)+Φy2y2(k,i)]]>       等式(13)
这一PLD定义具有在-1和+1之间的值。标准化允许避免依赖于扬声器话音水平或扬声器信号电平和音量。可以通过使用如在上面的可选PLD中的偏差补偿器来定义这一标准化PLD的另一变形。
-进而,可以在来自AEC的误差信号和辅助麦克风之间定义PLD。如果在自适应滤波之后进行测量,则主要麦克风路径和辅助麦克风路径之间的电平差值甚至更加突出,假设AEC不放大我们可以更好地聚焦于DT时段的回声:
Φe1e1(k,i)Φy1y1(k,i)&DoubleRightArrow;Φe1e1(k,i)<<Φy2y2(k,i)]]>       等式(14)
给出这一观察,可以可选地在频域中按照下面来定义标准化PLD(NPLD):
ΔΦPLD(k,i)=Φe1e1(k,i)-Φy2y2(k,i)Φe1e1(k,i)+Φy2y2(k,i).]]>         等式(15)
AEC目的在于消除由主要麦克风拾取的回声信号。由此得到,误差信号的功率必定低于或等于麦克风信号的功率。如在上面的等式中定义的PLD被标准化(即,具有在-1和+1之间的值)并且利用AEC来甚至更多地突出辅助麦克风路径和主要麦克风路径之间的功率差。
在下文中,基于等式(15)的定义来解释PLD的使用。然而,也可以使用如上所述的其它PLD定义。
如上面提及的,标准化允许避免依赖于扬声器话音水平并且使用包括 在-1和1之间的量。
在图12中说明了标准化PLD的值分布。
图12示出了图1201、1202。
第一个图1201说明了如上面针对耳机情况定义的标准化PLD的值。
第一个图1202说明了如上面针对免提情况定义的标准化PLD的值。
在表1中总结了PLD的典型值。

表1:标准化PLD的典型值
由此可以看到,通过对PLD值应用阈值,能够区分仅回声时段:

其中Φth(i)是阈值。
阈值Φth(i)例如被选择为在-0.9和-0.99之间。阈值针对所有频率带或频带不必具有相同的值。可以使用任何常规的语音活动检测器来检测远端语音活动。一个简单的语音活动检测器在于对扬声器能量设定阈值。
双端通话检测可以用于提高语音质量输出。例如,双端通话检测器1120作为可以用于AEC和/或回声后滤波的控制模块进行操作。
可以例如在自适应(AEC)滤波器1101内使用关于双端通话检测的结果的信息以便在检测到双端通话时冻结适应性,即,将步长(可以是可变的或固定的)μ(n)设置为0。在这一示例中,双端通话检测器1120在频域中进行操作。然而,基于PLD通过做出针对一组频率或频带的双端通话决策来执行可选的双端通话检测。下面的等式是基于PLD的可选决策做出的示例:

其中,N表示感兴趣的一组频率带或频带。
这一可选的DT决策也会对产生可能与AEC的时间-频率分辨率不同的PLD的时间-频率分辨率之间的相对应性感兴趣。最后,可以经过任何语音活动检测器来检测远端语音活动。一个简单的语音活动检测器在于对扬声器能量设定阈值。
在基准线或扬声器信号上使用语音活动检测的情况下可以区分开双端通话与近端时段。基于频带的决策也会对产生可能与AEC或后滤波的时间-频率分辨率不同的PLD的时间-频率分辨率之间的相对应性感兴趣。
如在图11中说明的,双端通话检测器1120可以用于控制回声后滤波。例如,可以通过在仅回声时段期间将回声抑制增益设置到其最小值而对该回声抑制增益进行后处理(在根据我们的选择的形式体系被更新之后)。
如果ΔΦPLD(k,i)<Φth则W(k,i)=Wmin    等式(18)
这允许在仅回声时段期间实现最大回声抑制。也可以通过更新诸如在计算中要求的回声PSD的变量来使用回声后滤波器的更加间接的修改/提高。例如,在仅回声时段期间,将回声设置为等于误差信号PSD。

可以使用目的在于补偿估计误差的过高估计因子来对回声PSD估计进行加权。过高估计因子的高值导致高的回声抑制和高的近端语音失真,而小值导致相反的效果。使用基于频域的双端通话检测,可以定义两步长过高估计因子γ。它可以然后在两个值之间进行切换,取决于当前是否存在仅回声或双端通话时段。

其中γecho1
诸如上述基于双端通话检测的硬决策的硬决策系统的主要限制典型地归因于假阳性(即,当不是这种情况时检测到DT)和假阴性(当实际上是这种情况时未检测到DT)的误差。这可以利用软决策方案来克服。
上面引入的PLD度量也可以直接用于回声消除控制,即,在不执行双端通话检测的情况下。PLD的这样的使用被称为软决策控制。
为了说明如何在软决策中使用PLD,首先假设PLDΔΦPLD(k,i)具有包括在之间的值。PLD的最大值和最小值取决于所使用的PLD定义,并且被适当地选择。例如,对于标准化PLD,可以将分别设置为-1和+1。PLD可以用于通过将步长定义为PLD的函数来控制AEC的适应性。

其中f1(.)是在设计者方便时定义的函数,例如ΔΦPLD(k,i)的任何单调和递减函数。回声PSD过高估计因子也可以按照与步长类似的方式被监测:

控制函数f2(.)例如是ΔΦPLD(k,i)的单调和递减函数。图13中示出了控制函数的示例。在产品内这样的控制的典型使用例如用于将f2(.)定义为分段函数。
图13示出了给出过高估计因子设置函数f2(.)的示例的图1301、1302。
第一个图1301说明了控制函数f2(.)的第一示例,过高估计因子根据该控制函数而在-1和1之间的两个步长中递减。
第二个图1302说明了控制函数f2(.)的第二示例,过高估计因子根据该控制函数而在之间的区域中线性递减。
说明了图13中的控制函数的示例用于残余回声过高估计控制。然而,类似的函数能够用于控制在回声消除中涉及的其它量,例如步长或回声抑制增益。为了AEC的步长的正确控制,可以将这一函数选择为ΔΦPLD(k,i)的单调和递减函数。对于回声抑制增益,可以将这一函数选择为ΔΦPLD(k,i)的单调递增函数。
上面描述了麦克风信号之间的电平差如何用于检测双端通话。上面描述了按照PLD形式的这一差异的可能度量。上面的示例示出了这一PLD如何用于控制和提高AEC和残余回声抑制。例如,可以使用两种控制方法。PLD可以用于检测DT,并且DTD输出接着用于控制不同的模块,以及PLD度量可以直接用于控制回声消除模块。
当按照底部-顶部配置来放置换能器时,基于PLD的控制利用在仅回 声时段中观察到的电平差。这意味着上述方案与终端上的换能器的位置相关。给定终端,可以确保最大PLD在仅回声时段期间发生。这通过适当地选择换能器位置是可能的。例如,将辅助麦克风放置得尽可能接近扬声器,以使得这一麦克风在仅回声时段中拾取最大功率。例如将主要麦克风放置得尽可能远离扬声器,以便在仅回声时段期间具有最小电平转移。换能器的这样的定位典型地对于我们的基于PLD的DTD的使用是最佳的。
双端通话检测器1120可以在频域或子带域中以及在全带域中进行操作。子带域或频域方案可能对于检测双端通话在其处发生的特定频率或子带是有利的。双端通话检测器1120提供灵活性,因为它能够在回声后滤波器以及自适应滤波器中使用。双端通话检测器1120在频域或子带域中进行操作的事实允许避免可能由全带双端通话检测器1120创建的甚至更多的半双工通信效果。通过以特定的双端通话频率为目标,双端通话检测器1120能够在维持或甚至提高残余回声的抑制的同时帮助降低由后滤波器1116引入的近端语音失真。双端通话检测器也可以用于监测AEC,甚至在AEC使用可变步长的情况下。这帮助避免自适应滤波器的发散。
然而,在一些回声处理方案中,AEC和后滤波器可以不在相同的频域或子带域中进行操作。在这样的情况下,可以通过考虑频率带的范围或组来产生不同分辨率之间的联系。
上面描述的DTD方案与单个麦克风回声处理方案兼容。例如,对于配备有两个麦克风以及仅使用其中的一个的回声处理的通信设备,上面描述的DTD方案可以被容易地实现并且可以用于提高现有的回声处理模块(AEC和后滤波)。因而,DTD允许在不必改变整个回声处理方案的情况下获得双麦克风硬件架构的优点。
除了上述基于PLD的双端通话检测以外或者对于上述基于PLD的双端通话检测可选地,可以使用基于功率电平差的回声后滤波器(例如作为滤波器更新1115)。为此,可以使用基于PLD并且使用相对传递函数(RTE)的回声抑制增益规则,下面给出相对传递函数的估计规则。在下文中描述的增益规则不要求回声功率谱密度(PSD)的估计,导致降低的计算复杂度。对于后滤波,PLD可以用作回声抑制增益、残余回声PSD和/或过高估计因子的控制参数。
在下文中,给出针对回声后滤波的功率电平差增益规则的示例,其中使用两个麦克风信号而不是一个,用于回声后滤波增益规则的计算。在下文中,引入可以用于计算回声抑制增益的两个PLD。
在后滤波器处的信号等式:
a)时域中的输入信号等式:
e1(n)=g1(n)*s(n)+d~1(n)=g1(n)*s(n)+h~1(n)*x(n)y2(n)=g2(n)*s(n)+d2(n)=g2(n)*s(n)+h2(n)*x(n)]]>          等式(23)
其中,表示回声路径未调准矢量。
b)频域中的输入信号:
E1(k,i)=G1(k,i)&CenterDot;S(k,i)+H~1(k,i)&CenterDot;X(k,i)Y2(k,i)=G2(k,i)&CenterDot;S(k,i)+H2(k,i)&CenterDot;X(k,i)]]>       等式(24)
其中:
●E1(k,i)和Y2(k,i)分别是主要麦克风和辅助麦克风的误差信号的傅立叶变换
●k和i分别代表帧和频率带附标
在下文中,为了清楚的目的将省略帧和频率附标,并且将仅在必要时才使用该帧和频率附标。
c)残余回声信号自动和交叉PSD
假设扬声器信号和近端语音信号是不相关的(即,它们的交叉PSD为零,Φxs=0),则下式成立:
Φe1e1=|G1|2&CenterDot;Φss+|H~1|2&CenterDot;ΦxxΦy2y2=|G2|2&CenterDot;Φss+|H2|2&CenterDot;Φxx]]>        等式(25)
其中:
●Φss和Φxx分别代表近端语音信号和扬声器自动PSD。
将两个RTF Γ和Θ定义如下:
Γ=H2H~1,Θ=G2G1.]]>             等式(26)
用上面的RTF重写等式(25)给出:
Φe1e1=|G1|2&CenterDot;Φss+|H~1|2&CenterDot;ΦxxΦy2y2=|Θ.G1|2&CenterDot;Φss+|Γ&CenterDot;H~1|2&CenterDot;Φxx]]>       等式(27)
d)功率电平差:
为此,将两个PLD量(度量)定义如下:
echo_PLD=|Θ|2&CenterDot;Φe1e1-Φy2y2=(|Θ|2-|Γ|2)&CenterDot;Φd~1d~1near_PLD=Φy2y2-|Γ|2&CenterDot;Φe1e1=(|Θ|2-|Γ|2)&CenterDot;Φs1s1]]>      等式(28)
可以将两个Wiener回声后滤波器增益写为:
W=Φs1s1Φs1s1+γ&CenterDot;Φd~1d~1]]>      等式(29)
其中,γ是过高估计因子。可以利用上面定义的PLD度量来将这一增益规则重写为:
W=near_PLDnear_PLD+γ&CenterDot;echo_PLD]]>         等式(30)
在实时实现中,这样的增益规则的计算仅要求相对传递函数(RTF)Γ和Θ的估计。下面在下文中提供了估计RTF的一些方案。可以经过来自输入麦克风信号的自回归平滑化来计算所要求的PSD。
估计RTF的最普遍的方法包括交叉频谱法、均方或最小平方误差最小化。
a)近端语音声学路径RTF估计
将近端语音声学路径Θ定义为:
Θ=G2G1.]]>             等式(31)
也可以将G解释为增益,以使得:
S2=Θ·S1                等式(32)
考虑仅近端语音活动时段(即,E1=S1=G1·S且Y2=S2=G2·S),Θ的估计可以经过均方差(MSE)或最小方差(LSE)最小化获得。
用于的MMSE估计的推导的最小MSE(MMSE)标准为:
Θ^MMSE=argmin(|S2-S^2|2)]]>其中S^2=Θ^&CenterDot;S1]]>             等式(33)
的MMSE估计然后由下式给出:
Θ^MMSE=Φs1s2Φs2s2=Φe1y2Φy2y2.]]>          等式(34)
按照自适应滤波器形式的另一估计可以根据等式(33)来推导。在这种情况下,我们对于自适应滤波器具有许多选择:LMS、NLMS或FBLMS。我们应该注意,当最小化标准(等式(33))在频域中时,使用MLS或NLMS导致在频域中的估计。可以选择NLMS方案,因为它被证明给出相当稳定且鲁棒的算法:
Θ^NLMS(k+1,i)=Θ^NLMS(k,i)+μE1(k,i)||E1(k,i)||2e(k,i)]]>       等式(35)
其中:
e(k,i)=Y2(k,i)-Y^2(k,i)=Y2(k,i)-Θ^NLMS(k,i).Y2(k,i)]]>是误差信号
●μ是我们为了简单起见而设置为固定值的步长。
LSE最小化也可以用于估计近端将Θ的LSE估计表达如下:
Θ^LSE=<Φe1e1Φe1y2>-<Φe1e1><Φe1y2><(Φe1e1)2>-<Φe1e1>2.]]>          等式(36)
其中,给定β沿着时间的一组K个度量。
下面进一步提供关于的推导的细节。
在任一情况下,在仅近端活动时段期间执行更新。扬声器上的活动检测允许检测仅近端活动时段。例如,这一活动检测通过在扬声器和麦克风信号能量上应用阈值来实现。扬声器能量上的阈值允许避免在远端活动时段期间的适应性,而麦克风信号或低幅度麦克风信号上的阈值允许避免在近端静默时段期间的适应性。
b)回声路径RTF估计
将Γ定义为主要残余回声路径和辅助残余回声路径之间的比值。
Γ=H2H~1]]>          等式(37)
类似于上面的等式中的Θ,Γ按照下面方式来定义在主要麦克风和辅助麦克 风的残余回声之间的联系:
D2=Γ&CenterDot;D~1.]]>         等式(38)
将此引入等式(24)中,得到下式:
E1=G1&CenterDot;S+H~1&CenterDot;X=S1+D~1Y2=G2&CenterDot;S+H2&CenterDot;X=S2+Γ&CenterDot;D2]]>     等式(39)
使用二者都由扬声器信号x(n)生成的事实,可以经过交叉相关来估计Γ。假设扬声器和近端语音信号的独立性(即,Φxs =0),可以将Γ的交叉相关估计器表达如下:
Γ^CC=Φxy2Φxe1]]>       等式(40)
其中,是分别在主要麦克风信号和辅助麦克风信号上的扬声器和误差信号之间的交叉相关性,并且按照下面给出:
Φxe1=H~1&CenterDot;ΦxxΦxy2=H2&CenterDot;Φxx]]>              等式(41)
最小平方也可以用于推导回声RTF Γ的估计。在这种情况下,最小化标准写为如下:
Γ^=argminΓ^(Σ|D2-D^2|2).]]>               等式(42)
Γ的LS估计表达如下:
Γ^LS=<Φxy2Φxe2><(Φxe1)2>]]>            等式(43)
下面进一步提供推导。应该注意,如果仅考虑一个时间帧,则用于最小平方标准最小化。
上面示出了如何在双通道终端中使用PLD用于回声处理。假定换能器的位置对PLD具有影响的事实,我们可能对发现换能器的最佳位置感兴趣。如上面讨论的,这里的最佳位置将是提供麦克风信号之间的最大PLD的位置。
上面描述的回声处理方案目的在于消除由主要麦克风捕获的回声。在这一观点上,应该将主要麦克风放置得尽可能远离扬声器,同时保持它尽 可能接近近端扬声器的嘴部。利用这些约束定位主要麦克风允许保持SER相当高。高的SER信号对于回声消除性能是有利的。上面讨论的回声消除方案利用两个麦克风信号之间的PLD。因此,为了最大化这一PLD,可以将辅助麦克风放置得尽可能接近扬声器,以使得它能够捕获高电平回声信号。唯一的缺点是在辅助麦克风上非常可能发生饱和,并且这是会被考虑的非线性度。
在下文中,考虑配备有一个扬声器和M个麦克风的通信终端。每一个麦克风记录由扬声器生成的回声信号和近端语音信号。可以将第m个麦克风信号上的信号写为如下:
ym(n)=gm(n)*s(n)+hm(n)*x(n)           等式(44)其中:
●ym(n)是由第m个麦克风信号拾取的信号,其中m范围从1到M,M是通信终端的麦克风的数量。每一个麦克风信号包含回声信号dm(n)和近端语音信号sm(n)。
●hm(n)是在扬声器和第m个麦克风信号之间的声学路径,以使得dm(n)=hm(n)*x(n)。
(n)是hm(n)的估计。
是来自针对第m个麦克风信号的自适应滤波的误差信号。在图11中仅使用一个自适应滤波器的情况下,对于m≥2,em(n)=ym(n)。
●gm(n)是在近端扬声器和第m个麦克风之间的声学路径,以使得sm(n)=gm(n)*s(n),
是后滤波器的输出,作为近端语音的估计。
针对上面提供的双通道情况(参见图11),自适应滤波器可以用于估计由第m个麦克风拾取的回声信号。多通道后滤波器可以采用扬声器信号和麦克风(或使用自适应滤波器的麦克风路径的误差)信号作为输入。
在下文中,提供了在多麦克风终端的情况下PLD如何用于推导增益规则和DTD。
对于基于多麦克风PLD的增益规则,仅在回声抑制的计算中使用多通道信息,而回声抑制本身在第m个麦克风路径上发生,这意味着可以将后
滤波器增益表达如下:
W=ΦSmSmΦSmSm+γ&CenterDot;ΦDmDm.]]>         等式(45)
在接下来的多通道PLD增益规则的推导中,假设在除了第m个麦克风以外的麦克风路径上没有使用自适应滤波器。这暗示着输入麦克风信号为ym(n)。假定麦克风观察yl(n)(其中l≠m),可以将它的傅立叶变换写出如下:
Yl=Gl·S+Hl·X.                 等式(46)
假设扬声器和近端语音信号是不相关的(即,它们的交叉PSD为零,Φxs=0),可以将第l个麦克风自动PDS表达如下:
Φylyl=Φslsl+Φdldl=|Gl|2&CenterDot;Φss+|Hl|2&CenterDot;Φxx]]>                等式(47)
其中,l是范围从1到M的麦克风通道附标。通过引入如下定义的RTF:
Γm,l=HlH~m,Θm,l=GlGm]]>                    等式(48)
得到下式
Φylyl=|Γm,l|2&CenterDot;Φdmdm+|Θm,l|2&CenterDot;Φsmsm.]]>             等式(49)
这一等式示出了可以将第l个麦克风自动PSD写为回声信号和第m个麦克风的近端信号PSD的函数,可以用于计算回声抑制增益W,如上面给出的。将两个PLD量(度量)定义如下:
near_PLDm,l=Φylyl-|Γm,l|2&CenterDot;Φymym=(|Θm,l|2-|Γm,l|2)&CenterDot;Φsmsm]]>        等式(50)
echo_PLDm,l=|Θm,l|2&CenterDot;Φymym-Φylyl=(|Θm.l|2-|Γm,l|2)&CenterDot;Φd~md~m]]>          等式(51)
在这些等式中定义的近端和回声PLD是回声抑制增益计算所要求的回声和近端PSD的函数。考虑所有M个麦克风信号,可以将近端PLD等效地按照矩阵形式写出如下:
near_PLDm,1near_PLDm,2...near_PLDm,M=|Θm,1|2-|Γm,1|2|Θm,2|2-|Γm,2|2...|Θm,M|2-|Γm,M|2&CenterDot;Φsmsm]]>          等式(52)
Z=A&CenterDot;Φsmsm]]>          等式(53)
利用下面的标记法:
●Z=[near_PLDm,1 near_PLDm,2 … near_PLDm,M]T
A=|Θm,1|2-|Γm,1|2|Θm,2|2-|Γm,2|2...|Θm,M|2-|Γm,M|2]]>
可以根据上面的矩阵公式将近端PSD的估计推导为:
Φ^smsm=(AHA)-1AHZ.]]>          等式(54)
这一等式的扩展导致下式:
Φ^smsm=Σl=1,l&NotEqual;mM(|Θm,l|2-|Γm,l|2).near_PLDm,lΣl=1,l&NotEqual;mM(|Θm,l|2-|Γm,l|2)2]]>                  等式(55)
类似地,可以将所要求的回声PSD的估计推导并表达如下:
Φ^dmdm=Σl=1,l&NotEqual;mM(|Θm,l|2-|Γm,l|2)&CenterDot;echo_PLDm,lΣl=1,l&NotEqual;mM(|Θm,l|2-|Γm,l|2)2]]>         等式(56)
通过将这两个等式引入用于后处理增益的上面的公式中,可以推导用于回声抑制的新表达式:
W=Σl=1,l&NotEqual;mM(|Θm,l|2-|Γm,l|2 near_PLDm,lΣl=1,l&NotEqual;mM(|Θm,l|2-|Γm,l|2)&CenterDot;(near_PLDm,l+γ&CenterDot;echo_PLDm,l).]]>         等式(57)
在下文中,讨论RTF估计。
对于近端RTF的最小平方估计,假设仅近端活动时段和近端声学环境中一些局部噪声的存在,可以将第1个麦克风信号写出如下:
yl(n)=gl(n)*s(n)+bl(n),              等式(58)
或者等效地在频域中:
Yl=Hl·X+Bl               等式(59)
其中,bl(n)代表由第l个麦克风接收到的环境噪声,并且Bl是其傅立叶变换。
通过将如在等式(48)中给出的近端RTF定义引入这一等式,得到
Yl=Θm,l&CenterDot;Ym+Bl-Θm,l&CenterDot;Bm=Θm,l&CenterDot;Ym+B~l]]>             等式(60)
其重新开始估计问题。可以将近端RTF的最小平方估计推导为:
Θ^LSm,l=<Φ(r)ymymΦ(r)ylym>-<Φ(r)ymym><Φ(r)ylym><(Φ(r)ymym)2>-<Φ(r)ymym>2]]>等式(61)
其中,给定沿着时间的β的一组R个度量。
对于回声RTF的最小平方估计,假设远端活动时段和近端声学环境中一些局部噪声的存在,可以将第l个麦克风信号写出如下:
yl(n)=hl(n)*x(n)+bl(n),         等式(62)
或等效地在频域中:
Yl=Hl·X+Bl             等式(63)
通过将如在等式(48)中定义的回声RTF定义引入到等式(63)中,得到下式:
Yl=Γm,l&CenterDot;Ym+Bl-Γm,l&CenterDot;Bm=Γm,l&CenterDot;Ym+B~l]]>           等式(64)
现在考虑矢量[X Y1 … YM]T和可以在时域中被细分为R个帧的观察窗。考虑到回声RTF在观察窗内是静止的,可以利用从一个帧到另一个帧的语音信号的非静止。对于观察间隔的每一个帧r,可以写出下面的PSD:
Φ(r)ylx=Γm,l&CenterDot;Φ(r)ymx+Φ(r).b~lx]]>           等式(65)
由在近端声学环境中的环境噪声定义,因此可以假设其在统计上独立于扬声器(即,)。可以例如经过自回归平滑化来根据观察信号估计量。考虑R个帧的观察间隔,可以将这一等式按照矩阵形式写出如下:
Φ(1)ylxΦ(2)ylx...Φ(R)ylx=Φ(1)ymxΦ(2)ymx...Φ(R)ymx&CenterDot;[Γm,l]]]>                    等式(66)
Z=A·V                       等式(67)
然后回声RTF的LS估计如下:
Γ^=argminΓ^((Z-Z^)H&CenterDot;(Z-Z^))]]>其中Z^=A&CenterDot;V^]]>        等式(68)
并且可以表达为:
Γ^LSm,l=(AHA)-1AHZ=<Φ(r)ylxΦ(r)ymx<(Φ(r)ymx)2>]]>等式(69)
其中,给定沿着时间的β的一组R个度量。
对于多麦克风,用于基于PLD实现DTD的基于PLD的双检测方法可以用于双麦克风情况。在下文中,考虑由跟随有后滤波器的至少一个AEC组成的回声处理方案,其使用M个麦克风信号或者针对使用自适应滤波器的麦克风路径的误差信号。
与在图11中类似,可以使用DTD,其使用所有麦克风信号(或针对使用自适应滤波器的麦克风路径的误差信号)作为输入。假设将AEC和后滤波器应用于第m个麦克风路径,则可以将标准化PLD定义如下:
ΔΦPLDm,l=Φemem-ΦylylΦemem+Φylyl.]]>            等式(70)
其中,l是范围从1到M的麦克风通道附标并且不同于m。这一方程定义M-1个PLD,其可以经过针对DTD的融合方法进行组合。例如,DTD可以基于提供最大电平差的仅N个麦克风信号,其中0<N<M。
尽管描述了具体方面,但是本领域中的普通技术人员应该理解,在不偏离如所附权利要求限定的本公开的方面的精神和范围的情况下,可以在形式和细节方面做出各种变化。该范围因此由所附权利要求指示,并且因此意在包含出现在权利要求的等效形式的意义和范围内的所有变化。

用于处理音频信号的方法和音频接收电路.pdf_第1页
第1页 / 共36页
用于处理音频信号的方法和音频接收电路.pdf_第2页
第2页 / 共36页
用于处理音频信号的方法和音频接收电路.pdf_第3页
第3页 / 共36页
点击查看更多>>
资源描述

《用于处理音频信号的方法和音频接收电路.pdf》由会员分享,可在线阅读,更多相关《用于处理音频信号的方法和音频接收电路.pdf(36页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104158990A43申请公布日20141119CN104158990A21申请号201410200217722申请日2014051313/892,42020130513USH04M9/0820060171申请人英特尔IP公司地址美国加利福尼亚72发明人C叶姆基L勒保卢C博热昂N埃文斯74专利代理机构永新专利商标代理有限公司72002代理人王英张立达54发明名称用于处理音频信号的方法和音频接收电路57摘要本发明描述了用于处理音频信号的方法和音频接收电路,该音频信号接收方法包括经由包括第一麦克风的第一接收路径接收第一音频信号;经由包括第二麦克风的第二接收路径接收第二音频信号;。

2、并且基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制。30优先权数据51INTCL权利要求书2页说明书20页附图13页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书20页附图13页10申请公布号CN104158990ACN104158990A1/2页21一种用于处理音频信号的方法,包括经由包括第一麦克风的第一接收路径接收第一音频信号;经由包括第二麦克风的第二接收路径接收第二音频信号;基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制。2如权利要求1所述的方法,进一步包括经由一个或多个其它的接收路径接收一个或多个其它的音频信号,并且。

3、基于所述第一音频信号、所述第二音频信号和所述一个或多个其它的音频信号来执行所述第一音频信号的回声抑制。3如权利要求2所述的方法,其中,每一个其它的接收路径包括其它的麦克风。4如权利要求1所述的方法,其中,所述麦克风是相同通信设备的一部分。5如权利要求1所述的方法,其中,基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制包括基于所述第一音频信号和所述第二音频信号来确定回声抑制增益并且基于所确定的回声抑制增益来执行所述第一音频信号的回声抑制。6如权利要求1所述的方法,包括基于所述第一音频信号与所述第二音频信号的比较来执行所述第一音频信号的回声抑制。7如权利要求6所述的方法,包括。

4、确定表示所述第一音频信号和所述第二音频信号之间的电平差的值并且基于所述值来执行所述第一音频信号的回声抑制。8如权利要求7所述的方法,其中,所述电平差是功率电平差、电压电平差或能量电平差。9如权利要求7所述的方法,将所述电平差与阈值进行比较并且基于比较的结果来执行所述第一音频信号的所述回声抑制。10如权利要求6所述的方法,包括基于比较的结果来检测双端通话情景。11如权利要求1所述的方法,其中,执行回声抑制包括自适应回声滤波。12如权利要求11所述的方法,其中,基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制包括基于所述第一音频信号和所述第二音频信号来设置回声滤波的适应性。1。

5、3如权利要求1所述的方法,其中,执行回声抑制包括回声后滤波。14如权利要求1所述的方法,其中,基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制包括基于所述第二音频信号来确定滤波器系数并且使用所述滤波器系数来对所述第一音频信号进行滤波。15如权利要求1所述的方法,其中,基于所述第一音频信号和所述第二音频信号来执行回声抑制包括基于第一接收到的音频信号和第二接收到的音频信号来确定回声抑制增益,并且基于第一接收到的音频信号和所述回声抑制增益来对回声抑制进行滤波。16一种其上具有记录的指令的计算机可读介质,所述指令在由处理器执行时使所述处理器执行根据权利要求1到15中的任意一项的用。

6、于执行无线电通信的方法。17一种音频接收电路,包括第一接收路径,包括配置为接收第一音频信号的第一麦克风;第二接收路径,包括配置为接收第二音频信号的第二麦克风;回声抑制电路,配置为基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制。权利要求书CN104158990A2/2页318如权利要求17所述的音频接收电路,包括配置为接收一个或多个其它的音频信号的一个或多个其它的接收路径,其中,所述回声抑制电路配置为基于所述第一音频信号、所述第二音频信号和所述一个或多个其它的音频信号来执行所述第一音频信号的回声抑制。19如权利要求18所述的音频接收电路,其中,每一个其它的接收路径包括其它。

7、的麦克风。权利要求书CN104158990A1/20页4用于处理音频信号的方法和音频接收电路技术领域0001本公开涉及用于处理音频信号的方法和音频接收电路。背景技术0002在物理学中,可以将回声定义为由其周围环境中的波的反射所产生的复制。这样的现象会在语音远程通信中发生。在电话终端中,声学回声是由于扬声器和终端的麦克风之间的耦合。结果,电话的麦克风不仅包含有用的语音信号,而且还包含回声。如果没有在麦克风路径上执行处理,则回声信号以及近端语音信号被传输到远端扬声器,并且远端扬声器听到他/她自己的话音的延迟版本。当回声信号的电平为高时且当原始信号和其回声之间的延迟为高时,由于听到他/她自己的话音而。

8、产生的烦恼增加。0003为了保证良好的语音质量,可以在能够发生传输之前在麦克风路径上实现一些处理。近年大量地研究了声学回声消除算法。声学回声消除的方案可以包括自适应滤波器,后面是回声后滤波器。自适应滤波器产生声学路径的复制。这一回声路径估计然后用于估计由麦克风拾取的回声信号。实际上,自适应回声消除AEC的性能被环境噪声和/或近端语音信号的存在干扰。为了限制这样的干扰对AEC的影响,可以使用双端通话检测器DTD和/或仅噪声检测器。0004双端通话检测器可能典型地相当复杂。情景分类算法可以例如利用语音存在概率和/或信号相干性。DTD的典型使用在于在双端通话DT时段双端通话时段指代其间远端和近端扬声。

9、器都是活动的时段期间冻结AEC的适应性。然而,即使在使用DTD的情况下,一些残余回声典型地存在于自适应滤波器的输出端处。后滤波器可以用于使回声变得不可闻。回声后滤波器可以由应用于来自自适应回声消除的误差信号的衰减增益构成。为了更好的双端通话性能,能够在子带或频域中计算这一衰减。然而,单通道回声消除的性能仍然受限,特别是在免提配置中,对于免提配置,近端与回声比为低。这一受限的性能会导致在双端通话时段期间在经处理的近端语音信号中的高失真并且因此导致差的通信质量。在仅回声时段期间的回声抑制和在DT时段期间的近端语音的低电平失真之间可以产生折衷。在低的近端与回声比的情况下提高语音质量的方案可以基于用于。

10、回声处理的多个麦克风的使用。0005进而,可以使用基于波束成形方案的多通道回声消除,以便在低的近端与回声比的情况下提高语音质量。0006回声后滤波或回声抑制的有效方法仍然是期望的。发明内容0007提供一种用于处理音频信号的方法,包括经由包括第一麦克风的第一接收路径接收第一音频信号;经由包括第二麦克风的第二接收路径接收第二音频信号;并且基于所述第一音频信号和所述第二音频信号来执行所述第一音频信号的回声抑制。0008进而,提供一种根据上述方法的用于处理音频信号的音频接收电路。说明书CN104158990A2/20页5附图说明0009在附图中,类似的附图标记通常在不同的视图中指代相同的部件。附图不一。

11、定按比例绘制,相反通常强调说明本发明的原理。在下面的描述中,参照下面的附图来描述各种方面,在附图中0010图1示出了配备有一个扬声器和两个麦克风的示例。0011图2示出了具有用于换能器配置的示例的移动终端。0012图3示出了与位于如图1所述的系统的声源和换能器之间的物理交互相匹配的信号模型的示意性表示。0013图4示出了根据在HF免提模式中执行的示例性测量位于扬声器和麦克风之间的声学路径的频率响应。0014图5示出了根据在HF模式中执行的示例性测量位于人造头部的嘴部和麦克风之间的频率响应。0015图6示出了在HF模式中的示例性情景中记录的麦克风信号的光谱图。0016图7示出了说明用于处理音频信。

12、号的方法的流程图。0017图8示出了音频接收电路。0018图9示出了包括自适应滤波器部分的回声消除或抑制/处理电路,该自适应滤波器部分包括跟随有回声后滤波器的一个自适应滤波器。0019图10示出了包括自适应滤波器部分的回声消除电路,该自适应滤波器部分包括跟随有回声后滤波器的一个自适应滤波器。0020图11示出了包括双端通话检测器的误差消除电路。0021图12示出了说明标准化功率电平差PLD的值分布的图。0022图13示出了过高估计因子设置函数的给定示例的图。具体实施方式0023下面的详细描述参照通过说明的方式示出其中可以实践本发明的本公开的具体细节和方面的附图。可以利用其它方面,并且在不偏离本。

13、发明的范围的情况下,可以做出结构、逻辑和电气改变。本公开的各种方面不必是相互排他的,因为可以将本公开的一些方面与本公开的一个或多个其它方面进行组合以便形成新的方面。0024用于提高移动终端中的语音质量的方案可以包括多麦克终端的使用。多麦克风终端隐含地提供关于近端声学环境的空间信息。例如,对来自双麦克风移动终端的麦克风信号的观察表明,根据当前是否存在仅回声、双端通话或仅近端时段,存在明显的电平差。0025如下面进一步描述的,为了提高的回声消除目的,可以利用这一电平差。0026图1示出了配备有一个扬声器101和两个麦克风102、103的终端100的示例。0027术语“扬声器”可以指代耳机和免提扬声。

14、器。0028可以将麦克风观察中的一个考虑为主要观察并且将另一个麦克风观察考虑为辅助观察。如图1所示,远端扬声器话音由扬声器101播放到近端扬声器104。这一扬声器信号的一部分可以在近端环境105中反射并且可以稍后被两个麦克风102、103拾取作为回声106。扬声器101和每一个麦克风之间的耦合可以限定一个声学路径针对两个麦克风102、说明书CN104158990A3/20页6103的两个声学路径。每一个麦克风102、103具有可能的随后处理部件形成接收路径。0029麦克风102、103可以记录近端扬声器话音或语音信号107并且最终记录背景噪声108。近端扬声器话音107也可以在被麦克风102、。

15、103拾取之前在环境105中反射。因为两个麦克风102、103可能不一定被放置在相同的位置处,因此可能必须对近端扬声器和每一个麦克风之间的声学路径进行建模。应该认识到,图1并不提供麦克风的位置的限制性示例,而且麦克风102、103可以被不同地放置在终端100上。0030图2中给出了用于换能器的定位的示例。术语“换能器”指代扬声器和麦克风二者。0031图2示出了移动终端201、202。0032第一移动终端201具有底部底部配置,其中麦克风203、204都被放置在电话的底部处且距离扬声器205大致是等距的。0033第二移动终端202具有底部顶部配置,其中麦克风205、206被放置为使得一个麦克风相。

16、当接近扬声器207而另一麦克风相当远离扬声器207。0034在底部顶部配置中,将较接近扬声器207的麦克风206称为辅助麦克风,而将较远离扬声器的麦克风称为主要麦克风。应该注意,辅助麦克风和/或主要麦克风也可以布置在移动终端202的后侧处。进而,免提扬声器可以布置在移动终端201、202的后侧处。0035移动终端201、202可以是配备有一个扬声器和两个或更多个麦克风的远程通信终端。0036进而,下面的功能和方案也可以应用于也可能经历回声的其它通信设备,例如膝上型或平板计算机。0037图3中说明了双通道DC回声问题的信号模型。0038图3示出了与如在图1中描述的系统的声源和换能器之间的物理交互。

17、相匹配的信号模型的示意性表示,说明了如何对主要麦克风信号和辅助麦克风信号进行建模。0039主要麦克风信号300和辅助麦克风信号301由麦克风102、103提供,并且分别由YPN和YSN表示。信号DPN302和DSN303表示分别由主要麦克风102和辅助麦克风103拾取的回声信号。这两个信号都由扬声器101的扬声器信号XN304生成,其中HP|SN由说明扬声器101和相应的麦克风102、103之间的声学路径的卷积块305、306表示。0040信号SPN307和信号SSN308表示分别由主要麦克风102和辅助麦克风103拾取的近端语音信号。这两个信号都由近端语音信号SN309或107生成,其中GP。

18、|SN由说明近端扬声器101和主要麦克风102或辅助麦克风103之间的声学路径的卷积块310、311表示。0041主要麦克风信号YPN300由通过加和块312提供的SPN307和DPN302的和给出。辅助麦克风信号YSN301由通过加和块313提供的SSN308和DSN303的和给出。0042关于图3中的信号模型,可以导出下面的等式0043YPNGPNSNHPNXN0044YSNGSNSPHSNXN等式10045其中0046XN是扬声器信号304,0047YP|SN分别表示主要麦克风信号300或辅助麦克风信号301。它们包括回声信说明书CN104158990A4/20页7号和近端语音信号。00。

19、48HP|SN305、306表示扬声器101和主要麦克风102或辅助麦克风103之间的声学路径。0049SN309是近端扬声器信号。0050GP|SN310、311表示近端扬声器104和主要麦克风102或辅助麦克风103之间的声学路径。0051表示卷积操作。0052应该注意,在下文中,也使用附标1、2来代替P、S都作为上标和下标,这两个使用分别表示对主要麦克风和辅助麦克风或接收路径的指代。0053为了查验图3中说明的信号模型,可以执行针对耳机和免提模式二者使用双麦克风设备记录的信号的分析。将来自移动设备的记录与来自样机MOCKUP电话的记录进行比较,用于信号模型的验证和查验。0054记录的分析。

20、允许研究麦克风信号之间的电平差。可以将信号的电平测量为其幅度、能量或功率。在下文中,使用功率谱密度。在下文中,主要麦克风指代放置得距离扬声器更远,即,在仅回声时段期间具有较少功率,的麦克风。将主要麦克风和辅助麦克风的功率谱密度分别表示为和。附标K和I分别表示帧和频率二元附标。0055免提情况0056在下文中,示出了在不同的声学环境工作间、办公室、会议室中利用样机电话的脉冲响应的测量结果。样机电话配备有一个扬声器和两个麦克风。将麦克风放置在电话的相对角处。将扬声器放置为稍微靠近麦克风之一。具有嘴部模拟器的人造头部用于模拟近端扬声器。使用电话的两个不同位置一个位置是将电话放置在人造头部的嘴部正前方。

21、30CM处,另一位置是将电话放置在桌上。在所有记录中,将电话放置为使得电话的两个麦克风大致在人造嘴部的相等距离处。0057图4示出了根据针对主要麦克风的第一曲线401和针对第二麦克风的第二曲线402中的示例性测量在扬声器和麦克风之间的声学路径的频率响应。可以看到,对于每一个麦克风,由麦克风接收的扬声器信号没有被声学环境相等地衰减。这暗示在仅回声时段期间,辅助麦克风上的信号的功率将高于主要麦克风上的信号的功率。0058图5示出了根据针对主要麦克风的第一曲线501和针对第二麦克风的第二曲线502中的示例性测量在人造头部的嘴部和麦克风之间的声学路径的频率响应。可以看到,这两个频率响应非常相似。这些相。

22、似性可以由与人造头部的嘴部相比较的麦克风的位置进行解释。图4和图5一起示出0059在仅回声时段期间,主要麦克风上的信号的PSD低于辅助麦克风上的信号的PSD。0060等式20061在仅近端时段期间,这两个麦克风信号的PSD大致相等0062等式30063通过内插,可以说,在双端通话时段期间,主要麦克风功率将低于辅助麦克风功率。然而,在双端通话情况中观察到的功率电平差PLD将明显小于在仅回声中观察到的。说明书CN104158990A5/20页80064如上所述,K是时间或帧附标,而I是频率附标。0065在下文中,讨论在耳机位置中麦克风信号的工作情况。为此,考虑具有一个扬声器和如在移动终端201的情。

23、况中放置在终端的相对角处的两个麦克风的移动电话。0066图6示出了在这样的情景中记录的麦克风信号的光谱图601、602。0067高强度点指示高能量颜色越暗,在该点处的功率就越高。图6中说明的麦克风信号由跟随有仅回声时段9S到结束的仅近端时段从0到9S构成。基于光谱图601、602,可以看到下面的内容0068在仅近端时段期间,与辅助麦克风上的信号的PSD相比较,主要麦克风上的信号的PSD非常高。0069等式40070在仅回声时段期间,主要麦克风上的信号的PSD低于辅助麦克风上的信号的PSD。0071等式50072通过内插,可以看到在双端通话时段期间,主要麦克风的PSD低于辅助麦克风的PSD。然而。

24、,在双端通话情况中观察到的差值明显小于在仅回声中观察到的。0073从麦克风信号的分析中可以看到,对于免提和耳机这两种情景,在仅回声时段期间,0074等式60075这一PSD差值主要是由于终端上麦克风的位置,并且不是非常依赖于声学环境。实际上,只要使用配备有具有按照底部顶部配置放置的换能器的两个麦克风的终端,在仅回声时段中,主要麦克风的电平就将总是低于辅助麦克风的电平。将换能器按照底部顶部配置进行放置可以被看作在移动设计中引入的约束,然而这一约束仍然给设计者留下一些自由度。0076因此,对于麦克风的底部顶部配置,可以观察到下面的不同情景0077仅回声这里,作为源的扬声器接近辅助麦克风。结果是辅助。

25、麦克风电平高于主要麦克风的电平。这对于耳机和免提二者都适用。0078仅近端0079耳机近端扬声器的嘴部在主要麦克风附近。结果,主要麦克风电平高于辅助麦克风的电平。0080免提近端嘴部远离两个麦克风并且可以假设处于距离麦克风的相等距离处。典型地,这两个麦克风具有相等的电平。然而,由于HF扬声器和辅助麦克风的接近度,在仅回声时段期间,辅助麦克风电平高于主要麦克风的电平。0081双端通话通过从仅回声和仅近端功率差进行外插,可以推断出,在DT期间,取决于信号与回声比并且取决于通信终端是免提还是耳机配置,在两个麦克风之间存在电平差。然而,由于近端语音的存在,在DT期间观察到的功率差将不如在仅回声中观察到。

26、的功率差一样极端。0082在下文中,描述了用于处理音频信号的方法,可以例如基于上面描述的功率差来执行回声抑制。例如,可以使用基于不同麦克风的功率差的DT检测规则或回声抑制增益规说明书CN104158990A6/20页9则。可以将上述方案看作是基于硬件的,因为主要利用麦克风在通信终端上的位置。0083图7示出了流程图700。0084流程图700说明了用于处理音频信号的例如由音频处理电路执行的方法。0085在701,音频接收电路经由包括第一麦克风的第一接收路径接收第一音频信号。0086在702,音频接收电路经由包括第二麦克风的第二接收路径接收第二音频信号。0087在703,音频接收电路基于所述第一。

27、音频信号和所述第二音频信号执行所述第一音频信号的回声抑制。0088换句话说,基于如经由不同的接收路径接收到的音频信号的两个版本,例如借助于不同的麦克风,执行针对音频信号的回声抑制或消除。例如,双端通话检测和/或回声抑制规则可以基于经由两个接收路径接收到的音频信号,例如基于这些信号的功率电平差。0089换句话说,可以利用不同麦克风之间的电平差。可以将信号的电平测量或计算为其能量幅度或功率。例如,麦克风信号功率谱密度PSD可以用作信号电平,但是也可以使用信号能量。主要麦克风和辅助麦克风的PSD在下面的示例中分别被表示为和,其中K和I分别表示帧和频率二元附标。0090第一音频信号和第二音频信号可以分。

28、别包括期望音频信号例如,语音输入、输出信号例如,扬声器信号和噪声的组合。由第一音频信号的回声抑制产生的信号可以具有被抑制的回声例如,来自输出信号,并且可以类似于期望信号。0091该方法可以进一步包括经由一个或多个其它的接收路径接收一个或多个其它的音频信号例如,每其它的接收路径一个其它的音频信号并且基于该第一音频信号、第二音频信号以及一个或多个其它的音频信号来执行第一音频信号的回声抑制。0092例如,每一个其它的接收路径包括其它的麦克风。0093麦克风例如是相同通信设备的一部分例如,容纳诸如在图8中说明的音频处理电路800的音频处理电路。0094基于第一音频信号和第二音频信号来执行第一音频信号的。

29、回声抑制可以包括基于第一音频信号和第二音频信号来确定回声抑制增益并且基于所确定的回声抑制增益来执行第一音频信号的回声抑制。0095该方法可以包括基于第一音频信号与第二音频信号的比较来执行第一音频信号的回声抑制。0096例如,该方法包括确定表示第一音频信号和第二音频信号之间的电平差的值并且基于该值来执行第一音频信号的回声抑制。0097电平差例如是功率电平差、电压电平差或能量电平差。0098该方法可以包括将电平差与阈值进行比较并且基于比较的结果来执行第一音频信号的回声抑制。0099该方法可以包括基于比较的结果来检测双端通话情景。0100执行回声抑制例如包括自适应回声滤波。0101基于第一音频信号和。

30、第二音频信号来执行第一音频信号的回声抑制例如包括基于第一音频信号和第二音频信号来设置回声滤波的适应性。0102执行回声抑制例如包括回声后滤波。说明书CN104158990A7/20页100103基于第一音频信号和第二音频信号来执行第一音频信号的回声抑制可以例如包括基于第二音频信号来确定滤波器系数并且使用该滤波器系数来对第一音频信号进行滤波。0104基于第一音频信号和第二音频信号来执行回声抑制可以例如包括基于第一接收到的音频信号和第二接收到的音频信号来确定回声抑制增益并且基于第一接收到的音频信号和回声抑制增益来对回声抑制进行滤波。0105图7中说明的方法例如由如图8中说明的音频接收电路例如是诸如。

31、移动终端的通信设备的一部分执行。0106图8示出了音频接收电路800。0107音频接收电路800包括第一接收路径801和第二接收路径802,第一接收路径801包括配置为接收第一音频信号的第一麦克风802,并且第二接收路径802包括配置为接收第二音频信号的第二麦克风804。0108音频接收电路800进一步包括配置为基于第一音频信号和第二音频信号来执行第一音频信号的回声抑制的回声抑制电路805。0109应该注意,在图7中说明的用于处理音频信号的方法的背景中描述的实施例对于音频接收电路800类似地有效,并且反之亦然。0110音频接收电路的部件例如,接收路径和回声抑制电路可以例如由一个或多个电路实现。。

32、“电路”可以被理解为任何种类的逻辑实现实体,其可以是专用电路或执行存储在存储器中的软件、固件、或其任何组合的处理器。因而,“电路”可以是硬连线逻辑电路或诸如可编程处理器的可编程逻辑电路,例如微处理器例如复杂指令集计算机CISC处理器或精简指令集计算机RISC处理器。“电路”也可以是处理器执行的软件,例如任何种类的计算机程序。可以将下面更详细描述的相应功能的任何其它种类的实现理解为“电路”。0111在下文中,给出了根据在图7中说明的方法用于双通道终端中的回声消除的示例。在下面的示例中,回声消除由跟随有回声后滤波的自适应滤波构成,如在图9中说明的。在下文中解释每一个回声消除模块的选择和位置。011。

33、2图9示出了回声消除或回声抑制电路900。0113回声消除电路900包括自适应滤波器部分,该自适应滤波器部分包括两个自适应滤波器901、902每麦克风路径一个自适应滤波器,后面是回声后滤波器903。0114回声消除电路900处理从声源即,近端语音905、噪声907、引起回声906的扬声器909的信号和换能器即,扬声器909和两个麦克风908、910的系统904接收的音频信号。系统904可以与图1的系统100相对应,并且可以由如图3中说明的信号模型表示。0115对于每一个麦克风908、910,可以认为回声的效果与在SC回声消除中的相同。因此,对于每一个麦克风信号YP|SN911、912,回声信号。

34、913、914的估计可以通过使用自适应滤波器901、903来获得,与在SC情况中的相同。0116应该注意,可以应用任何自适应回声消除处理,例如,任何自适应回声消除算法。例如,LMS最小均方或NLMS标准化LMS算法可以用于估计回声信号。0117出于相同的原因,在SC情况中,一些残余回声会存在于声学回声消除AEC的输出端处的误差信号EP|SN915、916中。误差信号EP|SN915、916可以通过由相应的加和块说明书CN104158990A108/20页11917、918提供的、麦克风信号YP|SN911、912和回声信号913、914的相应估计之间的差值来获得。后滤波器903可以用于实现进一。

35、步的回声抑制。后滤波器903可以包括滤波器更新块919和回声后滤波块920。滤波器更新块919基于EP|SN915、916和扬声器909的扬声器信号XN922来产生输出921。例如在图9中,将这一输出921和EPN915输入到回声后滤波块920中以便给出回声抑制信号或923。0118电路900可以被看作是图8的音频接收电路800的示例。0119在下文中描述的示例中,使用DC回声处理,以便使用仅应用于一个麦克风路径的回声后滤波器来输出近端语音信号的估计。AEC要求大量存储器和高计算能力。因此,通过使用一个AEC而不是两个AEC,可以降低电路800的计算复杂度。这在图10中进行说明,其中将辅助麦克。

36、风直接输出到回声后滤波器。按照这种方式,能够将计算复杂度保持为低。0120图10示出了包括自适应滤波器部分的回声消除电路1000,该自适应滤波器部分包括跟随有回声后滤波器1002的一个自适应滤波器1001。0121电路1000仅使用一个自适应回声滤波器来回声消除地处理音频信号。电路1000从声源即,近端语音1004、扬声器1007的信号和噪声1006和换能器即,扬声器1007和两个麦克风1008、1009的系统1003接收音频信号。系统1003可以与附图的系统100相对应,并且可以由如图3中说明的信号模型表示。0122在图10中,可以通过由加和块1011提供的、主要麦克风信号Y1N1013和回。

37、声信号1012的估计之间的差值来获得误差信号E1N1010。可以通过使扬声器信号XN1014经过自适应滤波器1001来获得回声信号1012的估计。后滤波器1002可以用于实现进一步的回声抑制。后滤波器1002可以包括滤波器更新块1015和回声后滤波块1016。滤波器更新块1015基于E1N1010、辅助麦克风信号Y2N1018和扬声器1007的扬声器信号XN1014产生输出1017例如,回声后滤波增益WK,I。例如在图10中,将这一输出1017和E1N1010输入到回声后滤波块1016中以便给出回声抑制信号,其也可以被理解为近端语音信号SN1004的估计。应该注意,滤波器更新块1015可以等效。

38、于如图9中示出的滤波器更新块919。0123电路1000可以例如与图8的电路800相对应。0124通常,电路1000可以按照与图9的电路900类似的方式起作用,除了在电路1000中仅使用一个自适应滤波器1001以外。仅使用一个自适应滤波器1001可以降低多通道回声后滤波器的计算复杂度。0125可以将电路900、1000扩展到多通道M。在多通道中包括多个接收路径。0126在下面的示例中,执行频域回声后滤波。在SC情况中,频域回声后滤波器目的在于估计近端语音信号。为此,SC回声后滤波器使用其输入信号扬声器和麦克风信号来计算衰减增益。然后将这一衰减增益应用于频域中的麦克风路径以便完全抑制残余回声。0。

39、127在电路900、1000中,回声抑制仅应用于主要麦克风路径。这意味着可以仍然使用现有的SC回声抑制增益规则。增益规则的计算可能通常要求残余回声PSD和近端PSD的估计。例如,可以使用下面的增益规则说明书CN104158990A119/20页120128等式70129等式80130其中,是近端语音的PSD,是主要麦克风存在于EP中处的残余回声的PSD,并且是主要麦克风处的信号与回声比SER。0131上面的等式在数学上是等效的。然而,它们的实际实现并不一定导致相同的结果和语音质量。这是因为,估计PSD或SER的手段不一定是在数学上等效的。SER可以例如通过下面的EPHRAIM和MALAH形式体。

40、系来计算0132等式90133这些等式给出仅要求残余回声PSD的估计而不要求如对W1K,I的情况的残余回声和近端PSD的估计的SER估计的示例。0134如上所述,取决于有源声源远端扬声器或近端扬声器,能够观察主要麦克风和辅助麦克风的接收路径之间的功率电平差。在下文中,使用利用双端通话检测器DTD的示例,该双端通话检测器DTD利用PLD。这在图11中进行说明。0135图11示出了回声消除电路1100。0136与回声消除电路1000类似,回声消除电路1100从系统1103接收音频信号,包括自适应滤波器1101以及具有滤波器更新块1115和回声后滤波块1116的后滤波器1102。0137进而,回声消。

41、除电路1100包括双端通话检测器1120,其接收误差信号E1N和辅助麦克风信号Y2N1018并且基于这些信号来执行双端通话检测。双端通话检测器1120也可以执行这些信号之间的PLD的确定,并且可以向滤波器更新块1115和/或自适应滤波器1101提供PLD以及双端通话检测的结果,并且因而控制这些模块中的一个或两个。0138上面示出了可以在仅回声时段中观察麦克风信号之间的功率电平差0139等式100140因此,在这一示例中,双端通话检测器1120在得到每一个麦克风信号的PSD之后计算PLD的度量并且针对DTD使用它。可以经过不同的方式获得PLDPLDK,I0141给出关于麦克风信号之间的电平差的解。

42、释,可以按照下面来定义PLD0142等式110143可以将可选PLD定义为说明书CN104158990A1210/20页130144等式120145这一PLD包括额外的参数BIASCOMP,其能够补偿可能存在于硬件中的每一个麦克风的增益之间的任何偏差或不匹配。因而,BIASCOMP是用于放大或衰减辅助麦克风通道的调整因子。0146可以将这一PLD的标准化版本定义为0147等式130148这一PLD定义具有在1和1之间的值。标准化允许避免依赖于扬声器话音水平或扬声器信号电平和音量。可以通过使用如在上面的可选PLD中的偏差补偿器来定义这一标准化PLD的另一变形。0149进而,可以在来自AEC的误差。

43、信号和辅助麦克风之间定义PLD。如果在自适应滤波之后进行测量,则主要麦克风路径和辅助麦克风路径之间的电平差值甚至更加突出,假设AEC不放大我们可以更好地聚焦于DT时段的回声0150等式140151给出这一观察,可以可选地在频域中按照下面来定义标准化PLDNPLD0152等式150153AEC目的在于消除由主要麦克风拾取的回声信号。由此得到,误差信号的功率必定低于或等于麦克风信号的功率。如在上面的等式中定义的PLD被标准化即,具有在1和1之间的值并且利用AEC来甚至更多地突出辅助麦克风路径和主要麦克风路径之间的功率差。0154在下文中,基于等式15的定义来解释PLD的使用。然而,也可以使用如上所。

44、述的其它PLD定义。0155如上面提及的,标准化允许避免依赖于扬声器话音水平并且使用包括在1和1之间的量。0156在图12中说明了标准化PLD的值分布。0157图12示出了图1201、1202。0158第一个图1201说明了如上面针对耳机情况定义的标准化PLD的值。0159第一个图1202说明了如上面针对免提情况定义的标准化PLD的值。0160在表1中总结了PLD的典型值。0161说明书CN104158990A1311/20页140162表1标准化PLD的典型值0163由此可以看到,通过对PLD值应用阈值,能够区分仅回声时段01640165其中THI是阈值。0166阈值THI例如被选择为在09。

45、和099之间。阈值针对所有频率带或频带不必具有相同的值。可以使用任何常规的语音活动检测器来检测远端语音活动。一个简单的语音活动检测器在于对扬声器能量设定阈值。0167双端通话检测可以用于提高语音质量输出。例如,双端通话检测器1120作为可以用于AEC和/或回声后滤波的控制模块进行操作。0168可以例如在自适应AEC滤波器1101内使用关于双端通话检测的结果的信息以便在检测到双端通话时冻结适应性,即,将步长可以是可变的或固定的N设置为0。在这一示例中,双端通话检测器1120在频域中进行操作。然而,基于PLD通过做出针对一组频率或频带的双端通话决策来执行可选的双端通话检测。下面的等式是基于PLD的。

46、可选决策做出的示例01690170其中,N表示感兴趣的一组频率带或频带。0171这一可选的DT决策也会对产生可能与AEC的时间频率分辨率不同的PLD的时间频率分辨率之间的相对应性感兴趣。最后,可以经过任何语音活动检测器来检测远端语音活动。一个简单的语音活动检测器在于对扬声器能量设定阈值。0172在基准线或扬声器信号上使用语音活动检测的情况下可以区分开双端通话与近端时段。基于频带的决策也会对产生可能与AEC或后滤波的时间频率分辨率不同的PLD的时间频率分辨率之间的相对应性感兴趣。0173如在图11中说明的,双端通话检测器1120可以用于控制回声后滤波。例如,可以通过在仅回声时段期间将回声抑制增益。

47、设置到其最小值而对该回声抑制增益进行后处理在根据我们的选择的形式体系被更新之后。0174如果PLDK,I1。0180诸如上述基于双端通话检测的硬决策的硬决策系统的主要限制典型地归因于假阳性即,当不是这种情况时检测到DT和假阴性当实际上是这种情况时未检测到DT的误差。这可以利用软决策方案来克服。0181上面引入的PLD度量也可以直接用于回声消除控制,即,在不执行双端通话检测的情况下。PLD的这样的使用被称为软决策控制。0182为了说明如何在软决策中使用PLD,首先假设PLDPLDK,I具有包括在和之间的值。PLD的最大值和最小值取决于所使用的PLD定义,并且被适当地选择。例如,对于标准化PLD,。

48、可以将和分别设置为1和1。PLD可以用于通过将步长定义为PLD的函数来控制AEC的适应性。01830184其中F1是在设计者方便时定义的函数,例如PLDK,I的任何单调和递减函数。回声PSD过高估计因子也可以按照与步长类似的方式被监测01850186控制函数F2例如是PLDK,I的单调和递减函数。图13中示出了控制函数的示例。在产品内这样的控制的典型使用例如用于将F2定义为分段函数。0187图13示出了给出过高估计因子设置函数F2的示例的图1301、1302。0188第一个图1301说明了控制函数F2的第一示例,过高估计因子根据该控制函数而在1和1之间的两个步长中递减。0189第二个图1302。

49、说明了控制函数F2的第二示例,过高估计因子根据该控制函数而在和之间的区域中线性递减。0190说明了图13中的控制函数的示例用于残余回声过高估计控制。然而,类似的函数能够用于控制在回声消除中涉及的其它量,例如步长或回声抑制增益。为了AEC的步长的正确控制,可以将这一函数选择为PLDK,I的单调和递减函数。对于回声抑制增益,可以将这一函数选择为PLDK,I的单调递增函数。0191上面描述了麦克风信号之间的电平差如何用于检测双端通话。上面描述了按照PLD形式的这一差异的可能度量。上面的示例示出了这一PLD如何用于控制和提高AEC和残余回声抑制。例如,可以使用两种控制方法。PLD可以用于检测DT,并且DTD输出接着用说明书CN104158990A1513/20页16于控制不同的模块,以及PLD度量可以直接用于控制回声消除模块。0192当按照底部顶部配置来放置换能器时,基于PLD的控制利用在仅回声时段中观察到的电平差。这意味着上述方案与终端上的换能器的位置相关。给定终端,可以确保最大PLD在仅回声时段期间发生。这通过适当地选择换能器位置是可能的。例如,将辅助麦克风放置得尽可能接近扬声器,以使得这一麦克风在仅回声时段中拾取最大功率。例如将主要麦克风放置得尽可能远离扬声器,以便在仅回声时段期间具有最小电平转移。换能器的这样的。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1