自适应状态空间信号分离、鉴别与 恢复结构及其对动态环境的适用性 【发明背景】
【发明领域】
本发明涉及通过处理一组混合信号的多个测量结果而恢复原始信号信息或内容的系统。具体而言，本发明涉及根据接收的若干原始信号的混合信号的测量结果来恢复这些原始信号的自适应系统。为了更好地了解本发明解决的问题和以前解决的方法，可参阅下述对问题的陈述：参照图1，研究N个独立的信号s1(t)……和sN(t)。这些信号可代表任何一个或组合的独立的讲话者或语言、声音、音乐、基于无线电或光的无线传输、电子或光通信信号、静止图像、视频等等。这些信号可通过在其传播的媒体或环境中作自然的或人为的混合，造成相互延迟与重叠。因此，人们希望有一种结构、框架或装置，可以根据接收该延迟与重叠的信号，运用一组合适的算法与步骤成切地分离诸独立的信号源。
相关技术的讨论
独立源的恢复与分离是一个经典而难以解决的信号处理问题，其特征在于，在许多实践场合中，信号源与混合媒体二者地许多相关特性是未知的。
应用的两类主要方法是：
1．神经启发自适应算法(如美国专利No5,383,164和5,315,532),及
2．常规分离信号处理(如美国专利No.5,208,786和5,539,832)。
神经启发自适应结构与算法所遵循的一种方法，原由J.Herault与C.Jutten提出，现称为Herault-Jutten(或HJ)算法，已确认这套方法适用于CMOS集成电路。然而，标准的HJ算法对主要应用于特殊场合的自适应法则最具启发性。有关HJ算法的早期工作的理论与分析仍不足以支持或确保在实验模拟中的成功。Herault与Jutten明白这些分析上的缺陷，并且描述了有待解决的附加问题。他们提出的算法假设了一种线性媒体与滤波，即无延迟。具体而言，假设诸原始信号是利用该媒体经某种未知的常量系数矩阵而传输的。总之，HJ法(ⅰ)局限于完整排列和线性静态混合环境，(ⅱ)要作矩阵逆操作，和(ⅲ)不考虑有信号延迟。然而，在许多实用场合中，却会出现滤波与相对延迟，因而在许多实用场合和实时世界中，以前未能成功地分离诸信号。
常规信号处理法大都在分离域中根据常规数字信号处理法的精神，利用信号的统计特性作信号分离，这种信号分离法应用的运算大都涉及到离散信号变换与滤波/变换函数逆运算。通常利用该类信号成组累积量的形式的统计特性来实现混合信号的分离，其中以数学方法将这些累积量强制趋于零。这样就构成了算法族的关键，而这类算法用于查找传递函数的诸参数，使诸信号相互恢复与分离。另一方面，计算所有可能的累积量不切实际的，而且实时执行起来太耗时间。
下面按类描述这些方法的特效性。
1．信号分离的神经启发结构与算法
这些成组的神经启发自适应方法作信号分离时假设“统计的独立”信号矢量S(t)=[s1(t)……与sN(t)]T经混合而产生信号矢量M(t)，并由传感器(如话筒、天线等)接收。
混合环境用一般(静态或动态)算子表示：可用若干公式来转化混合过程，即“盲”方式中的算子，对于混合算子或始发源S(t)的特征或内容，并不存在先验知识。我们把这些特征或内容组成两类，即静态与动态。对应用的自适应判据的特征可作附加的区分，如高维累积量的信息最大化与最小化等。
1.1静态情况
静态情况限于用常量非奇异矩阵混合。假设“静态独立的”信号矢量S(t)=[s1(t)……，与sN(t)]T经混合而产生信号矢量M(t)。具体而言，用常量矩阵A代表混合算子，即
M(t)=AS(t) (2)图2中示出的两种结构描绘了混合的模型和分离环境与处理。图2(a)的结构必须计算常量混合矩阵A的逆矩阵，要求A可逆，即有A-1。
图2(b)的结构无此限制，矩阵D的非对角线元素在收敛后准确地为矩阵A的非对角线元素。然而，在此情况下，矩阵A的对角线元素被限制为等于“1.0”。将D的对角线元素设成零，即使不是混合矩阵，大体上也可认为该混合过程是可逆的。
在两种情况下，S(t)是一组未知源，M(t)是一组混合信号，U(t)是一组估算S(t)的分离信号，而Y(t)是一组修正(update)非混合过程诸参数的控制信号。如图2所示，加权修正应用了输出函数U(t)。
在第一种情况中，把非混合矩阵标为W，而在第二种情况中，把它标为D。注意，D具有零对角线输入。这两个矩阵输入的修正由用于信号分离、鉴别与恢复的判据规定，如高维累积量的信息最大化、最小化等。
举例来说，在
U(t)=WM(t) (3)的情况下，一个可能的加权修正法则可以是
wij =η[W-T+ g"(u)/g'(u)MT]ij
(4)式中η足够小，g是奇函数，M是一组混合信号，U是一组估算源信号的输出，角注T指移位(transpose)，-T指逆移位。注意，函数g()在修正中起某种附加作用，与上图可能相关，即
Y(t)=g(U(t)) (5)可以用式(4)修正式(3)中W的输入。通过这一迭代修正步骤，W的输入发生收敛，使乘积WA接近等于单位矩阵或单位矩阵的置换。
另一方面，在第二种情况中，对修正D矩阵输入dij可能有用的一个法则通常描述为
dij=ηf(ui(t))g(uj(t)) (6)式中η足够小。实践中，某些有用的函数中，对f(.)包括三维函数，对g(.)包括双曲正切函数。在使用这一步骤时，在逐维步进与采样点可由下述式(7)对U(t)作出运算解：
Ut=[1+D]-1M(t) (7)这种运算可能是主载的，对高维D尤其如此。
1.2动态情况
动态混合模型在这种框架内考虑了更实际的混合环境，规定了这类环境模型，并研制出某种修正法则来恢复原始信号。
在动态情况中，矩阵A不再是个常量矩阵。参照该静态例子的反馈结构，它更加简单地把式(7)(U(t)=[1+D]-1M(t)看作为快速动态等式的某个公式τU(t)=-U(t)-DU(t)+M(t) (8)根据任意一种假设，通过使式(8)中的微分方程初始化，将有利于运算。然而，式(8)与式(6)规定的一种修正步骤之间的时标一定要分离，这一点很重要，这可以将式(6)中的η和式(8)中的τ规定成足够小来予以保证。
若假定M(t)的维数为N，可把限定动态信号分离算法的一组微分方程写成τiui=-ui-Σj=1Dijui+m1---i=1,…,N---(9)]]>由此计算N个微分方程。此外，矩阵D输入的自适应过程可用多个判据限定，如式(6)中函数f()与g()的计算。图3是反馈结构中动态模型的一种图解显示。
在迄今所限定的诸结构中，流行的诸方法很少描绘有适应判据应用的具体步骤。已注意到的两个隐含的步骤是：
首先是对任意数据点(无论每个点能否实际可访问)应用信号分离函数、自适应步骤和判据。这样，自适应分离步骤对被测量混合信号的每个元素单独与瞬时地应用自适应函数与判据，之后作合适的参数修正。
第二类步骤已在应用式(3)的图2(a)中作了描述。在此情况下，对整个数据组或选自该组的数据点应用该判据，因而相关的自适应过程并非逐个采样的进行，而是应用了假定应用常量静态混合矩阵的整个数据组。虽然这种方法比第一种方法更健全了一些，但是基本上是一种离线方法，不适于实时信号分离。此外，当静态常量矩阵的假设有错时，非混合过程的精度会受影响。
1.3前馈状态空间
结构示于图7。设n维源信号矢量为s，m维测量矢量为M。混合环境可用线性时间不变的(LTI)状态空间描述：
X= A X- Bs
M= C X+ Ds (10)参数矩阵 A、 B、 C、 D都有兼容的维数。该公式包含了连续时间与离散时间二种动态特性。状态 X上的点表示连续时间动态特性的导数，但它表示离散时间动态特性的“超前”。假定混合环境是(渐近)稳定的，即矩阵A在左半个复平面中有它的本征值。建议(自适应)网络的形式为
X=AX+BM
Y=CX+DM (11)其中Y是n维输出，X是内部状态，而且诸参数矩阵具有兼容的维数。为了简化起见，假定X与 X的维数相同。图7示出该框架的前馈形式。
第一个问题在于：是否存在能恢复原始信号的参数矩阵A、B、C、D？答案如下。
恢复问题的解答
我们申明，若将网络参数设置(或经自适应方案得到)为下列值，则(自适应)动态网络能够抵消混合环境。
A=A*=T( A· B[D] C)T-1 (12)
B=B*=T B[D] (13)
C=C*=-[D] CT-1 (14)
D=D*=[D] (15)式中[D]等于
D-1：D的倒置(m=n)，
( DTD)-1D-T；伪倒置(m＞n)，及
D-T( D DT)-1：伪倒置(m＜n)。
鉴于非奇异状态等效变换T，矩阵A*、B*、C*可以取一族数值。从实际的观点
出发，将用T表达该网络结构的“典型”或样品。这一公式实际上将文献中
局限于FIR滤波器的诸公式(主要用于二维源和两种测量结果)归纳成一般的n
维源和m维测量结果。注意，这种模型法包括了FIR滤波模型，若A为非零，
可延伸到IIR滤波。
虽然自适应网络的这种前馈形式是适用的，但是要指出其适用性的某种局限，即混合环境的参数必须使矩阵A*(渐近地)稳定。就是说，对某种稳定的混合环境，自适应网络的合成矩阵
A*= A- B[D] C (16)必须是(渐进地)稳定的，即它的特征值位于左半部复平面内。显然，这一要求对允许的混合环境设置了某种限制条件，可能排除某类应用！
2．基于传递函数的信号分离法
用传递函数表示信号混合与分离，使这种方法接近于动态环境模型与方法。
图4所示的流行方法，通过处理两种混合测量结果来定义分离两个信号的结构。
传递函数域中具有分离功能的其它结构有三大缺点，全都阻碍了实用方法与设备的设计与实施。首先，这种公式所表达的内容无法将分离步骤归纳到高维，这里问题的维数超过二维。换言之，当超出两个混合信号与两个源时，该分离法的实用公式就不存在了。这可以通过直接参照其它方法得以验证，写出矩阵的相乘项，从而每个标量公式限定一个希望等于零的乘积矩阵的输入。由于还允许置换对角线矩阵，故可产生多组公式。对于两个混合信号问题而言，这样导致两对(计四个)公式，每个公式有两个乘积项，超出了公式数量的增加。为达到精度，对N维情况的特定置换描绘公式数所需的公式数量等于(N2-N)。对于两维问题，该值为2。
其次，传递函数的逆步骤是特定的，无诀窍或经验可资借鉴。维数的影响在这方面起着关键作用。由该方法可见，最终的结构提供的网络，要求传递分量的维数依赖于混合环境中传递分量的乘积，因而无法用固定的阶设计网络结构。
再次，由于该公式不处于时域，故无法限定初始条件，不能用任意初始条件对其初始化，因而该方法不适用于实时或在线的信号分离。
发明概述
本发明描述一种将多个输入信号分离为多个输出信号的信号处理系统，输入信号包括多个源信号的函数，而源信号与多个源有关，输出信号估算源信号或源信号的函数。系统包括多个检测输入信号的传感器、规定并计算信号分离方法的结构处理器、限定信号分离结构以计算输出信号的信号分离方法、以及根据信号分离方法或结构计算输出信号的输出处理器。
附图简述
图1。信号分离、鉴别与恢复问题的陈述。
图2。在用矩阵A作静态混合的情况下，信号分离与恢复网络的结构。U(t)是接近于原始源信号s(t)的输出。Y(t)包含用于修正非混合过程参数的值，即图(a)中的W和图(b)中的D。
图2(a)。信号分离的静态神经网络结构。U(t)近似于S(t)。Y(t)用于网络的加权修正。
图2(b)。信号分离的另一种静态神经网络结构。U(t)近似于S(t)。Y(t)用于反馈网络的加权修正。
图3。在反馈动态混合与分离模型的情况下的信号分离与恢复网络的结构。U(t)近似于S(t)。函数g限定的判据用于反馈网络的加权修正。
图4。(a)双信号系统信号混合与分离的常规传递函数表示。两个信号U1与U2近似于S1与S2。G将混合处理模型逆变为H。(b)该方法仅以二维描述。在更高维信号的情况下，计算步骤既不实用也不可扩展。另外，将混合环境延伸到传递函数域也消除了信号的时域特征，还从方程组中排除了初始条件。
图5。状态空间时间域结构的两种混合模型。(a)一般框架。(b)特殊情况，其中 A与 B均固定，以及它与常规信号处理的关系。两种模型都适用于多种分离结构。
图6。静态空间时间域结构的信号分离模型。(a)一般模型与结构。(b)特殊情况，只示出模型，没有图(a)中表示参数修正步骤的箭头。
图7。前馈状态空间结构。
图8。反馈状态空间结构。
图9。(a)本发明方法的流程图。(b)DSP实施结构。A/D指模一数转换，D/A指数-模转换。DSP内部可包括各种下面显示的功能单元。根据应用特点、混合信号数、期望精度等，可以有不同的结构。
图10。基于本发明的信号分离与恢复步骤的音频应用。音频信号是用话筒阵列元件转换的电信号，在该环境中，话筒阵列的每个元件接收不同类(或混合)的声音。根据应用特点、混合信号数、期望精度和其它相关判据，可以设计不同配置的话筒元件。经信号调节与滤波以后，这些混合信号由模拟格式转换为数字格式，因而可以贮存与处理。该系统的数字信号处理器按本发明的信号分离与恢复步骤编程。DSP内部可以包括各种用于各种算术和逻操作的功能单元以及数字表示、数据存贮与检索装置，以实现最佳性能。图示的电路与结构可进一步集成为在单块芯片上实现整个系统。
发明的详细描述
本发明试图恢复和分离经各种媒体发送的混合信号，其中信号分离的质量如此之高，以致能大大提高(ⅰ)媒体或信道的信号载送量，(ⅱ)接收信号的质量，或者(ⅲ)上述二者。媒体或信道可以包括基于导线、电缆、光纤、无线电波或光的频率或频段，以及固体、液体、气体，或真空的组合。
本发明还试图分离通过媒体或信道的混合信号，其中高质量的信号分离用现有的或技术领域可生产的硬件实现。
本发明的系统引入了一套优于先前描述的方法的归一化框架，以便解决迄今未曾解决的各种情况。具体而言，描述了图8所示的反馈状态空间结构及其连续与离散的再现。另外，该结构以FIR与IIR二种形式映射到一组自适应滤波器上，这种形式是数字信号处理领域中的技术人员常用的。此外，还描述了适合本发明结构的自适应参数计算的许多函数与步骤。自适应参数计算的结构与步骤都设计成实现在线实时信号分离、鉴别与恢复。许多其它技术在实践中最严重的缺点，即无法统计混合中多个或未知数量的信号、产生噪声、改变混合条件、改变信号强度与质量以及某些非线性现象，都被本发明方法解决了。本发明方法通过将解决问题的公式化扩展为包括两套新的结构与框架以及为从混合中分离和恢复信号所设计的各种参数自适应判据与步骤，克服了其它方法的不足。
引言
本发明提出的一种框架，解决了动态环境中盲信号的分离与恢复(或去卷积；de-convolution)。初期的研究受到Herault与Jutten、Comon等人研究工作的启发，近年的大部分成果关注于对Herault、Jutten与Kullback等人所报道的成果建立分析基础，有些研究者应用了许多分析工具，其中包括应用数学、统计信号处理、系统论、动态系统与神经网络。在将环境归纳到更一般的动态系统方面仍存在着挑战。
某些理论成果与方法解决了信号在动态环境中的盲分离与恢复。我们研究了用状态空间动态模型来表示混合环境，并因此而用自适应网络实施信号分离与恢复。我们应用的动态模型便于直接适合于离散的和连续的时间信道。提出的环境模型与自适应网络适用于混合环境包括(状态)反馈与存储器的情况。状态/输出的反馈对应于离散时间情况中的无限冲击响应(IIR)滤波，而前馈对应于FIR方法。
本方法着重开发网络结构并改进收敛算法，着眼于有效地实施。为了确保白色化，也为了取消输出单位抗变异的假设，应用了一种改进的(非线性)互信息/熵函数近似法。改进的展开式在网络输出中产生一奇数的多项式，其中包括线性项和高维项，这些在其它方法的展开式中都不存在。但要指出，有些工作仅仅解决了用常量矩阵代表混合环境的静态的情况。具体而言，FIR滤波公式也被转换成静态矩阵混合问题。
方法概述
图9(a)示出本发明方法的过程流程图，包括(1)采样，(2)样品预处理，(3)用状态或自适应参数的当前值计算输出，(4)计算自适应参数，(5)计算内部状态，及存贮和/或显现输出。
采样包括获取通过多个传感器(如话筒)记录的多信道数据，这类数据也可来自所述多个传感器先前记录的输出，或者例如其混合声迹的混合信号。数据可以实时在线采集或近于实时过程采集，或从磁带、硬盘驱动器等存贮或记录媒体中调用。
样品预处理包括各种对获取的样品作处理的处理技术，其中包括但不限于：上下采样以改变数据的有效采样率，应用各种频率滤波器，如低通、高通或带通滤波器或陷波滤波器，当前或先前样品传感器输出之间的线性或非线性操作，如两个或多个传感器的加权和，缓冲、随机、伪随机或判定性选择，采样数据或采样数据函数的窗口化，以及采集数据的各种线性与非线性变换。
计算输出要应用早先计算的状态与参数，这一步也可延迟到计算了自适应参数或内部状态或计算了这二者以后执行。或者，每组样品可以计算两次输出。
自适应参数计算可能涉及某种或多种用函数的导数计算该函数值的方法，该函数限定了对自适应参数施加的限制条件。可以使用一个或多个此类限制条件。本发明描述了专门计算自适应参数的的各种方法与判据。
内部状态计算涉及到调用体系结构及当前或有效的自适应参数值。内部状态的形式可以是状态矢量、标量状态、它们的实时采样或其导数。特定的结构限定了状态数量。
动态结构
动态模型包罗与描绘的环境更为实际。可以实施状态空间法的前馈与反馈两种结构。上面已列出前馈线性状态空间结构。在该整个说明书中，信号混合的数学模型指混合环境，而信号恢复的数学模型指(自适应)网络。
本发明方法将环境扩展为包括比常量矩阵更实际的模型，并且成功研制了修正法则。关键的第一步是包括了比FIR滤波器与传递函数更加通用的状态空间的动态线性系统，因为它包含了反馈与初始条件的变化。而且，这些模型让它们自己直接扩展到非线性模型。这一研究工作的另一推动力是最终能以模拟或混合模型的微电子电路实施。
该公式化提出了反馈动态结构，其中的环境由适于实施的动态线性系统表示。
前馈线性结构：
前馈状态空间结构已在引言部分作了描述并示于图7。
反馈线性结构：
一种比其前馈前身更有效的结构是所谓的(输出)反馈网络结构，见图8。这种结构对网络参数的限制条件较少，而且由于是反馈，故继承了反馈系统的若干已知吸引人的特性，其中包括耐误差与扰动、稳定、带宽增大等，这些优点从下列方法中可明显看出。
恢复问题的解决方法
如果Y对求解比例(经置换矩阵P)收敛到S，即Y=Ps，则下列(自适应)网络的参数矩阵将构成对原始信号作恢复的解：
A=A*=T AT-1
B=B*=T BP-1
C=C*= CT-1
D=D*= DP-1-H除了具有网络结构中反馈的期望特性以外，还具有解信号分离/恢复的简单性。此时，该结构对网络不引入附加的限制条件。注意，网络正向路径中的H通常可以表示最简单情况的矩阵，或动态模型的传递函数，再者，在m=n时，可把H选成单位矩阵。
该步骤的要素及其优点现在很清楚了。开发该类结构的步骤的归一化还可以考虑非最小相位混合环境，这些步骤可直接应用上步骤，故对其不再详细描述。
一项重要的归一化是包括作为该结构一部分的非线性－－显然如此。一种模型包括的非线性作为测量变量M(t)的静态映射。此时，自适应网络要求在其输入级包含补偿非线性。这样，输入级必须包含“逆向型”非线性以在进一步处理之前抵消测量结果。这类混合环境可在包括卫星平台在内的无线应用中遇到。
以这种合适方式限定的动态结构保证了盲信号分离方法的存在。现在转向下一步限定合适的自适应步骤/算法，它能让网络集中于其可能的解决方法之一。因此，在集中以后，网络将对信号处理/恢复保留变量。
离散状态空间表示法与对离散时间IIR和FIR滤波器的专用化
性能测量/泛函数(Functional)
随机矢量Y的互信息是其诸分量间依赖性的一种量度，它定义如下：
在连续情况中：L(y)=∫y=YPy(y)ln|Py(y)Πj=1j=rPy1(yj)|dy]]>
在离散情况中：L(y)=Σy=YPy(y)ln|Py(y)Πj=1j=rPy1(yj)|]]>
离散情况的近似：L(y)≅Σk=k0k1Py(y(k))ln|Py(y(k))Πj=1j=rPy1(yj(k))|]]>式中py(y)是随机矢量y的概率密度函数(pdf)，pyi(yi)是输出矢量y第j维分量的概率密度。泛函数L(y)始终为非负数，而且只有在随机矢量y诸分量在统计上独立时才为零。这一主要的量度限定了信号矢量诸分量之间的依赖度，因此它代表一种合适的泛函数，用于表征统计上的依赖(度)。L(y)可以用熵表示：L(y)=-H(y)+ΣiH(yi)]]>式中H(y)=-E[1nfy]，是y的熵，而E[.]指期望值。
一般非线性离散时间非静止动态情况：
环境模型
让环境模拟成下列的非线性离散时间动态(正向)处理模型：
Xp(k+1)=fpk(Xp(k),s(k),w1*)
m(k)=gpk(Xp(k),s(k),w2*)式中s(k)是始发源的n维矢量，m(k)是测量结果的m维矢量，Xp(k)是Np维状态矢量。矢量(或矩阵)w1*代表动态方程的常量/参数，w2*代表“输出”方程的常量/参数。函数fp(.)与gp(.)可微分。还假设该微分方程存在的唯一解满足每组初始条件Xp(to)和给定的波形矢量s(k)。
处理网络
(处理)网络可用动态(正向)网络或动态反馈网络表示。
前馈网络为
X(k+1)=fk(X(k),m(k),w1)y(k)=gk(X(k),m(k),w2)]]>式中k为指数，m(k)是m维测量结果，y(k)是r维输出矢量，X(k)是N维状态矢量(注意，N与Np可能不同)。矢量(或矩阵)w1表示动态方程的参数，w2表示“输出”方程的参数。函数f(.)与g(.)可微分。还假设该微分方程存在的唯一解满足每组初始条件X(to)和给定的测量波形矢量m(k)。
离散时间动态网络的修正法则：一般非线性情况
现在已对动态环境研制了修正法则，用于恢复原始信号。这里把环境模拟成线性动态系统，因此也将该网络模拟成线性动态系统。
该网络是一种前馈动态系统。此时，把性能指数定义为Jo(w1,w2)=Σk=kok1-1Lk(yk)]]>隶属于离散时间非线性动态网络
Xk+1=fk(Xk,mk,w1), Xk.,
yk=gk(Xk,mk,w2)要指出，该形式的一般非线性时间变化离散动态模型包括任意大小与任意层数的多层递归与前馈神经网络的两种特殊结构。对于讨论这种一般情况，从数学上讲显得更紧凑，不过要更加注意其对前馈与递归(反馈)模型的专用化。
于是，要优化的扩充成本函数就变为Jo1(w1,w2)=Σk=knk1-1Lk(yk)+λk+1T(fk(Xk,mk,w1)-Xk+1)]]>
于是将Hamiltonian定义为
Hk=Lk(y(k))+λk+1Tfk(X,m,w1)
因此，优化的充分条件为Xk+1=∂Hk∂λk+1=fk(Xk,mk,w1)]]>λk=∂Hk∂Xk=(fXkk)Tλk+1+∂Lk∂Xk]]>Δw1=-η∂Hk∂w1=-η(fw1k)Tλk+1]]>Δw2=-η∂Hk∂w2=-η∂Lk∂w2]]>边界条件如下：第一方程(状态方程)应用初始条件，而第二方程(共状态方程)应用等于零的最终条件。参数方程应用可随意或从给定组选择的小范数的初始值。
一般离散线性动态情况：
环境
Xp(k+1)= A Xp(k)+ Bs(k)
m(k)= C Xp(k)+ Ds(k)
前馈网络
X(k+1)=AX(k)+Bm(k)
y(k)=CX(k)+Dm(k)第一问题如下：恢复原始信号的处理网络中是否有参数矩阵？若有，就给出参数的显解。
存在恢复问题的解：
线性动态情况的修正法则Xk+1=∂Hk∂λk+1=fk(X,m,w1)=AXk+Bmk]]>λk=∂Hk∂Xk=(fXkk)Tλk+1+∂Lk∂Xk=AkTλk+CkT∂Lk∂yk]]>ΔA=-η∂Hk∂A=-η(fAk)Tλk+1=-λk+1XkT]]>ΔB=-η∂Hk∂B=-η(fBk)Tλk+1=-λk+1MkT]]>ΔD=-η∂Hk∂D=-η∂Lk∂D=η([D]-T-fa(y)mT)]]>ΔC=-η∂Hk∂C=-η∂Lk∂C=η(-fa(y)XT)]]>
IIR与FIR滤波器专用
网络的一般离散时间线性动态特性如下：
X(k+1)=AX(k)+Bm(k)
y(k)=CX(k)+Dm(k)式中m(k)是测量结果的m维矢量，y(k)是(处理后)输出的n维矢量，X(k)为(mL)维状态(此时表示测量结果的滤波型式)。可以看出，状态矢量由L个m维状态矢量X1,X2,……XL组成，即
特殊情况：
研究一下矩阵A与B取”可控典型形式“的情况。我们把A、B块矩阵表示为其中可把每个块的子矩阵A1i简化为对角线矩阵，每个I是一种合适维数的块单位矩阵。于是
X1(k+1)=Σi=1LA1iXi(k)+m(k)]]>
X2(k+1)=X1(k)
XL(k+1)=XL-1(k)
y(k)=Σj=1LCjXj(k)+Dm(k)]]>这种模型表示测量矢量m(k)的IIR滤波结构。在块矩阵Ali为零时，则该模型还原为FIR滤波器的特殊情况。
X1(k+1)=m(k)
X2(k+1)=X1(k)
…
XL(k+1)=XL-1(k)
y(k)=Σj=1LCjXj(k)+Dm(k)]]>
可将方程改写为已知的FIR形式
X1(k)=m(k-1)
X2(k)=X1(k-1)=m(k-2)
…
XL(k)=XL-1(k-1)=m(k-L)
y(k)=Σj=1LCiXi(k)+Dm(k)]]>
最后一个方程与被测信号m(k)相关，其延迟型式用Xi(k)表示，以输出y(k)。特殊典型表示情况：
矩阵A、B、最好表示成”可控典型形式“或形式Ⅰ格式。在IIR网络情况中，B为常量，A只有第一块行作为参数。在此情况下，对矩阵B不用修正方程。对于矩阵A，只修正第一块行。这样，把矩阵A的修正法则限于ΔA1j=-η∂Hk∂A1j=-η(fA1k)Tλk+1=-ηλ1(k+1)XjT(k)]]>注意矩阵A的形式，共状态方程可以扩展成λ1(k)=λ2(k+1)+C1T∂Lk∂yk(k)]]>λ2(k)=λ3(k+1)+C2T∂Lk∂yk(k)]]>λL(k)=CLT∂Lk∂yk(k)]]>λ1(k+1)=Σl=1LClT∂Lk∂yk(k+1)]]>
因此，A中块子矩阵的修正法则是：ΔA1j=-η∂Hk∂A1j=-ηλ1(k+1)XjT(k)=-ηΣl=1LClT∂Lk∂yk(k+1)XjT]]>[D]-T表示D矩阵的伪逆转置阵。矩阵D与C的修正法则可按下列方程制订：
ΔD =η(D]-T-fa(y)mT)=η(I-fa(y)(Dm)T)[D]-T式中I是个由r×r单位矩阵扩充有附加零行(n＞r)或附加零列(n＜r)而组成的矩阵。按“自然梯度”来看，此时的另一种修正法则为ΔD=η(D]-T-fa(y)mT)DTD =η(I-fa(y)(Dm)T)D对于C矩阵，可对每个块矩阵将修正方程写成：ΔCj=-η∂Hk∂Cj=-η∂Lk∂Cj=η(-fa(y)XjT)]]>若通过取消内部状态来还原该状态空间，也就将该系统还原为静态环境，其中
m(t)= DS(t)以离散表示，它被定义为
m(k)= DS(k)对于统计混合信号的分离，已描述了两类(离散)网络，这些都是前馈网络，其中分离信号y(k)为
y(k)=WM(k)而反馈网络中的y(k)定义为
y(k)=m(k)-Dy(k)
y(k)=(I+D)-1m(k)对此推荐的离散修正法则如下：
在前馈网络的情况中，
wl+1= wl+μ{-f(y(k))gT(y(k))+ ∝I}
而在反馈网络的情况中，式中(∝I)可用f(y(k))gT(y(k))矩阵中对角线的时间窗口平均值代替。
注意：修正中还可使用倍增加权。下列“动态”FIR模型能演示类型的修正法则的更改。
环境模型：
在FIR单纯延迟的情况下，由下式定义混合样品m(k)m(k)=D-oS(k)+DlS(k-1)=Σi=01D-iS(k-i)]]>
分离前馈网络模型
该网络产生的近似源信号Y(k)定义为y(k)=Σj=1LWjM(k-j)]]>
按下列方程对矩阵WO～WL应用修正法则：
ΔW1=-μ1 {f(y(k))g(y(k-1)}T
或
ΔW1=-μ12{f(y(k))g(y(k-1))T+r f(y(k-1))g(y(k)T
……ΔWL=-μL{f(y(k))[Σl=1Lg(y(k-l)T)]}]]>
或ΔWL=-μL{f(y(k))[Σl=1Lg(y(k-l))T]+r[Σl=1Lf(y(k-l))]g(y(k)T}]]>通过将变化率ΔW加给W，可简便地作特定修正
Wl+1=W1+ΔW或用另一种已知积分方法，由其导数计算出变量值。
连续时间模型
本发明引入一组修正法则，并把非线性神经网络中互信息的最小化与输出熵函数的信息最大化联接起来，尤其与混合信号的盲分离、鉴别与恢复技术相关联。本发明的系统能自适应地对在改变干扰环境中混合在一起的若干未知信号作盲分离与恢复。对原始信号的假设极少。
在前一部分已开发出离散时间模型。本部分主要针对连续时间推导。这类连续系统推导与离散情况的推导相关列，这里描述的内容可补充连续时间模型。要指出，在本发明内容中，连续时间与离散时间推导大部分相互一样。本领域的技术人员也可把某一域的修正法则转换为另一域的修正法则。
性能测量/泛函数
随机矢量y的互信息是其诸分量之间相依性的一个量度，可定义如下：
在连续情况中：L(y)=∫y=YPy(y)ln|Py(y)Πj=1i=rPy1(yi)|dy]]>
在离散情况中：L(y)=Σy=YPy(y)ln|Py(y)Πj=1i=rPy(yi)|]]>
离散情况的近似：L(y)≅Σk=k0k1Py(y(k))ln|Py(y(k))Πj=1i=rPy1(yi(k))|]]>式中py(y)是随机矢量y的概率密度函数(pdf)，pyi(yi)是输出矢量y第j维分量的概率密度。泛函数L(y)始终为非负数，只有在随机矢量y诸分量在统计上为独立时才为零。这一主要量度限定了该信号矢量诸分量间的相依度，因而它表示一种合适的表征统计相依(度)的泛函数。L(y)可表示为熵。
L(y)=-H(y)+ΣiH(yi)]]>
式中H(y)=-E[1nfy]，是y的熵，E[.]指期望值。
修正法则的推导
假设神经网络的线性前馈结构如下：于是，(随机矢量)输出与混合输入变量的概率密度函数就相关了。随机矢量y的互信息是其诸分量间相依度的量度，可定义为：fy(u)=fm(u)|W|]]>因此，L(y)=-H(y)+ΣiH(yi)]]>可写成L(y)=-H(M)-ln|W|+ΣiH(yi)]]>要优化(实际上是减至最小)作为W函数的L(y)，只要求知道边际熵值(或近似值)。此类信息无法用假定得到，因而为使L(y)最小，要求逼近这些量。Comon与Amari等人曾分别用pdfs的Edgeworth和Charlier-Gram扩展近似边际熵。近似得出：
L(y)：=φ(M,y,W)推导得出下列梯度修正法则W•=η[W-T-fa(y)MT]]]>其中泛函数近似导致不同的函数fa(y)。我们假设过Charlier-Gram扩展式，且包括高于以前使用的近似。在此情况下，函数fa(y)为fa(y)=7112y15-35512y13+1903y11-403324y9+9413y7+478y5+y3+y]]>作为例子，在将均一随机噪声与正弦函数作为未知源应用时，由前两个方程定义的算法就收敛。可以用自然梯度来表示先前定义为W•=η[w-T-fa(y)MT]]]>那样的修正法则W•=η[L-fa(y)yT]w]]>此时，模拟表明，这种算法对各种信号均收敛。然而，若应用随机和正弦波形，则不收敛。若使用某些非线性函数，这些结果仍适用。因此在这种情况下，两种函数的效果相似。
连续动态环境的参数修正技术
我们研究一下更实际的环境，限定其模型，并运用修正法则恢复原始信号。在我们的公式化中，把环境模拟成线性动态系统，因而该网络也被模拟成线性动态系统。
为了恢复原始信号，对动态环境研制了修正法则。这里的环境被模拟成线性动态系统，因而也把该网络模拟成线性动态系统。
前馈情况：
网络是一种图7那样的前馈动态系统，此时，定义性能指数式中是Lagrangian，定义为式中λ(t)是伴随态方程，定义为λ•=-ATλ+∂φ∂x]]>泛函数φ可以代表相依度量度I(y)的标度型式，w是参数矩阵C与D诸行构成的矢量。注意，可以使用典型的实现方法，因而B为常量。在典型表示法中，矩阵A可以只具有N个参数，其中N是状态矢量X的维数。通常用wp表示的参数A、C与D将应用一般梯度下降形式修正：因此，利用定义为I(y)=-H(y)+ΣiH(yi)]]>的性能指数，可按下式修正矩阵C与D：D•=η(I-fa(y)yT)D]]>C•=r(I-fa(y)xT)C]]>式中fs(.)由各种包含双曲正弦的非线性扩展奇函数和反曲函数的逆函数给出。
在一种特定的计算/近似法中，给出函数fa(y)=7112y15-35512y13+1903y11-403324y9+9413y7+478y5+y3+y]]>
对fa(y)应用上述方程的基本特点归纳如下：
1．它以分析方法导出与证明，
2．在y中包括一线性项，因而具有信号白色化所必需的第二阶统计学性能，
3．包含的高次项在输出信号y中由第四阶累积量统计析出，及
4．不必假设输出信号具有统一协方差。
fa(y)函数代表迄今在文献中唯一使用的具有上述特征的函数，因此该函数越出了其它分析推导的函数的限制。
计算机模拟确认，若应用上述定义的fa(y)函数，该算法便收敛。
反馈结构
运用下述(典型的)状态空间表示法，在实施时可以简化图8的(输出)反馈结构：
环境：
Xi= AiXi+ BiS.l≤i≤L
M=Σi=1LC-iX-i+D-S-]]>
网络：X•=AiXi+Biy,l≤i≤L]]>Z=Σi=1LCiXi+Dy]]>
y=M-Z式中每个Xi表示与源信号维数一样的环境的状态矢量，而且表示与输出信号维数一样的网络的某种状态。为简化起见，在环境与网络中都假设同样的状态矢量数L。
现在运用性能指数I(y)=-H(y)+ΣiH(yi),]]>按下式修正矩阵Ci与DD•=ηD(-I+fa(y)yT)]]>C•i=rCi(-I+fa(y)xT)]]>
一种在某些情况中经验证能工作的更简单的修正法则可以满足特种场合应用：D•=ηfa(y)yT]]>C•i=rfa(y)xiT]]>计算机模拟演示了上述两个方程的性能。
很清楚，在简单的FIR滤波中，这类状态可以表示诸源的简单延迟，而网络中的状态代表反馈输出信号的延迟。然而，这种观点只是考虑了实际物理应用中发生的信号延迟。因此，该框架更为通用，因为它考虑了任意的延迟，包括IIR滤波与连续时间物理效应等延迟。
观察与信息最大化的关系
可以用非线性网络输出矢量的熵改写平均互信息，该非线性网络的加权矩阵后面有一活化函数非线性。这一观点可将有关的分析方法与信息最大化法联系起来。为了探寻这种联系，可按如下方法进行。运用(fy(u)=fm(u)/｜W｜)，可将互信息判据重新表示成I(y)=E[lnfM(u)|W|Πifyi(ui)]]]>∫fy(u)lnfM(u)|W|Πifyi(ui)du]]>现在可将表达式|W|Πfyii(ui)]]>视作加到输出矢量分量的非线性(活化)函数的函数行列式(Jacobian)。这样，若插入某种活化函数非线性度，在加权矩阵的线性映射之后，可令表达式I(y)=∫fy(u)lnfy(u)Πifyi(ui)du]]>等于
I(y)=E[lnfy(u)]注意，在此最后一步，我们应用同一符号f灵活地指该非线性活性函数矢量输出的未知联合概率函数。现在可以指出I(y)=∫fy(u)lnfy(u)Πifyi(ui)du]]>的最小化等效于I(y)=E[lnfy(u)]的最小化。可以看到，根据定义，将量I(y)=E[lnfy(u)]减至最小等于非线性活化函数输出的熵函数的最大化。注意，把使用的非线性活化函数构制成使其导数必定等于边际概率分布，这样就在这里采用的分析方法与其它讨论的方法之间建立了准确的联系，从而绕过了先前作出的一般无效的假设，即假设H(yle)与加权矩阵无关。
应该指出，该方法的关键在于对边际概率密度函数确定某种近似式，而这种近似式要求依赖于被处理信号的统计特性并被分析方法验证。不确定与确定性修正
要指出两个要点，一是在该方法采用不确定泛函数时，在最终实施修正法则的过程中，只使用输出变量y的确定性函数。第二点是在线应用修正法则W•=η[W-T-fa(y)MT]]]>或W•=η[L-fa(y)yT]W]]>。相反地，应用前面描述的修正法则时，要使用窗口并选择随机输出样品来模拟修正法则中的不确定处理。
结构与修正法则的实施
以前已报道过将HJ网络实际扩展成第一阶动态网络的直接硬件实施情况及实验结果。直接实施表示一种对最快速地执行恢复网络有效地实施该结构与算法的途径。
另一种范例(paradigm)包括DSP结构。对于这里讨论的信号分离算法族的DSP基模拟，将取决于在特定应用中识别最佳处理器结构与数值表示法(如浮点或定点)的折衷。要实现高度集成化的方案(如一块芯片)，则要求埋置一个DSP核心，该核心可以是预先设计的器件，或用标准硅单元库设计。
从编译程序前端到DSP组件和联接件，形成一条从高级语言编码算法模拟环境到DSP模拟的直通桥路。此外，在许多计算环境与DSP模拟环境之间存在着类似的直接联接，如C/C++库和各种处理器的编译程序。
可编程逻辑电路可以成为相关开发处理的一体部分。可编程DSP核心(为集成到定制芯片而设计的DSP处理器)可同定制逻辑电路集成在一起，以便区分某种系统并减少系统的成本、占用空间和功耗。