在多帧幅上协调确定移动的方法和设备 相关申请
本发明与下面的申请有关，这些申请转让给与本发明相同的申请人，并与本申请同日提出，把它们引用于此，作为参考：
-基于多帧地分段数据流的方法和装置(代理人文件：IDT 013 WO)
-深度模型及提供移动物体信息的方法和装置(代理人文件：IDT 15 WO)
技术领域
本发明一般涉及将每一组中的大的和相关的数据记录的参数化。特别涉及对相关的信号记录组如视频帧幅的改进的移动估算。
发明背景
在视频模型化和压缩技术中，活动(移动)的估算和补偿是十分重要的。不用此种技术，则难以对移动的物体或其它的移动作有效的描述，特别是在视频压缩和交互视频游戏中的应用。Singh Ajit(在IEEE Computer Society出版的“光学流计算”的杂志中)描述了移动估算的一般方法。
移动估算通常是由一帧到另一帧完成的，比如说从帧m到帧n，其强度则用Im和In来表示。
如果对移动估算要求有精确的统计精度的话，则在作估算时必须有效地使用所有有用的信息。这就是说，如果在几帧中重复地观察到具体的移动物体或现象，那么只要在这些被重复观察到的帧之间作移动估算便可获得很高的精确值。
然而，移动估算往往是要通过计算才能求得的，尤其是在全域范围内移动时，每像素(元)之Im或In的一个垂直移动和水平移动的参数都需要确定。
同时，移动估算还需要大量的存储单元。在许多帧时任何同时的移动估算都可能因存储量过大而受到限制。
另一方面，仅在二帧基础上作全移动域估算是很困难的：虽然仅一个与成像物体的原始的移动相对应，但对多数像素来说，由于不同的移动估算可以找到相同的合适的值。
当观察到具体物体在几幅帧上一步一步移动时，对这些移动来说，若已知它们是在二维域上作移动的话，则它们每一帧都有一定的相关性。由于每一步都是相似的，便可使用较少的独立参数对有关的帧的移动范围作理论上的模型化。而这些模型又反过来使视频的压缩和编辑技术十分有效。
但是，实际上单凭经验数据是不能来确定移动域的。首先，由于在原始数据中多少夹杂了一定的随机噪声，因而在获取移动域时也可能多少会产生一些随机的误差。更糟的是，由于难以确定全移动估算的性质，因而也就难以找到“真正的”移动域。于是，对每一帧十分可能会找到一些不同的伪假移动估计。
因而，那些基于一对一对帧幅的确定移动的现有方法和设备存在着如下的缺点：
1、由于对不同的帧在作移动估算时缺乏统一步调以致难以有效地对移动估算域作出精确的模型，因而在对它们作压缩时容易失去真实性以及失去良好的编辑性控制。
2、由于这些方法不采用稳定的方法，在几帧中可见到同样的非随机物体或现象，这样由于对图像随机噪声的敏感性使得移动估算有多余的不精确的地方。
3、由于存在难以确定许多移动估算问题的性质，移动估算会产生一些不必要的不确切地方。这些不精确，不确切之结果表示了一种过参数现象，它可以很适合于个别几对帧，但是除了一些未知的具体的移动外它的内/外插入性很差，且不能给出较好的估算值。
4、若使用在计算机存储器内同时处理多个帧来统一协调移动估算的方法，则对计算机的计算量和存储量之要求十分高。
发明目的
本发明的目的就是对一组多幅帧提供一种统一协调移动估算的技术，以有效地对该组移动估算模型化，以获取良好的压缩和编辑性控制。
本发明的另一目的则是通过将由幅帧所共享的按部就班的移动图样与对每一帧来说是唯一的视觉上的移动图样以及由于随机噪声和估算的不正确而可能造成的视觉上的移动图样区别开来的方法，对一组多幅帧的移动估算作统一协调以获取较高的移动估算的精确度。
再一个目的是通过对每一个帧向其它的帧的协调方向加上一个似然的移动估算的偏置限制以获得对实物的模型更为精确的结果。
本发明的再一个目的则是在实施本技术时，虽然可以协调许多个相关的帧，然而对计算机的处理能力和存储量的要求却不高。
本发明再一个目的则是提供一种计算方法，它即可采用外线性又可采用线性的似然偏置限制。
本发明的再一个目的是提供一种技术，它可采用不是移动数据的数据来作多帧模型化，以提高移动估算本身的精度。
最后，本发明的一个目的则是要提供一种方法，它可采用移动估算、模型化和补偿的手段以使得除了移动数据外的其它多帧数据更适合于双线性模型。
记号和定义
在下文中，符号“*”需要时表示乘号(图6中的*号除外，这里它仅表示迭代或迭加)。符号“×”则是表示矩阵的维数(即矩阵的大小＝n行×n列)。粗体大写字母表示数据矩阵，细体小写字母则表示数据向量。术语“主元分析”(用PCA表示)，双线性模型(用BLM表示)分别用这些简化代名词来表示。
发明内容
用双线性模型对移动估算作近似计算以获得在几个帧上的移动估算的统一协调。双线性模型表示了几帧移动域的子空间近似值。双线性模型之参数--加载向量、标记向量及留数--是由主元分析或其它有关方法估算出来的。双线性模型由相关的参照图像来定义的。
使用在移动估算前就建立起来的预置双线性移动参数值可以简化和稳定一个给定帧的移动估算。这些预置双线性参数值既可用来生成移动估算之启动假设，又可将移动估算引导到以前的几帧中找到的相应的移动图样上去。
在结束时，双线性移动模型总结出一组相关帧中的物体共同的移动图样。
描述了多帧双线性移动模型的几个不同的控制结构。
也描述了特别的双线性参数估算法包括空间和暂态平滑以及重新取权和最佳权衡等。
双线性移动模型化与补偿强度变化的移动的双线性模型化用二种不同的方式相合，以加强移动的估算以及灵活的图样识别。
附图简要说明
图1图示说明了怎样将一个尺寸为nv×nh个像素的一个移动方向的移动域抽出来作为一个具有nv*nh个像素的一维向量；(这里，DVRn即是Delta垂直地址，即是从参照图像R到图像n的每一个像素的垂直移动。)
图2图示说明了在二个移动方向同时被模型化时怎样将二个具有尺寸为nv×nh个像素的移动域一起抽出来作为一个具有2nv*nh个像素的一维向量(DARn＝[DVRn和DHRn]为垂直和水平方向)；
图3图示说明了一个矩阵X怎样能由二个依次矩阵T*PT加上留数矩阵E来模型化；
图4图示说明了适合一单帧的图3的参数；
图5示出了第一个实施例，其中是将整个序列或帧序列与移动估算(在EstMovSeq的方框中)，模型估算(在EstModel的方框中)以及假设生成(在EstHypSeq的方框中)一起处理；
图6示出了第二个实施例的示意图，它涉及到移动估算(在EstMov的方框中)，模型更新(在EstModel方框中)与假设估算(在EstHyp方框中)的迭代结合；
图7示出了对几个帧n作输入假设的移动估算器的数据结构；
图8示出了对于假设和几个反映其自身期望统计性质的几个假设方法而得到的几个帧n的移动估算器的输出的数据结构；
图9示出了按规则处理EstHyp运算器的迭代版本形式的呆滞信息，这是关于移动的点估算以及反映其自身统计性质的估算之可靠信息，其中对一给定帧的移动域是按照域是怎样适合于表示其它域的移动估算而一个像素一个像素作修改而获得的。
基本构思
考虑到对每一个帧建立有效及可靠的移动域，如视频编码的重要性以及建立整个序列时有效和可靠移动表示式的重要性，本发明能从许多帧中累积和利用这些移动信息以减少估算时的模菱两可的因素，防止闭塞问题以及噪声敏感性问题，甚至在计算机资源有限的情况下也可达到。
基本构思是对一组帧中的一组像素不管其一步步的移动图样是什么，总是要开发和确立一种共同的数学模型的描述，且可以利用这种模型的描述来提高对每一帧的移动估算的能力。用来刻划按步移动图样的数学模型可以有不同的种类。一方面，这类模型必须有足够多的参数以确切地描述所需要的移动。而另一方面这类模型又必须是相当简洁以适应难以确定统计限制噪声敏感移动估算的问题。因此，该模型的独立参数的数据必须是动态的根据模型化的灵活性(避免不能适应的情况)的需求和防止噪声(避免过适合的情况)的需求而定。
为了对每帧加强移动估算就使用数学模型中的参数在帧之间的共同的按步的各种图标作通讯交换。而为了积累和结合各组帧的按步移动的信息，通过适当的方法反过来对这些参数作估算。
一种较实用的数学模型则是通过多维加法模型求共同变化图样的近似值，它可以被看成是子空间模型或双线情模型。本发明的中心问题实际上是子空间模型可以包含一维以上，另一个中心问题是子空间模型的定义是数据驱动而不是理论驱动，即它是由经验数据(至少部分是)来确定的而不是由数学函数诸如正弦和余弦这种数据来确定的。
将用二维图像来解释这个方法：在视频编码中用来压缩或编辑控制的模型参数化。它也适用于一维数据结构(声音分析中时间变换，控制处理中线条摄像机移动估算)和3维数据(例如人脑的核共振扫描等)。
多帧模型化的移动数据表示法
在视频的移动域中有一个垂直分量DV和一个水平分量DH。它们总的被称为是光流域或移动域DA(Delta地址)。
在某些视频编码方法中，有几个信号记录(帧)与一个共同的所谓“参照图像”有关。其中之一的例子则是IDLE编码型，它在专利申请号为WO95/08240描述过，其中移动、强度改变和其它有关帧的许多模型变化信息均直接或间接地表示成与一共同的“扩展参照图像模型”相关的形式(用R表示)，该形式与给定的帧n＝1，2，…，序列中的给定的像素段(称为空“穴”)有关。使用参照图像模型的一个IDLE型的译码器在专利号为WO95/34172的视频图像译码的设备和方法一文中已有介绍。
因此，带下标的符号DARn的移动域则是表示了在参照图像模型中每个像素是怎样按垂直和水平方向作移动以求出输入帧n的近似值的。
在本发明中各移动方向可以被分别加以模型化。
图1示出了怎样将具有nv×nh的垂直移动域DVRn抽出来作为一个vn*nh行向量的分量，几个帧的移动域表示了几个这种大小相同的向量，它们在一起模型化。
在本发明中不同移动域的方向也可以一起模型化。图2示出了怎样将垂直移动域和水平移动域同时作为一个行向量存入，使之具有2*nv*nh个分量。同时这种几个帧的向量的大小是相同的，因而也就可以放在一起作模型化。
移动数据的子空间因子模型化
在本发明中，对一个给定的点在某一时刻一组帧的估算的移动域是按序列模型在一起模型化的，同时，这个模型又用作各个帧稳定其它移动估算，这些新的移动估算被用来改进序列模型等。
一种较好的实现模型化的方法则是多次利用有限个独立的经估算的参数，如带有隐藏结点的神经网络由诸如反向传播来作估算(参阅Widrow.B和Lehr.M.A(1990)的自适应视经网络视感器，Madaline及反向传播、IEEE会议录Vol.78，9，pp1415-1442)。在众多的重复类型中，由于可以将其看成是空间或子空间的线性型，因它的计算速度高，执行方法灵活，理论上简洁易懂以及结果容易解释等诸多优点而受到人们的表睐。这一点在Martem H.和naes，T.(1989)的多程校准一书中有详述，该书由J.Wiley & Sons有限公司(英国)出版。利用共同参照位置改进子空间模型化
为了有效地对几个帧的移动域同时进行模型化，他们应使用共同的参照位置来表示。同时，为了能有效地对强度变化模型化以及对帧中各像素的性质模型化，使用共同的参照位置也是十分重要的。为了模型化时移回到这个参照位置，这些性质还需要有移动补偿。可以从相关的帧In组中选取或构造一个参照图像IR。该图像可以是序列n-1，2，…，N中的如第一幅，中间的或者是最后一幅，也可以是该序列中几帧信息的组合。除了在视频序列的编码过程刚开始的时刻，通常总是有二段以上在分别进行模型化，同时每一个都有它自已的参照图像信息。(分段至全穴的详细介绍在专利申请“基于多帧分段数据流的方法和设备”中可以找到，以及在“深度模型及提供移动物体深度信息的方法和设备”中可以找到。这二个专利在前面均已提及过。不同的全穴以参照图像信息可以分别按几种参照图像IR(穴)分别存储起来，h＝1，2，…，或按集中的参照图像IR一起存起来。)
空间参数用一个共同的参照位置的表示式有三个优点，它们与移动估算有关：
1)同输入数据噪声和某些偶然发生的移动估算的误差相比移动估算更为强劲因而有更高的可靠性和有效性。
2)由于不同相关的帧得到的移动估算可以比较容易地用数字模型化，因而也就易于压缩和编辑(在视频编码时)以及以后也易于控制(在视频游戏和虚拟实现时)。
3)由于各种图像获得的信息作为有效的统计的限制，移动估算这过程可以进行得较快。
子空间模型化的代数描述
先介绍一些必要的代数工具。
子空间模型化的目的是要获得某种程度的灵活性，但在移动域中的有系统的协变性的足够的限定在估算时还是需要的。子空间的描述可以表示成双线性因子的模型。
在H.Mratens和Naes，T.(1989)的多程校准一书中(由J.Wiley & Sons有限公司Chiehester英国出版社出版)可以找到详细的关于双线性模型化的内容。这里只是简要介绍一下：
从n＝1，2，…，n幅帧中得到的移动域向量可以按矩阵形式存入，同时为了找到简洁且灵活的近似方法以提高移动估算的精确值，随时要改变多摆动的模型化。
图3中矩阵X的每一行可以是一帧在一个移动方向或几个移动方向的移动域向量。若所有帧的数据是按相同的参照位置表示出来的话，那么，X中的每一列则可被视为其对应“参照位置像素”pel＝1，2，…，n像素的观察到的特性。
这些观察到的特性可以由双线性模型(BLM)示出近似值：矩阵X可以或多或少地写成共同变化现象(这些现象可以是‘潜伏’变量、因子、主元)f＝1，2，…，n个因子与留数之和：
X＝X1+X2+…+Xn因子+E
其中，
X为待模型化的数据--即对每一模型化的帧有一行，对每一要同时作模型的像素变量有一列(例如，对每个像素有一水平和垂直移动分量)。
X1，X2，…，Xn因子则表示各具有影响因子在X中与主要的有系统协变图样有联系的，同X的大小是相同的。
E则表示误差或外模型的留数，大小与X相同。
可相关因子f＝1，2，…，n因子是定义成二个向量之外积
Xf＝tf*PfT
其中
tf是一列向量，其中每一帧为其一个分量，每一个分量tnf描述了该因子f是怎样用帧n表示它自身的。因而向量tf称为标记向量，其值可以是正、负或零。
向量PfT(向量Pf的转置)是一行向量，每一分析过的变量有一个分量(例如每一像素)，每一分量PfK描述因子f是怎样对变量k来表现自身的。因而，向量Pf则称为因子f的加载向量。其值可以是负、正，也可以是零。通常对tf或Pf的向量长度要加以限制，以免产生有关连的代数的模糊概念，如在tn中的分量平方之和应为1。
于是全因子模型可以写成矩阵形式，在图3中有说明：X=Σf=1tf*PfT+E]]>
X＝T*PT+E (1)
其中
T＝[tf，f＝1，2，…，n因子]为一双线性因子的标记矩阵--对每一模型化后的帧有一行，且对每一模型化的双线性因子则有一列，f＝1，2，…，n因子。
PT＝[Pf，f＝1，2，…，n因子]为一双线性因子的加载矩阵--对每一同时为待模型化的像素变量有一列，而对每一双线性因子模型f＝1，2，…，n因子则有一行。上标T是转置的意思。
相关因子矩阵乘积T*PT可以表示成数据矩阵X的近似值，因此，写成XHat：
X＝XHat+E
XHat表示X的子空间近似值，这是在标记T和加载P都有n因子的列向量，且有n因子维子空间的意义上来说的。T子空间描述了有关帧之间的主要变化以及协变性，而P子空间则描述了有关变量(像素)之间的主要变化及协变性。
双线性和线性模型化的估算方法
双线性模型化(BLM)
将最明显的子空间从矩阵X中提出来的方法是很多的，如上面提及的由Martens & Naes 1989以及在Jolliffe，I.T.(1986)在主元分析中提到的那样。还有在统计学Springer系列由Springer-Verlag New York和Jackson，J.E.(1991)由J.Wiley &Sons，New York出版社出版的主元用户指南等著作中都提到过。其共同特点是将X中的主协变图样提取到XHat时尽可能少地提出因子，在留数中，多少要留一些非有系统或唯一的变量。主元分配(pca)或统计上截断奇异值的分解(消除小的奇异值结构)也可以用在本发明中。
如果有一些应该协调的移动估算的外界信息可以使用的话，也可以利用PLS回归算法。这种做法的一个例子就是使用声音信息(例如在上不频率通道或从不同的滤波器中出来的能量)作为帧的Y变量，而利用移动数据作为X变量。另一个例子是用时间变化的移动数据作为Y变量。
如果需要或愿意的话，也可以坐标形式来模型化垂直和水平移动，这只需使用二块双线性模型。例如使用PLS回归法(Martens，H. & Naes，T.1989；多程校准，J，Wiley & Sons有限公司出版，英国)。
若所估算的移动不至一个物体(全穴)，则可以由N重双线性方法对移动数据的双线性模型化作坐标，例如同感PCA(Geladi，P.Martens，H.Martens，M.Kalvenes，S.和Esbensen，K.(1988)，实验室测量的多程比较，应用统计学研计会会议录，哥本哈根，1988，1月25日-27日，丹麦哥本哈根，PP15-30)。
在公共子空间模型PT中的移动域的表示式确保了序列中的所有模型化的移动均属于‘有规则的移动图样’的公共集合中。
只要有可能，所以对标记tn加上一些附加的限制，以有利于使短暂的移动非常平滑，同样也可以使加载平滑以有利于空间移动图样。这些附加的限制可以在双线性降阶模型化后加上去，也可以直接包括在实际的双线性模型化中。
本发明还具有模型降阶估算法，以适应当前的需要，这方面有很多功能将在以后介绍。主要包括：pca降阶和空间暂态平滑结合的功、延迟、自适应点估算，以加强帧际协调的功能。
在这些模型中，因子数f＝1，2，…要限制在什么范围内可以由上面提到的Jolliffee(1986)，Jackson(1991)或Martens & Maes 1989所描述的方法来确定。
线性模型化
由于加载矩阵子空间P表示了有规则的移动图样，这些图样在所有的帧分析时多少是有效的，因此，可以认为在相同序列的一个帧n中找到的移动向量也应该与这个子空间P中的位置对应于它的标记向量tn＝[tn1，tn2，…，tn，n因子]。
因而，如图4所示，对一个分别的帧n来说，双线性模型可以写成：
Xn＝tn*PT+en (2)
其中
数据：xn是1×n个像素
标记：tn是1×n因子
加载：PT是n因子×n像素
在双线性模型中还可以包括一种偏移量(confr.Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley & Sons有限公司，chichester英国)，在此从略。
在对帧n，xn和在子空间加载P的移动数据的基础上(例如提出移动域估算)，则也能估算留数向量en和标记tn。事实上，只要估算的方法总的来说能使留数向量中之分量很小，那么各种不同的估算方法都是可以使用的。加权线性回归算法不失为一种好方法(参阅Weisberg S.(1985)Applied linear regression.2nd ed.，J.Wiley & Sons，NewYork，和Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley & SonsLtd，Chichester UK)对一个对角线加权矩阵W，标记可以由下式估算：
tn＝xn*W*P*(PT*W*P)-1 (3)
除了使用回归方法对移动、强度变化和其它数据域作标记估算外还有一个方法便是外线性迭代最优化，例如标准SIMPLEX最优化(参阅J.A.Nelder和R.Mead的‘函数最小化的简易方法’，计算机杂志，第7期P.308-313)，在这种方法中，开始先从一标记启始值出发，然后不断地改进标记以减小某些标准。例如，一个按标记作过修改的参照图像IR与由参照图像获得的需求近似值的帧In之间的强度函数不够匹配。也可用回归法与外线性迭代适配法相结合的方法。
相反，在方程(1)中的双线性模型对每一像素可以写成：
Xpel＝T*Ppel+epel (4)
其中
Xpel是n帧×1
T是n帧×n因子
Ppel是n因子×1
epel是n帧×1
因此，在下列这种情况下，那些加载值可以通过象通常在最小均方回归中使用的将数据Xpel映射到标记T上的方法进行估算。这些情况是：在某些帧n＝1，2，…，n帧的集合中的一些新像素来说可以利用数据Xpel；在其它的像素的基础上对这些因子f＝1，2，…，f因子的集合的帧，但对这些新像素来说，他们的加载值Ppel是未知时，可以利用标记T。
Ppel＝(TT*T)-1*TT*Xpel (5)
考虑到这方面与本发明有关，在下面将结合本发明作详细介绍。
若从帧的集合或子集获得的移动域DApel，n＝1，2，…被定义成数据X，那么横跨最高位的X的行空间的加载子空间PT多少表示了对序列中的几个帧来说是共同的移动信息。对每一帧分别估算的或对许多帧一起估算的那些帧n＝1，2…的标记向量tn(参看下面)可以用来将这个共同的移动信息PT传回到每个帧上去n＝1，2，…。
双线性模型中的参数，即加载和标记参数T和P以及留数是从统计估算过程中产生的，例如从X的奇异值分解中取出前面的几个因子即可。这些因子可以很好地表示X中的主要的有关信息。但是它们多少也含有估算的噪声。双线性模型给出了较好的分离办法；同用来确定双线性模型的参数的观察来比较模型中的因子个数是较少的。
模型参数T和P的不确定的协变数可以由近似理论来估算。例如，假定在E中的各分量是正态分布N(0，S2)，这些不确值使可由下列来估算：
标记之协变数 COV(tn)＝(PTP)-1*S2
加载之协变数 COV(Ppel)＝(TTT)-1*S2
重建数据xnHyp和留数的协变数：
E：COV(tnPpel)＝(hn+hpel)*S2 (6)
其中
帧影响力n＝hn＝diag(T(TTT)-1TT)
像素影响力pel＝hpel＝diag(P(PTP)-1PT)
有关重构移动域的不确定性的另外的信息(即xnHyp)可以从下面获得：
a)在应用移动域后的留数强度：对一个像素的大的正强度留数或大的负强度留数指出无效移动，例如由于闭塞问题或有规则的强度变化。
b)松驰：通过在比起某一强度噪声的程度来所得的强度不匹配现象大大增加之前就要能检测到从xnHyp中得到的当前值的不同方向中一个像素的移动值究竟可以修改多少，这种方法可能会得到一个移动域的不明确或不可靠的估算。
在对一个新的物体作标记估算时，不同因子的标记的协变可以由帧的噪声变量Sn2：CON(tn)＝(PTP)-1*Sn2中估算出来。而当对一个新的像素作加载时，不同因子之加载协变数可以由像素变量Spel2：COV(Ppel)＝(TTT)*Spel2中估算出来。有关的这个变量如在Martems，H和Naes T.(1989)在多程校准，J，Wiley & Sons公司(英国)一书中闸述的那样可以是基于前面获得的知识，也可以在过适配后作了适当的修改后由它们自身的数据中估算出来的。
在某些应用中，期望或猜测事先发生在某些已知的变量图样。在模型化中可以包含描述这种优先变量图样的参数，因而也就省却了由数据本身来估算相应的参数的需求。如果可以利用已知的空间变量图标的话，那么可以将它们包括到加载矩阵P中去，作为只需估算标记的因子。如果可以利用已知的暂态变量图样，那么可以将包括在标记矩阵中，作为只需估算加载的因子。若它们的空间和暂态参数都是已知时，则它们更可包括在双线性加载和标记模型中，而不必作任何参数的估算。
移动估算器的选取
移动估算器应选取具有某种估算功能的，即能利用xnHyp信息以及它的有关假设的效果测度。在对DARn＝xn的移动估算中，参照图像IR与当前图像In之间适配的优劣与其它帧的移动估算作为由双线性xnHyp而传播的协调的优劣程度以及同其它假设的适配的优劣程度，例如暂态和空间平滑等必须要二面权衡地考虑。在专利号WO95/26539估算移动的方法和设备中给出了这种移动估算的例子，因而我们也将它列为参考文献。
移动估算器最好是基于下列事实，即将IR中每个适配不好的像素位置映射到一些所希望的移动域周围的Inw.r.t各种位置替换的移动上去。对IR中每个像素位置来说，可使用各种输入假设作为移动估算器的输入，以减少移动估算的不确定因子。在那些按照假设会产生移动的地方，那些凭经验而对不同的替换移动适配不佳的会缩小到零。子序列空间平滑应用于收缩过的适配不佳的数据，以有利于连续移动域，同时对IR中每个像素取出这个经过平滑处理的收缩的适配不佳的最小值作为其预先的移动估算。而这个移动估算又按照深度/闭塞分析后作进一步的滤波及修改，得到移动估算DARn，在双线性矩阵代数中也称之为xn。
另一种办法是移动估算也可以在相位关系的基础上检测主移动类型，接着是一个解释过程。它将被检测出来的不同的移动归于图像的不同部分；假设既可以用来修改相位关系图(例如在xnHyp有效的地方加上一些附加的关系)又可以修改子序列解释相位(在相位关系移动假设一致的地方的移动倍受重视)。
也可使用其它的移动估算器。
双线性模型结合移动估算的应用
上述的双线性模型在在本发明中有三种不同的用途：
1)提高每个帧的移动估算精度
2)对一列帧作移动模型
3)用多域模型化增强移动估算
下面对每一点作简要说明。
1)提高每个帧的移动估算精度
对一列相关帧中之一个帧作移动估算来说，是应用了这个序列中的其它的帧为基础的双线性模型，以提高这个特定帧的估算后的移动域DAn，这就需要搜索过程一个启始点(偏移量)的双线性定义以及通过利用移动假设的移动估算的统计性的修改。
双线性模型假设需受控制使用，即可靠的模型信息要多用，而不大可靠的模型信息要少用，或根本不用。
偏移和假设也可以在移动估算之前就定义好，或在移动估算期间不断地作更新。这一点在下面会详述。
在可靠的移动域数据DAn和双线性模型之间的适配不佳的留数是用来检测那些不适合的双线性模型的像素的。一方面由于它们表示了一个尚未模型化的新移动图样，另一方面也因为在数据或在所用的双线性模式中的误差。
在双线性子空间模型的基础上生成假设
从其它帧上获取的信息在移动估算期间传播到一个特定帧的方式是按双线性预没假测xnHyp的形式进行的：
xnHyp＝tn*PT (7)
或对于帧n中的某个像素：
xnpelHyp＝tn*Ppel
从与共同的参照图像有关的其它帧的移动数据出发已经将加载P估算好了。通过对其它帧的暂态预测先估算帧n的标记tn；若在移动估算时反复使用双线性模型，那么象对上述的加载P中一样对预置的估算xn作模型就可以获得新的标记。且该假设也是相应的协变数据COV(tnPpel)或是诸如上述的为每个像素作估算的其它可靠性统计。
该双线性假设也可以两种不同的方式使用：
a)为了节省CPU(指使用计算机中央处理器的时间)和存储器，作为时间的补偿或起点，存储器要求移动估算的搜索过程；
b)要提高精度和帧间协调性：An是一个优先统计期望值。例如可以用作修改强度差以有利于在数据噪声水平的结果。
只要用在系统中的移动估算器是这样的一种类型，即它可以利用这种补偿和附加的统计分布期望假设的话，那么在本发明中的双线性子序列假设xnHyp便可用来稳定和协调对应帧的移动估算。其主要作用可简述如下：
若没有双线性假设xnHyp去连接不同帧之间的移动，那么在对与一个特定的帧有关的像素作全移动域估算时往往有很高的不确定性。可能有几种移动会有较好的适配，即有相同的可测点，因此，在偶然的情况下，对给定的帧会给出十分不同的移动域。由于在输入帧中的热强度噪声的缘故，在这些移动中究竟选取那一个是十分随机的。于是就使得对移动域作模型十分困难，这种困难带来的是使压缩很差等。另外，若没有一个好的搜索过程的起点的话，移动估算可能会要求很长的CPU时间和大量的存储器资源。
若在移动估算的过程中使用双线性假设xnHyp则对每一帧中的每一个像素选取一个移动图样(可以变化的适配较好的移动选出)，该图样也对应于其它帧中找到的有组织的可靠的移动。同时，在搜索过程有一个好的起始点时，移动估算就能用很少的CPU时间以及很少的计算机存储器。
在每个像素上可能有多个不同的双线性假设，每一个对应于一组关于数据的假设。其它的假设类型(如时间上的标记的平滑，空间中加载或移动的平滑)也可能产生另外的附加的假设。
在一个给定的移动估计中不同的假设也可以同时使用。
假设反映了期望结果的假设的概率分布
对一个帧的每一个假设xnHyp表示了在统计概率分布的范围的点的估算，这里xn希望是存放着的且由其它帧形成的空间中的可利用的信息判断得到的。与这一点的估算相关的最好也是关于该假设是如何精确以及如何重要等一些重要的详细信息。
对每一个像素，每个这种假设xnHyp的实际值710，720可以有它的可靠性估算，同时从这一组假设可以计算出效果的测度，以后再输入到移动估算。下面是一组假设有效性的实际的描述器：
1)假设强度750这是定义关于输入强度数据假设应被计算成多少强度。
不可靠或不称心的假设的像素给出的权很低，因而在对该像素作移动估算的保证时，几乎没有什么甚至根据没有什么效果。
2)假设移位范围730这定义了对每一特定的像素应如何将记分送给变化不同的移动，虽然它们的移动xnHyp是相似的。
2)对一列帧作移动模型
移动域的双线性模型之第二种也是同上有密切关系的用法是涉及到如何改进移动图样的模型化：从几个相关帧的移动域中抽出主要的特征结果或有关的控制因子结构，给出相同的参照图像的坐标系统，则其结果的信/噪比可大大地加强。
对一组相关的帧的估计移动域DARn，n＝1，2，…，n帧，用这些双线性移动估算抽出这些共同的移动图像，且按对应于标记T和留数E的双线性加载PT所跨到的子空间。
该估算的移动域的共同模型可以对所有的一次完成，也可以重复进行。在重复模型化情况下，估算移动域可以由某种规则来进行修改，以给出低维数的共同的双线性模型的最佳适配。
这些不同的方法的详细说明将在有关的实施例中给出。
3)用多域模型化增加移动估算
在对一特定帧或一列相关的帧作移动估算时，在其它域中的估算变化，例如强度、深度、透明度或分类概率等也可以由双线性近似值按移动数据的双线性近似值的模拟来作模型化，例如，当传送到移动估算的一列图像中的颜色发生惭变时，如变成淡一点了，这此强度变化在移动估算中可能会给出误差值。若允许某些有组织的强度改变序列，则移动估算可以更加精确。然而，在序列中若允许过多的强度变化，则移动估算可能被破坏。
允许强度变化图样的多因子线性或双线性模型提供了一个有组织的强度变化(该变化由于移动而不明显)的灵活而双简洁的方法，而这一点在强度变化加载是已知或预先已被估算过时尤为突出，因而也就大大减少了在强度域中由错误的模型移动造成影响的概率。
同样，由于修改了那些有组织的变化(事实上那些不修改的话，可能会妨碍到移动估算)深度、透明度或分类概率的多因子线性或双线性模型化可以增强移动和模型化。然而，若灵活性提得太多，在这变化域中的自适应的修改也能破坏移动估算。因而，这些多域模型化必须是有如下限制来完成：一个清晰的有效变化图样必须包含在多域模型之中。在双线性模型的不确定越来越小而进行重复处理时，这些限制可以放宽。
与移动估算一起使用双线性多域模型化在第五和第六个实施例中将描述。
较佳实施例
现在对于一个在一组相关帧中给定的全穴(或全帧)可以有多种方法来完成移动域模型化的简化和移动估算的稳定化工作。
图5描述了本发明的移动估算的多帧协调的第一个实施例。它主要是在下面二者之间进行重复的：1)对所有帧n＝1，2，3，…(关于参照帧R)估算移动域DARn以及2)对所有帧估算子空间和假设。
图6和图7更详细地图示说明了第二实施例，它包含了在重复估算过程中在任何阶段对任何帧使用在该阶段可用的任何子空间信息，以实现对各帧移动估算的稳定化，随着所获取的各个稳定估算更新或复原子空间的估算。
第三个实施例则是应用了包括暂态空间平滑化在内的双线性模型化工具作为融入到双线性参数的估算中的附加的最优化标准。它对一组给定的输入数据以及在这些数据中的行和列的统计权进行工作。
第四个实施例应用了双线性模型化工具，它允许有几种附加信息的类型以及假设可以融入到双线性参数的估算中去。它包括了输入数据的重复修改以及这些数据的统计权。
第五个实施例是在移动域和强度域中都应用双线性和多因子线性模型化的改进在有组织的强度修正图像上的移动估算。
第六个实施例是在将强度域中先前的由经验估算的双线性模型与带有重复图样(模式)识别搜索过程相结合的基础上，表示了对第五实施例的一个图样(模式)识别的扩展。
第一较佳实施例：对整序列移动估算后的双线性模型化
图5示出了第一个实施例的设备500，它是按照本发明按其最简单序列形式进行操作的。在对各个帧(加上可能的可靠性信息)的输入强度In，n＝1，2…510以及在参照图像模型IR530的基础上，它在570上推出或输入所需的移动估算DARn，n＝1，2，…，并在580上输入最后的假设。设备500通过了对整个序列在模块520EstMovSeqk中完成移动估算而进行，同时假设在模块550EstHypSeq中进行，其中间结果分别存放于模块540和560。EstMovSeq 520在有关的帧的强度In，n＝1，2，…以及在双线性模型的信息的基础上对移动域作估算，这些信息是作为参照图像模型部分而存储起来的，同时使用假设信息中任何有用的东西。EstModel 590对移动(也可以有步骤的强度变化的移动)的双线模型子空间作估算，同时更新在参照图像模型530中的双线性模型。EstHypSeq 550则在参照图像模型530和从EstMovSeq 520的输出的新双线性模型信息的基础上对每个帧预报其假设。
该算法可按下面写出：
若需要的话，将序列分成更短的更为同构的序列。
一个已知的方法是在序列中对每一帧计算强度或色彩的的矩形图，计算几对帧的矩形图之间相似性的测度，同时假设几对帧之间的矩形图的相似性很小时，则可能会有一个景头的移位。这种方法会抓住一些景头的移位，但不可能抓住所有的。
定义一个或多个全穴参照图像IR，即，在子序列中某一个帧，序列中某一帧的某一个部分或是从几个图像获取的一个积累起来的复合部分。
内容：
对每一个同构序列及全穴：
当序列估算不收敛
对EstHypSeq 550中所有的帧形成移动域的假设
对EstMovSeq 520中所有的帧估算移动域
估算在EstModel 590中的双线性移动模型子空间
检查序列的收敛性
当序列估算不收敛时结束
现在对第一较佳实施例中应详述的地方作详细介绍：
当序列估算不收敛时
在EstHypSeq 550中对所有帧形成移动域的假设
由方程(7)的EstHypSeq中的每一个帧更新移动域估算xnhyp的假设。也可写出另外的假设(例如暂态内插/外插)，但是为简洁起见，将在第二较佳实施例中再作讨论。
同时对该估算的不确定性作评价，以及确定假设分布可靠性参数包括估算过的深度/折迭和其它全穴之闭塞现象。对一般子空间模型P适配较好而本身对子空间定义无多大影响的帧给予相当一般的假设强度，而其它的帧则给予较低的强度。那些对子空间模型适配较好，在标记估算(在P中的低变量影响)中未受很大影响的像素比起其它像素来没被给予较高的强度。那些假设的经估算的不确定变量低的像素被给予较高的强度。那些在XnHyp应用在强度数据时发现假设给出了很好的相应适配性的像素被给予较高的强度。那些由于接近或在估算穴间或穴内的闭塞而被认为是不确定的像素被给予低的权。
假设的范围应在子空间P被定义好前，即假设过程之前期就定义好，移位范围和传递范围一般设置得较大。由于估算过程的进展和P的定义越来越确切，一般来说范围就缩小了。对各个像素的假设移位范围来说，它应该这样来设置，即对具有满足但不精确的假设像素来说，其假设的应用比那些有精确假设的像素移动范围更广。假设传递范围是这样设置的：假设非常清楚的像素可以允许去影响其它像素的假设(如相邻的像素)，如果其它的像素假设不大清楚的话。
在EstMovSeq 520中估算所有帧的移动域
在可用信息In，IR(或一些IR的变换，最好是已知它们的逆)对参照IR至EstMovSeq 520中的每一帧n＝1，2，…，n帧作移动域xn＝DARn的估算。另外，使用各种假设xnHyp例如那些以前已估算过的双线性加载，以及使用那些假设强度、假设范围和假设传递范围加上对穴间深度/折迭和由其它穴获得闭塞现象的估算可以稳定移动的估算。
在ExtModel 590中估算双线性移动模型子空间
这是通过移动数据x＝(xn，n＝1，2，…，n帧)的双线性模型化，例如奇异值的分解或按方程1的加权外线性重复最小二乘(nipal)模型化或是通过具有空间暂态平滑功能的以线性估算器(参见第三较佳实施例)以及/或者重复最优化的比例(参见第四较佳实施例)来对EstModel 590的移动子空间的标记和加载作估算。
估算产生出加载P、标记T和留数E。从统计的角度，通过诸如交叉有效性的手段(最好是小点的数)来确定出P的T中的因子的个数。最好是作出移向参照位置的留数强度变量的相似的双线性模型。
若对一个给定的帧及上移的帧的移动数据不允许有很好的重构同时/或者在移动数据x不能由相应的标记和加载而获得很好的重构的话，那么就会被认为已经发生了场景的移位，于是应把当前的子空间分成二个不同的子空间，这样每个子空间可分别进行模型化。
检查序列的收敛性
当序列估算不收敛时结束
总之，在第一实施例中每次通过的序列是首先对EstHypSeq 550中所有的帧作假设估算，然后对EstMovSeq 520中所有的帧作移动估算以及同时使用所有新的信息对EstModel(590)中的全穴进行估算/更新。
第二较佳实施例对每一帧在移动估算后更新双线性模型
在第二较佳实施例中，在对每帧的移动估算后更新双线性模型而不是在对所有的帧都须经过移动估算后再作更新。图6中有此说明。
另外，对有关帧的子序列也是适用的同时，对一个可以表示一个全帧或一部分的穴也是适用的。
为了最优化地协调序列中帧之间的移动估算，系统要通过一次或多次序列，对每次通过它要重复穿过有关的帧。为了对每个帧的移动估算最优化，系统用估算假设的办法反复地协调移动(EstMov)估算。当不收敛于一个帧时，参照图像模型总是多少保持成常量。一旦这个收敛于一个帧时就使用对这个帧所获得的移动域去更新EstModel中的双线性参照图像模型。
图6中的算法可以闸述如下：
在序列(600)中估算移动：
当序列估算不收敛时，
帧n＝1：n帧(630)
根据输入图像数据(610)和可用的模型信息(630)估算移动(670)和更新模型(630)
当帧重复不收敛时，
在Esthyp内形成移动域xnHyp的假设：
在EstMov(620)内估算该帧的移动域xn
检查该帧的重复的收敛性
当帧重复不收敛时结束
在EstModel(690)中估算双线性移动模型子空间(630)
帧n＝1：n帧(630)时结束
检查该序列的收敛性
在该序列估算不收敛时结束
更详细地，第二实施例可以包括下列步骤：
当序列估算不收敛时
根据输入图像数据(610)和可用的模型(630)估算移动(670)和更新模型(630)；
当帧重复不收敛时，
在EstHyp(650)中形成移动域xnhyp的假设
根据可用的信息可以形成几种假设：
暂态预报：如果从前后帧，从其它的空间分析或前面的序列迭代可利用标记tRm，m＝2，1，…，同时又希望得到平滑的暂态移动，则就可以使用线性预测从这些作出暂态预报。例如：
tnHyp1＝b0+b1*tn-1+b2*tn-2+…
xnHyp1＝tnHyp1*PT
因而，预测的值表示了模型上的数据的线性回归所提出的时间系列中的静止性。
根据由时间子列模型从而获得的标记的经过估算之不确定性，该假设之统计上的不确定性的变量也可被估算出来，同时也可通过加载被传递：
Cov(xnHyp1)＝P*Cov(tnHpy1)*PT
其中Cov(tnHyp1)是暂态预报的变量的一些标准统计估算。
还可选取的是，通过象试错法这样的办法对这种帧作全穴的局部深度域的估算。在将此预报出的移动应用于参照图像模型时也可估算强度之不适配。
双线性适配：如果一个移动域xn在前面的迭代中已被估算过(包括元的估算不确定性测度，估算的深度域和变化移动值以及有关的强度的不适配估算)，则由通常的最小二乘法回归方程估算标记：
tnHyp2＝xn*P*(PT*P)-1
或者也可在该式上加权或重加权。
同样估算相应不确定变量
Cov(tnHyp2)＝(PT*P)-1*S2x
这里S2x是xn估算出来的不确性变量。又由于加载P的估算的不确定性还可以再加上其它的变量。
如上所述，变化信息xn可以表示成如在参照位置中的移动域DARn。这样它也与参照位置中表示出来的双线性加载P相兼容。另外，变化信息也可以按帧n中的像素的位置表示出来，例如逆移动域DAnR以及映射到加载P的兼容的版本上，即利用移动域DARn，P暂时移动该相同的位置。
对帧n的移动域信息与从序列中其它帧得到的模型信息之间的最佳对应可以由迭代的重加权方案获得。分离出来的像素则能使用迭代重加权方案检测出来，并且进行局部减权，以减少在标记估算时对闭塞现象的影响。
在第三较佳实施例中闸述了一个完整的线性模型和平滑性的假设，而在第四较佳实施例中则闸述了重加权方案的基于规则的算法，它也涉及到线性模型的输入数据的修改。
关于被分析的序列中所期望的移动的动态值的有用信息也可用来修改关于暂态平滑性的已经取得的标记估算tn。
当标记tnHyp2＝tn一旦估算出来，就生成假设xnHyp2，如
xnHyp2＝tnHyp2*PT
同时，如图7所示，该假设点估算的统计概率的的简化估算也生成出来了，得到了假设影响测度：那些有特别高的像素影响，对角阵(P(PTP)-1PT)以及/或者帧影响，对角阵为(T(TTT)-1TT)，以及/或者外正常双线性留数E或者译码强度误差DI的像素要给予比其它像素高的不确定性。这些不确定性组成了计算各种假设影响测度的基础，而这些假设影响测度则是定义了在子序列移动估算中是怎样应用估算xnHyp2的。在较佳实施例中在一个假设中的像素的不确定性越高，其强度750就越低，其位移范围730和传递范围740就越小。
在其它原理的基础上也可在此阶段对假设作估算，并且在子序列移动估算中用来模拟xnHyp1。
然而，其它假设原理可能是根据对移动域xn及它的不确定性的空间导数的评估而推出来的。
精确控制过滤xnHyp2：修改xn使得对具各个特征(如垂直和水平的)xnHyp2中的各像素是其它认为是具有相关信息的像素的加权平均；这样做就可以用图像中某部分中易于识别的图像像素的精确移动估算来代替或至少可以影响那些图像中另一部分中不易识别的图像像素的不确定移动估算。一个像素关于它对另一个像素的移动的估算的关系仍是这些像素之间距离的函数。计算距离有两种方法：一种是按图像空间在该空间中是计算垂直和水平距离的，另一种是按因子加载空间P，这是计算加载时的相似性。这就形成了在每个像素的xnHyp3是它本身的xn值和其它像素的xn值的加权平均。xnHyp3的有关的不确定性也因而计算成xn中相应的像素的不确定值的加权平均。
成功控制过滤xnHyp4：对那些未发现有正常移动的像素(这是可以通过对重构的和实际的输入图像In之间的适配程序的判断来确定)，则移动估算可由具有多次成功移动估算的其它有关像素按上述的模拟精确控制过滤方法的移动估算来代替；不确定性也可相应定义，不确定性也可相应传递。
物理上不可能移动过滤xnHyp5：xn看来不可能的图像部分要进行修改。这种情况是如果对某个像素的移动域的空间导数大于1，则在同样的移动模式(图样)被放大时就会引起折迭。如果能找到这些像素的别的移动具有差不多相同的移动适配，那么这些其它的移动就插入到xnHyp5中。其不确定性是根据不同的物理设定和它们适合数据xn的程度而定的。
由其它的空间坐标系统xnHyp6预测
移动域的估算可以在不同的坐标表示式中得到，如不同的空间上，同时它又转换到当前在使用的坐标的表示式上。这种不同的估算也可用作假设，这样可以提高寻找到满足不同坐标表示式的移动估算的概率。在其它的坐标表示式中的不确定性也同移动域数据一起转换。
在EstMov(620)中估算该帧的移动域xn
根据可用的信息从参照帧到帧n估算移动域，这些信息是：强度In和IR(或者是一些逆是已知的IR的信息)和它们的不确定性，各种假设xnHyp和它们的影响的程度等等。当二个部分(物体，全穴)之间发生了闭塞现象，这就应按移动估算作修改。
估算应当产生一种简单的统计性描述，以说明概率密度函数是怎样随着移动域xn而改变的。
具有代表性的是该输出应当包含有一个点的估算对每一有关的坐标有一个值(例如垂直、水平、深度)。然而，这样的点的估算往往可能有不至一个。
点估算xn应当有不确定性‘标准偏差’估算。这可以根据统计的可靠性信息(估算精度，在输入数据中对噪声的灵敏度等)以及有效性信息(指出所取得的移动估算是否是可用的还是不可有的)而定。
估算移动域的可靠性估算是‘松弛’的或是由移动域xn的标准偏移，该移动域xn似乎是在某一标准偏移的随机噪声迭加到强度IR或In上去后而引起的，而移动域就由这个强度IR或In来估算的。可能有几种这样的在xn中的每一个像素的松弛的不确定性--在水平方向的不确定性有左和右，垂直方向的不确定性有向上和向下，深度方向的不确定性有向前和向后。在其它维的方向以及二个甚至多个假定的强度噪声水平上也可以给出不确定性。
经估算移动域之有效估算是对一个给定的像素xn，pel在译码基础上所取得的强度适配移动域估算越差，则它就越是不能确定该称动域估算是否正确的。另外一个有效性的估算是在In中似乎看不到的那些IR中的像素可能有不确定的移动估算。
检查该帧重复的收敛性
如果帧重复不收敛，就结束
在EstModel(690)中估算双线性移动模型子空间(630)
移动数据(以及所选的强度数据)的双线性模型化能以极不同的方式来实现。分析可以重新在一组帧的移动估算上进行，包括当前帧，X＝[xm，m＝…，n，…]，例如由加权QR或XT的奇异值分解。
更新双线性模型
它可以下面两种方法来完成：一种是通过增加更新，例如在奇异值分解的基础上加权自适应QR算法。另一种是通过加权Nipals的主元分析(conf.Martens，H和naes，T.(1989)Multivariate Calibration.J.Wiley & Sons Ltd，chichester UK.)。一个新帧n的作用xn可以按这种方法加到老的模型上去：
若帧n对前面的模型P老已提供过信息，则只有在xn中的差(xn-xn，前面的)在更新中用到。
x可以按如下作模型
x＝USVT+E
其中矩阵U，S和V是由x的奇异值分解来计算，同时留数矩阵E包括x的外有效维(例如，由像素的交叉有效来判断)。
然后新加载是：
P新＝VST
以及经更新后的标记是由下列估算：
T新＝T老 0
0 1 U
对P(和T隐式或显式)的估算过程按它的基本形式作为描述的目标，在(加权)变化数据x中，有尽可能多的变量/协变量(特征值分解)。然而，为节省计算时间，该过程一直到全收敛时才开始重复(迭代)。
但是对P和T的这个估算过程也可能要考虑附加的信息和附加要求。
在第三个较佳实施例中闸述了一个完整的双线性模型和平滑假设的例子。而在第四个较佳实施例中介绍了一个基于规则的重加权方案的算法。该算法也包括了对双线模型的输入数据的修改。
帧n＝1：n帧时结束
检查该序列的收敛性
如果在移动估算x、移动模型TPT或对In不适配n＝1，2，…，N是在某个限制之下或者已达到最大的迭代，则就终结序列迭代。
如果序列估算不收敛，结束
该算法应用于整个帧，否则如果包括了部分和深度估算，则对每个空间部分(穴)作重复。
图6中的框图在对一个帧的移动估算和假设估算之间的迭代平衡作了详细说明。平衡运算器600将一个帧的强度In610和可以用来估算移动域的参照图像模型630。这个模型包括了参照图像强度IR以及不管何种子序列加载或负载P640和其它帧的经估算后的标记T660，还有可用到的它们有关的不确定性的统计。它给出在670的帧移动估算和在680的帧的假设以及给出了参照图像模型630的更新的版本。
EstHyp运算器650在初始阶段产生了移动估算的假设，例如可以通过由其它的帧而获得的暂态外插/内插。
EstMov运算器620使用任何可利用假设xnHyp估算出从参照图像IR到In的移动域xn。
只要对该帧的迭代尚未收敛，EstModel模块690就通过对所取得的数据xn按加载P作模型估算出新的标记。当对该帧的迭代收敛了，EstModel 690也就更新了加载P，否则就停止。
在迭代过程期间，EstHyp运算器对反复的移动估算产生新的假设，例如将预置的移动估算xn可用的子空间加载P相匹配，以估算出标记tn和产生用此方法的一种假设。
另外，EstHyp 650用在标记T空间中精炼出时间序列模型提出预报假设的初始形式。
在EstHyp 650中也可以形成基于平滑性等的(如上所述的)其它的假设。在假设xnHyp中的假设双被送回到EstMov620，以更新移动估算。
图8列出了EstHyp 650对一帧的输出680的较好的数据结构。它包括了点估算，其中有垂直的810和水平的820移动估算DVHyp和DHHyp以及也可以有深度方向的作为任选项。对每一个方向，其假设的分布信息包括假设移位范围830和传递范围840以及一般的假设强度850。
图9列出了由ExtMov 620运算器对每一帧得到的数据结构670。它由水平910和垂直920移动估算DVRn和DHRn(以及任选项深度变化估算)组成。另外，它也可以任选包括了由移动估算器EstMov 620得到的统计不确定性的信息。移动估算之可靠性则可由对强度噪声(松弛的)各自移动方向的灵敏度来表示。移动估算的有效性则表示成在将移动估算用作IR的译码(或其变换)而得到的在强度结果中的不适配的情况。另一有效性估算则是闭塞的明显的存在。
在可靠性信息中，可以有一个或二个甚至多个松驰参数。二个松弛(或呆滞)现象表示式930、940表示了：垂直移动估算时的上下松弛(呆滞)现象，以及水平移动估算时的左右松弛现象。这些中的每一个都可以表示下面的事实：即，若In的强度由于受到某个噪声标准偏离的影响而发生了随机的变化，则移动估算可以来自于离它多少远的给定的点估算DV和DH而得到。因而它们也就自然被看成是移动估算中的经估算的外对称标准偏离。
有效性的信息包括了对任何所要求的色彩空间维数的不适配950，960，970，在例子中给出的红绿蓝三色空间。
总之，第二实施例是在序列编码的一个给定的阶段中对一个给定的帧使用任何有用的双线性序列模型信息，用迭代方法对那个帧的移动估算有所提高。为防止估算误差在给定的帧数据中的传递而损失了有效的信息，而注意到在使用这个方法时只用到那些不确定性明显低的模型信息。这是因为这些估算误差在双线性序列模型始终是存在着的，尤其是在模型是仅基于前面很少的几帧时，在早期的编码过程中此情况尤为突出。该线性序列模型信息在对该帧作移动估算后被更新了。而这些模型更新过的版本就被依次用来改进下一帧的移动估算，依次类推。这个过程在序列中帧的系列进行一次，或者对该序执行重复多次。
第三较佳实施例：改进的双线性模型化工具
第三较佳实施例先提出了一个第一和第二较佳实施例的增强型，其中它将暂态平滑作为标记的线性估算和加载及标记双线性估算中空间平滑的一部分。另外，它还允许自适应统计加权于输入数据，因而也就增强了先前几个的统计性质。
在上述的线性标记估算和双线性模型估算中，每个帧在矩阵X中生成一行，同时，在标记估算中没有暂态连续的概念。
相反，在双线性模型估算中，每一像素生成一个变量(在矩阵x中为一列)。一旦定义了变量，就不存在变量之间空间邻近的概念了--每个像素都不必去考虑它们究竟是属于实际参照图像中的哪一部分了。
在本发明中，空间和暂态限制可以归纳到这些模型参数的线性和双线性估算中去。在第三实施例中将这些限制直接地建立到参数估算中去了。
固定加载标记的暂态平滑
在EsthypSeq 550(图5)和Esthyp 650(图6)的预报假设的定义中，标记是由时间系列模型作出预报，例如，ARMA模型，同时在时间系列模型中有适当的保存着的参数以确保暂态的平滑性。
相反，在根据象方程(3)那样的条件将帧n的数据xn与下存的加载P相适配而作出的假设，对于暂态平滑性方面不作任何前提条件。在第三较佳实施例中，这种暂态平滑性则由下列的运算办法求得：
如上所述，估算暂态外插/内插tnHyp1和它的协变量Cov(tnHyp1)。同样如上所述，对每帧估算预置暂态标记tnHyp预，以及它的不确定性协变量Cov(tnHyp预)。
按照tnHyp预在统计上可能已有值tnHyp1的概率来修改tnHyp预，尽可能接近tnHyp1，该值是由如下面的方程而判断得到的：
tnHyp2＝tnHyp1*wn+tnhyp预*(1-wn)
其中权wn处在其最大值，例如0.5。对二个标记的二个假设无多大区别是取最大值，而在区别委大时则就趋于0。
wn＝0.5*(tnHyp预几乎是等于tnHyp1时的)概率
或更形式化的是
wn＝0.5*(1-“tnHyp预不等于tnHyp1”的概率或与该假设不符的概率)
概率是由传统的有效测试中估算出的。
按此方式，由于数据xn以及双线性加载P的估算误差在暂态预报中可以对不确定性的调整而加以调整和权衡。
在双线性模型化中加载和标记的空间暂态平滑
为了便于在双线性模型中进行空间暂态的平滑化，这里应用了通过有力的方法而得到的主元分析算法的专门的版本。
这种用提取各个因子的有力的方法在有些文间中称为是‘NIPALS法’(参见Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley & Sons Ltd，ChichesterUK)。
要在NIPALS主元算法中的数据x中估算一个新的因子a，则先要从前面的因子1，2，…f-1的影响中减去数据矩阵。然后，在一个迭代过程中，将留数矩阵x中每一行映射到它的加载P的预置值上。而加载P则由留数矩阵x的每一列映射到所获取的预置标记t上进行相反的估算。然后，进行比例因子，该过程一直重复到达到所希望的收敛为止。
虽然在通常情况下是一个一个因子f＝1，2，…逐个完成的，但是不排斥一次可完成几个因子，只要因子为正交化的，以保证空间的全子空间秩。
在本发明中，对空间加载和暂态标记来说，还都要包括平滑化的步骤(以后还要再正交化)。
对修改过的主元分析来说，经双重平滑过的NIPALS算法的较好的实施例是
初始化：
f＝0 因子数
E＝V帧*X*V像素 留数＝对偶加权初始矩阵
其中
V帧＝帧的加权矩阵(X中的行)，例如，对角矩阵且与每个帧的不确定标准偏离成反比的。这些权可能是在外界信息的基础上(如前所述的松驰估算等)先加上的。由前面迭代得出的留数的基础上重新计算不确定性变量获得更加可靠性。
V像素＝对每个像素(X中的行)的加权矩阵例如对角阵，并且与每个像素的不确定标准偏离成反比。这些也可能是先加的，且可由重权而被进一步精练出来。
双线性模型化：
当不足因子a时：
f＝f+1
WT＝某个起始加载向量，被取作例如具有最高平方和的E中之行。
当不收敛时：
PT＝加载WT经平滑过的版本，以利于空间连续性
1、估算W的不确定变量，例如
Sw2＝(tT*t)-1*s2x
其中，s2x＝根据x的估算出来的不确定的变量。
由于在标记t的不确定性也可以加入另外的变量。
2、平滑加载w，例如可通过低通回旋过滤，例如：
w平滑＝SLP*w，其中SLP是低通平滑矩阵。更为先进行的平滑化是将不明确的分段的信息取作附加的输入，同时避免在跨越不明确的分段的边界上作平滑化。
3、将未平滑的和平滑过的加载结合起来：
P＝W*vf+W平滑过*(1-vf)
其中，vf是一个权，有一个实施例是要定义每个像素的权vf，像素，这样在像素经平滑过的加载w像素无多大的区别时，它可以达到最大值，例如1.0，当w平滑，像素与w像素的差别很大时，权值将趋于0。
vf，像素＝1*(1-拒绝假设(w平滑，像素不等于w像素)之概率)
该概率是按常规在(w像素-w平滑，像素)之标准有效测试与像素经估算的不确定标准偏离Sw，像素比较的基础上作估算的。
因此，在这个实现过程中，平滑化只是在某些方面应用，它在统计角度上并未违反在输入数据x的基础上进行估算的规则。
换算PT使PTP＝1
计算预置标记估算：
u＝E*P
t＝标记向量u的平滑过的版本，以利于暂态连续。本实施例中的平滑化是模拟加载的情况来完成的：它只是在某种方面应用，在统计角度来看并不违反在输入数据x的基础上作估算的规则。
wT＝tT*E(预置加载估算)
检测的上次迭代以来t中的收敛w.r.t.的变化
不收敛时结束
q＝(PT*P)-1PT*w(将w映射到前面的加载，以确保正交加载集合)
正交化该因子，加载前面的因子
p＝w-P*q
对PT进行比例运算到常量长度，使得pT*p＝1
将p包括到P中去
对因子加载估算标记
u＝E*p
t＝u或者是u的一个任选的平滑版本
将t包括到T中去
减去该因子的影响
E＝E-t*pT
使用比如交叉有效性的方法来检查因子是否足够
因子不够时结束
减权：
不加权之标记＝V帧-1*T
不加权之加载＝PT*V像素-1
不加权之留数＝V帧-1*E*V像素-1
利用下面的重加方案获得经平滑的双线性模型化的强统计版本
如同由已知的加载出发的标记的线性回归估算法一样，加载和标记二者的双线性估算也可以用一种有力的方法来实现。
在对估算出来的参数作适当的修改以后，例如在经过影响力修改后(参见Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley & Sons Ltd，ChichesterUK)，可以从未加权之留数计算出新的权V帧和V像素。同时双线性分析可以重复。也可以包括一些特殊的要求，例如那个看起来很大但是唯一变量的帧(即强变化的且不与x中任何帧构享的图样)可以减权以确保开始的一些因子就能在统计角度获得适当的或可靠的因子。
锥体模型化
在移动估算中的双线性模型化也可以锥体形地用于空间和时间上。有一个实间锥形运算的实例是执行这个移动估算，双线性模型化以及在较低的公空间中帧上的空间分段等以识别出序列中大多数的穴，然后将标记和空间参数(在适当的扩展和作比例因子后)用作相同过程中较高帧的公空间的预置和不十分精确的输入假设。一个暂态锥形估算的实例是执行移动估算，双线性模型和先在帧的子集上分段以及使用内插标记作为其它帧的生成不明确输入的假设
多穴模型化
在较佳实施例中，移动估算和双线性模型化可以在个别已识别出来的穴(输入穴)上执行，或者是在完整的、未分段的图像In上执行。不管哪种情况，都希望有一个对已获得的移动域、双线性模型和分段的多穴标杆处理的公决输入穴之间的重迭。
这样的标杆处理是在将周围近旁的像素带有“晕圈”的每一个穴与那些不确定的穴的成员有放在一起的基础上实施的，也即，只有那些不大明确的可以归到一个穴中去(因而也就暂时地存放于其它的穴中或作为不清楚的像素分开列出)。在移动估算中，这些不明确的光晕圈是被专门处理的，例如将它们与所有相关的穴作适配的方法，同时，它们究竟是属于哪个不同穴的成分，则是根据移动估算的成功与否而不断更换的。这种带光晕圈的穴在双线性模型化时则是给予很低的权或者只是被动地适配(例如用主元回归法，参见Martens，H.和Naes，T.(1989)MultivariateCalibration.J.Wiley & Sons Ltd，Chichester UK)。
附加变量
数据矩阵x中的附加列可以由其它的数据块的‘外部标记’来形成。这些‘外部标记’的来源是：
由一些其它的数据域的双线性模型化获得的标记(例如相同的穴的补偿移动强度留数)或者是由不同的空间中的相同取得的标记，或者由其它穴取得的穴，或者
由诸如声那种外界数据得到的标记
(例如在双线性模型化这些相同帧的声音振动能量谱以后)
这些附加变量的权必会是适配的，这样它们的不确定性的程度成为与要模型化的最后数据矩阵x中的加权像素的那些不确定性的程度相似。
移动数据层次型的双线性模型化
另外一种方法是很柔和地融合不确定像素或外部标记而不是将它们的信息强迫地送到双线性模型中，这种方法是用二个或多个模型来代替一个模块的双线性模型，例如PLS回归(参见Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley& Sons Ltd，Chichester UK)或者是同感PCA/PLC(Geladi，P.，Martens，H.，Martens，M.，Kalvenes，S.和Esbensen，K.(1988)Multivariate comparison of laboratorymeasurements.Proceedings，Symposium in Applied Satistics，Copenhangen Jan 25-271988，Uni-C，Copenhagen Danmark，pp15-30)。按这种方法，如它们适配得好，则不确定的像素和外部标记在模型上是正的分布，如果它们适配得不好，则它们是负的分布，但对模型不会有强的影响。不管怎样，这些不确定的像素和外部标记与所取得的双线性模型是适配的。
由当前的公或域中当前穴的模型而取得的标记可依次用作其它穴或在其公中或其它穴中的‘外部标记’，如同感PCA/PLC算法中的那样(Geladi，P.，Martens，H.，Martens，M.，Kalvenes，S.和Esbensen，K.(1988)Multivariate comparison of laboratorymeasurements.Proceedings，Symposium in Applied Satistics，Copenhangen Jan 25-271988，Uni-C，Copenhagen Danmark，pp15-30)。
这样的层次型的多模块模型也可以用作其它域的数据，例如补偿的移动强度变化数据。
第四较佳实施例：数据元素的分别加权和延迟点估算
在上面三个实施例中描述的线性和双线性模型化阶段中，移动估算数据X＝[xnT，n＝1，2，…]被想当然地作为对统计参数估算的输入。在第三个实施例中是用下列方法来达到统计最优化和防止x中发生错误的：a)具有附加限制(空间暂态平滑)和/或者是b)具有对x的行和列进行加重和重加权功能。但在x中的数据元素没有被分别地加权。而且在模型化过程中x中的实际值自身也并未受影响。
在有些情况下，对帧n、像素xn，像素来说，有必要改变在X中的个别数据元素的影响。例如，由于闭塞，或者由于在预置线性或双线性模型化中在E中引起非常大的个别的分离的留数e帧，像素，或者是由于在译码时，不正常地显示了很高的个别强度误差而可以知道一些数据元素或者可以相信是否不确定的。
第四较佳实施例能以规则为基础地修改数据值应用个别的减权，或者适用于将这些特别有疑问X中的数据元素结合起来，放在一起，这些技术这里称为‘最优化比例运算’。
更一般地说，第四实施例可以与前面的三个实施例结合起来使用，这样可使本发明的目标更为全面：改进过的移动估算以及通过对几个帧双线性模型的移动估算的协调改进了移动模型化。
移动估算通常是一个待定过程。因而，移动的二义情往往不可避免地会导致在估算过程中移动估算daRn的点估算(估算出的值)时的估算误差。而这些误差往往是在以后的序列中表现出来，然而到那时才发觉可能已为时过晚了：因为早些时候发生的误差早就被引入到双线性模型中去了，而这个模型以后是用来减小子序列帧中的移动的不明确的二义性。因而，这些早期发生的误差会以一种我们不希望发生的方法传了出去，同时成为一种不应有的障碍影响移动估算之帧际协调。于是，那些为了充分对移动数据作模型化所需的以线性因子而必须有的个数就变得相当大。
在第四较佳实施例中，这个问题是用对个别不确定数据作减权以及/或延迟估算的技术来解决的。对每个n＝1，2，…帧的移动域作估算和存储，不仅考虑到它的‘最好的值’(它的点估算)xn，像素，而且也考虑到其它的统计性质。这些统计性然后就在移动数据越来越多可用时确保最大的帧际协调：修改了具有特别不确定性或特别不明确的二义性的各个点估算值xn，像素。
个别数据元素加权
一种改变了个别数据影响的办法是在线性回归中将专门的权归于它们来估算标记或加载。按此方法，那些被认为是特别不可靠的数据元素所赋予的权要小于那些由行权和列权之积得出的期望值，即它们多少被处理成一种丢弃的值。相反，那些被判断出是特别肯定的数据元，则被给予较高的权。对于在已知加载上帧移动域的回归用来估算帧的标记的和对在已知标记上像素的移动的回归来估算像素加载来说，它是十分有效的。对于单因子双线性模型化来说它也能工作得很好。
然而，这种内部的详细加权法违反了已知的双线性估算算法上作的几何假设。因而，如在X中希望有一个以上的因子的话，它可能会导致双线性模型化中的收敛问题，同时也会引起产生一些意料之外和不希望出现的参数值。
为此可以使用几种不同的方法来减少那些有害的分离体的影响及处理少掉的值，而不是使用上面所述的减权的方法。例如外线性多变量分析一书中提到的那样(Alber Gifi(1990)J.Wiley & Sons Ltd.Chichester UK)。
对第四实施例作一些变换后，它可以修改它们自已的实际值，即在输入矩阵X中的个别数据元xn，像素的实际值，而不仅仅是统计权。
个别数据元值的修改
当可以估算出不确定性的范围时，第四实施例也修改个别数据元之值，使之更好地对应于由其它像素和其它帧得到的值，如同它们是从线性或双线性模型化中判断出来的一样。控制该修改过程的规则中有一个重复的功能是这些数据只允许在它们自已的不确定范围内作改变。于是输入数据之信息内容不会被损坏，而又同时可获得改进后的帧际和像素际之协调。
一个输入点估算xn，估算之不确定性越是高，则其它更多的确定点中的信息对它的影响值就越大。这种影响是通过线性或双线性模型重构得到的。
如图8所示，数据元之不确定的范围是用二种测度来构成的：有效性(即是否与所获得之点估算xn，像素有关？)和可靠性(点估算xn，像素值的精度如何？)。
在一帧n中的像素的估算过移动有效性最好是由下面二方面估算出来：A)在译码(850，860，870)上强度不适配误差的大小和B)对不表示闭塞现象不可见物体(880)的概率的估计。一个像素它在参照图像中的强度与一个认为是在帧n移动的像素的强度完全不对应的话，这个像素就被认为在它的预置移动点估算xn，像素是十分无效的。因而，这个移动点估算不应让它对双线性模型化有影响，而可以将它修改成更接近于那些更有效的数据点上找到的移动图样。相似地，一个表示在帧n中似乎是隐藏在其它段后面的参照图像中的段的，这样的像素认为是无效的且被相应地处理了。
在一个帧n中的像素估算出的移动的可靠性最好是由下面来估算：
a)松驰估算：在预置移动估算有图像(830、840)的译码的不可接受的推断之前来估算预置移动估算可能变化多少，和
b)在线性和双线性模型中，不适配于前期迭代中的双线性模型。
这种处理个别数据元的方法可以同时应用于线性和双线性模型。例如，使用该原理，第二实施例的伪码可由如下(详细解释在以后给出)来修改：在序例(600)中估算移动：当序列估计不收敛时(1000)帧n＝1：n帧根据输入图像数据(610)和可用模型信息(630)估算移动(670)，更新模型(630)：在EstHyp(650)中形成移动域xnHyp的启始假设当帧迭代不收敛时在EstMov中估算移动域xn(620)，对帧n修正估算的移动(1005)当基于规则的回归迭代不收敛时(1010)根据有效性和可靠性估算确定xn内的像素的不确定性(1020)根据xn的不确定性，确定像素的回归权重(1030)由加载PT上的xn的加权回归估算标记tn(1040)重构移动域xnHat＝tn*p’(1050)修正值xn＝f(xnHat，xn的不确定性)(1060)检查基于规则的回归迭找的收敛性：tn适用吗？(1070)当基于规则的回归迭代时结束在EstHyp内形成移动域xnHyp的假设(650)检查该帧的迭代的收敛性当帧迭代不收敛时结束在EstModel中估算双线性模型子空间(630)(690)修正多帧估算移动(1100)当基于规则的双线性X模型迭代不收敛时(1110)确定x内的每个元素xi，像素＝1，2，…，n的不确定性(1120)确定x内的帧、像素和各数据元素的最小二乘权(1130)根据x的加权的双线性模型估算标记T和加载P重构移动矩阵xHat＝T*PT(1150)修正值x＝f(xHat，x的不确定性)(1160)检查基于规则的双线性x模型的收敛性：T合适吗？(1170)
当基于规则的双线性模型迭代时结束
检查该序列的收敛性
当该序列估算不收敛时结束
在图8中说明了松驰信息结构的实现，松驰可由各个方向来估计，下面的例子是从水平和垂直方向来估算的。
图9说明了一个简单而有效地利用4个像素的松驰信息的情况。像素点a905、b925、c945和d965表示了像素随着预置点估算xa、xb、xc、xd已经分别移动后的位置。在像素周围的矩形910、930、950和970表示了这样的区域，即xa、xb、xc、xd在该相应区域内的移动不会产生很大的强度误差。例如，与要重构的那个帧有关的强度误差In，这些强度误差不会因为In中的热量噪声而随机地增高。
图9说明了就象在矩形松驰范围910所反映出来那样像素a905之移动估算为一非常不对称的不确定的范围：当移动进而向上或向左就会给像素很差的适配，可以将移动向下修改，特别是向右边的远处而不引起不好的强度适配。例如在帧要重构时，结果就会引起In在位置a的上部和左右有一个很陡的强度梯度，而在位置a的下部和左右则有一个十分平坦的梯度。因而，例如预置水平移动点估算dhn，a可以在右边作变换但不能在左边，同时在图中可具预置垂直移动点估算dvn，a可以向下变换但不能向上变换。因而，像素a905的移动估算可能已变化到点915，而不引起很大的强度误差。同样，像素b有很大的不对称的不确定范围。像素b925的移动估算不能改变到点935，若不破坏该像素的估算移动信息的话。
在像素c945周围的小矩形950说明了对该像素来说预置移动点估算在找到一个不可接受的高强度的不适配之前在任何方向都不能改变很多。这种情况是因为要构造的帧的强度In在从点b出发的所有方向上都有很陡的梯度则发生的。还有，像素b945的移动估算可以改变到点955而不产生很大的强度误差。相同，像素d的不确定范围比较狭窄，它的移动如不破坏这个像素d的估算出的移动信息970的话，就不能从它的估算965改变到点975。
这个不确定范围信息可以用在延迟点估算方面--即改变预置估算xn的值，以确保在个别移动估算的模糊上二义性范围内几个帧的移动数据的增加的兼容性。在移动估算最优化兼容性时，可以在不同阶段应基于‘最优比例因子’规则的技术：这些兼容性是在下列范围内：1)一个帧(1000步以下)移动估算内；2)序列移动模型(1100步以下)的重新模型化内。
对帧n修正估算的移动(1005)：
在第一种情况下，xn在跨度为其它帧的明显有规则的变化的子空间加载矩阵P上进行回归的。这个帧的xn到P上的映射(1040步)产生了某个因子标记tn。然后，这就生成了双线线重构xnHat＝tn*PT(1050步)，在迭代过程中用作(1060步)对该帧的更新移动估算的输入。图9，如果xnHat中一个像素的双线性重构值属于它的可接受的范围内(例如在点915和955)，则假设值可被认为同原来的这个像素的xn值一样的好，且可插入到xn中去。
另一方面，如果双线性重构值xnHat落在移动估算值周围可接受范围的外面，那么，这个重构值便不能使用。这一点可由点935和975来说明。遇此情况，可有二种做法：一种是保留在xn中的移动估算值不作任何修改(这里是925和965)作为其最佳估算，另一种则是用在可接受范围内的(938t和978)最接近于双线性重构的那个值来替代xn中的元素。在某种下，在帧n中的一个像素的移动估算(例905、925、945、965)认为是特别的不确定，这时由于，比如说，有效性问题：它似乎反映了由帧n中闭塞现象而使得看不到的物体。这种情况时，可允许xn，像素的修改值接近于双线性重构xn，像素Hat，即使这个重构是落在明显的可靠性范围之外的。(例如将像素d从值965改变到接近于975值)。
在修改过的移动向量上作重复回归
在移动向量xn中的误差引起了由在加载P上作回归xn而取得的标记tn中的误差。在上面的修改提高了xn对子空间P的适配以后，希望要有一个更新的回归(1040)以给出误差较低的新的标记tn。因此，标记估算tn现在就可以重新将修改过的移动向量xn映射到加载P上而精炼出来，基于规则的移动数据的信息，则再次被用到，同时这个迭代回归过程可以按要求不断重复执行。在每一个新的标记估算中，可以使用这些像素的新的权。执行这个过程是要使这些像素的权减小且使它成为与到达可按受范围(937，977)之距离DISTn，像素成反比，例如权n，像素＝1+(1+DISTn，像素)。
带改进假设的重复的移动估算
在上述的回归迭代收敛后，经修改后的xn之值插放到假设xnHyp(第1050步)中去，然后它就提供给这个帧的更新过的移动估算来用(第650步)，这个迭代移动估算过程则可按要求进行重复。
然后，最后的移动估算xn则表示了与这个帧的初始移动估算xn不同的结果，同时该修改给出了与从其它帧得到移动估算信息的更好的协调，而不会失去这个帧n自身强度的正确性。如图9的结果表示了像素a，b，c和d的最终的移动估算的迭代，则它们的移动估算(905，925，945，965)可以被值(915，938，955，978)所替代。
对许多帧修正估算的移动(1110步)：
上面第四实施例的算法表示了在估算加载子空间P时怎样才能应用相似的基于规则的移动数据的修改。为改进双线性模型而作内部迭代时，要进行模型化的序列移动数据x，则按前面估算出来的双线性重构Xhat(第1150步)在第1160不被修改了，以确保在不确定范围内有较好的内部协调，接下去就对双线性模型作更新。
在模型化整个序列时作外层迭代中(第11000步)是使用在双线性移动模型上的移动假设来增进对帧的移动估算，同时又使用子取得的移动估算来更新双线性序列模型。结合第一实施例，每次在分析了移动的帧的整个序列就要完成一次外层迭代。在第二实施例中，最好是累进进行。每次对新的帧作过移动分析后就进行。
其它的模型化方法
上面的降秩双线性模型化适用于双阶帧x像素系统。然而也可以将其扩展到三阶甚至更高阶的线性系统，只需对标记假设一个线性时间系列，或对加载假设一个线性空间预报或对色彩通过假设一个线性因子分析模型。这可以改进移动的稳定化同时改进整个的压缩。另外，还可使用双线性方向，它是一种寻求将更多的穴、更高图像分辨率等结合到双线性结构中的一种方法。同感PCA/PLS就是这样一种方法(Geladi，P.Martens，H.Martens，M.Kalvenes，S.和Esbensen，K.(1988)，实验室测量的多程比较，应用统计学研计会会议录，哥本哈根，1988，1月25日-27日，丹麦哥本哈根，PP15-30)。
除了加载双线性模型化外还有其它的方法也可以使用，例如加乘混合模型就是一种。另一种可以用来比如预置处理双线性模型化，即乘性信号纠正(BSC)及它的扩展，在Martems，H.及Vaes，T.(1989)著的Multivariate Calibration中有描述。
使用伪因子
当好的优先加载是已知时，可以使用这些而不是(或另外)使用上述的估算出的加载。尤其是可以利用与仿射的移动相对应的加载。
第五较佳实施例：移动模型化与强度模型化相结合
在上文中，谈及的是二个包含相同物体(或目标)的帧(比如说参照帧R和帧n)之间的移动估算，这种移动估算涉及到将二个帧In与IR之间强度的比较，而这种比较是有这样的假设的：即帧R中的物体(或目标，下同)已移动到了帧n中的某个地方了。然而，如果帧与帧n之间的物体强度自身发生变化，那么这个强度变化并未必改正，因而这些强度变化在处理时可能发生误差，甚至会导致无效的模型化结果。
相反，在上文中的估算和强度变化之模型化包含了将参照图像的强度与帧n之强度作比较。若一个在帧n中的物体已经移动到了它在参照帧中的相关的位置，且这个移动未作补偿，那么它可能被认为且误处理为强度的变化，从而导致了再次的无效结果。
而本实施例在移动域和/或在强度变化域中使用双线性模型化以减少这种误差。
在本例的第一版本中，由双线性强度变化模型改进了移动估算：假定已建立了一个双线性强度变化模型(包括强度标记和加载)，这个模型是根据比如说前面的一些知识或是物体的光强度改变了但是物体并未对参照图像有相对的移动的一组帧的强度In的PCA而建立的。第一版本则包括了下列步骤：
对序列中每一帧
1、估算帧的强度变化标记
(例如可以用其它帧的强度标记的内插或外插)
2、对该帧计算强度变化DIRn作为它的强度变化标记和强度变化加载矩阵之积
3、对该帧生成一个修改过强度的参照帧为
CR＝IR+DIRn
4、利用比如说本报告中所提及的方法来估算出移动域DARn
在本例的第二个版本中，是利用双线性移动模型化来改进强度改变估算的：假定已建了一个双线性移动模型(包括移动标记和加载)，这个模型是根据比如说前面的一些知识或是物体移动，但是物体的光强度并未对照照图像有相对的变化的一组帧的移动域DARn之PCA而建立起来的。第二版本包括如下步骤：
对序列中之每一帧：
1、估算帧之的移动标记
(例如从其它帧的移动标记作内插或外插)
2、对该帧计算移动域DARn作为它的移动标记和加载矩阵之积
3、使用移动域DARn生成修改过移动的强度变化，例如将In移回(卷回)到参照位置：
Jn＝MoveBack(In使用DARn)
在本例的第三个版本中，将第一和第二版本顺序地相结合：假定已经建立了一个双线性强度变化模型(包括强度标记和加载)，这个模型是根据比如说前面的知识或是物体的光强度发生变化，但是物体对其参照图像来说并未发生相对移动的这一组帧的强度In的PCA而建立起来的。第三版本包括下面步骤：
1、利用双线性强度变化模型，根据第一版本，对一个或多个帧估算移动域DARn
2、从这些移动域估算或更新双线性移动模型
3、利用所获的双线性移动模型，根据第二版本，对一个或多个帧估算强度变化域DIRn
在本例的第四版本中，将第二和第一版本按顺序地结合起来：假定已经建立了一个双线性移动模型(包括移动标记和加载)，这个模型是根据前面的知识或进物体移动了，但该物体的光强度相对于参照图像来说，并未改变的这样一组帧的移动域DARn的PCA而建立起来的。第四版本包括下列步骤：
1、利用双线性移动模型，根据第二版本，对一个或多个帧估算强度变化域DIRn
2、从这些强度变化出发作估算或更新双线性强度变化模型
3、利用所获取的双线性强度变化模型，根据第一版本对一个或多个帧估算移动域DARn
本例的第五版本包括第一和第二版的实例的重复实施，在它们重复中对双线性模型不断更新。起始步可选版本一也可选版本二。在本例中是选版本一作为起始步的。然后如上所述建立一个优先的双线性强度变化模型。第五版本包括如下步骤：
1、利用双线性强度变化模型，根据第一版，对一个或多个帧估算移动域DARn
2、从这些移动域出发估算或更新一个双线性移动模型
3、利用双线性移动模型再根据第二版本，对一个或多个帧估算强度变化域DIRn
4、从这些强度变化域出发估算或更新一个双线性强度变化
5、检查是否收敛了？例如，可以查移动标记是否稳定了？
6、重复1-5步直到收敛为止
本例的第六版本与第五版本相似，只不过假定强度变化和移动都存在双线性模型，同时它们的加载在本版本中不是在内部作更新的。第六版本包括如下步骤：
1、利用双线性强度变化模型再根据第一版本，对一个或多个帧估算出移动域DARn
2、利用双线性移动模型再根据第二版本，对一个或多个帧估算出强度变化域DIRn
3、检查是否收敛？例如可检测移动标记是否稳定？
4、重复上述1-3步直到收敛为止
在版本五和六迭代过程中的第一迭代后，强度变化标记可由下面方式作估算：对在强度变化加载矩阵上的强度变化域DIRn作过补偿的估算出的移动进行回归而估算出来的。同样，在第一次迭代后，移动标记则是通过或是使用回归算法或是使用非线性迭代最小化法的手段将估算出来的移动域DARn与移动加载矩阵联系起来后作出估算的。后者，在从补偿过的移动强度变化域DIRn中减去了估算出来的双线性强度变化模型的影响后，需最小化的标准可能是留数强度误差的一个函数。在标准中还可能包括另外的一些限制，例如，为防止诸如移动域将补偿过的移动DIRn减小到不正常的在参照图像中的几个像素这类毫无意义的解。
在修改过程中的限制：为获得最好的效果，本例可在移动估算和强度变化估算方面加以某些限制后来进行。在本实施例的第五版本中这些限制在迭代过程中可以放宽。
一方面，在移动估算中对强度修正所作的限制可能是只适用于这样的强度修正，即似乎不反映外部模型化的移动或者在移动估算中未引入人工干预的那些强度修正。这就是说，尤其是在迭代过程刚开始时，对于那些没有多于一帧的或一小组相邻帧的大标记的双线性强度变化信息来说，在作比例因子时会变为0的，因而强度修正则空间上平滑的。
另一方面，在强度变化估算中的移动补偿的限制只允许在不产生预料之外的折迭的那些移动应用；这就是说，尤其是在迭代过程刚开始时，移动补偿域是平滑的，以避免折迭的现象，除外有专门指出建立了有效闭塞。
上面所述的关于本例的方法可以适用于锥形方式。这样的一个例子是优先的双线性模型已按不同的空间分辨率建立起来，同时按比例因子对分辨率之差作修正。
同其它在此提出的方法一样，所述的方法对所给的帧序列可以重复地应用。
同时双重域变化估算以及模型化：一方面，在修正过的强度图象的基础上完成移动估算和双线性多帧移动模型。另一方面，在补偿的移动图像强度的基础上完成了强度变化估算和双线性多帧强度模型化。
在双线性模型的基础上作域修改：一方面，用在移动估算中的强度修正是基于最易利用的双线性强度模型，但受到附加条件的牵制。另一方面，在强度变化估算迭代中用来作地址修改(移动补偿)的移动域是基于最易利用的双线性模型，但受到附加条件的牵制。
修正中的限制：一方面，用在移动估算的强度修正上限制可以使只有那些不反映外模型移动或边缘的内插效果的强度修正可以适用。
这就是说，在迭代过程的最初时，对那些不至一个帧或一小组邻接的帧标记不大的双线性强度变化信息就被按比例缩小成0，因而这些强度修正是空间平滑的。另一方面，要用在强度变化估算的移动补偿上的限制使得只能允许那些未给出意料之外的折迭效果的移动。这也就意味着，特别是在迭代过程刚开始时，除清楚地说明有效闭塞现象，否则就可平滑移动补偿域。
在模型化中减少不确定信息的权：在双线性模型化中，那些由于明显的闭塞现象或边缘效果而检测出来不确定性特别高的像素和像素区域，它们的权比起其它像素来要相对减小。同样，尤其那些不确定帧也要减权。对确定像素，确定帧来说，特别不确定的单一观察多少被处理或丢失的值同时在双线性估算范围中修改得与更确定的观察到的情况一致。这种修改可按第四实施例中所述的做。
第六较佳实施例：灵活但受限制的模型识别
双线性强度模型化与移动估算相结合的另一个应用是希望能在有限的计算量下进行灵活的模型识别：
内容：模型识别总的目标这里是要找到识别以及在数量上尽可能确定图像中之一个未知物体(或目标)，它是利用搜寻一个或几个已知物体与此匹配的方法来实现的。移动估算用来寻找那个未知物体在图像的何处。而双线性强度模型所起的作用则是让每一个已知物体来表示相关物体全部级别(也可使用每个物体的双线性移动模型)。结束时所获得的双线性模型的参数提供关于找到的那物体详细的质和量方面的信息。
仿射的移动估算的应用：要寻找的那个物体的模式所出的有规则的变化先由强度域中双线性模型根据物体的一组已知图像作初步估算，然后，为了在一个未知的图像中找到该物体，将此模型在不同位置重复地应用。这对已知的有规则的变量允许作自动修正而不损失太多的自由度也不会要求过大的计算量。
例如：如脸：
校准：为了估算参照模型，记录了许多不同脸型。
校准移动补偿：用仿射变换可能已经对图像规范化了，因而给了眼睛、鼻子、嘴巴等的最大的重迭。详细的关于移动补偿的解释可以在第五实施例中找到，也可以在‘WO95/08240数据分析之方法和设备’中找到，因而它也列为本文的参文献。
校准强度模型：然后，由双线性强度模型对黑白通道或各种彩色通道作近似的估算。这个强度参照模型可以包括：先选取一个典型的脸孔，称为是参照脸孔，这个参照脸孔可以是某人的一个图像，或者也可是几个人的图像的聚合。其次，通过主元分析只保留最重要的强度因子就像用交叉有效判断出来的那样，对这个平均参照图像周围的变量作模型。可以断定，用在校准中的规范化的脸孔已被十分不同的选出来了，这样，以后就可以从内插法的相同的统计人员中得到许多其它帧作出的十分近似的预测。有关如何建立这样一个双线性参照校准模型可以在上面提到的Martens & Naes 1989中找到。在一组强度加载中也可以包括像光线变化条件这样的附加的人工创建的加载条件。
预测：从相同的统计人员寻找一个新脸孔的未知的位置，所获得的校准结果则是用来作同时移动估算和强变变化估算。
预测移动估算：未知图像强度和双线性强度参照模型(参照脸孔和强度因子加载)不断地用另外的取代。要做到这一点，最容易的办法可能是将未知图像移到不同的位置，同时把更复杂的双线性强度参照模型保持在参照位置不动。
预测强度估算：对每一次取代，双线性参照模型可以通过比如一些快速回归技术等方法与对应的图像强度作适配，以估算出强度的标记，为了降低由一些类似香烟或其它微小的意想不到的外正常的分离像素造成的影响，可以使用对重加权的偏最小二乘法。
然后计算和估算图像强度和双线性模型(一个或几个通道)之间的(加权)不适配的留数。
最后预测结果：给出最小的加权不适配留数变量的替代可以作为未知脸孔的位置而相应的强度标记和留数可以刻划所给定的未知脸孔的参数。
移动和强度相结合的模型化：为了使未知脸孔具有与用在双线性模型化中的脸孔不同的尺寸和倾角(在选项规范化后)，使用规范化强度模型以不同的仿射变换标记作比例缩放和旋转来重复进行预测过程，同时，再来搜索最佳的全面适配。不仅估算了脸孔的位置而且还估算了它的尺寸和倾角等。
使用一般移动估算的应用
移动估算和伴随的移动模型也可选用在校准阶段，这样，不仅是强度的差别和粗糙程序可以允许仿射移动，而且其它类型的形状差别也可以允许。这一点可以比仿射变换后通过移动域的双线性模型化来完成，以获取对各种因子的移动加载和移动标记。另外，会产生一些例如头部的倾斜、旋转、微笑和哈哈大笑之类的在已知典型的移动模式的附加的因子，这些因子可能包括在移动模型中：这些外加因子的加载可能已从受控制的试验中得到，这种试验涉及到那个作参照脸孔的人的移动的估算，在点头、转身或讲话时看到的那样。
参照模型现在包括二个模型域：移动模型和强度变化模型，二者都属一个参照位置(例如一般的脸或一个典型的脸)。移动模型包括二者的粗糙程度，仿射移动模型化以及精细的双线性移动模型。这个受限制的双域双线性模型化(它允许某种确定的主变量和确定强度变量)可以用在各种搜索过程中。
有一种这样的搜索过程是要应用适合未知图像的各种仿射移动(变换、比例缩放、旋转)周围的模型：对于仿射移动，在移动的未知图像和在双线性移动和强度变化模型内的参照图像或某个转换之间完成一个局部移动估算。所获取的局部移动参照模型的移动加载上作回归的估算局部移动标记，同时在允许微小移动的子序列中估算有规则的细调位置和使未知脸孔重新成形。
补偿过的移动输入图像与参照图像之间的强度差映射到双线性强度加载以估算强度标记以及求得的强度留数图像和不适配变量。如上所述，不适配变量最小的仿射移动被选作最终一个，同时，对于外仿射移动的强度变化的对应的双线性标记以及所求的的强度留数给出了各个未知脸孔的特征。而这些数也可以用在例如更详细的模式识别上。
除了仅仅对尺寸和倾角作修正外，也可以包括整个脸孔形状的修正。这时，在本发明中也包括了脸部形状变量的全线性模型化：在校准阶段期间，相对于参照图像对那些规范化的脸型的有规则的形状变量可以由移动估算来检测，同时由线性移动模型化作归纳，相同地，补偿过的移动脸型的有规则的强度变量在参照位置被检测成不同的图像，同时也象前面的实例中叙述过的那样由双线性强度模型作出归纳。在对一个已知的脸孔的预测模式识别时，搜索过程是有一个过程来补足的，该过程则是使用例如一个外线性迭代留数最小化方法(参见J.A.Nelder和R.mead，‘一种函数最小化方法’，计算机杂志Vol.7，pp.308-313)来同时估算移动模型的标记和强度变化模型的标记。
使用二个甚至更多的模型来搜索一个未知的图像(例如男人脸的模型，女人脸的模型，孩子脸的模型等)，同时，也选取了一个在某一图像区域适配最好的模型。
放宽
在上面的较佳实施例的估算过程中有某些迭代的步骤，各类控制参数也可以放宽其要求，如在迭代的次数和模型的性能方面。要放宽的参数中有：
1)平滑参数：移动估算的平滑参数可以放宽，例如在‘光流计算’中所叙述的那样[A.Singh，(1991)，IEEE Computer Society Press，PP.38-41]，此文作为参考文献。在估算过程的开始时，比在过程后期时作更强的平滑化工作。
2)锥形影响参数：在层次结构情况时，多分辨率移动估算，这个参数是调整一个分辨率的级别到另一个级别的影响的，该参数可以放宽。在估算过程中开始时的低分辨率结果可双在过程后期时的有较高的影响。
3)强度影响参数：在多域估算和模型化中修正强变化时，只有这样的强度变化是允许的：即它们与几个帧是相一致的，同时也相对地确定的反映出真正的强度变化，并且它们又不是那些未被模型化移动而错误地被处理成强度变化的。要获得这样的一些结果可以使强度变化在估算过程的初始阶段时其强度变化对强度修正几乎不起任何作用。
4)详细的分段灵敏度：在估算过程初期，估算过的移动信息和其它信息相对来说是不确定的。于是在估算过程之初，相对于其不确定来说，由于在空间上不够详细，其分段可能不是最佳的。大多数在静止的图像上运行而作分段的方法都有一个阀值，该阀值影响到要地需多少详细的问题。
其它的应用
上述的用数学的双线性模型来对不同的帧进行协调移动估算的技术也适用于其它类型的数据，以下是这些数据的例子：
声音
振动时间序列
声音帧可以表示一个记录在固定时间或可变时间段上能量向量，也可以时间的函数给出。在这种情况时，‘移动估算’与参照声音帧相比较后在时间模式中可以检测出短期的暂时性移位，例如描述不同的人在讲一个单词或一句句子时的速度是不同的。从相同的词汇或句子的许多次重复的帧(记录)得到的时间移位之双线线模型化可用作生成一个有关的时间变量的模型。帧的补偿过的时间能量向量的双线性模型表示了声音中附加的有规则的强度变。因而就可以使用双线性模型，以利于在视频图像进提及的子序列‘移动’短期暂态移位的估算。
振动频谱
另外，声音也能以比如频谱给出，在作傅里叶变换或记录过的时间帧的子频宽/子波变换后就可完成。在这种情况时，‘移动估算’相对于参照频谱在每个帧的频谱中可以检测出移位，例如当某一乐器在不同的音高位置上演奏时，来描述泛音系列是怎样有规则地移位的。估算出来的频率移位的双线性模型化在音高发生变时就显示出泛音系列是怎样有规则移动的。修正过的音高的强度双线さ模型化揭示了超过了频率移位的有规则的强度变化。因而，可以使用双线性模型，以利于频率移位的子序列‘移动估算’。
振动能量图像
为适应不同时间比例上的变量，声音帧可以用一维以上的数组来记录。一个类似于视频图像的双向列是这样的：当每一帧表示声音能量的频谱时，就有例如1毫秒(纵坐标)对时间例如1000毫秒(横坐标)的记录。移动估算相对于参照帧允许检测频率移位的检测暂时延迟。在几个帧上的移动的子序列双线性模型化在频率和时标移位中检测出有规则的图样。补偿过的移动能量的双线性模型化在超出频率和时标移位的范围强度中检测到图样。这些双线性模型可以被反馈回去，以增强子序列移动的估算。
声音的有关的双线性模型的参数(标记加载和留数等)可以用在声频数据的数字压缩上。为给出声音模式的压缩形模型，例如在视频游戏中，声音的后编辑等等，也可以使用它们。它们也可以用处理控制和自动错误报警，例如在汽车、轮船或飞机上的不同的振动传感器之类的机械装置那里可以获得振动的数据，声音标记可能与相应的图像信息有关，或者双线性图像近似地形成了相同的时间帧，这样可以进一步作视频压缩，对口型等。声音数据的双线性模型化也可与视频数据的双线性模型化结合起来一起进行，例如用PLS2回归(Martens & Naes 1989)或同感’PCA/PLS(Martens & Martens 1986，Geladi等1988)。
结合移动估算和双线性模型化的其它应用是在分析化学方面：
本发明之另一应用是规则位置变化和强度变化在光谱测定时的多重观察的协调估算和模型化。这方面的一个例子是核磁共振(NMR)光谱学，它包括对所谓的‘化学移位’作估算及作模型(对应于前面的视频解释中的‘移动’)和各种类型的分子函数(可能是‘穴’)的峰高(强度变化)中的浓度控制变化的控制，它们按不同的频率(‘像素’)记录在一组不同的但又是相关的化学样本上(帧序列)。类似地，也可用来分析电子旋转共振(ESR)。
另一种化学的应用是在各种电磁波长范围自X-射线至无线电频率的各类分光光度分析(例如转换、反射、荧光等)，例如，在紫外线/可见光/红外线的范围中。本发明可以应用于检测溶液波长移位(‘移动’)以及各种类型分子或分子组的浓度控制吸收变化(强度变化)按不同波长在一组不同但相关的化学样本上(帧序列)记录波数或飞行时间(‘像素’)。
本发明的另外一些应用则是关于诸如层析电泳和流体注入分析等之类的物理分离技术。例如，化学复合物在高压液体层析中，本发明可以用来检测滞留时间变化(由列静止阶段中发生变化所感应出来‘移动’)以及各种化学复合物的浓度控制检测器信号变化(可能为‘穴’)，在一组不同的但相关的化学样本中(帧的序列)按不同的层析滞留时记录下来。
在这样的定量分析应用中，结合穴的方法一般来说比视频编码更简单，因为重迭的穴的效果通常是可以迭加起来而不必去考虑闭塞现象。因此，就不需要像视频编码中的那样多的分段工作。
其它的应用例子：
二维多通道彩色视频图像，超声图像或是卫星图像，或是雷达图像数据，计算机层面x照相术的2-3维图像或磁共振图像、1维线摄像数据。
虽然已参照其较佳实施例对本发明进行了特别的图示说明和描述，但应当理解，该技术领域的熟练人员可以在形式和细节上作出种种变化，而不脱离本发明的精神和范围。特别是，术语“多个”可以解释成“一个或一个以上”情况。