分割图象编码方法及系统，以及 相应的译码方法及系统 本发明涉及编码分割图象、即划分的方法和相应的编码系统，这些分割图象即划分相应于一系列原始图象并确定了所述图象的轮廓和封闭区域，有相应的标号与这些轮廓和封闭区域相关联，所述方法包括确定两幅相继图象之间的划分的时间运动进展的第一确定步骤和编码相继划分的所述区域的运动、轮廓和纹理的第二编码步骤。本发明还涉及利用这种编码系统编码的信号、存储这种编码系统地存储介质、译码所述编码信号的方法、以及相应的译码系统。
例如在欧洲专利申请EP0389044中描述了利用在原始图象中被区分的特征(例如轮廓和区域)把相应于所述图象的信号分解为分量、然后分别编码所述分量的方法和装置。但是，这种编码分割图象的普通方法在不得不进行的分割的类型或在用于原始图象不同区域的编码的类型这两个方面缺乏灵活性。尤其是这些方法和装置不是作为努力完善MPEG4(运动图象专家组)音视频编码标准的可能解决方案的合适的技术建议，MPEG4音视频编码标准的目标是低和甚低位速率(其极限通常被认为等于或接近1兆位/秒)的交互式多媒体应用。
本发明的第一个目的是提出能够有效地处理场景的基于划分的表示的编码方法，关于场景的内容、其复杂性或图象格式(场景可以有任意个数的具有任意关系、位置和运动的对象)没有任何特定假定，该编码方法尤其是一种适合实现在未来的标准MPEG4中设想的各种功能度的编码方法。
为此目的，本发明涉及如说明书开头一段所述的编码方法，在这一方法中，对于就先前划分而言的每一当前划分，该第一步骤顺序地包括：
(1)运动估算和补偿子步骤，用来确定运动补偿划分，对于来自先前划分的每一区域，标出在当前划分中该区域的中心部分的位置；
(2)先前利用补偿在当前划分中确定的所述区域实行一个时间延伸子步骤，用来确定所谓投影划分；
(3)划分拓扑确定子步骤，用来根据运动和纹理标准确定由合并或再分割所述投影划分的区域产生的附加划分，所述附加划分与投影划分一道形成划分树；
(4)判决子步骤，用来所述划分树的任一级所包含的区域的建议内选定最佳划分的区域和选定编码所述最佳划分的每一区域的最佳策略，所述相继的最佳划分组成待编码的顺序划分序列，所述第二步骤然后为了确定对于所述划分的每一区域需要传送和/或存储的编码信息，包括判决编码子步骤。
从用户的观点来看，该方法提供了主要基于图象序列有益的预处理的非常显著的灵活性。此外，对后续决定步骤提议的、不管所考虑的分级程度如何都保留轮廓的划分的分级允许以最佳方式实现最后的编码步骤。该编码方案确实能够适应极不相同的情况，并对于任何给定的编码成本和不管可用编码技术集合如何，都能够获得最好的图象呈现。
在一特定实施例中，所述编码方法的特征在于所述运动估算和补偿子步骤包括采用块匹配方法的运动估算操作和通过只保留先前划分的每一区域中的采用与先前划分相同的标号来标记在当前划分中所述区域的中心部分的位置的最大连接分量的运动补偿操作，所述时间延伸子步骤包括分水线(watershed line)方法的实现。
此外，根据本发明，所述判决子步骤最好包括第一判决树确定子步骤和第二最佳化子步骤，第一判决树确定子步骤从所述划分树所包含的投影和附加划分中选择最佳划分，而第二最佳化子步骤作出关于所述最佳划分的每一区域的最合适编码策略的判定，然后用第二编码步骤来根据预定标准为选定的最佳划分的每一区域选择最合适的纹理编码方法。
根据所提出方法的编码原理，可以选择若干种纹理编码技术。最好在包括均值逼近方法、多项式逼近方法、形状自适应离散余弦变换方法以及二元二维子波变换方法的表内选择将应用于所述最佳划分的每一区域的所述纹理编码方法。
最后，在允许考虑原始区域在灰度级方面不是均匀的情形的改进的实现中，所述第一步骤还包括与第一子步骤级联的以下附加子步骤：
(1)在运动估算和补偿子步骤之前，分割当前划分(称为粗划分)直到按照给定标准所有区域都是均匀的为止的附加分割子步骤，所述分割子步骤允许形成所谓紧密划分；
(2)在时间延伸子步骤和划分拓扑确定子步骤之间，合并所述紧密划分的投影区域的附加合并子步骤，所述合并子步骤允许确定所谓投影粗划分，所述附加分割最好是与尺寸有关的分割，该尺寸参数则逐渐减小，直到满足关于象素的灰度级均匀性的给定均匀性标准、例如相对于区域平均值的象素的均方误差为止。
本发明的另一目的是提出允许实施所述编码方法的编码系统。为此目的，本发明涉及偏码分割图象、即划分的系统，这些分割图象即划分相应于一系列原始图象并确定了所述图象的轮廓和封闭区域，有相应的标号与这些轮廓和封闭区域相关联，所述系统包括第一时间运动进展确定子系统以及第二运动、轮廓和纹理编码子系统，在该系统中，对于每一当前划分将要传送和/或存储的编码信息包括相应于由利用先前划分的运动估算和补偿确定的主划分的区域或由通过合并或再分割主划分的所述区域产生的附加划分的区域组成的最佳划分的编码信号，所述编码信号包括以合并顺序和分割信息的形式指出每一区域的来源的合适指示。
根据优选的实现，该编码系统的子系统按以下方式组成：
(I)所述第一子系统包括：
(A)第一划分预处理子部件，包括：
(1)时间进展确定装置，包括：
(a)运动估算电路；
(b)运动补偿电路；
(c)时间延伸电路，其输出形成确定所述主划分的所谓投影划分；
(2)划分拓扑确定装置，包括：
(d)至少一合并电路；
(e)至少一再分割电路；所述划分拓扑确定装置的输出形成由所述投影划分和利用所述合并和再分割电路产生的附加划分组成的划分树；
(B)第二判决子部件，包括：
(f)判决树形成电路；
(g)最佳化电路；所述判决子部件的输出形成传送给所述第二编码子系统的最佳划分，所述最佳划分是通过组合来自划分树各个级的区域而获得的；
(II)所述第二子系统包括：
(c)第三编码子部件，包括：
(4)第一判决编码装置；
(5)第二运动编码装置；
(6)第三轮廓编码装置；
(7)第四纹理编码装置；
(8)所述四个编码装置的编码输出信号的多路复用器。
在该实现中，所述合并电路可以包括运动估算级和合并建议级，后面跟有第二个类似的合并电路，等等，以便通过合并投影划分中的具有相同运动的相邻区域来形成所述划分树的上级。
不管实现如何，该编码系统的判决子部件按照这样的方式构成，即所述判决树形成电路包括失真计算级、价格计算级和存储器，所述存储器按照判决树的形式存储失真表和价格表，这两个表的长度与相关的为所述划分树的每一区域的纹理的编码操作进行选择的纹理编码方法表的长度相同，所述最佳化电路包括对所述判决树的每一节点进行局部分析的计算子级和根据划分树的区域的全部集合确定构成所述待编码的最佳划分的区域的最后集合的判决子级。
本发明的再一个目的是确定例如由这种编码系统产生的编码信号，所述编码信号由多路复用信号组成，包括：
(A)编码运动信息，相应于表征在所述相继划分之间的分割的进展并允许确定所谓投影划分的运动模型的估算；
(B)编码划分信息，相应于根据价格和失真标准从根据相应于当前划分的投影划分产生的附加的较细和较粗划分的分级的全部区域中选择的最佳划分的每一区域的纹理和轮廓信息；
(C)编码判决信息，相应于根据编码成本和与所述价格和失真标准有关的质量为投影和附加划分的所述选定区域的每一个确定的编码策略。
本发明的还一个目的是提出存储所述编码信号的存储介质。
本发明的另一个目的是提出可被应用于如在采用上述编码方法的编码系统的输出端处产生的多路复用编码位流的译码方法。为此目的，本发明涉及译码相应于分割图象、即划分和预先已利用编码方法进行了编码的信号的方法，这些分割图象即划分在相关的原始图象序列中确定了有相应的标号与之相关联的轮廓和封闭区域，该方法包括第一步骤和第二步骤，对于就先前划分而言的每一当前划分，第一步骤一方面确定利用运动估算及补偿和补偿划分的时间延伸获得的所谓投影划分，另一方面还确定通过合并或再分割所述投影划分的区域产生的附加划分，并选择由被包括在由所述投影和附加划分形成的划分树的任一级内所包含的建议内的区域组成的最佳划分，第二步骤确定对于每一相继最佳划分的每一区域必需传送和/或存储的编码信息。
根据本发明，所述译码方法最好包括用来确定对于每一最佳划分的每一区域已预先使用了哪种编码策略的第一判决译码步骤、第二运动译码步骤、第三划分译码步骤以及第四纹理译码步骤，所述第三划分译码步骤最好包括通过重新给每一区域分配标号值(如果有N个区域就只使用标号1至N)来限制标号个数的值的第一重新标记子步骤、使用合并顺序的第二合并子步骤、第三区域内译码子步骤、第四运动补偿和补偿误差译码子步骤以及译码补偿误差划分标记子步骤。
本发明的再一个目的是提出允许实施所述译码方法的译码系统。为此目的，本发明涉及译码相应于分割图象、即划分的信号的系统，这些分割图象即划分在相关的原始图象序列中确定了有相应的标号与之相关联的轮廓和封闭区域，对于每一当前划分，所述信号形成了相应于不是由利用先前划分的运动估算及补偿和补偿划分的时间延伸确定的主划分的区域就是由通过合并或再分割主划分的区域产生的附加划分的区域组成的最佳划分的编码信息，所述译码系统包括用来存储和多路分解所述编码信息的输入缓冲器、用来译码相应于编码所述最佳划分所使用的策略的信息的判决译码装置、运动译码装置、划分译码装置以及纹理译码装置。
参看以下结合附图所描述的实施例将明了并可推断本发明的这些及其它方面，其中：
图1是本发明的系统的一般表示，而图2表示相应的编码方法；
图3说明区域的时间延伸操作；
图4说明合并操作；
图5说明再分割操作；
图6说明判决树形成操作；
图7说明如何作出关于编码策略的局部判决；
图8表示为了获得最佳划分而采用的判决过程；
图9是译码装置的结构的简要表示，并说明相应的译码方法；
图10是给出划分和纹理译码过程更详细说明的图示；
图11是划分译码装置的一实施例；
图12是分割图象的非常简单的例子；
图13是两幅相继图象P(t-1)和P(t)之间的运动形式的简要表示；
图14说明用来实现在图4的合并操作期间执行的运动估算步骤之一的一种可能的解决方案；
图15表示一给定区域的局部轴和标尺，归一化系数等于2；
图16是具有特定类型的顺序估算的编码方法的表示。
现在参看图1，该图示出了包括三个主要子部件的系统。第一划分预处理子部件1，用来接收分割帧或图象的输入序列S(t-j)，……，S(t-1)，S(t)，S(t+1)，……(它们本身相应于原始纹理图象P(t-j)，……，P(t-1)，P(t)，P(t+1)，……)，包括时间进展确定装置11和划分拓扑确定装置12。第二判决子部件2，用来接收由所述第一子部件1产生的一组划分并确定编码策略。第三编码子部件3，用来接收所述选定的划分和与这一选定的划分有关的关于编码策略的判决，包括判决编码装置31、运动编码装置32、划分(或轮廓)编码装置33、纹理编码装置34以及多路复用器35。
现在参看图2和图1说明上述子部件实现的一般的编码方法。在装置11中执行的时间进展确定步骤用来跟随当前划分的区域的瞬时演变。在所述例子中，为了尽可能地限制处理延迟和计算负载，只用先前编码图象或帧及其在时刻(t-1)的划分来确定时刻t的划分的时间进展。时间进展确定步骤用来使先前帧(在当前情况下为先前帧S(t-1))的划分适应当前帧，帧S(t-1)(更一般的情形是t-i)的这一划分相应于已为先前图象选择的最后划分(在早先实施本发明的编码方法之后，编码子部件3的编码装置的输出信号回传给第一划分预处理子部件1)。因此，所述子步骤使S(t-1)的划分适应图象S(t)的数据，不引入新的区域。利用三次操作实现先前帧的划分的这种适应。首先，在原始帧S(t-1)和S(t)之间执行运动估算操作111a，然后对先前划分进行运动补偿(操作112a)，最好执行先前区域至当前帧的延伸操作113a。
第一运动估算操作111a在运动估算电路111中执行。按照例如向后施加的块匹配过程估算先前帧S(t-1)(一般的情况下为先前帧S(t-j))和将要被分割的下一帧S(t)之间的运动。这种技术的描述例如见IEEETransactions on Consumer Electronics第41卷(1995年5月2期)第248-257页上的论文“分级运动估算的VLSI结构”：帧S(t)被分成小块的象素(对于176×144象素的QCIF格式通常是8×8象素)，对于每一块象素，在帧S(t-1)的给定窗口内进行搜索，以便在该帧内找出最好的匹配块。即使当涉及到一个以上的对象的某些块的运动不是严格一致的时候，所获得的运动信息也是充分的近似。这一运动信息的形式是对所考虑帧的全部块分别进行估算的运动矢量。
通过把获得的运动矢量应用于区域，在运动补偿电路112中执行第二运动补偿操作112a，对于来自先前帧的每一区域，为了获得包含具有与在所述先前帧内的标号相同的标号的连接分量的帧作为最后结果，已按照以下方式来获得这些分量的每一个分量。如果P(t-1)是先前图象而S(t-1)是其划分(或分割帧，一组标号的形式)，则当前帧的每一象素将只被先前帧的仅一个象素覆盖(在后向运动估算之后)。但是，显然这种补偿会在每一被补偿的划分中产生小的断开分量，通常接近区域的轮廓。这些断开部分会造成标号的错误延伸，必需利用对P(t-1)内的每一区域只保留其在被补偿划分P′(t-1)内的最大的连接分量的清除操作来消除(这一操作产生在P′(t-1)内的非标记象素，但由于这一划分只作为将在操作112a之后的操作113a的初始化，所以不会产生任何问题)。最后获得的、在其内P(t-1)的每一区域最多只有一个连接分量的运动补偿划分为来自先前帧的每一区域标出了该区域在当前帧内的中心部分的位置。
第三延伸操作113a在时间延伸电路113内执行，以便确定如此从运动补偿划分投影的区域的边界。当前帧内被补偿划分的这种延伸可以例如利用称为分水线方法的普通形态学工具来执行，M.Parda′s和P.Salembier在1994年9月13日在爱丁堡(英国)召开的“第七届欧洲信号处理会议”EUSIPCO94上的论文“图象序列的时间道归分割”描述了这种工具。由于以上获得的连接分量具有特定的表示了均匀区域的存在的标号，所以它们构成了一组确定将要被提取区域的中心部分的标志符。如引用的文件所述并记住(参看图3)P(t-1)和P(t)是时刻(t-1)和t的图象、S(t-1)和S(t)分别是已知划分(在时刻t-1)和必需要被确定的未知划分(在时刻t)，通过组合图象P(t-1)和P(t)形成时间量纲方面大小为2的时间块P和同样地组合(为了形成被认为是应被用来分割块P的标志符组的块S)划分S(t-1)和代表不确定帧的空帧S(.)，就得到了两个三维信号。这种帧被称为不确定帧是因为这种帧的象素尚未与给定的标志符对应的缘故。
分水线方法WM的实施导致一增长过程，在这一增长过程中，这些象素被分配给一给定标志符，直到标志符占据了空帧的全部可用空间为止，每一象素被分配给一特定区域，这是因为该象素在该区域的标志符的附近，与相应于在其附近的另一标志符的任何其它区域相比，它更类似于(在由特定标准定义的意义上)由该标志符确定的该区域。一种可能的相似性标准可以例如是被考虑象素和已被分配给该区域的象素的平均值之间的灰度差D，或者是引入了加权因子“α”的修改标准。这后一方法现在不再仅仅考虑D，而是考虑加权和(αD)+(1-α)C，其中C是补偿项，相应于例如通过对在给一特殊区域分配所考虑的象素时增加的轮廓点的数目进行计数而获得的轮廓复杂性，因此给予了灰度级量度或轮廓复杂性或多或少的重要性。
于是在第三操作113a结束时得到投影划分PJ(t)。将根据这一投影划分建造划分树来提供(利用运动和纹理标准)不同的划分，第二判决子部件2稍后将从这些划分中选择最方便的区域来编码图象，这些最方便的区域组成由来自划分树的不同级的区域组成的最后划分。这一建造过程在划分拓扑确定装置12中完成，其目的实际上是根据投影划分(利用纯粹内部的步骤)产生两种不同的划分：--合并投影划分地区域产生的并确定了划分树的上级的划分：根据将要说明的运动标准的这一合并能够获得组合了具有类似运动的邻近区域(这些邻近区域之间的内部轮廓不再需要被编码)的较大区域；--再分割投影划分(提供了在当前划分中获得在先前划分中没有的新区域的可能性)产生的、确定了划分树的下级的划分：获得这些新区域的理由可以是在场景中产生新的对象(它们的纹理一般与邻近对象的纹理不同)和/或可以是这样的事实，即纹理很不相同但因它们在先前帧中的运动类似而被合并的两个区域的运动可以在当前帧中突然不相同，于是，如果利用相同的运动参数继续对它们进行编码，就会造成过大的补偿误差。
利用装置12如此完成的划分拓扑确定子步骤按照两种操作来执行：第一种是合并操作121a(至少一次)，第二种是再分割操作122a(至少一次)。
合并操作121a在(第一)合并电路121中执行。参看图4，该电路121-其目的是合并具有类似运动的邻近区域-包括运动估算级1211和合并建议级1212。给定两幅原始纹理图象P(t-1)及P(t)和划分S(t-1)，就用级1211来计算装置11产生的投影划分PJ(t)的运动参数。这一运动估算处理为投影划分的每一区域产生一组运动参数，该组运动参数描述了所述区域在(t-1)和t之间的运动。在级1211中执行的运动估算步骤可以例如是在1996年4月提交的法国专利申请第9604194号中所描述的那种类型，参看图12至15在本说明书末尾的附图A中复述该专利的内容。
一旦已知投影划分的运动参数，就在合并建议级1212中执行对合并邻近区域的成本的估算。计算每对邻近区域的合并成本，并根据合并标准选择合并成本最小的邻近区域对来获得所需的合并次数。例如，如果编码当把两个邻近区域看作一个区域(即当利用同一组运动参数对它们进行运动补偿时)时产生的预测误差的成本小于编码位于它们之间的轮廓的成本，则这两个邻近区域就应被合并。事实上，由于编码方法尚未得知，所以对标准略微进行修改。考虑合并产生的补偿误差(不再考虑精确的编码成本)：具体来说，所考虑的成本是被合并区域内的均方补偿误差相对于当两个区域单独被补偿时的均方补偿误差的增大(为了简化计算，不计算相应于被合并区域的新的运动参数：只利用相应于这两个区域的两组已知运动参数中的产生较小补偿误差的那一组运动参数来计算合并这两个区域时产生的补偿误差)。在帧内的情况下，建议合并时不考虑运动。由于编码不利用任何运动信息，于是在纹理的基础上建议合并方案，根据邻近区域的平均灰度级的值之差来计算成本。
如上所述，编码方法尚未得知。将稍后在判决子部件2中根据编码成本明确地就合并两个区域作出实际判决，可以在每一级产生若干个合并建议。由于必需对划分树中的每一级重复最后的合并步骤，所以无论如何都要如图4所示地进行合并，并将合并作用于当前投影划分和先前图象的划分，形成合并划分PM1(t-1)和MP1(t)，它们是该合并步骤的可能重复在第二合并电路121b中的另一输入(另一运动估算级1211b的另一运动估算，以及另一合并建议级1212b的另一合并建议)，对划分树的全部上级如此进行下去。
在再分割操作122a中，该操作由再分割电路122完成，一旦出现新对象或两个区域的运动突然出现差异就必需执行该操作，需要根据不均匀纹理分离区域。因此这一再分割步骤将基于纹理标准。可以例如利用分级结构来实现这一步骤，该分级结构以投影划分开始，逐步地对每一级在划分中引入新的区域，不对先前级的轮廓进行修改。这一再分割步骤由在相应级中执行的四个步骤组成：残留计算级1221、简化级1222、标志符提取级1223和判决级1224。如图5所示，这些级还分别用标号RC、SP、ME和DC来表示。
已知每一级必需通过引入新的显著区域来改进先前级的分割，投影划分的每一区域用其平均灰度级值或用例如多项式函数这样的灰度级函数来填充。(在级1221中)获得作为原始图象P(t-1)和被模仿图象即划分S(t-1)之间的差的残留。例如在欧洲专利申请EP0627693中描述了这种利用图象模仿的残留计算的一个例子。在已提到的文献“时间递归分割……”(EUSIPCO94)中描述了其它操作(简化-为了使划分更容易被分割；标志符提取-为了确定均匀区域的存在和通过给特定小区域作标记来进一步确定它们的中心部分；判决-为了处理不确定范围，这些范围尚未被指定给任何区域，相应于在区域轮廓附近的象素)。就合并操作而言，可以以迭代方式重复这一过程，除采用对比度标准的最后的再分割级外，所有的再分割级都采用大小标准(在这一迭代过程的每一级，唯一的差别是简化强度，简化强度减小，以便逐步产生小的或低对比度的区域)。一旦完成了合并和再分割，就如在提及的专利申请EP0627693中所描述的那样，对所有划分级的每一区域进行运动细化。
已看到一旦完成在划分拓扑确定装置内的建造过程，就得到确定来自投影划分的一组可能区域的划分树。已在该装置12内实施的操作只是用来获得确定新的可能区域的轮廓的建议，还没有作出关于待编码的实际划分的任何判决。由于该装置的目标是确定是最佳划分的一部分的一组区域，所以一方面应将该组缩小来减小将随后作出的判决的计算复杂性，另一方面应仔细地产生划分建议以便能够作出有效的判决。
现在得到了划分树并根据运动和纹理标准提供了不同的划分，判决子部件2将从这些划分中选择最合适的区域来编码原始图象，选定的最后划分实际上由来自划分树不同的级的区域组成(原始投影划分的轮廓未被修改)。该子部件2的目标是通过执行能够区分两个相继的部分的判决子步骤来确定编码策略：首先，选择在划分树所包含的建议内的最佳划分，其次，作出关于编码这一最终划分的每一区域的最佳策略的判决。
于是这一判决子步骤依赖于存在于后面跟有第二最佳化操作222a的第一判决树确定操作221a的两个操作。第一操作221a在判决树形成电路221中执行。如图6所示，根据确定了在区域方面的选择的划分树PT(虚线表示与投影划分PJ(.)的原始区域相关的被合并或被再分割区域，为简单起见，图6只示出四个原始区域)，按照以下方式推导出以分级结构集中了全部可能的编码选择的判决树DT：判决树的每一节点相应于划分树中的一个区域，具有同样由划分树给定的节点之间(父节点和子节点之间)的关系。这些关系确定了一给定级(图6中示出包括投影划分PJ(.)级的五个级)的一个区域如何可被分割成为各个区域(即子区域)或被合并来形成较大区域(即父区域)。此外，为了(在价格-失真的意义上)确定编码策略，判决树将包含有关编码成本和n种可能的纹理编码技术的各自质量(或失真)的信息：于是将给所述每一节点指定一价格表(价格表R1，R2，……Rn)和一失真表(失真表D1，D2，……Dn)，这两个表的长度与纹理编码技术TCT表的长度相同，这n种技术的每一种在图6中以缩略的方式表示为#1，#2，……，#n。实际上，划分树的每一区域用全部提出的技术进行编码(由于每一区域的运动已在建造划分树期间进行了估算，所以按照帧内或帧间方式)，并把相应的价格和失真存储在判决树内。
因此在电路221内的建造判决树的这一步骤只是对每种技术各自优点进行评判的操作，在这一时刻不作任何判决。该电路221包括失真计算级2211、价格计算级2212和存储器2213。在级2211中，采用亮度和色度的均方误差标准，这是因为它是一加性标准的缘故(将看到在判决树确定操作之后的最佳化操作要求可加的失真量度：如果区域A被分割成为各个区域Bi，则对A测量的失真将等于对所有Bi测量的失真之和)。在级2212中，目标是计算给出区域的总编码成本的价格。对于每一区域，该价格主要由三部分组成：-纹理编码成本：通过可通过在子级2212C中测量系数的熵而容易地进行估算；-运动参数编码成本：同样由在子级2212d中对模型参数的熵估算来确定；-划分编码成本。
因为对每一区域不是单独地对形状和位置信息进行编码，所以最后一部分的划分编码成本较复杂。以全局的方式对整个划分进行编码，因此不是直接估算给定区域对划分位流的贡献。选择了认为区域的划分成本的合理估算与所述区域的周界成正比，比例系数依赖于是否将对区域进行补偿：根据以帧内方式或帧间方式进行纹理编码这一事实，在此假定划分成本不是等于每轮廓点1、3位就是等于每轮廓点0、7位。
一旦判决树的全部节点已被填充了所计算价格和失真的表，就可以在最佳化电路222中开始实行的最佳化操作222a。可把这一最佳化问题表达成为对图象失真D的最小化的寻找(如例如在K.Ramchandran和M.Vetterli发表在1993年4月2卷2期160-175页上的论文“价格-失真意义上的最好子波包载体”中所描述的)，约束是总成本Rt必需低于对于每一帧确定的预算，可重新把这一最佳化问题表达为拉格朗日量D+LRt的最小化，这里的L是所谓的拉格朗日参数(如果找到L0使Rt等于或非常接近预算，则所归纳的两个问题有相同的解答)。该问题最后是利用判决树来找到使D+LoRt最小的一组区域(产生划分)和一组纹理编码技术。为此目的，最佳化操作222a包括以下子步骤：-第一子步骤2221a，在计算子级2221中被执行，使得能够进行局部分析和为判决树的每一节点计算每种纹理编码技术的拉格朗日量：给出最小拉格朗日量的技术被认为是该节点的最佳技术，并存储该拉格朗日量；-第二子步骤222a，在判决子级2222中被执行，使得能够利用对判决树自底向上分析来确定最佳划分，如图7所示，这种自底向上分析从最低级开始，形成关于编码策略的一组局部判决：假定所述较低级的两个节点是有效的(这意味着它们被看作是最后划分的一部分：这种节点用黑圈来表示)，则当希望知道是否不要把由这两个区域表示的范围作为用位于较高级的一个节点表示的一个区域进行编码时会出现两种情况：
(a)如果较高级节点(Do+LRo)的拉格朗日量小于较低级的拉格朗日量，则实际上最好把该范围作为一个区域进行编码，较高级节点变成有效的，取代变为无效的两个较低级节点(图7的左侧)；
(b)如果较高级节点的拉格朗日量大于所述和，则最好把该范围作为两个区域进行编码，较高级节点保持无效(图7的右侧)，而其新的拉格朗日量是较低级节点的拉格朗日量之和(可以回想起已假定在整个最佳化操作期间价格和失真的可加性)。
重复这一过程直到到达判决树的最高级为止。这一种有效的节点于是给出确定了最佳划分的最后一组区域。如果求和所有有效节点的最佳技术的价格而算得的编码成本等于或非常接近预算，最佳化步骤就结束，并将对这一最佳划分进行编码。如果编码成本比预算低或高得多，就必需修改拉格朗日参数L，并再次进行最佳化。可以利用梯度搜索算法来给出L的方便定义，这种梯度搜索算法以非常大的值LH和非常小的值LL开始，这两个值导致分别给出低于和高于预算的价格RH和RL的两种相应的编码策略，新的拉格朗日参数被定义为L＝(DH-DL)/(RH-RL)，重复这一过程，直到找到给出接近预算(例如在其5％的范围内)的价格的一种编码策略为止。
在装置22中实现的整个判决子步骤的说明如图8所示。从划分树PT中提取所有区域(分析步骤AS)来形成判决树DT，并对每一区域考虑用标号TCT表示的若干种纹理编码技术(它们的编号以前称为n)。然后选择来自划分树的各个级的区域Rs(选择步骤CS)，并与最佳编码技术BCT一道确定最好的最后划分BFP(即最佳划分)，每一区域有一最佳编码技术。
一旦确定了根据划分树内所包含的建议产生的这一最佳划分和用于每一区域的编码策略，就应当把译码图象序列所必需的信息传送给接收机(或给存储介质，稍后再完成译码过程)。在第三编码子部件3内被处理的这一信息包括：
(a)编码策略本身：在判决编码装置31内被编码的这一信息将告诉接收部分(接收机或存储介质)将对每一区域采用的编码技术；
(b)要补偿的区域的运动参数：对于帧间模式编码的所有区域，例如根据允许对诸如平移、变焦距、拍摄全景和旋转的组合这样的运动进行处理的多项式运动模型，把在运动编码装置32内被编码的一组运动参数传送给接收机；
(c)划分：划分编码装置33产生接收部分恢复当前划分所需的全部信息，即每一区域的位置及其轮廓，还传送每一区域的标识编码(即标号)，以便及时跟踪区域和处理运动补偿未覆盖的区域；
(d)每一区域的纹理参数：可以在纹理编码装置34内利用非常多的基于区域的编码方法来编码纹理(在当前情况下，可以利用例如基于区域的子波分解，形状自适应直接余弦变换或在正交基上的分解这样的编码技术)。
就判决编码装置31而言，应当指出最后划分就是必需被编码和传送(和/或存储)的划分。为了对编码过程有所帮助，装置31将因此传送给接收部分某些有关每一区域的来源的信息。属于最后划分的区域可以来自投影划分(投影区域)也可以来自在投影划分之上(合并区域)或在其之下(再分割区域)的划分树的各个级。对于投影区域，标号就简单地是如由投影所确定的标号。对于合并和分割区域，这些区域都是有新标号的新区域，总是应以帧内模式传送纹理。为了避免这种情况，装置31向接收部分传送划分的实际历史和区域的变换，即合并顺序和分割信息。合并顺序是一组数，表示例如时刻t的一区域x是通过合并时刻(t-1)的一些区域xi来形成的，以便使接收部分能够把相同的合并过程作用于先前编码划分的这些区域xi(由于划分编码依赖于运动补偿，所以合并顺序对于划分编码也将是有用的：在对先前编码划分进行运动补偿之前，其区域将按照合并顺序内所包含的指示进行合并)。分割信息不是暗示某一特定变换的指示，它仅仅指出时刻t的划分的该组区域xi来自时刻(t-1)的一给定区域，该给定区域的象素被允许在纹理补偿期间预测所有区域xi的所有象素。
就运动编码装置32而言，必需记住为了获得有效的表示，必需对划分和纹理进行补偿。其目的在于根据最后编码图象产生最好的可能运动预测图象(已知可用的分割和运动信息)的这一运动补偿在编码过程和译码过程期间都是有用的，因此必需编码和传送这一运动补偿。它利用最后编码图象(与当前划分的每一区域和该当前划分本身有关的运动参数)作为唯一的信息。如在以上提及的法国专利申请9604194号中所描述的那样对具有运动参数的划分的每一区域进行预测(称为帧内区域的区域当然不必被预测：实际上，为了进一步的处理，它们用加在补偿图象内的特定标号来区分)，对最后编码图象的三个分量(高度：y，色度：U和V)执行这一操作，以便获得最后的y-U-V运动补偿图象。
就划分编码装置33而言，必需记住：(a)为了描述区域的时间进展，先前运动估算为每一区域只产生一个运动模型(如果该运动模型是平移，就只产生每区域一个矢量，如果该运动模型较复杂，就产生一组矢量，每象素一个矢量)；(b)利用这些矢量执行的补偿可以有前向方式或后向方式(这两种方式的主要差别涉及到象素位置的量化：当运动矢量从整数象素位置开始但指向非整数象素位置时，必需以前向方式量化当前被再现划分的象素的位置，而在后向方式中，对先前被再现划分的象素的位置进行量化)；(c)必需确定哪种信息可用来补偿划分。
确实，必须区分区域内象素的运动(纹理运动)和该区域形状的运动。这两种运动在严格的前景区域的情况下是一致的，但对于背景区域是不一致的，这是因为其形状或其轮廓的修改是利用在其前景的区域的运动来确定的缘故。1994年11月在美国德克萨斯的奥斯汀召开的“IEEE图象处理国际会议”论文集2卷428页～432页上的M.Parda′s、P.Salembier和B.Gonza′lez的论文“基于分割的视频编码的运动和区域重叠估算”描述了基于对象的视频编码系统，在该系统内确定避免了对背景区域执行两种不同的运动估算。轮廓的运动估算用称为区域间的顺序关系的附加信息来代替，这一附加信息使得对于每一对邻近区域能够通道它们中的哪一个位于前景(为此目的，例如对两邻近区域之间的每一边界进行两种假定检验，即对于两种可能的顺序关系计算每一区域的预测误差，并选择产生最小预测误差的顺序)，这一顺序信息与纹理运动相关，以便补偿划分和纹理(显然，该顺序还在接收部分中被使用，以便解决被补偿标号之间可能的局部冲突)。
一旦利用以上给出的方法或按照例如在欧洲专利申请95401813.1号(1995年8月2日申请)中描述的、在本说明书末尾的附录B中参看图16复述的技术解决方案这样的选择方案对顺序进行了估算，就可以启动划分编码装置33。
就用来编码划分的每一区域内的灰度级或彩色信息的纹理编码装置34而言，为了如上所述地给予本发明的整个编码装置一定的灵活性，可以有若干种纹理编码方法。称为均值逼近的第一种纹理编码方法只传送属于每一区域的象素的平均值。称为在正交基上的多项式逼近的另一种纹理编码方法-例如在M.Gilge等人发表在1989年10月1卷2期的“信息处理：图象通信”杂志第153～180页上的论文“基于一般化正交变换的任意形状图象部分的编码”中对其进行了描述-依赖于利用正交多项式函数对每一区域内的纹理的进行逼近，只把该函数的系数传送给接收部分。
称为形状自适应DCT(离散余弦变换)的第三种纹理编码方法将每一区域分割成(例如8×8象素大小的)块并对属于该区域的块执行普通的DCT：象素首先按矢量进行排列，然后独立地对每一矢量执行水平和垂直DCT(一维DCT的阶等于矢量的长度)，最后量化并传送所获得的系数。
第四种纹理编码方法-二元两维子波变换-允许用一组副带信号描述所关心的信号，每一副带信号代表给定分辨率电平和某一频率范围的输入信号。子波通常适用于块或图象，但这种应用现在扩展至基于区域的方案，对每一区域独立地进行处理(独立地对每一区域执行在多分辨率分析的每一电平下的滤波和下降取样)。
最后把装置31至34的输出信号传送给多路复用器35，其输出构成传送给接收系统(和/或存储系统)的多路复用编码输出位流MCOB。
确实必需强调本发明还涉及在所描述的编码系统的输出端确定的编码信号。这一编码信号-不必立即传送，于是存储起来，以便以后再传送，或者传送但不立即在接收侧被利用，因此存储起来-在当前情况下，对于所考虑的分割图象序列，相应于该序列的当前划分的每一区域，由包括几种信息的多路复用信号组成：运动信息，相应于表征顺序划分之间的分割的进展和确定了投影划分的运动模型的估算，划分信息，相应于选定的最佳划分的每一区域的纹理和编码信息，以及判决信息，相应于为该最佳划分的每一选定的区域确定的编码策略。如上所述，这种编码信号可存储起来，因此本发明还涉及存储了这种信号的存储介质。
此外，本发明不受以上实施例的限制，还涉及译码这种编码信号的方法，允许再现被译码的图象，本发明还涉及参看图9至11描述的相应的系统。接收多路复用编码位流RMCB(相应于经由传输信道传送的和/或传送给接收部分和/或存储介质的位流MCOB首先被输入缓冲器80接收(见图9)，然后被传送给判决译码装置81，其后面顺序地跟有运动译码装置82、划分译码装置83以及纹理译码装置84，纹理译码装置84的输出既是译码系统的输出译码信号，还是划分译码装置83的另一输入(图9中未示出)，(这四个主要译码装置相应于图1的编码子部件3的四个编码装置)。首先，编码策略信息和运动在装置81和82中被译码。然后参看表示使译码过程可被理解的循环的图10和更详细地表示划分译码装置83的图11，分别在装置83和84中顺序地译码划分和纹理信息。
就划分译码装置83而言，它一方面接收(见图10和11)存储了传送编码信号的缓冲器80的输出信号，另一方面还接收称为REC(t-1)的先前译码及再现划分，该先前译码及再现划分是在纹理译码装置84的输出端可得到的一标号表。所述装置83执行如图11所示的以下连续步骤。
在也示于图10的重新标记电路101中实施的第一步骤对先前再现划分的标号进行修改。基于以下理由设置这种刷新步骤：由于某些区域已在编码侧被产生或消除，所以标号的最大值增大。于是最好重新标记区域，以便限制标号的数值，由于技术的原因，在每次译码循环的开头以这样的方式重新分配标号将更简单和更方便，即如果有N个区域，就只用标号1至N。重新标记步骤于是就简单地把标号“1”分配给首先遇到的区域，把标号“2”分配给第二个区域，依此类推。
在合并电路102中实施的第二步骤执行被包含在缓冲器80内的合并命令。在第三步骤期间，对以帧内模式传送的区域进行译码(帧内区域译码电路103)。在第四步骤期间，对先前编码划分进行运动补偿(运动补偿电路104)并译码补偿误差(帧间区域译码电路105)。第五和最后步骤在译码误差标记电路106内对译码补偿误差划分进行标记。补偿最好与在编码侧所进行的补偿完全一样：补偿依赖于为每一区域确定的运动参数，每当两标号之间有矛盾，就考虑允许知道将保留哪一个标号的判决而利用顺序信息。装置83的输出划分就是当前再现划分，称为REC(t)。
该输出当前划分被纹理译码装置84接收，在该装置中首先执行纹理补偿84-1(图10)，然后才执行纹理译码步骤84-2本身。就已提议了若干种技术(均值逼近、正交基上的多项式逼近、形状自适应DCT、基于区域的子波)的编码部分而论，可以使用相同的方法。例如，对于均值逼近，该方法把这一平均值作为当前划分的所有象素的象素强度。对于多项式逼近方法，一旦译码了轮廓信息，就可以从基函数的非正交集和从形状信息中恢复基函数的正交集，然后用传送的量化DC和AC系数对该基函数的正交集进行加权，以便获得每一区域的再现纹理(再参见上述1989年10月的文献“信号处理：图象通信”)。对每一纹理译码方法依此类推，译码过程类似于编码过程。一旦类似地对每一区域进行了处理，装置84的输出信息产生译码图象。
本发明显然不受上述实施例的限制，不超出本发明的范围可以根据这些实施例设想各种改动或改进。例如，在上述最佳化操作222a中，主要参数是预算，假定为每一帧确定了预算。在这一预算的基础上确定使失真最小的编码策略，这样就产生了质量可发生变化的编码序列。如果希望确定导致质量不变的序列的编码策略，则一种可能的改变就是确定每一帧的目标失真值并交换以上描述中D和Rt的位置：将使编码成本最小，以便达到给定的失真。另一方面，按每帧固定成本这样做也是可能的。于是主要根据额定预算进行最佳化，如果利用这一额定预算达不到预先为每一帧确定的最小的信噪比，就例如每次5％地逐步增大预算，在找到最佳策略时停止这一过程：-失真最小；-预算至少等于额定预算；-信噪比高于给定阈值。
可以为在装置32中被执行的运动编码步骤32a提出另一种选择方案。虽然这一步骤是没有任何附加约束地利用每一象素所属的区域的运动来补偿每一象素，但利用这一选择方案，则只有在预测标号和当前标号之间有某种相干性时，它才进行所述象素补偿。因此，这一带有约束的补偿只作用于可以为其建立先前帧和当前帧之间的对应性的那些象素：或者它们有相同的标号，或者它们属于已被合并或分割的那些区域(在判决编码步骤31a期间产生的分割和合并信息存储在缓冲器内，因此可用来根据区域的编码重建与当前帧相关的先前帧的划分)。
对于没有被进行运动补偿的、以孔的形式出现的象素，必需利用扩展、即利用可以在它们的邻域找到的信息来填充这些孔。这种扩展步骤工作如下。首先，通过利用每一区域的所有补偿象素的平均值使该区域的孔完整来实现在整个图象内补偿纹理的延伸，并例如通过表面几何形状滤波来平滑完整后的图象。然后在8连通的意义上从邻域到邻域逐个象素地把平滑纹理作用在未被补偿的象素上(为了避免区域边界处的人工痕迹，纹理只在属于同一区域的象素之间扩展)。必需指出，如果出现在考虑到在这一选择方案中所确定的约束而在一个区域中没有象素可被进行运动补偿的情况，则不考虑这些约束而对整个区域进行补偿。
另一改进涉及到用来确定投影划分PJ(t)的操作：这些操作能够确定区域的时间进展。但是，这种确定仅在区域在灰度级方面是均匀的(有时把这称为纹理均匀性)时候才是有效的，但情况并不总是如此。如上所述，在判决子步骤22a期间通过从所谓划分树中选择一些区域来产生相继的划分。划分树的区域可以在灰度级方面是均匀的(分割区域)，或在运动方面是均匀的(合并区域)。因此，被投影的各个划分由在灰度级或在运动方面是均匀的区域的组合所组成。
为了解决这一问题，可以执行以下步骤。首先分割待投影的划分，直到所有区域在灰度级方面是均匀的为止，这就产生了与原始划分不同的、可称为粗划分的紧凑划分。然后按照以上描述的步骤投影这一紧凑划分。最后通过合并紧凑划分的投影区域产生投影粗划分。
现在更详细地说明对于以前的描述而言是增加了的第一和最后步骤：
(a)粗划分的分割：
目标是产生所述区域在灰度级方面是均匀的更细划分。为此目的，采用与产生划分树的较低级所采用的分割技术相同的分割技术。在当前的实现中，采用了与尺寸有关的分割。逐步减小尺寸参数，直到满足给定的均匀性标准为止。均匀性标准(在这种情况下是相对于区域平均值的象素的均方误差)应当指象素的灰度级均匀性。在这一步骤结束时，得到了粗划分和紧凑划分，还有一组分割关系，这组分割关系例如表示粗划分的一给定区域相应于在紧凑划分中的一组较小区域的组合。
(b)投影粗划分的产生：
在紧凑区域的投影之后，必需产生投影粗划分。一种简单的方法是使用该组分割关系。就是说，利用这些分割关系把投影紧凑区域合并起来，形成粗区域。但是，这一方法不保证这些粗区域只由一个连接分量组成。因此，只保留每一区域的最大的连接分量，去除其余的连接分量。所产生的空孔用作为空间区域生长算法的分水线方法进行填充。
附录A
以下说明涉及到在1996年4月3日申请的法国专利申请9604194号中所描述的运动估算方法。该方法的主要内容如下：(A)运动估算概论
(1)运动估算步骤的目的：
给定时刻(t-1)和t的两幅纹理图象P(t-1)和P(t)以及从投影推论出的时刻t的划分S(t)，运动估算步骤将为S(t)的每一区域Ri(图12中i＝0至6)求出描述在(t-1)和t之间Ri的运动的一组运动参数。在编码期间按照两种略微不同的角度使用这一步骤：-首先对来自投影的划分进行运动估算(以下将把这一划分看作是划分树的投影级)；-然后在已知刚刚完成的估算的结果的情况下，在划分树的每一其它级上对运动重新进行估算。在这两种情况下，同样描述把运动信息存储在传输缓冲器内的方法。
(2)运动模型和参数表示：
对于划分S(t)的每一区域Ri，在理论上把P(t-1)和P(t)之间的运动定义为(Dx，Dy)，使得：
L(x，y，t)＝L(x-Dx，y-Dy，t-1) (1)其中L(x，y，t)是在位置(x，y)处P(t)的亮度(见说明这一运动表示的图13)。由于基于块的运动估算会使区域断开，所以避免这种情况和保持相关性的唯一方法就是选择运动的基于区域的表示。模型应当是简单的，能够处理相当复杂的三维运动。方案是采用多项式运动模型。实际上意味着(Dx，Dy)是0、1或2阶的两个多项式(即用2、6或12个参数来确定)。结果是运动的类型规定了所用运动模型的类型(即0阶多项式或2个参数为直线的，1阶多项式或6个参数为仿射的，2阶多项式或12个参数为象限的)。运动参数是一对多项式(Dx，Dy)的系数集合。注意一组运动参数总是与P(t)的一给定区域相关。
(3)运动参数的估算：
由于表征一个区域的运动参数的数目的缘故，难于用普通的匹配方法来估算运动，最好用差分方法。该方法沿着局部线性化的方程(1)的梯度的方向重复地改善每一区域上的运动。但是，如果不仔细地实施，该方法有严重的缺陷：收敛会在局部最小值处中断。在以下的部分(B)中，将说明如何使这种缺陷最小。(B)运动估算实现的步骤(投影级)。
构成两幅给定图象P(t-1)和P(t)之间的运动估算的步骤如图14所示。如刚才所述，差分方法的收敛有困难。指的是不能够有效地单独完成所谓的运动参数的“改善”，因此把这种运动参数的“改善”嵌在多分辨率方案中，对其恰当地初始化。首先，“初始化”步骤(INT)是使运动估算过程的良好开始的一组运动参数与P(t)的每一区域相关。然后，利用多分辨率连续地改善运动参数，这意味着在“预处理步骤”(PPRO)中进行计算，对不同的滤波和非滤波图象对执行连续的运动改善迭代(图14中的P′(t)和P′(t-1))。在两幅原始给定图象之间执行最后的“改善”步骤(REFT)。
(1)参数的初始化：
这一步骤INIT的目的是为每一区域确定最适合开始估算的运动参数。假定最好的参数是那些给出区域的最小预测误差的参数。于是初始化的原则将如下：利用几种建议的运动参数对每一区域Ri进行预测(预测的原则在运动参数改善部分中说明)，为了开始对Ri的估算，保留给出该区域的最小均方预测误差的参数。然后对于每一区域检查出于互补性和根据已有的信息将获得的简单性的考虑而选择的四个参数。实际上这些参数将考虑到以下情况：-区域没有运动；-区域的运动自最后帧以来不发生改变(或出现在区域的邻域的最后帧中)；-区域在目前是刚性的并位于前景，即其运动接近其轮廓的一般位移；-不考虑这些情况：根据利用适用的块匹配对区域计算的频繁运动范围推导运动的最好近似。实际上对每一区域尝试以下的运动：-无运动：零多项式；-先前运动：当前区域在(t-1)的运动，以及还有其邻域在时刻(t-1)的运动；-标号运动：区域的重心在时刻(t-1)和t的平移运动；-致密场(dense field)：对利用可变尺寸块匹配计算的矢量的区域的多项式逼近，在区域边界处减小块的尺寸以便放在区域内(根据这些值填充多项式的方法与多项式纹理编码所用的方法相同)。
(2)图象的预处理：
滤波过程PPRO的目的是产生信号更适合于估算过程(即接近验证在理论上为了保证收敛所需的数学假设)的图象，不与原始亮度信号有太大的不同(以便估算的运动非常接近原始运动)。为此目的，使用低通递归各向同性滤波器，它逼近高斯滤波器。它的优点在于实现了平滑边缘和保持它们在图象中的局部化之间的良好折衷。各向同性是正沿着图象平面的四个主要方向。在当前的例子中，连续滤波和相关的改善步骤按排如下：-对以1.5的方差被滤波的图象执行三次改善迭代；-对未滤波图象执行五次改善迭代；-对以0.8的方差被滤波的图象执行三次改善迭代；-对未滤波图象执行五次改善迭代。
在已对滤波图象改善了参数后，必需判断是希望保留这些改善的参数还是初始参数实际上更好。为此目的，在任何改善迭代步骤之前，存储每一区域的当前运动参数。在改善之后，对每一区域，只有当改善的参数给出非滤波图象上的区域的较小的均方预测误差时，才用它们取代以前存储的参数。
(3)运动参数改善：
这一步骤REFT给出n个方程的一线性集合，给定区域的运动参数的变化是以下普通线性方程组的解：[A][x]＝[B]，其中的矩阵项依赖于当前象素坐标、依赖于在P(t-1)中的先前象素位置的水平和垂直梯度、还依赖于在P(t)和P(t-1)中的其位置的亮度值。已知P(t)、相关的运动参数以及P(t-1)，就必需能够计算当前图象的每一象素处的亮度的运动补偿值。在后面把这一操作称为预测。作用在整个图象上，预测就给出运动预测-或运动补偿-图象。可把这一过程划分成两个不同的步骤：
(i)第一步骤确定应从先前图象的何处取得补偿值。当前象素在时刻t处于位置(x，y)，其所属区域的运动如下地确定：
(Dx，Dy)＝(a1+a2x+a3y，a4+a5x+a6y) (2)然后，时刻(t-1)的象素位置如下地确定：
(x-Dx，y-Dy)＝(-a1+(1-a2)x-a3y，-a4-a5x+(1-a6)y) (3)第一步骤给出的位置是非整数值。
(ii)于是应当对亮度进行内插，以便例如利用双三次滤波器(在后面称为FiltMoto)来确定当前象素在时刻(t-1)的最后值。沿水平和垂直方向进行滤波，最后保留两内插值的平均值。还应当在非整数位置上内插梯度值。使用的滤波器是FiltMoto的导数。除独立地利用水平和垂直滤波结果外(因此不计算平均值)，内插方法与在预测期间使用的内插方法相同。一旦建立了矩阵，就要解方程组。如果矩阵[A]不是降秩矩阵，就例如用Householder方法求其逆矩阵，解就是：
[x]＝[A]-1[B] (4)如果[A]是降秩的，[x]就是零矢量，在当前迭代之后，运动参数在该区域中保持不变。
在对一个区域Ri进行了运动改善、获得一组新的运动参数之后，就必需选择Ri的最好运动，还必需证实这组新参数是否能够有助于对邻近区域的估算(“伪张驰”步骤)。首先，为Ri保留的运动是给出在所述新的一组参数、即Ri的先前运动和Ri的所有邻域的运动之间关于Ri的最小预测误差的运动。然后利用为Ri保留的这一运动预测所有邻近区域，如果这一运动给出较小的预测误差，它们的运动就用这一运动来代替。
必需指出，在改善步骤期间，应当相对于它们的相关区域局部地表示运动参数。因为运动的多项式表示，所以象素坐标的值调整运动的各个顺序对位移幅值所具有的影响。因此，归一化这些值来找到不同的顺序之间的良好的平衡和保持估算过程与图象内区域的位置无关是很重要的。图15表示在此所使用的、即在归一化系数等于2和所示区域的情况下的局部轴和标尺。(c)重新估算过程的特性
重新估算过程在投影级上对运动进行了估算之后开始。这意味着在这一阶段，与投影相关的运动是已知的，投影因合并或再分割而与现在考虑的划分S(t)有关系，这种已知能够对当前运动进行非常好的初始化。估算原则是相同的。实现的简化仅在于有理由认为接近进行估算的运动。实现的差别总结如下：-初始化步骤：对每一区域检验上述的“无运动”和“致密场”假定。然后，如果S(t)是再分割划分，还对S(t)的每一区域Ri检验Ri的父区域的运动以及Ri的每一邻域的父区域的运动。另外，如果S(t)是合并划分，就对S(t)的每一区域Ri检验Ri的子区域的运动以及其所有子邻域的运动。-预处理步骤：不进行滤波，对未滤波图象执行两次改善迭代。当然，改善步骤保持不变。
附录B
以下说明涉及到在1995年8月2日申请的欧洲专利申请第95401813.1号中所描述的编码方法。该方法的主要内容如下，使用下述符号：-时刻(T-1)、T、……的原始图象称为ORIG(-1)、ORIG(0)、……等等；-时刻T的当前划分用SEG(0)来表示，时刻(T-1)的先前划分用SEG(-1)来表示，如果需要其它时刻的其它划分，依此类推；-类似地，REC(0)和REC(-1)表示在传输之后将在接收机侧被再现和在编码装置中得到的当前(时刻T)和先前(时刻(T-1))划分(显然，如果在划分编码过程中出现了丢失，则REC(0)、REC(1)、……就不完全与SEG(0)、SEG(-1)、……相同)；-MOT(0)是表征(T-1)和T之间划分的进展(即允许从SEG(-1)推断SEG(0))的运动信息，通常用分配给先前划分SEG(-1)的每一区域的一组参数来表示。
这一编码方法，如图16简要所示，顺序地包括以下步骤：首先确定每一区域的传输模式(从501c至503e)，然后确定顺序(从504c至505)。对于确定传输模式的第一步骤，输入数据是(从相应的原始图象ORIG(0)获得的)当前分割划分SEG(0)、先前再现划分REC(-1)和与划分SEG(-1)相关的运动信息MOT(0)。该第一步骤的目的是通过向接收机发送二进制信息来确定每一区域的传输模式(帧内模式或帧间模式)，该二进制信息表示区域是否以帧内模式被发送来进行轮廓编码，被例如包括在运动信息MOT(0)内。因此这一运动信息MOT(0)包括(如上所述的)供每一区域用的一组运动参数，再加上表示相关轮廓的传输模式的二进制信息。通过比较按照帧内模式或帧间模式传送每一区域的成本而在轮廓的成本的基础上确定这种传输模式。如图16所示，该第一步骤包括三个子步骤。
包括两个操作501c和501d的第一子步骤用来对整个划分进行补偿。后面将详述的这一划分补偿根据先前再现划分REC(-1)、运动信息MOT(0)以及用ORD(0)表示的阶信息产生用RECCOMP(0)表示的补偿划分。在第二子步骤502中，通过求SEG(0)和RECCOMP(0)之间的差计算补偿误差ERR(0)。最后，包括三个操作503c、503d和503e的第三子步骤单独地估算和比较由SEG(0)(帧内模式)或ERR(0)(帧间模式)确定的每一区域的编码成本。可以通过实际编码信息和测量得到的信息量或者通过利用提供对成本的逼近的任何其它技术(例如通过假定成本与区域轮廓的长度成正比)来进行帧内和帧间模式的估算(操作503c)。一旦进行了这两种估算，就可以进行比较和选择(操作503d)，并把所得到的判定作为更新运动信息MOT(0)的附加二进制信息进行存储(操作503e)。
确定传输模式的第一步骤之后是顺序确定的第二步骤，如图16所示，该第二步骤可被分解为第一子步骤(包括两个操作504c、504d)和第二子步骤505。该第一子步骤用来估算一组顺序参数，而第二子步骤用来实现顺序信息的量化以便进行传输。第一子步骤(504c，504d)依赖于一双循环，第一循环扫描由它们的标号确定的区域，而第二循环扫描图象空间的位置(i，j)，第一子步骤包括顺序的两个操作。
第一操作504c确定相应于所考虑标号的区域的每一位置(i，j)的运动矢量。运动信息MOT(0)确实对于每一区域给出了运动模型，该运动模型是位置(i，j)的函数。例如，如果一给定区域的运动模型是平移(dx，dy)，就把这一运动矢量分配给图象的所有点(i，j)。如果运动模型是一仿射模型(a1，a2，a3，a4，a5，a6)，就把点(i，j)的运动范围定义为Vx(i，j)＝a1i+a2j+a3和Vy(i，j)＝a4i+a5j+a6。如果该区域必需以帧内模式被传送，就不执行这一运动域的扩展。
第二操作504d用来更新相应于所考虑区域的顺序。顺序信息被包括在可能的冲突区域、即在运动补偿期间可以与其它区域重叠的区域的表内。这样的顺序表在过程开始时被设定为零。如果利用LABSEG(0)和LABREC(-1)来表示当前划分SEG(0)的当前象素(i，j)和先前再现划分REC(-1)的象素(i-Vx(i，j)，j-Vy(i，j))的区域标号，则在以下条件得到满足时， 就更新相应于标号REGNUM(REGNUM是与在当前划分SEG(0)中被陆续地考虑的每一区域相关的工作标号)的区域和具有当前标号LABSEG(0)的区域之间的冲突的表入口：
(a)当前标号LABSEG(0)不同于按照帧内模式被传送的区域的任一标号：在这种情况下(即如果当前划分SEG(0)的点(i，j)相应于按照帧内模式被传送的区域)，就丢弃在这种位置处的补偿标号；
(b)先前标号LABREC(-1)与标号REGNUM相同：当前划分SEG(0)的点(i，j)则是接受这一标号REGNUM的候选点；
(c)当前标号LABREC(0)与标号REGNUM不相同：象素(i，j)的正确标号不是REGNUM，具有当前标号LABSEG(0)和标号REGNUM(＝LABREC(-1))的区域是冲突区域，第一个区域位于第二区域的前景(相应于标号LABSEG(0)和REGNUM之间的冲突的表入口则递增一个单位)。
对所有点(i，j)和对所有标号REGNUM重复这一过程，顺序表最后给出出现次数，根据该出现次数可以宣布一给定区域位于另一区域的前景。
在第一子步骤(504c，504d)之后的第二子步骤505用来量化顺序(为了能够解决在运动补偿期间具有冲突标号的这种情况，接收机将只需要二进制判决)。量化是通过对于每对标号把表示第一个区域位于第二个区域的前景的出现次数与表示第二个区域位于第一个区域的前景的出现次数进行比较来实现的。两个所考虑区域之间的最后的顺序被确定为相应于最大出现次数的顺序。这一顺序ORD(0)然后可向后传送，作为子步骤(501c，501d)的输入，以便形成一迭代循环，在这一循环中，所述顺序信息允许对轮廓传输模式的确定进行更新(如果不希望增大计算负荷，应使迭代次数较少：实际上，两或三次迭代就足够了)。必需指出，在迭代循环的这种情况下，如果不知道顺序信息ORD(0)，就不能够进行划分补偿。为了解决这一问题，对于第一次迭代，简单地假定所有新区域。(即在SEG(0)中但不在REC(-1)中出现的区域)都被按照帧内模式进行传送而所有其它区域被按照帧间模式进行传送，这就相当于给予ORD(0)在图16中用标号ORD0表示的初始值。
现在更详细地说明上述划分补偿。子步骤(501c，501d)用来实现对先前再现划分REC(-1)的补偿，它包括若干个操作。第一操作501c用来利用分配给单个区域(标号REGNUM的当前区域)的运动参数为整个图象确定运动范围。这一确定操作与上述确定操作(第二步骤“顺序确定”的第一子步骤的第一操作504c)类似，后面跟有第二操作501d(补偿操作)，根据这一确定操作，对于补偿划分RECCOMP(-1)的每一象素(i，j)，如下地确定补偿标号(对所有象素(i，j)和对所有区域，就是说对所有标号REGNUM重复这一过程)：
(a)如果象素(i，j)相应于已被按照帧内模式进行传送的区域，就丢弃落在该区域内的任何补偿标号；
(b)如果先前划分REC(-1)的先前标号LABREC(-1)(即象素(i-Vx(i，j)，j-Vy(i，j)的区域号)与当前标号REGNUM相同，象素(i，j)就是接受标号REGNUM的候选象素；
(c)如果补偿划分的位置(i，j)是空的，就必需把标号LABREC(-1)分配给该位置；
(d)如果位置(i，j)已经接受了一标号，这一标号就与先前标号LABREC(-1)冲突，但这一冲突可利用存储在ORD(0)内的顺序信息来解决。
这一过程结束时，就得到了最后补偿划分RECCOMP(0)。一旦确定了顺序信息，就能够通过例如遵照M.Parda′s、P.Salembier和B.Gonza′lez发表在IEEE图象处理国际会议(1994年11月，美国德克萨斯州奥斯汀)论文集2卷428～432页上的论文“基于分割的视频编码的运动和区域重叠估算”中所描述的轮廓/纹理编码方法执行图16中用标号506表示的编码方法的编码步骤。