使用外延插值技术对具有目标的图 象信号编码的方法及装置 本发明涉及以对低比特率图象信号编码的方法及装置，更具体地，涉及使用外延插值(“E-I”)技术对具有目标的图象信号编码的方法及装置。
在诸如高清晰度电视及电视电话系统的各种电子应用方面，视频信号采用数字方式传输。当包括一序列的视频“帧”用数字形式表达时，将产生大量的数字数据：对于视频帧的每行用一个序列的被称为“象素”的数字数据单元来定义。但是，由于在传统传输频道中可获得的频带宽度是有限的，为了要通过固定的频道传输大量的数字数据，通常使用视频信号编码方法来压缩数字数据。
对于低比特率编码系统，用来对图象信号编码的这类方法之一是所谓的面向目标的分析综合编码技术(见Michael/Hotter著“基于移动二维目标的面向目标地分析综合编码”，信号处理：图象通信(SignalProcessing：Image Communication)2,409-428(1990))。
根据面向目标的分析综合编码技术，具有移动目标的输入图象信号被划分成多个目标；对于每个目标的用于确定运动、轮廓及象素数据的三组参数通过不同的编码通道来处理。
在处理位于一目标内的图象数据或象素的情况下，在面向目标的分析综合编码技术中主要用来使包含在图象数据中的空间冗余减小的变换编码技术。最经常使用的用于图象数据压缩的变换编码技术之一是基于DCT(离散余弦变换)的块变换编码，它将一块数字图象数据例如一个8×8象素块转换成一组变换系数数据。这种方法如描述在Chen和Pratt著的“场景自适应编码器”(IEEE通信学报，COM-32，第三期第225-232页(1984年3月))中。
在基于DCT的块变换编码中，一个块中的背景或无目标区域被填以如零、块中目标区域的平均象素值或镜象，然后进行变换。参见图1B及1C，它们表示对于1维情况的填充背景区域的传统方法。具体地，在图1B中，背景区域被填以0；而在图1C中，背景区域被填以目标区域中的平均象素值。
虽然这些方法具有能使用在传统方法(例如联合摄影专家组：JPEG，活动图象专家组：MPEG，H.261等)中应用的两维DCT块的优点，但在图象的背景区域中还包含不需要的或不期望的数据，因此，从数据压缩的观点来看是低效率的。
因此，本发明的主要目的是使用外延插值技术对具有目标的图象帧信号进行有效编码的方法，由此改善其数据压缩效率。
本发明的另一目的是提供一种图象编码装置，它使用以块为基础的变换及外延插值技术对具有目标的视频帧信号进行编码。
根据本发明的一个方面，提供了将包含在具有目标的图象帧信号中的处理块转换成外延处理块的方法，其中处理块由分类成目标象素及背景象素的N×N个象素组成，N为正整数，目标象素位于目标内部，而背景象素位于目标的外部，该方法包括以下步骤：
(A)基于处理块中目标象素的形状，确定具有优先权的水平或垂直外延；
(B)在水平外延具有优先权的情况下，选择多个目标行，每个目标行是具有至少一个目标象素的处理块的行，并对于每个目标行设置第一矢量，第一矢量的每个元素是包括在所述每个目标行中的每个目标象素的值，而垂直外延具有优先权的情况下，选择多个目标列，每个目标列是具有至少一个目标象素的处理块的列，并对于每个目标列设置第一矢量，第一矢量的每个元素是包括在所述每个目标列中的每个目标象素值，由此提供L个第一矢量，L是在从0至N范围中的一个整数，并表示目标行或目标列的数目；
(C)对于每个第一矢量，基于所述每个第一矢量的元素数及N，在多个预定处延矩阵中选择一个外延矩阵，并将选出的外延矩阵乘以所述每个第一矢量，由此提供L个外延第一矢量，L个外延第一矢量的每个具有N个元素；
(D)在水平外延具有优先权的情况下，设置包括L行的第一外延处理块，每行具有N个象素，其值为每个外延第一矢量的元素，并对于第一外延处理块的每列设置L维第二矢量，第二矢量的元素是包括在第一外延块的所述每列中的象素值，而在垂直外延具有优先权的情况，设置包括L列的第一外延处理块，每列具有N个象素，其值为每个外延第一矢量的元素，并对于第一外延处理块的每行设置L维第二矢量，第二矢量的元素是包括在第一外延块的所述每行中的象素值；
(E)基于L及N的值在多个预定外延矩阵中选择一个外延矩阵；
(F)将在步骤(E)中选择出的外延矩阵乘以每个第二矢量，由此提供N个外延第二矢量，N个外延第二矢量的每个具有N个元素；及
(G)在水平外延具有优先权的情况下，提供包括N列的外延处理块，每个列具有N个象素，其值为每个外延第二矢量的元素，而在垂直外延具有优先权的情况下，提供包括N行的外延处理块，每个行具有N个象素，其值为每个外延第二矢量的元素。
根据本发明的另一方面，提供了一种对具有目标的视频帧信号编码的装置，其中图象帧信号由目标象素及背景象素组成，目标象素位于目标内部，而背景象素位于目标外部，该装置包括：
(A)用于检测包括在图象帧中的目标边界，以产生提供边界信息以便跟踪目标边界的轮廓信号的装置；
(B)用于对轮廓信号编码以产生第一编码图象帧信号的装置；
(C)用于将图象帧分成多个处理块的装置，每个处理块具有N×N个象素，N是正整数；
(D)用于产生指示是否目标边界的一部分存在于每个处理块中的控制信号的装置；
(E)用于响应控制信号将处理块分成第一及第二组处理块的装置，其中目标边界的一部分存在于第一组的每个处理块中；
(F)用于将每个第一组的处理块转换为外延处理块的装置；
(G)对外延处理块或第二组的处理块编码，由此产生第二编码图象帧信号的装置；及
(H)用于将第一及第二编码图象信号格式化的装置；其中所述用于转换的装置包括：
(F1)用于基于每个第一组的处理块中的目标象素的形状确定是水平还是垂直外延具有优先权的装置；
(F2)在水平外延具有优先权时，选择多个物体行，每个目标行是具有至少一个目标象素的处理块的行，并对于每个目标行设置第一矢量，第一矢量的每个元素是包括在所述每个目标行中的每个目标象素的值，而在垂直外延具有优先权的情况下，选择多个目标列，每个目标列是具有至少一个目标象素的处理块的列，并对于每个目标列设置第一矢量，第一矢量的每个元素是包括在所述每个目标列中的每个目标象素值，由此提供L个第一矢量的装置，L是在从0至N范围中的一个整数，并表示目标行或目标列的数目；
(F3)对于每个第一矢量，基于所述每个第一矢量的元素数及N，在多个预定外延矩阵中选择一个外延矩阵，并将选出的外延矩阵乘以所述每个第一矢量，由此提供L个外延第一矢量的装置，L个外延第一矢量的每个具有N个元素；
(F4)在水平外延具有优先权的情况下，设置包括L行的第一外延处理块，每行具有N个象素，其值为每个外延第一矢量的元素，并对于第一外延处理块的每列设置L维第二矢量，第二矢量的元素是包括在第一外延块的所述每列中象素值，而在垂直外延具有优先权的情况下，设置包括L列的第一外延处理块，每列具有N个象素，其值为每个外延第一矢量的元素，并对于第一外延处理块的每行设置L维第二矢量的装置，第二矢量的元素是包括在第一外延块的所述每行中的象素值；
(F5)基于L及N的值在多个预定外延矩阵中选择一个外延矩阵的装置；
(F6)将在用于选择的装置上选择出的外延矩阵乘以每个第二矢量，由此提供N个外延第二矢量的装置，N个外延第二矢量的每个具有N个元素；及
(F7)一种装置，它在水平外延具有优先权的情况下，设置包括N列的外延处理块，每个列具有N个象素，其值为每个外延第二矢量的元素，而在垂直外延具有优先权的情况下，设置包括N行的外延处理块，每个行具有N个象素，其值为每个外延第二矢量的元素。
从以下结合附图对优先实施例的描述中，将会使本发明的上述及另外目的及特征更加阐明了，附图为：
图1A至1D表示填充背景区域的不同方法；
图2A至2C表示根据本发明的外延插值技术；
图3表示线性插值方法；
图4为表示根据本发明的图象信号编码装置的电路框图；及
图5表示图4中所示的外延插值装置的详细电路框图。
参照图2A，它表示一个包括8×8个象素的数字图象信号块，它们中的每个用一方块表示。该块包括由阴影象素表示的目标区域及剩余背景区域。阴影象素被称为目标象素，而另外的象素被称为背景象素。使用本发明的外延插值(“E-I”)技术使目标象素填满整个块，如图2B至2C所示。为实现这个，将分别单独地执行水平及垂直外延，如图2B及2C中所示。或是水平外延或是垂直外延优先于另一个执行，该优先权将根据图象特征来确定。水平或垂直外延将逐行或逐列地进行。在一个块包括N×N个象素的情况下，对于每行或每列，将M维(“M-D”)矢量转换为N维(“N-D”)矢量，其中M是从1至N范围中的一个整数，M-D矢量的元素是包括在每行或每列中的目标象素值，而N-D矢量的元素是N外延象素值。例如，在图2A中所示块的第三行的情况下，5维矢量被转换为代表水平外延块第三行的8维矢量，如图2B中所示。
通过将M点1维(“1-D”)DCT施加给M-D矢量f1所获得的变换M-D矢量F1被表示如下：式中f1(n1)是f1的第n1元素；F1(k1)是F1的k1元素；n1及k1是从0至M-1范围中的整数；及bij被表示为：1Mi=0]]>2Mcos[π(2j+1)i2M]i≠0]]>
类似地，当使用本发明的E-I技术将M-D矢量f1外延形成N-D矢量f2时，通过将N点1-D DCT施加给N-D矢量f2所获得的变换N-D矢量F2被表示如下：式中f2(n2)是f2的第n2元素；F2(k2)是F2的第k2元素；n2及k2是从0至N-1范围中的整数；及aij被表示为：1Ni=0]]>2Ncos[π(2j+1)i2N]i≠0]]>
以下将描述将M-D矢量外延成N-D矢量的两种方式：一种是最优E-I方法，而另一种是线性插值方法。
根据最优E-I方法，M-D矢量f1被外延成N-D矢量f2不用产生任何附加的频域数据。这就是，将满足下式：
式(3)式中μo是用于使f2的DC分量等于f1的DC分量的比例系数，并给定为：μo=NM]]>
当式(3)被满足时，E-I方法是最优的，因为在频域中不产生附加数据。
由式(1)及(2)，可推导出f2将如下地由f1获得：或
f2＝A-1Bf1 式(4B)式中A及B分别表示N×N及N×M矩阵，它们的元素为式(4A)中使用的aij及bij。式(4A)及(4B)可进一步简化如下：或 f2-cf1 式(5B)式中C是N×M矩阵并等于A-1B
通过使用上述关系，任意形状的目标可被外延到填满N×N块，而不产生附加频域成分。
相反地，图2A中的原始数据可从图2C中所示的N×N块被还原出来。
在N与M相等的情况下，C是一个单位矩阵，因此外延过程没有改变原始矢量f1，故可被省略。
用于使M-D矢量外延成N-D矢量的另一种方法是众知的线性插值方法。因为在该外延程序中不涉及矩阵乘法，该线性插值方法从计算的复杂性的观点来看更简单些。参见图3，它表示M及N分别为3和8的情况下的线性插值方法。
在图2A至2C所描绘的例中，图2A所示块的第三至第八行首先使用最优E-I或线性插值方法被水平地外延成图2B中所示块的那些行。类似地，图2B中所示块的各列使用最优E-I或线性插值方法被垂直地外延成图2C中所示块的那些列。
参照图4，它表示根据本发明的用于对数字图象信号编码的装置的电路框图。该编码装置包括：第一及第二编码通道100及500，及一个外延插值装置400，用于产生外延处理块，以便有效地对图象信号中的目标边界部分编码，其中第一编码通道100用于对目标的轮廓信号编码，及第二编码通道500用于在逐块的基础上对数字图象信号编码。
由已知图象源(未示出)，例如一硬盘或CD盘产生的数字图象信号被输入到帧存储器50用于对其存储。数字图象信号的一帧具有目标，并包括位于目标内部的目标象素及位于目标外部的背景象素。背景象素可被表示为它们的值比普通象素值的范围大得多或小得多的象素。然后，来自于帧存储器50的图象帧信号被取到第一编码通道100中的轮廓检测器110及一个块发生器200中。
第一编码通道100包括轮廓检测器110及轮廓编码器120，它使用公知的轮廓检测及编码技术对来自帧存储器50的图象帧信号中目标的轮廓信号进行检测及编码，以产生编码的轮廓信号。如该技术领域中公知的，目标的轮廓信号可从被规定为图象帧信号的实际特性发生显著变化以形成其目标的象素位置的边缘点来取得。然后，在轮廓检测器110上检测出的轮廓信号被提供给轮廓编码器120，用于它的编码。
在轮廓编码器120上，来自轮廓检测器110的轮廓信号例如使用JPEG(联合摄影专家组)的二进制算术码来进行编码，接着，编码的轮廓信号被提供给格式化电路600。
与此同时，块发生器200将来自存储器50的图象帧信号分成多个具有相同大小即N×N个象素的处理块，N为正整数，并将这些处理块逐块地提供给开关电路300。在开关电路300上，响应来自系统控制器(未示出)的控制信号CS，将来自块发生器200的每个处理块选择地连接到E-I装置400或第二编码通道500。系统控制器基于图象帧信号中目标的轮廓信息产生控制信号CS，该控制信号CS指示是否在图象帧中目标边界的一部分存在于处理块中。如果目标边界的一部分存在于处理块中，也就是，处理块同时具有目标区域及背景区域，处理块就被连接到E-I装置400，用于产生外延处理块；否则它被送到第二编码通道500。
根据本发明，E-I装置400将来自开关电路300的每个处理块转换为外延处理块，以便改善在第二编码通道500处的数据压缩效率。具体地，提供给E-I装置400的处理块类似于图2A中所示的块，并在该装置中，如参照图2A至2C所解释的那样被转换成外延处理块。
第二编码通道500包括变换编码器510，量化器520及熵编码器530，它用于对包括在来自E-I装置400的每个外延处理块中的图象数据或来自开关电路300的非外延处理块中的图象数据使用传统变换及统计编码技术进行编码。这就是，变换编码器510使用譬如离散余弦变换(DCT)将来自E-I装置400或开关电路300的空间域中的每个处理块的图象数据变换成一组频域中的变换系数，并将这组变换系数提供给量化器520。在量化器520上，使用公知的量化方法使这组变换系数量化；然后，将这组量化的变换系数提供到熵编码器530，以便进一步处理。
熵编码器530使用譬如行程长度及可变长度编码的组合对来自量化器520的用于每个非外延或外延处理块的这组量化的变换系数进行编码，以产生编码的图象帧信号。然后，将被熵编码器530编码的图象帧信号送到格式化电路600。
格式化电路600使来自于第一编码通道100中轮廓编码器120的编码轮廓信号及来自于第二编码通道500中熵编码器530的编码图象帧信号格式化，由此将格式化数字图象信号提供给发送器(未示出)用于将其发送。
如以上所说明的，本发明使用了最优E-I或线性插值方法能显著地降低在编码过程中存在于目标内部的象素和目标外部象素之间的高频分量，由此改善整体编码效率。
参见图5，它表示根据最优外延插值方法的E-I装置400的详细电路框图，该装置包括：控制器410，第一及第二外延单元420和421，及外延矩阵存储器430。来自开关电路300的处理块及来自轮廓检测器110的轮廓信号被连接到控制器410，它产生出用于控制E-I装置400中另外部分的控制信号。例如，控制器410可基于如处理块中目标区域的形状产生指示是垂直还是水平外延优先另一个作出的H/V优先权信号；代表目前要在第一或第二外延单元420、421中处理的一行或一列中目标象素数目的M值信号；和/或识别目前要在第一或第二外延单元420、421中处理的行或列中第一目标象素位置的目标象素开始信号。由控制器410产生的控制信号被连接到外延矩阵存储器430、第一及第二外延单元420及421。
外延矩阵存储器430存储外延矩阵，即式(5B)中的C，用于将M-D矢量转换成N-D矢量。N是根据系统设计预定的，并在许多情况下为8。因此，可以预先计算用于所有M值的、即1至N的外延矩阵C，并将它们存储在外延矩阵存储器430。通过将存储在外延矩阵存储器430中的合适外延矩阵乘以由行(或列)中目标象素值构成的M-D矢量可以方便地实现用于处理块的行(或列)的外延插值。
来自开关电路300的处理块及来自控制器410的控制信号被提供给第一外延单元420。为了说明起见，将假定水平外延具有优先权。在第一外延单元420上，响应来自控制器410的控制信号，选择待处理的M-D矢量。在图2A中所示处理块的情况下，首先选择出第三行的第三至第七象素值。响应来自控制器410的M值信号，将M值为5的外延矩阵从外延矩阵存储器430提供给第一外延单元420，并乘以代表第三行目标象素的5-D矢量。对图2A中所示的处理块中第四至第八行以类似方式进行处理。
在水平外延结束后，类似于图2B中所示块的水平处延处理块被提供给第二外延单元421。第二外延单元421以基本上与第一外延单元420相似的方式，将由水平外延处理块的8个列中获得的8个M-D矢量的每个乘以由外延矩阵存储器430提供的相应外延矩阵。
来自第二外延单元421的外延处理块被提供给图4中所示的第二编码通道500，并在其中被编码。
同时，在使用线性插值方法将处理块转换成外延处理块的情况下，将不需要外延矩阵存储器430。此外，取代矩阵乘法，第一及第二外延单元420和421将对由处理块的每行或每列获得的M-D矢量进行1-D线性插值以形成N-D矢量，如图3中所示。除这些以外，图5中所示E-I装置的整体功能类似于以上根据优化E-I方法所解释的功能。
虽然本发明是针对具体的实施例进行描述的，但显然，对于本技术领域中的熟练技术人员来说，在不偏离由以下权利要求书限定的精神和范围的情况下可以作出各种变化和改型。