通过参考离散余弦变换系数 来估计运动的方法及其装置 【技术领域】
本发明涉及一种通过离散余弦变换和运动估计来编码视频信号的方法及其装置，并且特别涉及一种通过参考离散余弦变换系数来编码视频信号、以便简化运动估计的装置及其方法。
背景技术
通常，使用两种方法来压缩视频信号。一种是帧内压缩，而另一种是帧间压缩。根据帧内压缩，压缩一视频帧内的信息。帧内压缩包括离散余弦变换(DCT)。根据DCT，通过二维绕轴旋转(pivoting)来消除数据的相关性。以块为单位来分割输入帧，并将每块图像从空间域变换到频域。变换的数据趋向于聚集在一侧，较低区域。通过使用量化器仅量化聚集的数据，来消除空间重迭。
根据帧间压缩，通过基于连续视频帧之间相应像素值中的差值来编码图像，来消除暂时重迭。由于在短暂的连续图像中，人或物仅在屏面中心移动，而没有背景中地改变，所以可以使用这个特性来消除暂时重迭。也就是说，通过不编码相似部分且参照前一图像，在屏面不改变或者即使屏面改变时，也可以极大地降低数据量。这样的方法被称为运动估计(motion estimation，ME)技术。在诸如运动图像专家组(MPEG)-4，以及H.261、MPEG-1、MPEG-2、MPEG-3和H.263的几乎所有图像编码标准中，将ME技术用作帧间压缩方法。
图1说明了用于压缩数字视频信号的传统编码系统100，例如，使用MPEG-2方法的图像编码系统。现在将参照图1描述通过DCT和ME压缩图像的传统方法。
帧类型(frame-type)输入视频信号被输入到帧存储器101中。在帧存储器101中将该帧存储为像素数据的连续块，以便以块为单位处理它。通常帧块具有8×8到16×16的像素大小。为了便于解释，将描述具有8×8像素大小的块。但是，具有其它像素大小的块也可以应用于本发明。
DCT 103离散余弦变换由帧存储器101以块为单位读取的输入视频信号，并生成DCT系数。量化器105量化所生成的DCT系数。比特率控制器107确定量化表，其将用于由量化器105进行的量化，以便调整目标传输比特率，从而控制比特率。以“之”字形扫描量化DCT系数，并将其输入到可变长编码器107。可变长编码器107将所扫描的量化DCT系数变换成可变长编码数据，并经未示出的比特流发生器将该数据作为编码连续比特流输出。
量化器105的输出也被输入到反量化器109。由反离散余弦变换(inversediscrete cosine transform，IDCT)111对从反量化器109输出的DCT系数进行反离散余弦变换，并变成成以块为单位的恢复的像素数据。将恢复像素数据以块为单位存储在帧存储器113中。顺序恢复视频帧的所有块，并将其存储在帧存储器113中。存储在帧存储器113中的恢复图像帧被用作ME的参考帧。
在编码系统100处理完第一视频帧的所有块之后，将第二视频帧输入到编码系统100。运动估计器115在存储在帧存储器113中的参考帧的搜索区域内，搜索与第二帧的第一宏块(MB)最相似的区域。通常，搜索区域包括多个候选MB。运动估计器115以半个像素为单位在搜索区域内上、下、左、右移动具有与MB相同的像素大小的参考区域，并比较MB的像素和参考区域的像素。通常，MB具有8×8或16×16的大小。使用诸如全搜索块匹配算法(full searching block matching algorithm，FBMA)、3步搜索(three step search，TSS)、菱形搜索和分级运动估计或块匹配技术的各种通用搜索算法。确定运动矢量(MV)，其说明了所搜索参考帧的最相似参考区域的位置和第二图像帧的MB之间的关系。
加法器119获得第二帧的第一MB和参考帧的最相似参考区域之间的差值。由DCT 103、量化器105和可变长编码器107以及MV来编码该差值。通过分离装置和分离过程来获得该差值和该MV。但是，可以在一个过程中获得该MV和该差值。该差值被输入到反量化器109和IDCT 111中，并作为下一帧的用于ME的恢复像素数据而被存储在帧存储器113中。顺序将这些过程全面应用于第二帧的所有块。
如上所述，用于ME的参考帧不是原始的图像帧，而是来自已编码数据，即量化的DCT系数的解码的恢复帧。这是为了通过从解码系统接收编码图像数据，并经受与编码过程相同的过程，来最小化编码系统和解码系统之间的误差。用于解码过程的N×N反离散余弦变换表达式如下所示：
[表达式1]f(x,y)=2NΣu=0N-1Σv=0N-1C(u)C(v)F(u,v)cos(2x+1)uπ2Ncos(2y+1)vπ2N]]>其中，
且F(u，v)是参考帧函数，其提供了来自先前编码(量化)的DCT系数的解码的解码DCT系数，而u和v是DCT块中的坐标。
[表达式1]具有O(n3)的计算复杂度。通过[表达式1]来对整个量化的DCT系数进行反离散余弦变换。结果，使用比在将原始图像帧用作参考帧的情况下的运算量更多的运算量。同时，编码方法的效率变差了。由于ME 115对参考帧的搜索区域与当前MB的所有像素进行相互比较，所以估计运动所需的时间和运算量增加了。
诸如移动终端的便携系统具有有限的运算能力和供电能力。对便携系统来说，ME所要求的极大的运算量是很重的负担。然而，在经无线信道发送运动图像的情况下，就生成了数量极大的数据。同时，可用的频带是有限的。为了通过有限的频带发送数量极大的运动图像数据，就必须使用ME来降低所发送数据的数量。因此，需要使用ME来压缩运动图像数据并减少ME所要求的过大的运算量，以便降低发送数据的数量。
【发明内容】
因此，做出本发明以便解决在现有技术中出现的上述问题，并且本发明的目的在于提供一种方法及其装置，该方法在通过离散余弦变换和ME来编码视频图像信号的系统中，在保持高图像质量和压缩效率的同时，降低运动估计(ME)所要求的运算量。
本发明的另一目的是提供一种方法及其装置，该方法在通过离散余弦变换和ME来编码视频图像信号的系统中，在考虑到图像的情况下，通过恢复用于ME的参考帧，来降低上述运算的量。
本发明的另一目的是提供一种方法及其装置，该方法在通过ME来消除运动图像之间的暂时重迭的系统中，在考虑到图像的特性的情况下，通过动态控制当前图像和参考图像之间的像素比较精度和搜索精度，来减少上述运算的量。
为了实现这些目的，提供了一种方法，其用于在使用离散余弦变换(DCT)的视频帧压缩系统中估计运动。该方法包括步骤：根据在以块为单位变换的DCT系数中具有非零值的DCT系数的个数，来确定块的平滑度(flatness)。通过从某些或全部与块的平滑度相对应的DCT系数中恢复视频帧数据，来形成参考帧。根据参考帧的平滑度，来动态改变当前视频帧的当前宏块(MB)的运动估计(ME)精度。
提供了一种用于压缩视频帧的系统，其通过DCT和编码在变换过程中生成的DCT系数，将以帧为单位输入的输入视频数据从空间域变换到频域。该系统包括平滑度确定器，用于根据DCT系数的值，来确定相应块的平滑度。IDCT，用于通过参照平滑度，将DCT系数从频域反变换到空间域，并反离散余弦变换视频数据。运动估计器，用于通过参照平滑度，估计在所恢复的视频数据中与当前视频数据最相似的区域。加法器将运动估计区域与当前视频数据的误差输入DCT。
【附图说明】
通过下面结合附图进行的详细描述，本发明的上述和其他目的、特点和优点将会变得更加清楚，其中：
图1是说明用于压缩数字视频信号的传统编码系统的框图；
图2说明了使用不同个解码离散余弦变换(DCT)系数恢复的图像；
图3是说明根据本发明的优选实施例的用于在考虑到图像的特性的情况下执行图像编码和运动估计(ME)的系统的框图；
图4说明了根据本发明的实施例的、在通过平滑度发生器和零线发生器之后8×8块的DCT系数；
图5说明了根据本发明的优选实施例的在考虑到平滑度的情况下的块比较方法；
图6是说明根据本发明的优选实施例的、确定DCT块的平滑度的过程的流程图；
图7是根据本发明的优选实施例的、在自适应运动估计器中参照图像帧的所有宏块(MB)的估计运动的过程的流程图；和
图8说明了根据本发明的优选实施例的、估计MB的运动的过程。
【具体实施方式】
以下，将参照附图来描述本发明的优选实施例。即使相同部件显示在不同的附图上，也用相同的参考数字或标号来表示这些部件。在本发明的下列描述中，将省略对本申请中的已知功能和结构的详细描述，以便使描述集中于本发明的主题。
图2说明了当反量化和反离散余弦变换，即解码编码像素数据，即量化的DCT系数，从而将其恢复成原始像素数据时，使用不同个解码离散余弦变换(DCT)系数恢复的图像。图2示出了一种情况，其中，块大小是8×8。参考数字201表示当在8×8块中变换6×6，即36个DCT系数时所恢复的图像。参考数字203表示当解码4×4，即16个DCT系数时所恢复的图像。参考数字205表示当解码3×3，即9个DCT系数时所恢复的图像。参考数字207表示当解码2×2，即4个DCT系数时所恢复的图像。参考数字209表示当解码1×1，即1个DCT系数时所恢复的图像。如上所述，当仅解码某些DCT系数时，根据各个块的特性，在某些块中没有产生误差，然而，在其它块中产生了严重的误差。
在一般图像中，从DCT和量化处理得到的大多数DCT系数具有零值。由于DCT系数频率低，即DCT DC系数主要具有非零值，所以非零DCT系数通常分布在8×8块的左上角的低频区域中。同时，分布在块的右下角的高频DCT系数，即DCT AC系数主要具有零值。因此，在其中大多数DCT系数具有零值的平滑图像中，即使仅解码某些DCT系数，也只产生小误差。当离散余弦变换晴朗的天空(clear sky)时，即使仅解码一个DCT系数，可能也不会产生误差。在图2中，为了方便起见，假设块大小是8×8。但是，本领域任何技术人员应该明白：可以将具有诸如4x4和16×16的不同块大小的块应用于本发明。
根据本发明，在考虑到编码图像的特性的情况下，可以降低编码过程和ME过程的计算复杂度。图3说明了根据本发明的优选实施例的、用于在考虑到图像的特性的情况下执行图像编码和运动估计(ME)的系统。
以块为单位将帧类型输入视频信号输入到帧存储器301中并存储它。DCT 303离散余弦变换以块为单位从帧存储器301读取的输入视频信号，并生成DCT系数。平滑度表发生器305确定在块的DCT系数中的非零DCT系数的个数。具有不为零但是小于参考值的值的DCT系数被认为是具有零值。根据本发明，假设：至少某些DCT系数具有小于参考值的值。该参考值可以是特定常数，但是，最好使用与块相对应的量化表的量化值。这是因为在量化过程中，具有小于量化值的值的DCT系数具有零值。
根据非零DCT系数的个数来确定块的平滑度。根据本发明，根据包括在相应块中的非零DCT系数的个数来确定块的平滑度。平滑度表发生器305在表中存储帧的各个块的平滑度。零线发生器307用值“0”来取代所确定的具有小于参考值(由平滑度表发生器305预先设置的)的值的DCT系数。在图3中，说明了彼此分离的平滑度表发生器305和零线发生器307。但是，可以将这两个装置实现在一个装置中。
图4说明了在通过平滑发生器305和零线发生器307之后的8×8块的DCT系数的示例分布。参考数字401表示具有非零值的DCT系数的区域。参考数字403表示具有零值的DCT系数的区域。因此确定该块的平滑度为6。
量化器309使用由比特率控制器311确定的量化表来量化输入DCT系数。以之字型扫描量化的DCT系数，并由可变长编码器313将其变换成可变长编码数据，然后，将其作为由比特流发生器(未示出)编码的连续比特流输出。
由反量化器(inverse quantizer)315对量化的DCT系数进行反量化，并将其输入到自适应反离散余弦变换器(IDCT)317。自适应IDCT 317反离散余弦变换DCT系数，DCT系数的个数是根据由平滑度表发生器305确定的相应块的平滑度确定的。在其平滑度低的块，即看起来平滑或均匀的图像中，反离散余弦变换少量的DCT系数。在其平滑度高的块，即对比度大时，反离散余弦变换大量的DCT系数。根据传统技术，反离散余弦变换64个DCT系数。根据本发明，根据平滑度来变换较少的DCT系数。因此，在使用具有O(n3)的计算复杂度的[表达式1]的反离散余弦变换中，根据传统技术，在8×8块的情况下必须执行512次乘法运算。根据本发明，当平滑度是6时执行216次乘法运算。根据本发明，当平滑度是4时执行64次乘法运算。
在帧存储器319中以块为单位存储恢复的像素数据，以便其被用作ME的参考帧。在编码系统200处理了第一图像帧的全部块之后，将第二图像帧输入到编码系统200。自适应运动估计器321通过使用参考帧的搜索区域的平滑度所确定的像素距离，来比较搜索区域的像素和第二帧的第一宏块(MB)的像素。
现在将参照图5来描述作为根据平滑度进行的块比较方法的优选实施例的三种方法。但是，在不背离本发明的保护范围的情况下，可以通过使用不是下面三种方法的方法来做各种变化。同时，为了便于解释，假设参考帧的搜索区域是由3×3的候选MB形成的。在图5中，参考数字501表示当前输入的第二视频帧。参考数字509表示将在第二视频帧中估计其当前运动的MB。参考数字503表示存储在帧存储器319中的参考帧。参考数字505表示用于估计MB509的运动的搜索区域。搜索区域505是由9个候选MB 911形成的。参考数字507表述在搜索区域505中当前与MB 509进行比较的参考区域。
在第一方法中，基于参考区域507所遍布的候选MB的平滑度中的最大平滑度，来确定像素距离。当使用该方法时，基于4个MB中的最大平滑度，5，来确定像素距离。
在第二方法中，根据参考区域507所遍布的每个候选MB的平滑度，来确定每个像素距离。在这种情况下，基于参考区域507的左边的平滑度4、基于右上角的平滑度2、和基于右下角的平滑度5，来确定像素距离。
在第三方法中，基于在参考区域507所遍布的候选MB中遍布了最大区域的候选MB的平滑度，来确定像素距离。也就是说，在图5的情况下，基于平滑度4，来确定像素距离。
诸如全搜索块匹配算法(FBMA)、3步搜索(TSS)、菱形搜索和分级运动估计的各种通用搜索算法可以用于块比较。
图6是说明用于确定DCT块的平滑度的过程的流程图。参照图4和6来描述由平滑度表发生器305和零线发生器307确定8×8的DCT块的平滑度的方法。
当从DCT303输入DCT系数时，过程前进到步骤601，并且平滑度表发生器305开始确定平滑度的过程。平滑度确定过程从具有高频分量的DCT系数开始，并前进到具有低频分量的DCT系数，即，从图4的其平滑度是8的区域到其平滑度是1的区域。在步骤601，准备DCT[8][8]，即用于存储DCT系数的8×8二维排列。CurRes，其是用于表示平滑度的变量，被设为8。“Count”，其是用于对所测试的DCT系数进行计数的变量，被设为1。“zeroCount”，其是用于对具有零值的DCT系数的个数进行计数的变量，被设为0。
在步骤603，将DCT[CurRes][Count]系数值，即当前要被测试的DCT系数与先前设置的参考值threshold_B[CurRes][Count]相比较。threshold_B[CurRes][Count]是用于确定具有零值的DCT系数的参考值，其是在量化表中与DCT系数相对应的量化值或者是将特定权值与量化值相乘而得到的值。由于CurRes为8且Count为1，所以，将DCT[8][1]系数值与threshold_B[8][1]值相比较。在步骤603，将DCT[8][1]、DCT[8][2]、......、DCT[8][8]系数的值与相应的参考值相比较。
当DCT系数小于参考值时，在步骤605，平滑度表发生器305确定DCT系数具有零值，且增加“zeroCount”。零线发生器307用零来取代DCT系数的值，并前进到步骤607。当在步骤603中当前测试的DCT系数大于参考值时，过程前进到步骤607。
在步骤607，将Count与1相比较且当前的Count为1，过程前进到步骤613。在步骤613，将Count与CurRes相比较。由于当前的Count小于CurRes，步骤前进到步骤615，并且，在将Count加1之后，过程返回到步骤603。因此，Count变为2。
在步骤603和605，确定DCT[8][2]的值是否为零(见图6)，并过程前进到步骤607。由于在步骤607中当前的Count大于1，过程前进到步骤609。在步骤609，将DCT[Count-1][CurRes]的系数值与threshold_B[1][8]相比较。在步骤609，将DCT[1][8]、DCT[2][8]、......、DCT[7][8]系数的值与相应的参考值相比较。
当DCT[1][8]系数的值小于threshold_B[1][8]的值时，过程前进到步骤611。在步骤611，平滑度表发生器305确定DCT系数具有零值，且将zeroCount加1。零线发生器307用零来取代DCT系数的值，且过程前进到步骤613。重复该例程处理，直到Count变为8。通过zeroCount对其平滑度为8的区域中的、具有小于threshold_B的值的dct系数的个数进行计数。
当Count变为8时，在步骤613，将zeroCount的值与threshold_A[CurRes]的值相比较。threshold_A[CurRes]是每个平滑区域中预先设置的参考值。在低频区域中，存在较多的具有零值的DCT系数。因此，最好在低频区域中，将threshold_A值设得比较大。但是，可以将threshold_A值在所有区域中设为相同值，也可以根据其它方法来设置它。
当在步骤617中具有零值的DCT系数的个数小于threshold_A的个数时，在步骤619，将当前CurRes确定为当前块的平滑度，并且在步骤621，终止平滑度确定程序。但是，当具有零值的DCT系数的个数大于threshold_A的个数时，在步骤619，将CurRes加1，初始化Count和zeroCount，并对下一区域的DCT系数中的具有零值的系数的个数进行计数。
已经参照图4和6描述了确定块的平滑度的方法。平滑度表发生器通过将该程序应用于整个视频帧，并生成二维的平滑度表，来确定视频帧的所有块的平滑度。
现在参照图7和8来描述通过参考所确定的平滑度来估计运动的方法。假设：视频帧是由176×144个像素构成的，并且用于估计运动的MB具有8×8的大小。因此，视频帧是由22×18个MB构成的。但是，本领域技术人员应该明白：可以将经常用于MPEG-2和MPEG-4的16×16大小的MB应用于本发明。
图7是说明由图3的自适应ME 321估计视频帧的所有MB的运动的过程的流程图。在步骤701，CurPic[176*144]表示当前图像缓冲区，而Refpic[176*144]表示参考图像缓冲区。变量x和y用于对x和y轴方向上的MB的个数进行计数，并被初始化为0。
在步骤703，当y小于18时，过程前进到步骤705。当y大于18时，过程前进到步骤713，并且由于对视频帧的所有MB都完成了ME，所以终止该过程。由于初始化的y为0，所以过程前进到步骤705。在步骤705，将x与22相比较。由于x被初始化为0，所以过程前进到步骤709。在步骤709，对当前MB CurPic[(x+y*176)*8]和参考区域Refpic[(x+y*176)*8]执行ME。现在将参照图8来描述该ME方法。当完成对当前MB的ME时，将x加1，并重复步骤705到711。当完成对第一行的MB的ME且x达到22时，过程前进到步骤707，y加1，将x初始化为0，并且过程返回到步骤703。当完成对图像帧的所有MB的ME时，在步骤713完成该ME。
现在，参照图8详细描述步骤709中的用于MB的ME方法。在步骤801，CurPic[(x+y*176)*8]是要估计其当前运动的MB。变量i和j用于表示在将当前MB用作参考点的参考帧的搜索区域中参考区域的位置。假设：沿着基于当前MB的x轴的向左方向是-i方向，而沿着x轴的向右方向是+i方向，而沿着y轴的向上方向是+j方向，而沿着y轴的向下方向是-j方向。假设：使用各种搜索算法中的FBMA(全搜索块匹配算法)算法(FBMA是一种逐像素搜索方法，其在整个图像范围内进行搜索)。同时，假设：在基于当前MB的x轴和y轴的每一个方向上，参考帧的搜索区域包括3个MB。3个MB是示例，然而，帧的搜索范围可以更多或更少。此外，本发明可以应用于这种情况，其中，使用了其它搜索算法，或者搜索区域的大小改变了。
在步骤803，当j小于3*8时，过程前进到步骤805。在步骤805，从平滑度表中读取参考区域的平滑度。当参考区域遍布多个候选MB时，使用如图5所述的方法来确定平滑度。根据x和y轴方向上的所确定的平滑度，来分别确定Weight_X和Weight_Y。例如，当平滑度为4时，Weight_X和Weight_Y为4。当平滑度为2时，Weight_X和Weight_Y为2。由于当前的j为-3*8，且小于3*8，所以过程前进到步骤805，并获得了权值。然后，过程前进到步骤807。
当在步骤807中i小于3*8时，在步骤809，以二次抽样的像素为单位，根据在步骤805中所确定的权值，对CurPic[(x+y*176)*8]和Refpic[(i+j*176)*8]块进行相互比较。例如，当权值为2时，按照像素距离1来执行二次抽样。当权值为4时，按照像素距离2来执行二次抽样。因此，与将MB中的所有像素彼此进行比较的传统技术相比，极大地减少了运算量。本领域技术人员应该明白：可以使用诸如绝对差分之和(sum ofabsolute differences，SAD)和差量的众所周知的算法，来执行像素的比较。
当完成像素的比较时，在步骤811根据Weight_X来增加i值。在搜索区域中将参考区域移动根据Weight_X增加的像素单位。然后，执行像素的比较。例如，当Weight_X为2时，将参考区域移动一个像素。当Weight_X为4时，将参考区域移动两个像素。在传统技术中，以半个像素为单位移动搜索区域中的参考区域。然而，根据本发明，确定反映了平滑度的运动像素单位，即参考区域的搜索精度，上述平滑度是由图像的特性确定的。
当对搜索区域中的位于最低位置上的候选MB完成了像素的比较，即i大于或等于3*8时，过程从步骤807前进到步骤813。在步骤813，根据Weight_Y来增加j值，且将i初始化为3*8。然后，过程返回步骤803。当对所有搜索区域完成了像素的比较时，过程前进到步骤815，并终止。如上所述，根据本发明，通过在考虑到图像的特性的情况下确定像素比较距离和参考区域的搜索精度，极大地降低了运算量。
如上所述，根据本发明，在通过以块为单位DCT变换图像来消除空间重迭和使用ME技术来消除暂时重迭的系统中，当平滑图像遍布大的块时，极大地降低了为了生成用于ME的参考帧而要进行的反离散余弦变换的DCT系数的个数。因此，降低了计算复杂度。同时，通过根据块匹配过程中的参考帧的块的平滑度，来控制像素比较的精度和搜索精度，也降低了运算量。
虽然已参照本发明的优选实施例，示出和描述了本发明，但是本领域技术人员应该明白：在不背离由所附权利要求所限定的本发明的精神和保护范围的情况下，可以在细节和形式上对本发明做各种变化。