用于估计当前运动矢量的单元和方法.pdf

本发明公开了一种用于估计当前运动矢量的运动估计单元(500)，该运动估计单元(500)包括：匹配误差单元(506)，用于计算相应候选运动矢量的匹配误差；以及选择器(508)，用于通过将相应候选运动矢量的匹配误差进行比较，从候选运动矢量中选择当前运动矢量。从先前估计的运动矢量中提取某些候选运动矢量。根据从该组先前估计的运动矢量中选择的多个运动矢量，计算其它候选运动矢量。

1.  一种用于对图像中的一组像素估计当前运动矢量的运动估计单元(500)，该运动估计单元(500)包括：
生成装置(502)，用于对该组像素产生一组候选运动矢量，其中从一组先前估计运动矢量中提取该候选运动矢量；
匹配误差单元(506)，用于计算相应候选运动矢量的匹配误差；以及
选择器(508)，用于通过将相应候选运动矢量的匹配误差进行比较，从候选运动矢量中选择当前运动矢量，其特征在于，设置运动估计单元(500)，以通过根据均属于该组先前估计运动矢量的第一运动矢量和第二运动矢量计算该运动矢量，对该组候选运动矢量附加另外候选运动矢量。

2.  根据权利要求1所述的运动估计单元(500)，其特征在于，设置选择器(508)，以便在相应匹配误差是最小匹配误差时，从该组候选运动矢量中选择特定运动矢量作为当前运动矢量。

3.  根据权利要求1所述的运动估计单元(500)，其特征在于，设计所述匹配误差单元(506)，以便通过减去第一图像对中相应图像的像素块上的各像素的亮度值，计算匹配误差中的第一匹配误差。

4.  根据权利要求1所述的运动估计单元(500)，其特征在于，设置该运动估计单元(500)，以根据第一运动矢量(V(0，3))和第二运动矢量(V(0，2))，计算另外候选运动矢量，其中第一运动矢量(V(0，3))属于第一正向运动矢量场，而第二运动矢量(V(0，2))属于第二正向运动矢量场，其中第一正向运动矢量场与第二正向运动矢量场不同。

5.  根据权利要求4所述的运动估计单元(500)，其特征在于，设置该运动估计单元(500)，以便通过使第一运动矢量(V(0，3))减去第二运动矢量(V(0，2))，计算另外候选运动矢量。

6.  根据权利要求4所述的运动估计单元(500)，其特征在于，设置该运动估计单元(500)，以便通过使第二运动矢量(V(0，2))减去第一运动矢量(V(0，3))，计算另外候选运动矢量。

7.  根据权利要求1所述的运动估计单元(500)，其特征在于，设置该运动估计单元(500)，以根据第一运动矢量(V(0，1))和第二运动矢量(V(0，2))，计算另外候选运动矢量，其中第二运动矢量(V(0，2))属于第二正向运动矢量场，而第一运动矢量(V(0，1))属于第三正向运动矢量场，其中第二正向运动矢量场与第三正向运动矢量场不同。

8.  根据权利要求7所述的运动估计单元(500)，其特征在于，设置该运动估计单元(500)，以便通过使第二运动矢量(V(0，2))乘以预定常数，然后减去第一运动矢量(V(0，1))，计算另外候选运动矢量。

9.  根据权利要求1所述的运动估计单元(500)，其特征在于，设置该运动估计单元(500)，以根据第一运动矢量(V(3，4))和第二运动矢量(V(3，2))，计算另外候选运动矢量，其中第一运动矢量(V(3，4))属于第四正向运动矢量场，而第二运动矢量(V(3，2))属于第一反向运动矢量场。

10.  根据权利要求9所述的运动估计单元(500)，其特征在于，设置该运动估计单元(500)，以便通过使第一运动矢量(V(3，4))乘以预定常数，然后求与第二运动矢量(V(3，2))的和，计算另外候选运动矢量。

11.  根据权利要求1所述的运动估计单元(500)，其特征在于，设置该运动估计单元(500)，以根据第一运动矢量(404)和第二运动矢量(408))，计算另外候选运动矢量(410)，其中第一运动矢量(404)和第二运动矢量(408)均属于特定运动矢量场(400)。

12.  一种用于对图像中的一组像素估计当前运动矢量的方法，该方法包括：
生成步骤，用于对该组像素产生一组候选运动矢量，其中从一组先前估计运动矢量中提取该候选运动矢量；
匹配误差步骤，用于计算相应候选运动矢量的匹配误差；以及
选择步骤，用于通过将相应候选运动矢量的匹配误差进行比较，从候选运动矢量中选择当前运动矢量，其特征在于，在该方法中，通过根据均属于该组先前估计运动矢量的第一运动矢量和第二运动矢量计算该运动矢量，对该组候选运动矢量附加另外候选运动矢量。

13.  一种解码器(600)，该解码器(600)包括：离散余弦变换器(626)、量化器(628)、运行电平解码器(629)以及用于对图像中的一组像素估计当前运动矢量的运动估计单元(500)，该运动估计单元(500)包括：
生成装置(502)，用于对该组像素产生一组候选运动矢量，其中从一组先前估计运动矢量中提取该候选运动矢量；
匹配误差单元(506)，用于计算相应候选运动矢量的匹配误差；以及
选择器(508)，用于通过将相应候选运动矢量的匹配误差进行比较，从候选运动矢量中选择当前运动矢量，其特征在于，设置运动估计单元(500)，以通过根据均属于该组先前估计运动矢量的第一运动矢量和第二运动矢量计算该运动矢量，对该组候选运动矢量附加另外候选运动矢量。

14.  一种图像处理设备(700)，该图像处理设备(700)包括：
接收装置(702)，用于接收表示图像的信号；
运动估计单元(500)，用于对所述图像中第一图像的一组像素估计当前运动矢量，该运动估计单元(500)包括：
生成装置(502)，用于对该组像素产生一组候选运动矢量，其中从一组先前估计运动矢量中提取候选运动矢量；
匹配误差单元(506)，用于计算相应候选运动矢量的匹配误差；以及
选择器(508)，用于通过将相应候选运动矢量的匹配误差进行比较，从候选运动矢量中选择当前运动矢量；以及
运动补偿图像处理单元，用于根据图像和当前运动矢量，计算处理的图像，其特征在于，设置运动估计单元(500)，以通过根据均属于该组先前估计运动矢量的第一运动矢量和第二运动矢量计算该运动矢量，对该组候选运动矢量附加另外候选运动矢量。

用于估计当前运动矢量的单元和方法
技术领域
本发明涉及一种用于对图像的一组像素估计当前运动矢量的运动估计单元，该运动估计单元包括：
生成装置，用于对该组像素产生一组候选运动矢量，其中该候选运动矢量从一组先前估计的运动矢量中提取的；
匹配误差单元，用于计算相应候选运动矢量的匹配误差；以及
选择器，用于通过将相应候选运动矢量的匹配误差进行比较，从候选运动矢量中选择当前运动矢量。
本发明还涉及一种用于对图像中的一组像素估计当前运动矢量的方法，该方法包括：
生成步骤，用于对该组像素产生一组候选运动矢量，其中该候选运动矢量是从一组先前估计的运动矢量中提取的；
匹配误差步骤，用于计算相应候选运动矢量的匹配误差；以及
选择步骤，用于通过将相应候选运动矢量的匹配误差进行比较，从候选运动矢量中选择当前运动矢量。
本发明还涉及一种图像处理设备，该图像处理设备包括：
接收装置，用于接收表示图像的信号；
这种运动估计单元；以及
运动补偿图像处理单元，用于根据图像和运动估计单元的输出，计算处理的图像。
本发明还涉及一种解码器，该解码器包括：
这种运动估计单元；
离散余弦变换器；
量化器；以及
运行电平解码器。
背景技术
从文章“True-Motion Estimation with3-D Recursive SearchBlock Matching”by G.De Haan et.al.in IEEE Transactions oncircuit and systems for video technology，vol.3，no.5，October 1993，pages 368-379中可以得知开头一段描述的这种方法的实施例。
对于视频信号处理方面的许多应用，均需要知道序列图像的视在速度场，即，光流。利用时变运动矢量场，即每个图像对一个运动矢量场表示该光流。注意一个图像可能是若干图像对的一部分。在所引用的文章中，通过将图像分割为块，估计该运动矢量场。对于每块的一组候选运动矢量，计算匹配误差，而且在最小化过程中利用该匹配误差从图像块的一组候选运动矢量中寻找最适当运动矢量。匹配误差相当于SAD：当前一块图像块上的像素与被运动矢量移位的一块基准图像上的像素之间的绝对亮度差之和。如果基准图像与当前图像直接互相相继出现，则可以如下计算SAD：
SAD ( x , y , d x , d y , n ) : = Σ i = 0 N Σ j = 0 M | Y ( x + i , y + j , n ) - Y ( x + d x + i , y + d y + j , n + 1 ) | . . . . . . ( 1 ) ]]>
其中(x，y)是块的位置，(d_x，d_y)是运动矢量，n是图像号，N和M是块的宽度和高度，Y(x，y，n)是位于图像n的位置(x，y)的像素的亮度。
该组候选运动矢量包括从一组事先估计的运动矢量以及随机运动矢量中提取的运动矢量。该组包括对与所研究的当前运动矢量所属的运动矢量场相同的运动矢量场计算的运动矢量。这些运动矢量被称为“空间候选对象”。该组还可以包括对另一个运动矢量场计算的运动矢量。该后者运动矢量被称为“时间候选对象”。根据几个像素块对应于所成像的场景内的同一个物体的假设，对所研究的当前像素块选择“空间候选对象”作为运动矢量候选对象。根据所成像的场景内的物体以匀速运动的假设，对所研究的当前像素块选择“时间候选对象”作为运动矢量候选对象。然而，这两个假设并不始终成立。因此，发现运动矢量场内的适当运动矢量的收敛性并不是最佳的。
发明内容
本发明的目的是提供一种开头一段描述的这种运动估计单元，在发现运动矢量场内的适当运动矢量的过程中，该运动估计单元以较快速度收敛。
通过设置该运动估计单元，以根据均属于该组先前估计的运动矢量的第一运动矢量和第二运动矢量，计算另外候选运动矢量，从而将另外候选运动矢量附加到该组候选运动矢量，可以实现本发明的目的。现在，不是仅取可以用于该图像的其它部分或其它图像的运动矢量，而是根据多个运动矢量计算候选运动矢量。
所建议的解决方案的优点是，该解决方案考虑到更多信息，因此可以更精确估计候选运动矢量。所获得的估计精度可以在候选运动矢量的数量与运动估计单元的精度收敛之间形成新的平衡点。这对于可缩放运动估计解决方案有益。
另一个优点是，可以考虑不同的运动模型。这些运动模型的例子是最近的速度、最近的加速度、图像缩放或旋转。为了计算候选运动矢量，运动模型的类型与所使用的先前估计运动矢量有关。第一运动矢量和第二运动矢量可以属于同一个运动矢量场。但是，第一运动矢量和第二运动矢量优先属于不同运动矢量场。
为了计算当前运动矢量而测试的一组候选运动矢量包括：
“空间候选对象”，从该组先前估计运动矢量中提取；
“时间候选对象”，从该组先前估计运动矢量中提取；
“多时间候选对象”，是根据从该组先前估计运动矢量中提取的多个“时间候选对象”计算地；
“多空间候选对象”，是根据从该组先前估计运动矢量中提取的多个“空间候选对象”计算的；以及
随机运动矢量。
在根据本发明的运动估计单元的实施例中，设置选择器，以便在相应匹配误差是最小匹配误差时，从该组候选运动矢量中选择特定运动矢量作为当前运动矢量。这是一种从该组候选运动矢量中选择当前运动矢量的较简单方法。
在根据本发明的运动估计单元的实施例中，设计匹配误差单元，以便通过减去第一图像对中相应图像的像素块上的各像素的亮度值，计算匹配误差中的第一匹配误差。在这种情况下，该组像素对应于像素块。优先计算亮度绝对差值之和(SAD)。SAD是可以以较快速度计算的、用于相关的较可靠测量值。
在根据本发明的运动估计单元的实施例中，第一运动矢量属于第一正向运动矢量场，而第二运动矢量属于第二正向运动矢量场，其中第一正向运动矢量场与第二正向运动矢量场不同。正向运动矢量包括通过将当前图像的像素块与是当前图像的后继图像的基准图像的像素块进行比较，计算的运动矢量。请注意，后继图像并不意味着在当前图像与基准图像之间不存在其它图像。假设一系列图像分别包括：图像0、图像1、图像2和图像3。利用图像0作为当前图像：V(0，1)，即利用图像1作为基准图像，利用图像0作为当前图像：V(0，2)，即利用图像2作为基准图像，以及利用图像0作为当前图像：V(0，3)，即利用图像3作为基准图像，可以计算后续正向运动矢量。尽管所建议的通用解决方案可以对运动矢量场进行任何计算，但是中心问题是容易实现、成本低、单元与单元的操作，即另外候选运动矢量基于先前计算的两个运动矢量。例如：
通过使第二运动矢量减去第一运动矢量，计算另外候选运动矢量；
通过使第一运动矢量减去第二运动矢量，计算另外候选运动矢量；以及
通过使第二运动矢量乘以预定常数，然后减去第一运动矢量，计算另外候选运动矢量。通过求和可以执行使运动矢量乘以预定常数。
在根据本发明的运动估计单元的实施例中，第一运动矢量属于第四正向运动矢量场，而第二运动矢量属于反向运动矢量场。反向运动矢量包括通过将当前图像的像素块与是当前图像的先前图像的基准图像的像素块进行比较，计算的运动矢量。请注意，先前并不意味着在当前图像与基准图像之间不存在其它图像。假设一系列图像分别包括：图像0、图像1、图像2和图像3。利用图像3作为当前图像：V(3，2)，即利用图2作为基准图像，利用图像3作为当前图像：V(3，1)，即利用图像1作为基准图像，以及利用图像3作为当前图像：V(3，0)，即利用图像0作为基准图像，可以计算后续反向运动矢量。另外候选运动矢量可以基于先前计算的两个运动矢量。例如，通过使第一运动矢量乘以预定常数，然后求与第二运动矢量的和，计算另外候选运动矢量。将正向运动矢量场与反向运动矢量场中的各运动矢量组合在一起的优点是，可以应用对应于与当前图像具有较小时间差的图像的运动矢量。
在视频编码器，例如MPEG编码器内应用根据本发明的运动估计单元的实施例是有利的。特别是在MPEG编码器中，通常对图像计算多个运动矢量场。临时存储这些运动矢量场。利用一部分该多个运动矢量场计算候选运动矢量是有利的。在MPEG编码器中，已知通过缩放一个先前估计的运动矢量，计算候选运动矢量。在某些情况下，与缩放运动矢量相比，计算多时间估计值的计算过程较简单。而缩放过程需要与复杂因数进行乘法运算(难以以简单的二进制移位和加法运算的方式进行分解)，利用简单的移位和加法运算，可以计算多时间候选运动矢量。修改和变更该编码器相当于修改和变更上述运动估计单元。
根据两个或者更多个先前估计的运动矢量，可以计算多时间候选对象。多时间候选对象的计算方式取决于可以使用哪个先前估计运动矢量。利用当前图像与可用先前估计运动矢量之间的时间差，控制计算方式。可以对选择先前估计运动矢量产生影响的另一个参数是先前估计运动矢量的匹配误差。还与视在运动模型的知识有关。
将根据本发明的运动估计单元的实施例应用于开头一段描述的图像处理设备是有利的。该图像处理设备可以包括附加部件，例如用于显示处理图像的显示装置，或用于存储处理图像的存储装置。运动补偿图像处理单元可以支持下面的一种或者多种图像处理方式：
去交织：交织是用于交替发送奇数图像扫描线或偶数图像扫描线的公用视频广播过程。去交织试图恢复全部垂直分辨率，即，使奇数扫描线和偶数扫描线同时对每个图像可用；
上变换：根据一系列原始输入图像，计算更大的一系列输出图像。输出图像在时间上位于两个原始输入图像之间；以及
减少时间噪声。这还可以包括空间处理，从而降低空间-时间噪声。
图像处理设备的修改和变更可以对应于上述运动估计单元的修改和变更。
附图说明
根据下面参考附图所描述的实现过程和实施例，根据本发明的运动估计单元、编码器、方法和图像处理设备的这些以及其它方面更加明显而且更加容易理解，附图包括：
图1示出多个连续图像与运动矢量之间关系的原理图；
图2A、2B、2C和2D示出属于运动物体的运动矢量之间关系的例子的原理图，以说明利用两个先前估计的运动矢量可以计算多时间候选运动矢量；
图3示出在MPEG编码中已知的运动矢量与多个连续画面之间关系的原理图；
图4示出部分运动矢量场的原理图；
图5示出根据本发明的运动估计单元的实施例的原理图；
图6示出根据本发明、包括运动估计单元的视频编码器的实施例的原理图；
图7示出根据本发明、包括运动估计单元的图像处理设备的各单元的原理图。
在所有附图中，相应的参考编号具有相同的意义。
具体实施方式
图1示出多个连续图像0、1、2、3、4、5与具有c∈{0，3}和r∈(0，1，2，3，4，5)的运动矢量V(c，r)之间关系的原理图；下面说明语法。例如，利用V(0，1)表示与包括图像0和图像1的图像对有关的正向运动矢量表示。利用V(3，2)表示与包括图像2和图像3的图像对有关的反向运动矢量。原则上，c和r也可以具有其它值。
图2A示出属于运动物体200的运动矢量之间关系的例子的原理图。它用于说明利用两个先前估计的运动矢量可以计算多时间候选运动矢量假设已经估计了下面的运动矢量：V(0，2)和V(0，3)。现在，必须计算多时间候选运动矢量这可以利用等式2实现：
V ~ ( 3,4 ) = V ( 0,3 ) - V ( 0,2 ) - - - - ( 2 ) ]]>
这意味着，是通过减去两个前面的正向运动矢量计算的外推运动矢量。
图2B示出属于运动物体200的运动矢量之间关系的另一个例子的原理图。假设已经估计了下面的运动矢量：V(3，4)和V(3，2)。现在，必须计算多时间候选运动矢量这可以利用等式3实现：
V ~ ( 3,5 ) = 3 V ( 3,4 ) - V ( 3,2 ) - - - ( 3 ) ]]>
这意味着，是通过将正向运动矢量乘以预定常数后与反向运动矢量相加计算的外推运动矢量。
图2C示出属于运动物体200的运动矢量之间关系的另一个例子的原理图。假设已经估计了下面的运动矢量：V(0，2)和V(0，1)。现在，必须计算多时间候选运动矢量这可以利用等式4实现：
V ~ ( 0,3 ) = 2 V ( 0,4 ) - V ( 0,1 ) - - - ( 4 ) ]]>
这意味着，是通过将已经乘以预定常数的另一个正向运动矢量减去正向运动矢量计算的外推运动矢量。
图2D示出属于运动物体200的运动矢量之间关系的另一个例子的原理图。假设已经估计了下面的运动矢量：V(0，2)和V(0，3)。现在，必须计算多时间候选运动矢量这可以利用等式5实现：
V ~ ( 3,2 ) = V ( 0,2 ) - V ( 0,3 ) - - - ( 5 ) ]]>
这意味着，是通过将另一个正向运动矢量减去正向运动矢量计算的外推运动矢量。
图3示出在MPEG编码中已知的运动矢量与多个连续画面IBBPBB之间关系的原理图。在MPEG中，有I画面、P画面和B画面。I画面和P画面均用作基准图像。根据先前基准图像正向预测P画面。根据先前基准图像和未来基准图像，双向预测B画面。一组画面(GOP)包括(I/P)BB...B(I/P)形式的子组k。请注意，在图3中，假设k＝2。利用M₁和M₂表示类似于GOP的预测深度M的、子组1或子组2内的画面数量。通常，不必固定M_k。替换语法可以用于该运动矢量。利用f_i^k表示用于预测第k子组中的第i个画面的正向运动矢量。利用b_i^k表示反向运动矢量。
接着，广义化结合图2A、图2B、图2C和图2D描述的例子。对它们使用替换语法。假定M_k＝M_k-1＝3。等式(2)被广义化为：
f ~ l k = f ~ M k - 1 k - 1 - f m k - 1 - 1 k - 1 - - - ( 6 ) ]]>
下面的运动模型是“最近的速度”。在这种情况下，属于另一个子组的运动矢量用于计算多时间候选运动矢量。请注意，考虑到可以应用于图3的假设，产生：
f ~ l 2 = f 3 1 - f 2 1 - - - ( 7 ) ]]>
这与图2A所示的例子对应。
等式(3)被广义化为：
f ~ 2 k = 3 f 1 k - b m k - 1 - 1 k - 1 - - - ( 8 ) ]]>
下面的运动模型是“最近的加速度”。在这种情况下，属于另一个子组的运动矢量与同一个子组内的运动矢量一起用于计算多时间候选运动矢量。请注意，考虑到可以应用于图3的假设，产生：
f ~ 2 2 = 3 f 1 2 + b 2 1 - - - ( 9 ) ]]>
这与图2B所示的例子对应。
等式(4)被广义化为：
f ~ l k = 2 f l - 1 k - f l - 2 k - - - ( 10 ) ]]>
下面的运动模型是“最近的速度”。在这种情况下，属于同一个子组的运动矢量用于计算多时间候选运动矢量。假设i＝3。考虑到可以应用于图3的假设，产生：
f ~ 3 2 = 2 f 2 2 - f 1 2 - - - ( 11 ) ]]>
这与图2C所示的例子对应。
等式(5)被广义化为：
b ~ l k = f l k - f M k k - - - ( 12 ) ]]>
在这种情况下，利用属于同一个子组的运动矢量计算多时间候选运动矢量。假设i＝2。考虑到可以应用于图3的假设，产生：
b ~ 2 2 = f 2 2 - f 3 2 - - - ( 13 ) ]]>
这与图2D所示的例子对应。
图4示出包括运动矢量402-410的部分运动矢量场400的原理图。运动矢量场400与图像缩放有关。尽管各种运动矢量402-410不同，但是它们含有共享信息，即运动模型的参数。第一步是从先前计算的运动矢量中提取这些参数。第二步是利用该信息计算候选运动矢量。它表示多空间候选运动矢量。可以根据上述描述的内插和/或外推方法，执行产生该候选运动矢量的过程。
图5示出运动估计单元500的实施例的原理图，运动估计单元500包括：
生成装置502，用于对当前图像的像素块产生一组候选运动矢量；
匹配误差单元506，用于通过求像素块的像素值与基准图像的像素值之间的各绝对差值的和，计算像素块的相应候选运动矢量的匹配误差；
存储器504，用于存储估计的运动矢量和相应匹配误差；以及
选择器508，用于通过将相应候选运动矢量的匹配误差进行比较，从候选运动矢量中选择当前运动矢量。
运动估计单元500的输入包括图像，并将该输入送到输入连接器510。运动估计单元500的输出是运动矢量场，并将该输出送到输出连接器512。下面说明运动估计单元500的行为。首先，生成装置502对像素块产生一组候选运动矢量。该组候选运动矢量包括随机运动矢量或从存储在存储器504内的先前估计运动矢量组中直接提取的运动矢量。但是还设置生成装置502，以根据均属于先前估计的运动矢量组的第一运动矢量和第二运动矢量，计算另外候选运动矢量。根据结合图2A-2D或图3描述的各等式，或者根据结合图4描述的概念，执行该计算过程。在产生了该组候选运动矢量后，匹配误差单元506对这些候选运动矢量计算匹配误差。然后，根据这些匹配误差，选择器508从该组候选运动矢量中选择当前运动矢量。因为其匹配误差具有最低值，选择该当前运动矢量。还将该当前运动矢量存储到存储器504内。
图6示出用于将输入的未压缩序列图像变换为压缩图像的视频编码器600的实施例的原理图。视频编码器600包括：
编码器链602，具有始端和终端，而且依次具有：运动估计器500、离散余弦变换器626、量化器628以及运行电平编码器629；
解码器链616，具有始端和终端，而且依次具有：运行电平编码器623、逆量化器622、运动估计器500、离散余弦逆变换器620以及运动补偿器618；
可变长度编码器634；以及
基准画面池603，用于存储先前基准画面630和未来基准画面632。
通过输入连接器612，将输入的未压缩序列画面输入到视频编码器600。根据宏块(MacroBlock)，即16×16像素的块，描述画面编码过程。在每个画面中，以从左到右的顺序，编码宏块。对给定的宏块，选择编码方式。这取决于画面类型和运动补偿预测的有效性。根据编码方式，利用运动估计单元500根据过去和/或未来基准画面运动补偿预测宏块的内容。在基准画面池603中检索这些基准画面。从当前宏块，即未压缩画面中的各像素中减去该预测值，以产生预测误差。请注意，预测误差是像素矩阵。对离散余弦变换器626输入该预测误差，离散余弦变换器626将该预测误差分割为8×8像素块，并对每个8×8像素块进行离散余弦变换。对量化器628输入所获得的二维8×8DCT系数块，量化器628对它们进行量化。量化主要对高频产生影响。人类的视觉系统感受不到较高频率的画面失真。运行电平编码器629以Z形发生扫描量化的二维8×8DCT系数块，并将它变换为一维量化DCT系数串。该系数串表示压缩画面。可以将这种压缩画面存储到基准画面池603内，供之后使用，例如用作基准画面。还可以将该压缩画面变换为可变长度编码串。由可变长度编码器634执行该变换过程。除了预测误差，还以同样方式对其它信息，例如画面类型和运动矢量场进行编码。
运动估计过程需要基准画面。先前基准画面和未来基准画面均是由解码器回路616根据压缩画面重构的。在需要时，从基准画面池中检索压缩图像。运行电平解码器623、逆量化器622、离散余弦逆变换器620以及运动补偿器618依次对它们进行处理。这4个单元执行的操作是编码器回路602的4个单元执行的操作的逆操作，但是顺序相反。重构后，将基准画面临时存储到基准画面池603内，用于对后续未压缩画面进行运动估计。
图7示出图像处理设备700的各单元的原理图，图像处理设备700包括：
接收装置702，在进行了某种处理后，用于接收用于表示要显示的图像的信号。该信号可以是通过天线或电缆接收的广播信号，但是也可以是从类似于VCR(盒式磁带录像机)或数字通用光盘(DVD)的存储装置接收的信号。将该信号送到输入连接器706。
运动估计单元500，如上结合图5所述；
运动补偿图像处理单元704；以及
显示装置706，用于显示处理的图像。该显示装置是任选的。
运动补偿图像处理单元706要求图像和运动矢量作为其输入。
应该注意，上面描述的实施例用于说明本发明，而不是用于限定本发明的，而且在所附权利要求所述的范围内，本技术领域内的熟练技术人员可以设计变换实施例。在权利要求中，不应该将设置在括号内的任何参考符号看作是对权利要求的限制。单词“包括”并不排除存在未列在权利要求内的单元或步骤。单词位于单元前面的“一个”并不排除存在多个这种单元。利用包括几个不同单元的硬件以及利用正确编程的计算机，可以实现本发明。在产品权利要求中，枚举了几个装置，利用同一个硬件单元可以实现这些装置。