运动估计单元和估计运动矢量的方法 本发明涉及用于估计一系列图像中的一个图像的一组像素的运动矢量的运动估计单元。
本发明进一步涉及一种图像处理设备，包含：
-接收装置，用于接收代表要被处理的一系列图像的信号；
-运动估计单元，用于估计一系列图像中的一个图像的一组像素的运动矢量；和
-运动补偿的图像处理单元，它由运动估计单元控制，用于处理该系列图像。
本发明进一步涉及估计一系列图像中的一个图像的一组像素的运动矢量的方法。
2-D运动估计解决的问题是：对于给定地两个连续图像和找到矢量场(其中是图像中的2-D位置，n是图像号)，使得
f(x→,n-1)=f(x→+d→(x→,n),n)---(1)]]>
2-D运动估计有以下问题：
-解的存在性：不能为在图像中位于所谓未覆盖区(uncoveringareas)内的那些部分建立对应(correspondence)。这就是所谓的“封闭问题”(occlusion problem)。
-解的唯一性：只能确定与空域图像梯度正交的运动。这就是所谓的“孔径问题”(aperture problem)。
-解的连续性：运动估计对图像中的噪声的存在高度敏感。
因为运动估计的不适宜的性质，需要关于2-D运动矢量场(field)的结构的各种假设。一个流行的方法是假设运动矢量对于一个像素块来说是恒定的：在块中的恒定运动的模型。这个方法相当成功，并被用于例如MPEG编码和扫描速率上变换。一般来说，块的大小对于给定的应用来说是恒定不变的，例如，对于MPEG-2来说块大小是16×16，对于扫描速率上变换来说块大小是8×8。这就引入约束条件
d→(x→,n)=d→(x→′,n),∀x→′∈B(x→),---(2)]]>
其中，是在位置x→=(x0,x1)]]>处的像素块，即
B(x→)={x→′|x′diνβi=xidiνβi,i=0,1},---(3)]]>
而βi是块尺寸。
对预定块大小的选择，是在空域精确性(spatial accuracy)与强健性(robust)之间的一种平衡。对于较大的块大小，运动估计对噪声较不敏感并且“孔径”更大，因此减轻了“孔径问题”。因此，较大的块大小减轻了三个问题中的两个的影响。然而，较大的块大小降低了空域精确性，即一个运动矢量被分配给块的所有像素。因为在空域精确性与强健性之间的这种平衡，已经有人提出使用可变的块大小。在美国专利5,477,272中已知有一个在本文开头段落中所述的那种运动估计单元的实施例。在该专利中，描述了一种自上而下的运动估计方法，即从最大的块开始。首先为最高的层计算运动矢量，这对于下一层起到初始估计的作用，后面依此类推。为包括具有最小可能的块大小的块在内的所有的块计算运动矢量。因此从计算方面来说，该方法比较昂贵。
本发明的一个目的是提供一种在本文开头段落中所述的那种运动估计单元，它为图像的可变大小的像素组提供运动矢量场，并且具有较低的计算资源使用。
本发明的该目的的实现在于：用于估计一系列图像中的一个图像的一组像素的运动矢量的所述运动估计单元包括：
-生成装置，用于生成该组像素的候选运动矢量集合；
-匹配装置，用于计算该集合的各个候选运动矢量的匹配误差；
-选择装置，用于根据匹配误差来选择候选运动矢量中的第一个作为该组像素的运动矢量；
-检测装置，用于检测该组像素是否必须被拆分成像素子组，要类似于为该组像素估计运动矢量那样地必须为这些像素子组估计相应的另外的运动矢量，该检测根据的是与该系列图像的一个特定运动矢量有关的一个度量(measure)。
运动估计单元被设计成起初以相对较大的像素组(例如32×32像素)估计运动矢量。在为该组估计了运动矢量后，验证该运动矢量对整个像素组是否具有代表性。如果不是，就将该组像素拆分成子组。拆分后，通过该应用生成装置、匹配装置和选择装置，也为各子组估计运动矢量。如果检测结果是肯定的结果(即该特定运动矢量是合适的)，则不分拆该组像素，并将所估计的运动矢量分配给该组像素的像素。在这种情况下，不需要进一步的运动估计步骤，因此不需要额外的计算资源使用。
在按照本发明的运动估计单元的一个实施例中，该特定运动矢量是候选运动矢量中的第一个。用于检测的度量，优选地与被选择作为最佳匹配运动矢量的候选运动矢量相关。
在按照本发明的运动估计单元的一个实施例中，该组像素对应于一个像素块，而像素子组则优选地对应于相应的像素子块。该组像素可能构成一个任意形状的图像部分，但是该组像素优选地对应于一个像素块。这对运动估计单元的设计是有益的。
在按照本发明的运动估计单元的一个实施例中，检测装置被设计成检测是否必须把像素子块中的第一个拆分成另外的像素子块，要类似于为该像素块估计运动矢量那样地必须为这些另外的像素子块估计相应的其它运动矢量。将图像拆分为块，将块拆分为子块，后面依此类推地递推重复。对各种块和子块，计算运动矢量。
在按照本发明的运动估计单元的一个实施例中，匹配装置被安排成计算运动矢量的匹配误差，该匹配误差对应于像素块的各像素的值与该系列图像中的另一个图像的另外像素块的各像素的相应的另外值之间的绝对差的和。这个匹配误差是相对强健的，并且以相对较少的计算机资源使用就能计算。通用的做法是通过计算一个匹配误差ε来评估候选运动矢量的有效性。一个通行的标准是SAD，即
ϵ(c→,x→,n)=Σx→′∈B(x→)|f(x→′,n)-f(x→′+c→,n-1)---(4)]]>
通过变动使这个匹配误差ε被最小化，以便获得块的最佳匹配运动矢量，即
d→(x→,n)=argminc→(ϵ(c→,x→,n))---(5)]]>
由等式4中可见，匹配误差的计算需要计算在运动矢量上移位的许多像素的值的差。如果块尺寸在两个方向上都加倍，像素的值的差的个数增加到4倍。然而，块的个数减少到四分之一，因此每个图像的计算次数依然相同。可选地，为匹配误差的计算应用次采样(sub-sampling)，即只应用一个块的一部分像素。
在按照本发明的运动估计单元的一个实施例中，与特定运动矢量有关的度量所根据的是运动矢量与一个相邻运动矢量之间的差，该相邻运动矢量是为与该像素块相邻的一个相邻像素块估计的。在这个实施例中，拆分的根据是矢量场不一致性VI。这意味着，如果运动矢量局部相差超过一个预定的阈值，则假设这些运动矢量不属于由该系列图像代表的被捕获场景中的同一个对象。在这种情况下，该块应当被分拆，以便找到该对象的边沿。另一方面，如果相邻的像素块具有相同的、或者几乎没有差别的运动矢量，则该块不必被进一步拆分。在这种情况下假设所述各块对应于相同的对象。
在按照本发明的运动估计单元的一个实施例中，与特定运动矢量有关的度量，根据的是在计算匹配误差的第一中间结果与计算匹配误差的第二中间结果之间的差，该第一中间结果对应于像素块的第一部分，该第二中间结果对应于像素块的第二部分。这些中间结果也被用作子块的匹配误差。因此计算机资源使用被最小化。
在按照本发明的运动估计单元的一个实施例中，检测装置被设计成根据像素块的尺寸检测是否必须把像素块拆分成像素子组。检测是否应当对块进行分拆的另一个标准是块的尺寸。这个额外的标准使得能灵活利用资源：如果允许使用相对较多的计算资源，可以将拆分一直继续到细粒度的块，而如果允许使用相对较少的计算资源，则可以将拆分一直继续到粗粒度的块。应当注意的是，通过适配另一个标准的阈值(即度量)，也可以控制块的粒度。
按照本发明的运动估计单元的一个实施例包含一个合并单元，用于将一个像素子块集合合并成一个合并的像素块，并用于通过选择对应于该子块集合的子块的另外的运动矢量中的第一个运动矢量而向该合并的像素块分配新的运动矢量。如果相邻块具有彼此相等的运动矢量，或者如果相邻块的运动矢量之间的差低于一个预定的阈值，则合并相邻块。合并的一个优点是能实现存储运动矢量所需的存储量的降低，因为运动矢量的个数减少了。
按照本发明的运动估计单元的实施例包含一个用于控制检测装置的封闭检测器(occlusion detector)。应用封闭检测器的一个优点是，可以从由封闭检测器计算的封闭图(occlusion map)中提取对象边界。块的拆分在对象边界附近是有实质意义的，在对象内则较不重要。因此，应用封闭检测器来控制检测装置是有益的，因为计算资源耗用被降低。可选地，把为某图像确定的封闭图用于系列中的一个后续图像。
按照本发明的运动估计单元的一个实施例被安排成计算标准化(normalized)匹配误差。应用标准化匹配误差的一个优点是运动估计的鲁棒性。除此之外，匹配误差还是检测像素块是否需要被拆分的根据。标准化的结果是对图像的内容更不敏感。
本发明的另外一个目的是提供一种在本文开头段落中所述的那种图像处理设备，它为图像的可变大小的像素组提供运动矢量场，并且具有较低的计算资源耗用。
本发明的这个目的的实现在于：该图像处理设备包括：
-接收装置，用于接收一个代表要被处理的一系列图像的信号；
-运动估计单元，用于估计一系列图像中的一个图像的一组像素的运动矢量，该单元包含：
*生成装置，用于生成该组像素的候选运动矢量集合；
*匹配装置，用于计算该集合的各个候选运动矢量的匹配误差；
*选择装置，用于根据匹配误差选择候选运动矢量中的第一个作为该组像素的运动矢量；
*检测装置，用于检测该组像素是否必须被拆分成像素子组，要类似于为该组像素估计运动矢量那样地必须为这些像素子组估计相应的另外的运动矢量，该检测根据的是与该系列图像的某个特定运动矢量有关的一个度量；和
-用于处理该系列图像的运动补偿的图像处理单元，它由运动估计单元控制。
该图像处理设备可包含额外的部件，例如用于显示处理过的图像的显示设备。运动补偿的图像处理单元可支持一个或多个以下类型的图像处理：
-例如按照MPEG标准的视频压缩，即编码和解码。
-去交织(de-interlacing)：交织是一种用于交替地传送奇数或偶数编号的图像行的通用的视频广播程序。去交织试图恢复完整的垂直分辨率，也就是使奇数和偶数行可同时用于每个图像。
-上变换(up-conversion)：从一系列原始输入图像计算一个较大系列的输出图像。输出图像在时间上位于两个原始输入图像之间；以及
-时域减噪(temporal noise reduction)。这也可能涉及到空域(spatial)处理，导致空域-时域减噪。
本发明的另外一个目的是提供一种在本文开头段落中所述的那种方法，它为图像的可变大小的像素组提供运动矢量场，并且具有相对较低的计算资源耗用。
本发明的这个目的的实现在于：用于估计一系列图像中的一个图像的一组像素的运动矢量的方法包括：
-生成该组像素的候选运动矢量集合；
-计算该集合的各个候选运动矢量的匹配误差；
-根据匹配误差选择候选运动矢量中的第一个作为该组像素的运动矢量；以及
-检测该组像素是否必须被拆分成像素子组，要类似于为该组像素估计运动矢量那样地必须为这些像素子组估计相应的另外的运动矢量，该检测根据的是与该系列图像的某个特定运动矢量有关的一个度量。
运动估计单元的修改及其变化对应于所述的方法和图像处理设备的修改及其变化。
【附图说明】
下面将关于下文所述的各实现方式、实施例并且参照附图来阐述依照本发明的运动估计单元、方法及图像处理设备的这些及其它特点，所述特点将变得显而易见。
图1示意性地表示按照本发明方法被估计的运动矢量场的像素块；
图2A示意性地表示一个运动估计单元的实施例；
图2B示意性地表示一个包含合并单元的运动估计单元的实施例；
图2C示意性地表示一个包含标准化单元的运动估计单元的实施例；
图2D示意性地表示一个包含封闭检测器的运动估计单元的实施例；
图3示意性地表示一个图像处理设备的实施例。
在所有附图中，对应的标注号具有相同的含义。
【具体实施方式】
图1示意性地表示按照本发明方法被计算的运动矢量场100的像素块102-118。按照该方法，将图像划分成许多相对较大的块，这些块具有对应于块110的尺寸。为这些相对较大的块估计运动矢量。除此之外，还检测这些运动矢量是否好得足以描述明显的运动。如果对某特定块来说不是这样，则将该特定块划分成4个子块，这些子块具有对应于块102-108和112的尺寸。在图1中可见，对于具有后一种尺寸的大多数块来说，所估计的运动矢量假设是合适的。注意到所划分成的子块的个数不等于4也是可能的。子块能被进一步划分，例如子块112被划分成例如114的子块，而子块114也被划分成例如116和118的子块。
图2A示意性地表示一个运动估计单元200的实施例，该单元包含：
-划分装置202，用于把一个像素块划分成子块。图像一开始被划分成许多相对较大的块，这些块具有例如32×32像素的尺寸；
-生成装置204，用于为某特定像素块的生成一个候选运动矢量集合。为了这种生成，要使用为其它像素块而估计的运动矢量：使用所谓的时域和/或空域候选运动矢量和随机候选运动矢量。在例如G.deHaan等人的“True-Motion Estimation with 3-D Recursive SearchBlock Matching(利用3-D递归搜索块匹配的真实运动估计)”(IEEE视频技术电路和系统论文集(IEEE Transactions on circuits andsystems for video technology)第3卷，1993年10月第5期，368-379页)中说明了这一原理；
-匹配装置208，用于计算该集合的各个候选运动矢量的匹配误差；
-选择装置206，用于通过比较匹配误差来选择候选运动矢量中的第一个作为该特定像素块的运动矢量。具有最低匹配误差的候选运动矢量被选择；以及
-检测装置210，用于检测该特定像素块是否必须被拆分成像素子块，要类似于为该特定像素块估计运动矢量那样地必须为这些子像素块估计相应的另外的运动矢量，该检测根据的是与所选择的运动矢量有关的一个度量。检测装置210被设计成控制划分装置202。
在运动估计单元200的输入连接器212上，提供一系列图像。运动估计单元200在输出连接器214上提供运动矢量。通过控制接口216，能提供有关划分的参数，即划分标准。这些参数包含块的最小尺寸和与所选择的运动矢量的质量有关的度量的阈值。下面描述这种度量的两个例子。它们将被称作“四-SAD差异”(Variance of Quad-SAD)和“矢量场不一致性”(Vector Field Inconsistency)VI。优选地对度量进行组合。那意味着，例如，将一个块划分成4个更小的块的一个可能的标准是：
用文字来说就是，“矢量场不一致性”高于第一预定阈值Ts，“四-SAD差异”高于第二预定阈值Tv。
“矢量场不一致性”与相邻运动矢量之间相差的量有关。通过等式7规定“矢量场不一致性”的一个例子。在该情形中，将某特定运动矢量与4个相邻运动矢量比较。很清楚地可能有用于计算“矢量场不一致性”的替代方法：用更多或更少的相邻运动矢量。
VI(x→)=Σi=-11Σj=-11||d→avg(x→)-d(x→+iβ0hjβ1hT,n)||with|i|+|j|≤1---(7)]]>
其中β0h和β1h是最高级别的块尺寸，局部矢量平均由等式8定义：
d→avg(x→)=15Σi=-11Σj=-11d(x→+iβ0hjβ1hT,n)with|i|+|j|≤1---(8)]]>
“四-SAD差异”通过等式10规定。但是首先在等式9中规定四-SAD。所谓的四-SAD相当于四个SAD值的组合。换言之，将一个位于的块划分成四个块，计算该块的每个象限的SAD，即
ϵ→(c→,x→,n)=ϵ(c→,x→11,n)ϵ(c→,x→12,n)ϵ(c→,x→21,n)ϵ(c→,x→22,n)---(9)]]>
其中，位于位置的块被划分成它的四个位置为的象限，即四个大小相等的更小的块。四-SAD可以从四个SAD值得出，而没有任何额外的计算成本。然后可以例如通过下式计算“四-SAD差异”：
var(ϵ→(c→,x→,n))=|ϵ(c→,x→11,n)-ϵ(c→,x→12,n)|+|ϵ(c→,x→21,n)-ϵ(c→,x→22,n)|+]]>
|ϵ(c→,x→11,n)-ϵ(x→,x→21,n)|+|ϵ(c→,x→12,n)-ϵ(c→,x→22,n)|---(10)]]>
如等式(6)中规定的标准背后基本思想是，只有在靠近矢量场边缘处才需要最低级别(即小)的块大小。含有矢量场中的边缘的区域由一个高于阈值Ts的VI值表征。该边缘的存在的特征在于所述块的一部分的高SAD值和其它部分的较低值。其结果是四-SAD内的SAD值的大的差异。
图2B示意性地表示一个包含合并单元218的运动估计单元201的实施例。该运动估计单元实施例被设计用来比较相邻运动矢量。如果这些运动矢量相等或者相邻运动矢量之间的差低于一个预定的阈值，则将对应的象素块合并成一个合并的像素块。该合并可以在运动矢量场已经被估计后进行，或者该合并也可以与运动矢量场的生成同时地进行。
图2C示意性地表示一个包含标准化单元220的运动估计单元203的实施例。在申请号为01202641.5的欧洲专利申请(代理人案卷号PHNL010478)中描述了一种用于匹配误差的标准化的方法。在该专利申请中，描述了通过把图像的像素块的像素值与图像的其它像素块的像素值之间的绝对差相加来计算差异VAR参数。通过把VAR与SAD比较，确定预期的矢量误差VE。这个VE是运动矢量的质量的一种度量：对所估计的运动矢量与实际运动矢量之间的差的一种度量。在上述专利申请中，为预期的矢量误差VE导出一个在给定SAD和VAR值时的模型，即
E(VE)≈3SAD5VAR---(11)]]>
然而，仅当只有一个运动矢量对该块合适时(即该块不需要拆分时)这个模型才是有效的。因此，等式11可被应用来预测所预期的SAD值。当运动估计已经收敛时，预期矢量误差VE是较低的，例如1/2像素。如果SAD高于预期的SAD值，该块被拆分。因此拆分标准变成：
其中例如由下式给出：
VAR(x→)=12Σx→′∈B(x→)|f(x→′,n)-f(x→′+2e→x,n)|+|f(x→′,n)-f(2e→y,n)|---(13)]]>
和分别是x方向和y方向上的单位矢量(unity vector)。因此，等式12中关于SAD值的阈值变成允许的矢量误差。
图2D示意性地表示一个包含封闭检测器222的运动估计单元205的实施例，其中封闭检测器向检测装置210提供一个封闭图。在封闭图中，定义了图像的哪些区域对应于覆盖区或未覆盖区。在名称为“Problem area location in a image signal”(图像信号中的问题区域位置)、公开号为WO0011863的专利申请中，描述了一种根据运动矢量场计算封闭图的方法。在该专利申请中，描述了通过比较运动矢量场的相邻运动矢量来确定封闭图。它假设，如果相邻运动矢量基本相等(即如果相邻运动矢量之间的绝对差小于一个预定阈值)，则运动矢量与之对应的像素组位于一个非覆盖区中。然而，如果所述运动矢量的其中之一远大于一个相邻运动矢量，则假设像素组或者位于覆盖区中，或者位于未覆盖区中。相邻运动矢量的方向，决定这两种类型的区的哪一种。这个封闭检测的方法的优点是它的鲁棒性。应用一个封闭检测器的优点是，能从封闭图中提取出对象边界。在覆盖区将一个块拆分成子块是有实质意义的，必须找到对象的准确的边界。如果一个块位于未覆盖区上，则由于不确定性，把该块拆分成子块不是很有用。
如结合图2A-2D所描述的运动估计单元200、201、203、205，分别被设计用来按以下两种方式的其中之一执行运动估计：
-多回合方式(multi-pass)，其工作方式如下：首先将图像拆分成块，为每个块确定运动矢量。在后续回合中，再次处理各种块。这意味着可选地将它们拆分成子块，并为子块估计运动矢量。然后，可能要进行另一个类似的回合。
-单回合方式，其工作方式如下：递推地拆分一个块，直到对于该块来说块层次(即块大小)达到合适的级别。然后以类似的方式处理一个相邻块。这个单回合策略是优选的，因为假设最佳的运动矢量是在块层次中的最低层上找到的，并且这些运动矢量被提供作为后续块的候选运动矢量。换言之，在单一回合方式下提供可能更好的候选运动矢量。
图3示意性地表示一个图像处理设备300的元件，该设备包括：
-接收装置302，用于接收一个代表要在进行了某种处理之后被显示的图像的信号。该信号可以是通过天线或电缆接收的广播信号，也可以是来自像VCR(录像机)或数字多用盘(DVD)的存储设备的信号。该信号在输入连接器310上被提供。
-如以上结合图2A-2D的任何一个所述的运动估计单元304；
-运动补偿的图像处理单元306；以及
-显示设备308，用于显示处理过的图像。该显示设备308是任选的。
运动补偿的图像处理单元306需要图像和运动矢量作为其输入。
应当注意的是，以上实施例解释而不是限制本发明，所述技术领域的熟练人员在不偏离后附的权利要求书的情况下将能够设计替换的实施例。在权利要求书中，任何包括在括号中的标注符都不应被认为是要限制权利要求。“包含”一词并不排除权利要求中未列举的元件或步骤的存在。元件前的“一个”并不排除多个这样的元件的存在。本发明可以通过包含若干不同元件的硬件以及通过适当编程的计算机实现。在枚举若干装置的装置权利要求中，这些装置的几个能由同一个硬件项实现。