通过考虑闭塞估算像素组的运动矢量 本发明涉及一种估算输入图像的像素组运动矢量的方法。
本发明进一步涉及一种用于估算输入图像的像素组运动矢量的运动估算单元。
本发明进一步涉及一个图像处理装置，其包括：
-用于接收表示待处理图像的信号的接收设备；
-这样的一个运动估算单元；和
-一个运动补偿图像处理单元。
在开始段落中所描述的方法的实例可从美国专利6,011,596中获知。该专利描述了在假定前景物体覆盖背景物体的情况下，前景物体在背景物体前运动的情景。由于运动，前景物体连续地覆盖和暴露背景。表示该情景的图像包括三种类型的区域：覆盖区域、暴露区域和未覆盖区域。这意味着在随后图像中一部分图像被覆盖，在随后的图像中一部分图像被暴露以及在随后的图像中其余部分仍表示相同的物体。在三个图像的序列中，在中心图像中可见的所有图像，应当处于前面的图像、随后的图像或两种图像中。
为了产生可用于基本限定输入图像中全部运动的一组运动矢量，第一组运动矢量由比较前面的图像和随后的图像得出。随后合并这些组以产生用于指定(assignment)给输入图像的矢量组。一旦得出运动矢量组，其就被指定(assign)给输入图像，在此可投射这些矢量组以产生所需输出图像。这些运动矢量指定给一些区域，也就是，图像的象素组。
上述专利的方法相对复杂并需要相对多的存储器。除此之外，其还不耐用。选择两组运动矢量的决定应当以这些组运动矢量的相应匹配误差为基础。因此，这种借助前面的图像计算的反向运动矢量的匹配误差，必须与借助随后的图像计算的前进运动的匹配误差相比较。需要匹配误差的暂时存储器。
本发明的一个目的提供一种开始段落中所描述并相对简单的方法。
本发明的目的由估算输入图像像素组的运动矢量的方法而实现，所述方法包括：
-计算适用于输入图像的闭塞图(occlusion map)的闭塞(occlusion)检测步骤，其中所述闭塞图指示输入图像的像素组对应如下类型区域的哪一区域：覆盖区域、暴露区域或未覆盖区域；
-基于所述输入图像和输入图像前面的图像估算像素组的第一运动矢量的第一中间估算步骤；
-基于输入图像和输入图像随后的图像估算像素组的第二运动矢量的第二中间运动估算步骤；以及
-指定步骤，基于闭塞图，指定一个最终运动矢量为运动矢量，其中所述最终运动矢量由第一运动矢量或第二运动矢量得出。
优选地，像素组对应像素块。本发明的一个重要方面是闭塞图的使用。结果是，设计的执行本发明的方法的运动估算单元相对简单。事实上，标准运动估算单元可用于实行第一和第二中间的运动估算步骤。对于标准运动估算单元，其意指用于设计成基于成对图像的像素值比较来估算运动矢量的运动估算单元。标准运动估算单元可以是从下面论文中获知的运动估算单元：1993年10月，视频技术电路和系统的IEEE学报(IEEE Transactions on circuits and systems for videotechnology)vol.3，no.5，第368-379页的G.de haan等人的论文“使用三D循环检查区匹配的实际运动估算(True-Motion Estimation with 3-DRecursive Search Block Matching”。通过标准运动估算单元计算的运动矢量场，也就是，中间运动矢量场，可包含由覆盖和/或暴露引起的错误的运动矢量。借助根据本发明的方法，这些中间运动矢量场被合并成一个最终运动矢量场。或换句话说，所述对应覆盖或暴露区域的错误运动矢量基本上被消除。因此，由标准运动估算单元确定的运动矢量场，借助后处理被改进。使用标准运动估算单元的优势是相对少地存储器需求。典型地，仅在存储器中同时保存两个图像的像素。
使用闭塞图的优势是需要相对少的存储器。在现有技术的方法中，匹配误差被用于控制运动矢量的选择。为了存储匹配误差，例如绝对差值的和，需要相对多的存储器。匹配误差的使用是现有技术的方法为什么相对不实用的一个原因。
如上所述，首先计算两个中间运动矢量场并随后将其合并。应注意到，仅对于这些运动矢量场之一，必须为需要运动矢量的图像的全部像素组计算运动矢量。其他的中间运动矢量场可能是未完成的(incomplete)。这意指，仅为位于覆盖或暴露区域内的像素组计算运动矢量。由此，实现计算机资源消耗的降低。
在根据本发明方法的实施例中，所述最终运动矢量从下面得出：
-如果像素组的区域类型对应覆盖区域，则由第一运动矢量得出所述最终运动矢量；和
-如果像素组的区域类型对应暴露区域，则由第二运动矢量得出所述最终运动矢量。
如果像素组的区域类型对应未覆盖区域，那么最终运动矢量无论由第一运动矢量或第二运动矢量得出，都没有任何区别。可进行任意的选择。所述得出意指：
-最终运动矢量直接对应中间运动矢量，即，第一运动矢量或第二运动矢量；或
-最终运动矢量长度对应中间运动矢量的长度，但其方向相反。
在根据本发明的方法实施例中，基于运动矢量场计算所述闭塞图。基于运动矢量场计算闭塞图的方法，在名称为“图像信号中问题区域位置”、公开号为WO 0011863的专利申请中进行了描述。在所述的专利申请中，借助比较一个运动矢量场的相邻运动矢量来确定闭塞图。假定如果相邻运动矢量基本相同，也就是，如果相邻运动矢量之间的绝对差低于预定阈值，那么所述运动矢量对应的像素组位于未覆盖区域内。然而，如果一个运动矢量实质上大于相邻运动矢量，则假定所述组像素位于覆盖区域或暴露区域内。相邻运动矢量的方向确定所述两种区域类型为哪一区域类型。这种闭塞检测方法的优势是其耐用性(robustness)。其优于现有技术，也就是，基于匹配误差的US6011596中所使用的方法。
在根据本发明基于运动矢量场计算的闭塞图的方法实例中，运动矢量场与所述输入图像相关。基于考虑中的图像的运动矢量场的闭塞图，非常可能是最佳的闭塞图。
在根据本发明基于运动矢量场计算的闭塞图的方法实例中，运动矢量场与所述前面的图像相关。该方法的优势是，其能实现根据本发明的简单构造的运动估算单元。
图像处理的修改及其变化，可与所述方法和运动估算单元的修改和变化相对应。所述图像处理装置可包括附加部件，例如，用于显示已处理图像的显示装置。所述运动补偿图像处理单元可支持一种或多种以下类型的图像处理：
-视频压缩，也就是，例如，根据MPEG标准进行的编码或译码。
-去隔行扫描(de-interlacing)：隔行扫描是常见的视频广播方法，用于交替地传送奇数或偶数图像行。去隔行扫描试图恢复全垂直分辨率，也就是，对于每个图像可以同时得到奇数行和偶数行；
-上变换(up-conversion)：由一系列原始输入图像计算一更大系列的输出图像。输出图像暂时地位于两个原始输入图像之间；以及
-时间噪声减低(temporal noise reduction)。这也包括空间处理，其导致空间-时间噪声减低。根据本发明的图像处理装置和方法的运动估算单元的这些及其他方面，将根据下面描述的实施过程(implementations)和实施例以及参照附图变得显而易见和得到说明，
其中：
附图1示意性地示出根据本发明的方法的构思；
附图2示意性地示出运动估算单元的一个实施例；
附图3示意性地示出与重新定时器(re-timer)单元结合的运动估算单元的一个实施例；
附图4示意性地示出图像处理装置的一个实施例。
所有附图中，相同的参考标记具有相同的含义。
附图1示意性地示出根据本发明的方法的构思。附图1示出三个连续图像102-106，其表示了在固定背景前球从右边移至左边的情景。由箭头110表示移动的方向。基于这三个连续图像102-106，估算两个运动矢量场112和114。运动矢量场112基于图像104和图像106。运动矢量场114基于图像104和图像102。它们可用运动估算单元算出，所述运动估算单元可以是从下面论文中获知的运动估算单元：1993年10月，视频技术电路和系统的IEEE学报(IEEE Transactions on circuits andsystems for video technology)，vol. 3，no.5，第368-379页的G.de haan等人的论文“使用三D循环检查区匹配的实际运动估算(True-MotionEstimation with 3-D Recursive Search Block Matching”。该两个运动矢量场122和114的大部分运动矢量等于零。它们对应于非移动背景。这些运动矢量称作背景运动矢量。运动矢量场112和114的其他运动矢量对应于球108的移动。后者的这些运动矢量分别位于区域113和115中。这些运动矢量称作前景运动矢量。然而，一些指定的运动矢量不正确：区域113和115的太大。这是由覆盖或暴露而引起：分别是，在一个图像中可见的背景物体在下一个图像中看不见或者在一个图像中可见的背景物体在前面的图像中看不见。对于这些情况，不可能直接计算适当的运动矢量。
所述目的是要计算与图像104相匹配的运动矢量场124。这意味着，将前景运动矢量指定给对应球108的像素，而背景运动矢量指定给另外的像素。前者像素位于区域126，而后者像素位于区域128。附图1也包含闭塞图(occlusion map)116。所述闭塞图116为元素矩阵，用这些元素表出图像104的各个像素对应以下区域类型的哪一个：覆盖区域118、暴露区域122或未覆盖区域120。这种闭塞图可根据名称为“图像信号中的问题区域位置”、公开号为WO0011863的专利申请中所说明的方法予以计算。应注意到，所述闭塞图不必与实际闭塞部件(occluded part)严格匹配。但是，优选地，闭塞图的覆盖区域和暴露区域等于或大于实际覆盖或暴露的区域。
根据本发明的估算运动矢量方法如下。假定运动矢量场112和114包括像素块的运动矢量。现在，需要确定运动矢量场124的适当运动矢量。对于运动矢量场124的每个像素块，执行以下步骤：
-对于像素块通过闭塞图116确定区域类型。
-基于以下检验，为该像素块指定适当的运动矢量：
*如果区域类型对应“覆盖”，则从运动矢量场114选择运动矢量。而该运动矢量意指属于考虑中的像素块的运动矢量。
*如果区域类型对应“暴露”，则从运动矢量场112中选择运动矢量。而该运动矢量意指属于考虑中的像素块的运动矢量。
*如果区域类型对应“覆盖”，则从运动矢量场112中选择运动矢量。注意到，从运动矢量场114中选择运动矢量产生相同结果。
附图2示意性地示出根据本发明的运动估算单元200的一个实施例。所述运动估算单元200包括：
-中间运动估算单元202，用于基于图像104和图像104前面的图像102估算第一矢量场114以及基于图像104和随后的图像106估算第二运动矢量场；和
-指定单元204，基于像素组的区域类型，将最终运动矢量指定为运动矢量，所述最终运动矢量由第一运动矢量或第二运动矢量得出；以及
-基于运动矢量场计算闭塞图116的闭塞检测单元206。或者通过连接器214由中间运动估算单元202，或通过连接器212由指定单元204提供运动矢量场。
在输入连接器208处提供图像。该运动估算单元200在输出连接器210处提供运动矢量。该运动估算单元的操作与结合附图1所描述的方法对应。
附图3示意性地示出与重新定时器单元302结合的运动估算单元300的一个实施例。指定单元204的输出信号能直接用于，例如MPEG补偿。在上变换的情况下，对于要插入图像需要运动矢量。这意味着，图像并不存在于提供给运动估算单元的原始系列图像中，但图像能基于该原始系列图像来计算。所述运动估算单元300包括一种重新定时器单元302，重新定时器单元302设计成对这些新的图像估算运动矢量。用于重新定时的可行方法是以一个运动矢量场的投射运动矢量为基础，随后定标运动矢量。该定标取决于原始图像和新图像之间的时间间隔差。
另一种方法是以两个连续运动矢量场为基础。在该方法中，彼此减去相应的运动矢量。如果这些输入运动矢量之间的差值低于预定阈值，那么将要计算的运动矢量以两个输入运动矢量的平均值为基础。如果所述阈值超出预定阈值，那么根据其中包括将要插入的图像的暂时位置选择两个输入运动矢量中的特定的一个。所要计算的运动矢量以该输入运动矢量为基础。这种选择可借助闭塞图116予以控制。附图4示意性地示出图像处理装置400的组成部分，所述装置包括：
-接收装置402，用于在完成某些处理之后接收表示将要被显示的图像的信号。该信号可以是通过天线或电缆接收的广播信号，但也可以是来自存储装置的信号，存储装置例如为VCR(盒式磁带录像机)或数字化视频光盘(DVD)。在输入连接器410提供该信号。
-结合附图2和3所描述的运动估算单元404；
-运动补偿图像处理单元406；和
-显示设备408或显示已处理的图像。这种显示设备408可以是任意的显示设备。
所述运动补偿图像处理单元406需要作为其输入信号的图像和运动矢量。
应注意到，上述实施例描述了本发明，而不是限制本发明，而且本领域技术人员在不脱离所附权利要求的范围的情况下，能够设计可替换的实施例。在所述权利要求中，置于括号内的任意参考标记不应认为限制权利要求。词语“包括”并不排除未列于权利要求中的部件和步骤的存在。在部件之间的词语“一个”或“一种”，并不排出多个这样部件的存在。本发明可借助包括几个不同部件的硬件和适当的可编程计算机予以实现。在列举了几个部件的产品权利要求中，可以由硬件的之一和相同项可以实施几个这些部件。