用于场速率上变换的方法和装置 本发明涉及上变换方法，该方法根据适于新象素的第一运动矢量，基于从输入图象的第一个输入图象读取(fetching)第一原始象素的第一数值，为位于连续输入图象之间临时位置上的新图象的新象素赋予一个数值。
本发明进一步涉及用于上变换方法的内插单元，其中根据适于新象素的第一运动矢量，基于从输入图象的第一个输入图象读取第一原始象素的第一数值，为位于连续输入图象之间临时位置上的新图象的新象素赋予一个数值。
本发明进一步涉及用于对连续输入图象进行上变换的上变换单元，它包括：
根据连续输入图象计算运动矢量场的运动估计单元；
用于进行上变换的内插单元，其中根据适于新象素的运动矢量场之一地第一运动矢量，基于从输入图象的第一个输入图象读取第一原始象素的第一数值，为位于连续输入图象之间临时位置上的新图象的新象素赋予一个数值。
本发明进一步涉及图象处理装置，它包括：
用于接收连续输入图象的接收装置；和
用于对连续输入图象进行上变换的上变换单元。
开头段落中所述的这类单元可以从O.Ojo和G.de Haan在IEEETransaction on consumer electronics(消费者电子IEEE学报)第43卷，1997年11月第4期第1045-1056页的论文“Robust motion-compensated video upconversion(增强型运动补偿视频上变换)”中得知。此论文描述了根据被确定用于内插于连续输入图象之间临时位置上的图象的运动矢量场的运动矢量，从连续输入图象读取(fetched)象素数值。结合这些所读取的数值，确定出内插图象的新象素的数值。这种结合可以是对这组数值进行平均或者是取这组数值的中间值。利用这种已有单元，会在所谓的遮挡区域引入赝像：在遮挡区域通过移动前景(foreground)目标覆盖或不覆盖正被捕获的场面的背景(background)目标。在遮挡区域内能够观察到的一典型类型的赝像被称作晕圈：背景局部地失真。这是由于用于读取的运动矢量不正确和从而内插不正确引起的。
【发明内容】
本发明的一个目的是提供一种如开头段落中所述的方法，它能够提供相对来说无赝像的上变换图象。
实现本发明目的的方法进一步包括：
基于适于第二原始象素的第二运动矢量投影(projecting)选自输入图象的第一输入图象或输入图象的另一个输入图象的第二原始象素的第二数值的投影步骤；
将新象素的数值与第二数值相比较有条件地更新新象素数值的更新步骤。
可以在下述临时位置处计算用于上变换的运动矢量场：在内插新图象的临时位置处，在对应于内插新图象之前原始图象的临时位置处，在对应于内插新图象之后另外的原始图象的临时位置处。在上述背景技术中所述的单元中，所用的运动矢量场是用于计算内插新图象的临时位置的。这种运动矢量场的主要优点是：内插新图象的每个象素都有一个运动矢量，即不存在空穴。原始象素的数值可以根据这些运动矢量读取。因此内插是直接的(straight forward)。另外一种达到内插图象的方案采用与原始图象的临时位置相对应的运动矢量场。在这种情况下，将原始图象的象素值投影为内插新图象。而此时要内插的新图象的象素没有投影值即在赋值中存在空穴的可能性比较高。或者换句话说，不是对新图象的每个象素都投影了数值。除此之外，还可能会对内插图象的一象素进行双重赋值。采用对应于原始图象的运动矢量场的优点在于：在大多数情况下，会比采用对应于内插新图象的运动矢量场比较好地表示出目标的真实运动情况。
因此，本发明的方法将基于对应于内插新图象的运动矢量场从至少一个原始图象读取象素值与基于对应于原始图象的运动矢量场从至少一个原始图象的象素的投影数值相结合。
本发明方法实施例的特征在于：在更新步骤，如果新象素数值与第二数值之间的绝对差值大于预定阈值，新象素数值被更新为一更新数值，之后，使更新数值等于第二数值。如果第二数值与基于读取数值的预定阈值相差较大，则新象素的数值对应于基于投影的第二数值。如果第二数值与基于读取数值的预定阈值相差较小，即它们基本相等时，选择这两个数值中的哪一个作为新象素数值都没有关系。在这种情况下，选择基于读取的数值。此时若没有合适的第二数值，也选择基于读取的数值。
本发明方法的另一实施例进一步包括对选自输入图象的第一输入图象或输入图象的另一输入图象的第三原始象素的第三数值进行投影的第二投影步骤，由于第二原始象素和第三原始象素属于不同的输入图象，投影基于适于第三原始象素的第三运动矢量和有条件地更新新象素数值的更新步骤是通过将新象素数值与第二数值和第三数值相比较进行的。新象素数值是在至少一个读取数值和后续图象的一个象素的第一投影值以及前一图象的另一象素的第二投影值的基础上确定的。
本发明方法实施例的特征在于：在更新步骤，如果新象素数值与包括新象素数值、第二数值和第三数值的数值组的中间值有差别，新象素数值被更新为一更新数值，之后，使更新数值等于这组数值的中间值。中间值算子(operator)的优点在于：相对来说性能较强。除晕圈外，由于前景目标和背景目标混合在一起还常在上变换图象中引起另一类赝像。此另一类赝像的特征在于：上变换图象中的前景目标小于原始图象中的前景目标。采用本发明的此实施例，几乎不会出现这些赝像。
本发明方法另一实施例的特征在于：新象素的数值是根据适于新象素的运动矢量、结合第一数值与由输入图象的另一输入图象读取的另一原始象素的另一数值而确定的。读取可以是多向的或双向的。象素数值可从前一原始图象或后一原始图象读取。
本发明的进一步的目的是提供一种开头段落中所述的、提供相对来说无赝像的上变换图象的内插单元，实现本发明目的的内插单元包括：
投影单元，基于适于第二原始象素的第二运动矢量，投影选自输入图象的第一输入图象的或选自输入图象的另一输入图象的第二原始象素的第二数值；和
通过比较新象素数值与第二数值有条件地更新新象素数值的更新单元。
内插单元的修改或变化与所述方法和所述图象处理装置的修改或变化相一致。
本发明内插单元、上变换单元、方法以及图象处理装置的这些以及其他优点通过下文当中参考附图所述的实现方式和实施例将更为清楚明白。
附图的简要说明
图1A示意性地给出了投影正确象素第一数值、读取不正确象素第二数值的方法；
图1B示意性地给出了投影正确象素第一数值、读取正确象素第二数值的方法；
图1C示意性地给出了未投影正确象素数值而只读取正确象素数值的方法；
图2示意性地给出了从第一图象投影正确象素第一数值、从第二图象读取不正确象素第二数值以及投影正确象素的第三数值的方法；
图3A示意性地给出了当两个临时位置的运动矢量插都正确时图象的二维显示方法；
图3B和3C示意性地给出了当一个临时位置的运动矢量场正确另一临时位置的运动矢量场不正确时图象的二维显示方法；
图4A示意性地给出了根据自一个输入图象投影的内插单元的实施例；
图4B示意性地给出了根据自两个输入图象投影的内插单元的实施例；
图5示意性地给出了图象处理装置的实施例。
在所有附图中，相应的参考标记具有同样的或相似的意义。
【具体实施方式】
图1A示意性所示的方法中，投影适当象素110的第一数值，读取不适当象素114的第二数值。在图1A中，所给出的三幅图象100，102和104分别对应于三个临时位置t0，t1和t2。其中两幅图象100和104是原始图象，第三图象102是将根据两幅原始图象100和104进行内插的图象。图象100，102和104表示在静止背景108前面向上方向移动的前景目标106。为原始图象100确定一个运动矢量场。绘出了此运动矢量场的一个运动矢量116。该运动矢量与前景目标106在临时位置t0和t1之间的时间间隔内的运动相一致。为内插图象102确定另一个运动矢量场。绘出后一运动矢量场的一个运动矢量118。此运动矢量是不正确的，即与前景目标106的动动不一致。该运动矢量是零矢量，即对应于无运动状态。
目的是确定内插图象102的象素例如112的数值。采用本发明的方法能够实现上述目的。这就意味着读取原始图象104的象素114的数值。由于象素112对应于前景106，象素114对应于背景108，象素114的数值适用于象素112的可能性很小。于是对另一原始图象100的象素110的数值进行投影。由于象素112对应于前景106，象素110也对应于前景106，象素110的数值适用于象素112的可能性很大。下一步是比较象素114和象素110的数值：对象素114和象素110数值之间的差值进行计算并与一预定阈值相比较。因为绝对差值高于预定阈值，所以选择象素110的数值作为象素112的数值。应当注意的是：本实例中“读取”的象素114和“投影”的象素110不属于同一原始图象。然而，反之也是成立的。
在图1B示意性所示的方法中，投影适当象素110的第一数值，读取适当象素120的第二数值。图1B所示的实例与结合图1A所述的实例很相似。但在这种情况下，象素120的数值也是合适的。此数值是根据运动矢量122读取的。在读取了象素120的数值并投影出了象素110的数值之后，在此二数值之间进行比较。由于这些数值基本上互相相等，所以选择这两个数值当中的哪一个赋予象素112实际上都不会有问题。在此实例中，选择象素120的数值。但选择象素110的数值也是合适的。计算出这两个数值的平均值赋予象素112是第三个可选方案。
在图1C示意性给出的方法中，未投影适当象素的数值，只读取适当象素128的数值。在此情况下，目的是确定内插图象102的象素126的数值。象素126对应于背景108未包含在t0和t1之间的时间间隔内的部分。因此，在运动矢量场中没有对应于投影象素126的原始图象100的运动矢量。因此，将被赋予象素126的数值等于根据运动矢量124从原始图象104读取的象素128的数值。应当注意的是：由于两个象素126和128都对应于背景，所以象素128的数值是合适的可能性较高。在这种情况下，在“投影”的象素和“读取”的象素128的数值之间无比较步骤。
在图2示意性给出的方法中，由第一图象100投影适当象素110的第一值P1，由第二图象104读取不适当象素114的第二值F并投影适当象素202的第三数值P2。图2所示的实例与结合图1A所述的实例很相似。但在此情况下，还存在一个用于第二原始图象104的第二运动矢量场。运动矢量200是此第二运动矢量场的运动矢量之一。被赋予象素112的数值通过对三个数值P1，F，P2进行比较来确定。通过采用一个中值算子来完成。采用式1来计算赋予象素112的数值P0：
P0＝Median(P1，P2，F) (1)
中值算子可以被看作是外界抑制器(outlier rejector)。在3元素情况下，中值算子选择相互差值最小或无差值的两元素之一。此时象素110或象素202的数值被赋予象素112。
结合图1C所述的是内插图象102的每个象素都无投影数值的情况。为了能够利用公式1，可以使用虚数值。假设无有效的第一数值P1，则此数值被设定为一个预定的最小数值。结果是通过中值算子不选择该第一数值P1。第三数值P2也可以采用类似的方法。可以忽略第一数值P1和第三数值P2都无效的可能性。但是如果都无效的话，则使用读取的数值。
图3A示意性地给出了两个临时位置的运动矢量场都正确的情况下图象300，302和304的二维显示方法。事实上，结合图1A和图1C所述的情形可以借助另一种显示方法来给出。原始图象300是被捕获的在静止背景前运动的目标景象的一系列原始图象的一部分。图象300的部分306对应于目标。原始图象304也是系列原始图象的部分并且是原始图象300的后继图象。原始图象304的310部分对应于目标。目的是分别计算出在原始图象300和304临时位置之间的临时位置处的新图象302。可以通过采用本发明的方法来实现：
根据适于原始图象300的运动矢量场投影出原始图象300的第一象素。结果是中间象素矩阵320。象素矩阵320的大部分象素313具有对应于背景的数值。象素312部分具有对应于运动目标的数值。第三部分象素316部分由于没有有效的投影象素值而具有已设定的虚数值。
根据适于新图象302的运动矢量插读取原始图象304的象素。结果是中间象素矩阵324。象素矩阵324的大部分象素315具有对应于背景的数值。象素314的部分具有对应于运动目标的数值。
将两个象素矩阵320和324的相应象素相比较以将数值赋予内插图象302的象素。这可以由结合图1A所述的方法来完成。对应于部分316的象素例外。对于这些象素来说，采取结合图1C所述的方法，即采取“读取”象素的数值。
图3B和3C示意性地给出了一个临时位置的运动矢量场正确另一个临时位置的运动矢量场不正确的情况下图象300，302和304的二维显示方法。在图3B中，可以看到，根据适于图象302的运动矢量场通过读取象素数值所得到的中间象素矩阵是不正确的：部分330形状不规则。这是由于适于图象302的运动矢量场不正确而导致的。部分330太小。通过采用本发明的方法，可以得到一个正确的图象302。
在图3C中，可以再次看到：中间象素矩阵314不正确：部分332形状不规则。这是由于适于图象302的运动矢量场不正确而导致的。332部分太大。通过采用本发明的方法，可以得到一个正确的新图象302。
图4A示意性地给出了基于由一个输入图象投影和读取的内插单元400的实施例。在内插单元400的第一输入连接器408上，提供一系列连续图象。在内插单元400的第二输入连接器410上，提供一系列运动适量场。内插单元400的在其输出连接器处提供一系列输出图象。一些输出图象是直接复制输入图象。其他输出图象是在输入图象的基础上通过上变换计算得出的。通过上变换，在至少一个输入图象的象素数值的基础上，为连续输入图象之间临时位置上的新图象的新象素赋予一个数值。内插单元400包括：
基于适于新象素的第一运动矢量从输入图象的第一输入图象读取第一原始象素的第一数值的读取单元402；
基于适于第二原始象素的第二运动矢量投影选自输入图象第一输入图象或输入图象的另一输入图象的第二原始象素的第二数值的投影元单404；以及
通过比较第一数值和第二数值赋予新象素数值的选择单元406。
内插单元400的工作与结合图1A，1B和1C描述的方法对应。
图4B示意性地给出了基于两个输入图象进行投影的内插单元401的实施例。内插单元401包括：
基于适于被赋值新象素的第一运动矢量从输入图象的第一输入图象读取第一原始象素的第一数值的读取单元402；
基于适于第二原始象素的第二运动矢量投影输入图象的第一输入图象的第二原始象素的第二数值的第一投影单元404；
基于适于第三原始象素的第三运动矢量投影输入图象的第二输入图象的第三原始象素的第三数值的第二投影单元414；
通过将第一数值与第二和第三数值比较赋予新象素数值的选择单元406。
内插单元401所完成的工作与结合图2所述的方法相对应。
可选地，在结合附图所述的实例中，读取多个象素数值。也就是说，从第二输入图象的第二输入图象读取数值。按下文所述可以将这些多象素数值组合：O.Ojo和G.de Haan在IEEE Transactions onconsumer electronics(消费者电子IEEE学报)第43卷，1997年11月第4期第1045-1056页的论文“Robust motion-compensated videoupconversion(增强型运动补偿视频上变换)”。
可选地，本发明的内插单元400，401包括一个遮挡检测器。运动矢量的正确可能性由遮挡检测器确定。与可能不正确的运动矢量相关联的象素值可以被放弃。这样能够控制读取：从后续或前一图象读取。基于运动矢量场计算遮挡图的方法在名称为“图象信号中问题区域位置”并由WO0011863公开的专利申请中有所描述。其中描述了通过比较运动矢量场相邻运动矢量来确定遮挡图。如果相邻运动矢量基本相等即如果相邻运动矢量的绝对差值低于预定阈值，则认为运动矢量对应的象素组位于一个未覆盖区域。但如果一个运动矢量大于相邻的运动矢量，则认为象素组位于覆盖区域或未覆盖区域。相邻运动矢量的方向确定到底是两种区域类型的哪一种区域类型。
图5示意性给出了图象处理装置500的实施例，图象处理装置500包括：
用于接收表示经过一些处理后将被显示的图象的信号的接收装置502。该信号可以是经由天线或电缆接收到的广播信号，也可以是来自存储装置如VCR(盒式磁带录像机)或DVD(数字多能光盘)的信号。该信号提供给输入连接器512。
上变换单元504，上变换单元504包括：
*用于计算运动矢量场的运动估计单元508。此运动估计单元可以是G.de Haan等人在IEEE Transaction on circuits and systems forvideo techmology(视频技术电路和系统的IEEE学报)第3卷，1993年10月第5期第368-379页上的论文“True-Motion Estimation with 3-DRecursive Search Block Matching(带有3维回归检索块匹配的真运动估计)”中述及的运动估计单元。以及
*结合图4A和图4B所述的内插单元510；
用来显示上变换单元504的输出图象的显示装置506，此显示装置是可选的。
应当注意的是，上述实施例只用于说明而不限制本发明，本领域的普通技术人员在不脱离所附权利要求书限定的范围的情况下，能够设计出等效的实施例。在权利要求书中，置于括号内的参考标记对权利要求不起限定作用。述语“包括”不排除权利要求中未列出的元件或步骤。元件前的术语“一个”不排除可以有多个这样的元件。本发明可以通过包括几个不同元件的硬件和合适的编程计算机来实现。在列举了几个装置的产品权利要求中，这几个装置可以由一个或同样的几个硬件来具体实施。