像元匹配运动的测定 本发明涉及数字图像压缩的领域，具体地说，涉及一种产生运动矢量同时降低所需计算的复杂性和提高计算速度的方法。
简单地说，压缩算法都公认，不是数据的每一个帧的每一位都需要编码和传送。数据的各样品通常都彼此十分相似，从而使一个样品可用来预计另一个样品。这些相似性可进一步细分为空间关系和时间关系。空间相似性假设给定数据帧一部分中的信息与同帧中的其它信息相似。时间相似性假设依次相连的帧通常都相似。这就是说，一个帧基本上可用排在它跟前的帧表示。时间相似性用运动测定算法确定。
运动测定算法有好多种，这包括以像元为基础的方法，以像素为基础的递归算法，和以细节为基础的算法。以像元为基础的方法，通常叫做像元匹配算法，是包括H.261和MPEG(电影专家组)在内的图像压缩标准所采用的算法，是本发明集中要谈到的课题。
在像元匹配算法中，拟运动压缩的场或帧(以下总称为“图像”)与原先编过码而未经运动压缩过的图像相比较。比较是比较各图像之间在亮度值上的相互关系。未经运动压缩过地图像叫做I图像(或内图像)，只用例如离散余弦变换之类的空间技术进行压缩。在压缩过程中，有待编码、与I图像比较的第一图像叫做P图像(预测的)。P图像或I图像也可用作对B图像(双向预测可从现有的或以后的I图像或P图像进行)编码的基准。因此，为避免范围受到限制，在整个本说明书中采用“基准图像”和“经编码的图像”的术语。所有的图像(包括经编码和基准图像)都分成多个像素。宏像元被定义为具有16×16个像素的矩形像元，这是像元匹配压缩技术的基础。
在基准图像的相应搜索区对经编码图像的各宏像元搜索以产生最佳匹配的宏像元。确定最佳匹配的运动矢量，即在基准图像中经编码宏像元的原点和各点开始趋向经编码宏像元的运动矢量。搜索区基本上是基准图像的一个窗口，通常在空间上相当于经编码图像的宏像元。最佳匹配通常是这样确定：将各宏像元中相应各像素彼此相减，将结果平方起来，再将所有平方差值加起来。这是周知的均方误差，数学上可表示如下：MSE(i,j)=1N2Σm=1NΣn=1N(St(m,n)-St-1(m-i,n-j))2,-w≤(i,j)≤w]]>其中N×N为矩形像元的大小，W为搜索范围，St为有待在经编码图像中进行运动压缩的像元，St-1为基准图像，i和j分别表示基准图像中基准宏像元的水平和垂直偏移。这样比较是最准确的，因为所比较各像元的差值都平方起来，从而突出了较大的差值。
不难看出，这种比较需要在硅技术中以不小代价才能实现的倍增器，因而是个开销大的方法。此外，这种比较对搜索范围内各可能的宏像元位置都要比较。考虑到需要大量的计算，而且需要倍增器，这种比较在通常实际应用中不实用，但在计算机模拟中是有用的。
更实用的比较法的一个例子是中平均误差法(MAE)。这种比较和MSE类似，但不是将结果平方起来，而是取结果的绝对值。因此，中平均误差可用下式表示：MSE(i,j)=1N2Σm=1NΣn=1N|St(m,n)-St-1(m-i,n-j)|,-w≤(i,j)≤w]]>然而，即使这种比较也会出问题，因为选取的搜索区可能相当大，而且各计算需要许多电路。
现有技术的一个解决办法是应用分级法，每十个抽选一个基准图像，从而减少需分析的像素数。抽选过程通常是在水平和垂直方向取一定数目的像素，通常取4个，再用它们的平均值取代它们。这样就产生信息减少16倍因而更容易处理但处理的精确度下降的图像。所抽选的图像被搜索以确定一个较不精确的运动矢量，接着，根据不精确的运动矢量，集中于不精确的运动矢量周围但较小的搜索范围在整个图像上进行第二次细致的搜索。然而，即使在抽选搜索部分期间，这种方法仍然在每次重复计算MSE或MAE的过程中也需要进行大量计算。因此，这种分级法由于即使在经抽选的图像中也要对像素进行完全精确的分析，因而仍然需要大量的硬件，从而费用还是大的。
因此，需要有一种实施起来费用不太大、所需处理时间比现有技术的短的运动测定法。
本发明的目的是提供一种比现有技术的方法快、费用又不太大的确定运动矢量的方法。为达到此目的，本发明提供下面即将谈到的一种方法、一种计算机可读取的存储媒体和一种发信机。本发明的其它方面将在下面的实施例中说明。
本发明的一个方面是一种确定第一像元在第一图像中相当于第二像元在第二图像中的位置的方法。这种方法是将第一和第二图像划分成多个像素，各像素值的精确度为第一精确度，并确定第一图像中的第一搜索区。这种方法还降低第一和第二图像中各像素值的精确度，从而产生第二精确度的像素。这种方法还将第二像元中第二精确度的各像素与配置在第一搜索区内所有像元中第二精确度的各像素进行比较，从而产生最佳匹配的候选像素，并求出最佳匹配候选像素的平均值，从而产生第一像元。
这方面，和其它方面一样，提供了一种比现有技术更快、费用不太大的求出运动矢量的方法。这是通过比较精确度降低了的各像素达到的。
结合附图阅读下面的说明可以更清楚理解本发明的上述各方面。附图中，同样的编号表示同样的元件，其中：
图1是本发明使用的传输系统图，
图2是应用本发明以存储数据的存储媒体示意图；
图3是一系列I和P和B图像例子的示意图；
图4是将基准图像和经编码的图像并列从而说明如何在基准图像中搜索对应于经编码的图像中像元的一个像元的过程；
图5是如何用多个最佳匹配结果产生计算出来的最佳匹配；
图6是表示不同的精确度等级的数据如何产生集中在实际最佳匹配宏像元周围的外推轮廓线的示意图；
图7是简要说明本发明的流程图。
图1中，编码器50对经传输媒体52发送给收集机54的数据流进行编码和压缩。传输媒体52可以是例如同轴导线、空气(在地面传输的情况下)或其它任何适当的传输媒体。不然，如图2中所示，也可以用本发明用编码器56将数据只编码和压缩到记录媒体58上或通过MPEG解码器59直接送到显示器60。任何一般的MPEG解码器都可以用。
图3示出了有待编码的一般I-P和B图像系列，各I图像独立编码，与其它图像无关，就是说，对这些图像只进行空间“内图像”压缩。P图像在与I图像比较的基础上经过运动压缩。B图像在与I图像或P图像比较的基础上经过运动压缩。如图4中所示，这些经编码的图像各个都划分成多个宏像元，全都用16×16像素的方格表示。同样，比较用的基准图像也划分成多个宏像元。
在基准图像中，对经编码图像中有待编码的各宏像元64进行搜索，搜索与待编码的宏像元64最相当的像元。此搜索在搜索区62中进行，目标是最佳匹配的宏像元64B。搜索区62划分成多个重叠的宏像元。举例说，观察第一宏像元，然后系统运动一排像素，以产生有待观察的新宏像元的原点。这些宏像元以64mi表示，其中m表示匹配，i为宏像元的序号。这个搜索背后的想法是，既然基准图像已传来，我们就可以利用基准图像的数据，提取基准图像中与待编码的宏像元64最相当的最佳匹配宏像元64B，产生表示最佳匹配宏像元64B与待编码宏像元64之间平移位移的运动矢量66，然后在有待编码的宏像元64与最佳匹配宏像元64B之间传送任何亮度值差。
本发明的依据是，现有技术的方法其硬件数量之所以增加和速度之所以降低是因为在经编码图像与基准图像的比较中采用全部亮度值(通常以8位表示)的缘故。因此，本发明四舍五入所有亮度值以取较小的位值(例如4)，然后按本技术领域周知的方式进行搜索，只是确定了多个最佳匹配候选像素。进行MAE和MSE计算时，需要许多加法器。减少比较中涉及的位数提高了加法器的运算速度。这显然使搜索的精确度较差，但在数据压缩比容许较小的情况下(即专业级录像机显示)是可采用的。
测定精确度确实要求更高时，本发明还发现了一最佳匹配群。这和现有技术的那种只发现一个最佳匹配像元并将其存储起来的方法截然不同。精确度因上述亮度值的四舍五入而下降，于是最佳匹配像元群在像元匹配过程的第一步骤中储存起来。统计起来，此群或簇集中在匹配情况极佳的宏像元周围。
亮度值的四舍五入可按许多周知的方法进行。举例说，要将8位四舍五入到4位时，应舍入最低有效位。若亮度值用8位值5Xhex表示，若X等于0至7，则这个数应舍入为5Xhex’这量化起来可能为5级。同样，若X在8与15之间，则此数应舍入为60hex’或量化起来为6级。
参看图5，图5确定了10个最佳匹配的候选像素(显然10是任意数，候选像素或多或少可用)。在多个最佳匹配候选像素周围形成簇界线限定框74，所述最佳匹配候选像素彼此按预定间距靠近从而产生在界线范围外的舍弃的匹配结果68，且包括许多在界线范围内启用的匹配结果66。簇界线限定框74可用多种方法形成。例如，可以确定大多数最佳匹配候选像素形成的中心，然后选取与该中心的间距作为限定框的一边。取所有启用的匹配结果的平均值以产生计算出来的最佳匹配70。可知，此计算出来的最佳匹配70虽然是从精确度较差的数据产生的却是接近实际的最佳匹配72。
参看图6可以说明这个虽然采用精确度较差的数据却能产生接近实际最佳匹配72计算出来的最佳匹配70的现象。图6中示出了一些表示表明5个不同亮度值的启用最佳匹配结果的连接起来的外推的轮廓线。从图中可以看到，若用8位表示亮度值，则最佳匹配结果统计上接近实际最佳匹配72，且位于面积小于7或更少的位数的轮廓线内。这是因为所有这些启用的最佳匹配结果靠近实际最佳匹配72的缘故。然而，无论采用的位数有多少，若求出结果的平均值，则得出的值会靠近实际最佳匹配72。这种现象可模拟成飞镖游戏。游戏中技巧高超的玩家就像8位的那一种，会产生全接近实际最佳匹配72的结果。同样，那些不熟练的玩家就象4位的那一种，会产生通常远离实际最佳匹配72的结果。但显然，无论选用怎样的技巧(或数据表示方式)，那都是原先的实际目标(或实际最佳匹配)。
回过头参看图5。计算出来的最佳匹配一旦确定下来，就可以对全8位亮度数据进行第二次搜索，但在集中在比计算出的最佳匹配70的周围小得多的搜索区内进行。例如，可确定2-4个像素为一边围绕计算出的最佳匹配70的方框，这时搜索区可能包括原点对应于方框中各像素的宏像元。前面说过，对那些质量要求不高的场合就无须进行此第二次搜索。
本发明可参看图7加以总结。在步骤S2，待编码的图像和基准图像都划分成多个像素。在步骤S4，在基准图像中确定第一次搜索区。在步骤S6，通过舍入降低像素的精确度。在骤S8，将精确度降低了的像素相比较，产生最佳匹配候选像素。为提高精确度，可以在步骤S10中排除那些不靠近其余最佳匹配候选像素群的最佳匹配候选像素。在步骤S12，求出剩下的最佳匹配候选像素的平均值，产生计算出来的最佳匹配。第二次搜索可以在步骤S14在计算出来的最佳匹配周围进行，第二次比较则在步骤S16对全精确度的像素进行。
这样，通过对精确度较差的数据进行第一次搜索，减少了进行运动矢量计算所需要的硬件，且缩短寻找运动矢量所需要的时间。位算术运算的减少加快了硬件的执行过程。仅此方法就足以应付较小压缩比可接受的情况。然而，通过存储多个启用的最佳匹配结果再根据第一最佳匹配结果的平均值进行第二次搜索，精确度因分析精确度下降的数据而引起的损失又得到了补偿。
上面已就一些最佳实施例进行了说明。应该清楚的是，在不脱离本发明在所附的权利要求书中更清楚说明的范围和精神实质的前提下是可以进行种种修改的。权利要求书中任何括在括弧里的编号和符号不应视为对权利要求的限制。“包括”一词并不排除那些权利要求中所列以外的其它元件或步骤的存在。元件前面的不定冠词“a”或“an”并不排除多个这类元件的存在。本发明可借助于一些不同元件组成的硬件和适当编程的计算机付诸实施。在列举一些装置的设备权项中，这些装置有好几个都可采用硬件的同一构件。
本发明的最佳实施例可总结如下。比较图像中准备用基准图像中的像元压缩的像元时，像元匹配运动测定算法采用精确度下降的数据。这样就产生了多个最佳匹配的候选像素66。求出不包括预定簇界线限定框74以外那些候选像素68在内的最佳匹配候选像素66的平均值70，然后进行第二次搜索，集中于此平均值70上。这样，既减少了像元匹配算法的硬件数，又提高了其运算速度。