活动图像编码装置和活动图像解码装置 【技术领域】
本发明是关于数字图像处理技术领域，特别是关于对图像数据进行高效编码的活动图像编码装置(Moving image encodingapparatus)以及对活动图像编码装置所产生的编码数据进行解码的活动图像解码装置(Moving image decoding apparatus)。
背景技术
在图像编码方面，已研究了对不同的活动图像序列进行合成的方法。
在文献“使用分层表现和多重模板进行图像编码”(ShingakuGiho IE94-159,99-106页(1995))中描述了一种方法，利用这种方法把作为背景的活动图像序列与作为前景的部分活动图像(例如由色度键控(Chroma key)技术截取下来的人的图像、鱼的图画之类)活动图像序列叠加起来以准备出一个新的序列。
再有，在文献“基于图像内容的瞬时可分级性”(ISO/IEC/JTC1/SC29/WG11 MPEG95/211(1995))中描述了一种方法，利用这种方法，具有高帧速率的部分活动图像的活动图像序列被叠加到具有低帧速率的活动图像序列上，以准备出一个新的序列。
利用这种方法，如图15所示，在较低层以低帧速率完成预测编码，而只对较上层中的选定区域(图中虚线画出的部分)以高帧速率完成预测编码。在这种情况下，解码到较上层的一帧图像是通过把被较下层解码的一帧图像与被较上层解码的一个区域叠加得到的。再有，被较下层编码的一帧不被编码到较上层中，而较下层的解码图像直接被拷贝。此外，假定能吸引观众注意地部分(例如个人活动部分)被选出作为选定区域。
图11显示传统技术的方框图。在传统技术中的编码一侧，输入活动图像层在各帧之间被第一淡化(thinning out)部分1101和第二淡化部分1102淡化，并使帧速率等于或小于输入图像的帧速率，然后输入到较上层编码部分和较下层编码部分。这里假定较上层中的帧速率高于较下层的帧速率。
在较下层编码部分1104，整个输入活动图像被编码。作为编码方法，采用活动图像编码国际标准方法，例如MPEG或H.261。在较低层编码部分1104中，准备了较低层的被解码图像，并输入到要被用于预测编码的叠加部分1105。
在较上层编码部分1103，只有输入活动图像的选定部分被编码。这里再次使用活动图像国际标准方法，例如MPEG和H.261，但只根据区域信息将选定的区域编码。然而，在较低层被编码的帧在较上层中不被编码。区域信息是表明选定区域(例如个人活动部分的选定区域)的信息，而且是二值化的图像，它在选定区域内的部分处取值1，在不属于选定区域的部分处取值0。也是在较上层编码部分1103中，只有活动图像的选定区域被解码，并输入到叠加部分1105。
在区域信息编码部分1106中，利用链代码或类似代码对区域信息进行编码。
当在要被叠加的帧中较低层帧已被编码时，叠加部分1105输出较低层的被解码图像。当在要被叠加的帧中较低层帧尚未被编码时，叠加部分1105使用要被叠加帧之前和之后的两个较低层解码图像以及一个较上层解码图像来输出一个活动图像。较下层的两个图像帧是在较上层帧之前和之后的帧。这里准备好的活动图像被输入到较下层编码部分1103和用于预测编码。在叠加部分1105中的图像形成方法如下文所述。
首先，准备好较下层的两上内插图像。如果假定在时刻“t”较下层的被解码图像是B(x,y,t)(假定x和y是代表空间中一个象素位置的坐标)，还假定较低层两帧的时刻分别为t1和t2，而较上层的时刻为t3(假定t1＜t3＜t2)，则在时刻t3的内插图像(x,y,t3)能由如下表达式(1)计算出来：
I(x,y,t3)=[(t2-t3)B(x,y,t1)+(t3-t1)B(x,y,t2)]/(t2-t1)……(1)
然后，较上层解码图像E被叠加到由上式(1)确定的内插图像I上。为此目的，根据区域信息M(x,y,t)准备了内插用的权重信息W(x,y,t)，用下式(2)得到叠加的图像S：
S(x,y,t)=[1-W(x,y,t)]I(x,y,t)+E(x,y,t)W(x,y,t)……(2)
这里，区域信息M(x,y,t)是一个二元化图像，在选定区域内它取值1，在选定区域外它取值0，通过对这个图像使用多次低通滤波器，便能得到权重信息W(x,y,t)。就是说，权重信息W(x,y,t)在选定区域内取值1，在选定区域外取值0，而地选定区域边界上取值0到1。以上的描述是对叠加部分1105中的图像形成方法进行的描述。在较低层编码部分、较上层编码部分、以及区域信息编码部分中编码的编码数据在编码数据集成部分(未画出)中被积成，再被传送或累积起来。
然后，在传统技术中的解码一侧，编码数据被编码数据分解部分(未画出)分解成较低层编码数据、较上层编码数据以及区域信息编码数据。如图11所示，这些编码数据被较低层解码部分1108、较上层解码部分1107以及区域信息解码部分1109解码。
在解码一侧的叠加部分1110包含的装置与编码一侧的叠加部分1105包含的装置相同，使用较低层解码图像和较上层解码图像叠加成一个图像所使用的方法也与关于编码一侧的描述中所描述的方法相同。这里被叠加的活动图像在显示器上显示，而且还输入到较上层解码部分1107，还被用于预测较上层。虽然这里已描述了对较低层和较上层二者解码的解码装置，但如果解码装置仅有较低层解码部分，则较上层解码部分1107和叠加部分1110便不需要了，因此能以小量硬件再生编码数据的一部分。
在此时，由于较低层和较上层的帧速率不同，所以必须由时间上在较下层帧之前和之后的较下层帧来合成与较上层相对应的较下层。然而，当输出图像是由两个较低层解码图像和一个较上层解码图像得到一个输出图像时，该输出图像是由两个较低层帧内插来合成的，所以当选定区域的位置随时间改变时，在选定区域的周围便引起大的畸变，造成图像质量的大下降。
这个问题可采用例如文献“基于图像内容的瞬时可分级性算法”(ISO/IEC/JTC1/SC29/WG11 MPEG96/0277(1996))中描述的方法来解决。图14说明了在上述文献中展示的解决这一问题的方法。在图14a中，图像A和C是较低层的两个编码图像，图像B是较上层的一个编码图像，显示的时间顺序是按A、B和C的顺序。选定的区域由斜线表示。
再有，由于在较上层中只有选定区域被编码，故选定区域的外部由虚线表示。由于选定的区域沿图中箭头的方向运动，故由图像A和图像C得到的内插图像变成这样一个图像，其中的两个选定区域相重叠，如图14b中的画网格部分所示。再有，当使用表达式(2)叠加图像B时，其输出图像变成这样一个图像，其中三个选定区域相重叠，如图14c中所示。
特别是在较上层选定区域的周围(外部)，较下层的选定区域看起来象是大范围降低图像质量的后图像(after image)。至于说整个活动图像，当只显示较下层时，前述质量下降并不出现，而当较上层和较下层的叠加图像被显示时，前述质量下降出现了，因此，如同闪烁般的畸变出现了，造成了图像质量的大下降。然而，由于图14c中左侧的画网格部分能从图像C中得到，而图14c中右侧的画网格部分能从图像A中得到，因此，利用如前述合成的较低层便能化解上述畸变。
图12显示上述文献中所示传统图像叠加装置的方框图。图12中的第一区域提取部分1201从较低层的第一区域信息和较下层的第二区域信息中提取出一个区域，这个区域是第一区域而不是第二区域。在图13a中，如果假定用点线表示第一区域信息(假定点线内部有值0而点线外部有值1)，而第二区域信息类似地用短划线表示，则由第一区域提取部分1201提取出来的区域变为图13a中的画斜线部分。
图12中的第二区域提取部分1202从较低层的第一区域信息和较低层的第二区域信息中提取出一个区域，它是第二区域而不是第一区域。在图13a中的情况中，画网格的部分被提取出来。
图12中的控制器1203是以第一区域提取部分1201和第二区域提取部分1202的输出控制开关1204的部分。就是说，当目标象素的位置只在第一区域中时，开关1204连于第二解码图像一侧，当目标象素位置只在第二区域中时，开关1204连于第一解码图像一侧，而当目标象素的位置处于其他区域时，开关1204连于来自内插图像形成部分1205。
图12中的内插图像形成部分1205根据表达式(1)计算较低层第一解码图像和较低层第二解码图像的内插图像。假定在式(1)中B(x,y,t1)为第一解码图像，B(x,y,t2)为第二解码图像，I(X,y,t3)是内插图像，这里t1、t2和t3分别为第一解码图像、第二解码图像以及内插图像的时刻。
所以，例如在图13a的情况中，如上述那样形成了一个图像，因为在画斜线部分使用了第二解码图像，所以在选定区域外部出现了背景象素，而在画网格部分，由于使用了第一解码图像，所以在选定区域外部出现了背景象素，而在其他部分，出现了第一解码图像和第二解码图像的内插图像。
图12中的加权平均部分1206，将较上层的解码图像叠加到这样形成的图像上，因此被叠加而成的图像在选定区域(画网格部分)内没有后图像(如图13b所示)，从而能得到几乎没有畸变的图像。图12中的加权平均部分1206通过加权平均把上述合成图像与较上层解码图像叠加起来。
然而，利用传统装置，则存在如下所述问题。
第一，当由于部分区域的运动造成的形状变化程度小时，不能期望以传统技术对图像质量有大的改善，而且由于需要对较上层部分形状之前和之后的两个形状信息进行编码，所以能被用于上下文信息编码的代码量相对减少了，因而存在图像质量下降的问题(第一个问题)。
第二，当部分区域在一个方向上运动时传统技术有效，但当部分图像做往复运动时，原则上便不能得到部分的背景信息，因此存在这样的问题，即图像质量未得到改善(第二个问题)。
图8和图10用于解释这一问题。例如，从图10中的图像A和图像C不能够得到在图10的图像A和图像C中部分图像重叠区域(图8中的画斜线区域)的背景图像。
再有，使用传统技术时需要相对于较上层图像在时间上之前和之后的较下层帧，但可能有这样的情况，即在图像序列的开始或结尾，或在场景变化之前和之后，一个较下层帧并不存在。所以，存在这样的问题，即在部分图像的周围图像质量未被改善(第三个问题)。
再有，传统技术需要对每四个区域有选择地改变内插处理，从而存在这样的问题，即处理过程变得复杂了(第四个问题)。
本发明的一个目的是解决这些问题，并提供一种活动图像编码装置和活动图像解码装置，它们不降低解码图像的质量，而同时又在不降低解码图像质量的情况下减少编码后的数据量。
本发明披露的主要内容
考虑到上述情况，本发明的一个目的是提供一种活动图像编码装置和活动图像解码装置，它们能在编码后减少数据量而又不降低解码图像的质量。
考虑到要解决前述问题，本发明的要点如下。
本发明的第一要点是一种活动图像编码装置，它把一个活动图像序列分离成具有低帧速率的较低层和具有高帧速率的较上层，它在没有与较上层对应的低帧的情况下对部分区域的形状进行编码用于合成较低层帧，并通过预测对较上层编码，这里
当作为背景出现的较低层的部分区域大于预定阈值时，该活动图像编码装置对部分区域的形状进行编码，并合成一个通过对较低层取加权平均而得到的帧和较低层的一帧，以产生图像信息；而当作为背景出现的较低层的部分区域小于预定阈值时，该活动图像编码装置不对部分区域的形状进行编码，而由较低层的加权平均产生图像信息。
本发明的第二要点是一种活动图像解码装置，它在没有与具有高帧速度的较上层相对应的较低层帧的情况下合成具有低帧速率的较低层，通过预测对较上层解码，并把预测解码的较上层叠加到较低层上以把它们解码为一个活动图像序列，这里，
当部分区域的形状已被编码时，活动图像解码装置对部分区域的形状解码，并合成一个通过较低层取加权平均得到的帧和较低层的一帧，以产生图像信息；而当部分区域的形状未曾被编码时，活动图像解码装置通过对较低层加权平均来产生图像信息。
本发明的第三要点是一种活动图像编码装置，它把一个活动图像序列分离成具有低帧速率的较低层和具有高帧速率的较上层，它对部分区域的形状进行编码，以在没有与较上层对应的较低层帧的情况下合成较低层帧，并通过预测对较上层帧编码，这里
活动图像编码装置使用作为背景出现的该区域围边区中的象素值内插较低层重叠区域内的象素值，以产生图像信息。
本发明的第四要点是一种活动图像解码装置，它在没有与具有高帧速率的较上层相对应的较低层帧的情况下合成具有低帧速率的较低层，通过预测对较上层解码，并把预测解码的较上层叠加到较低层上，以把它们解码为一个活动图像序列，这里
活动图像解码装置使用作为背景出现的该区域外围区中的象素值内插较低层重叠区域内和象素值，以产生图像信息。
本发明的第五要点是一种根据第一要点的活动图像编码装置，这里部分区域内的象素值被使用较低层的部分区域周边区中的象素值内插，图像信息是通过使用被内插的较低层帧产生的。
本发明的第六要点是一种根据第二要点的活动图像解码装置，这里部分区域内的象素值被使用，较低层的部分区域周边区中的象素值内插，图像信息是通过使用被内插的较低层帧产生的。
本发明的第七要点是一种根据第一要点的活动图像编码装置，这里，在为合成较低层所需较低层帧的数目不满足要求的情况下，
通过使用对较低层部分区域内插得到的帧来产生图像信息。
本发明的第八要点是一种根据第二要点的活动图像解码装置，这里，在为合成较低层所需较低层帧的数目不满足要求的情况下，
通过使用对较低层部分区域内插得到的帧来产生图像信息。
本发明的第九要点是一种根据第一要点的活动图像编码装置，这里，在两个相邻较低层帧之间有多个较上层帧的情况下，
当作为这多个较上层帧中任何一个的背景而出现的较低层帧的部分区域大于预定阈值时，针对这多个较上层帧，将用于合成较低层帧的部分区域的形状予以编码。
本发明的第十要点是一种根据第三要点的活动图像编码装置，这里，在两个相邻较低层帧之间有多个较上层帧的情况下，
当作为这多个较上层帧中任何一个的背景而出现的较低层帧的部分区域大于预定阈值时，针对这多个较上层帧，将用于合成较低层帧的部分区域的形状予以编码。
本发明的第十一要点是一种根据第五要点的活动图像编码装置，这里，在两个相邻较低层帧之间有多个较上层帧的情况下，
当作为这多个较上层帧中任何一个的背景而出现的较低层帧的部分区域大于预定阈值时，针对这多个较上层帧，将用于合成较低层帧的部分区域的形状进行编码。
本发明的第十二要点是一种根据第七要点的活动图像编码装置，这里，在两个相邻较低层帧之间有多个较上层帧的情况下，
当作为这多个较上层帧中任何一个的背景而出现的较低层帧的部分区域大于预定阈值时，针对这多个较上层帧，将用于合成较低层帧的部分区域的形状进行编码。
本发明的第十三要点是一种根据第二要点的活动图像解码装置，这里，在两个相邻较低层帧之间有多个较上层帧的情况下，
当用于合成较低层帧的部分区域的形状是针对多个较上层帧的任何一个被编码时，则针对这多个较上层帧的全部帧，将对较低层取加权平均得到的一帧和较低层的一帧合成，以产生图像信息。
本发明的第十四要点是一种根据第四要点的活动图像解码装置，这里，在两个相邻较低层帧之间有多个较上层帧的情况下，
当用于合成较低层帧的部分区域的形状是针对多个较上层帧的任何一个被编码时，则针对这多个较上层帧的全部帧，将对较低层取加权平均得到的一帧和较低层的一帧合成，以产生图像信息。
本发明的第十五要点是一种根据第六要点的活动图像解码装置，这里，在两个相邻较低层帧之间有多个较上层帧的情况下，
当用于合成较低层帧的部分区域的形状是针对多个较上层帧的任何一个被编码时，则针对这多个较上层帧的全部帧，将对较低层取加权平均得到的一帧和较低层的一帧合成，以产生图像信息。
本发明的第十六要点是一种根据第八要点的活动图像解码装置，这里，在两个相邻较低层帧之间有多个较上层帧的情况下，
当用于合成较低层帧的部分区域的形状是针对多个较上层帧的任何一个被编码时，则针对这多个较上层帧的全部帧，将对较低层取加权平均得到的一帧和较低层的一帧合成，以产生图像信息。
本发明的第十七要点是根据第一要点的活动图像编码装置，这里，
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
本发明的第十八要点是根据第三要点的活动图像编码装置，这里，
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
本发明的第十九要点是根据第五要点的活动图像编码装置，这里，
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
本发明的第二十要点是根据第七要点的活动图像编码装置，这里，
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
本发明的第二十一要点是根据第九要点的活动图像编码装置，这里，
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
本发明的第二十二要点是根据第十要点的活动图像编码装置，这里，
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
本发明的第二十三要点是根据第十一要点的活动图像编码装置，这里，
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
本发明的第二十四要点是根据第十二要点的活动图像编码装置，这里，
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
本发明的第二十五要点是根据第二要点的活动图像解码装置，这里，当较低层帧被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值。
本发明的第二十六要点是根据第六要点的活动图像解码装置，这里，当较低层帧被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值。
本发明的第二十七要点是根据第二要点的活动图像解码装置，这里当较低层帧被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时针对较低层一个部分区域外部的象素值使用较低层一帧的象素值实现内插，而针对较低层一个部分图像内部的象素值使用该部分区域周边区中的象素值实现内插。
本发明的第二十八要点是根据第四要点的活动图像解码装置，这里当较低层帧被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时，针对较低层一个部分区域外部的象素值使用较低层一帧的象素值实现内插，而针对较低层一个部分图像内部的象素值使用该部分区域周边区中的象素值实现内插。
本发明的第二十九要点是根据第六要点的活动图像解码装置，这里当较低层帧被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时，针对较低层一个部分区域外部的象素值使用较低层一帧的象素值实现内插，而针对较低层一个部分图像内部的象素值使用该部分区域周边区中的象素值实现内插。
本发明的第三十要点是根据第二十五要点的活动图像解码装置，这里当较低层帧被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时，针对较低层一个部分区域外部的象素值使用较低层一帧的象素值实现内插，而针对较低层一个部分图像内部的象素值使用该部分区域周边区中的象素值实现内插。
本发明的第三十一要点是根据第二十六要点的活动图像解码装置，这里当较低层帧被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时，针对较低层的一个部分区域外部的象素值使用较低层一帧的象素值实现内插，而针对较低层一个部分图像内部的象素值使用该部分区域周边区中的象素值实现内插。
附图简述
图1是一个方框图，显示了根据本发明第一实施例的活动图像编码装置和活动图像解码装置中提供的图像叠加部分的结构。
图2是一个方框图，显示了根据本发明第二实施例的活动图像编码装置和活动图像解码装置中提供的图像叠加部分的结构。
图3是一个方框图，显示了根据本发明第三实施例的活动图像编码装置和活动图像解码装置中提供的图像叠加部分的结构。
图4是一个方框图，显示了根据本发明第四实施例的活动图像编码装置和活动图像解码装置中提供的图像叠加部分的结构。
图5是一个方框图，显示了根据本发明第一实施例的活动图像编码装置和活动图像解码装置中提供的改变区域信息部分的结构。
图6是一个方框图，显示了根据本发明第一实施例的装置的图像叠加部分中提供的背景内插判断部分的结构。
图7是一个方框图，显示了根据本发明第六实施例的装置中提供的图像叠加部分的结构。
图8以图说明传统装置的问题。
图9以图说明根据本发明技术的第五实施例的装置的操作。
图10以图说明传统装置的问题。
图11是一个方框图，显示了活动图像编码装置和活动图像解码装置的结构。
图12是一个方框图，显示了在一个传统装置中提供的图像叠加部分的结构。
图13a和13b以图说明在传统装置中提供的图像叠加部分的操作。
图14a至14c以图说明在传统装置中提供的图像叠加部分的问题。
图15以图说明在活动图像编码装置和活动图像解码装置中的帧合成概念。
图16以图说明在根据第一实施例的装置的图像叠加部分中提供的内插图像形成部分的操作。
图17是一个方框图，显示了根据本发明实施例的装置中提供的改变区域信息部分的结构。
图18是一个方框图，显示了根据本发明实施例的装置中提供的图像叠加部分的另一种结构。
实现本发明的最佳方式
现在将参考附图详细描述本发明的实施例。
本发明的活动图像编码装置和活动图像解码装置的特征在于与图11中所示传统装置的图像叠加部分1105和1110相对应的一个部分，这里当一较低层帧被合成时，而且当一较低层帧和一较上层帧被叠加到所合成的较低层帧上时，图像中在较上层选定区域周边区中产生的看似“后图像(afterimage)”的畸变被看得见地压低了。
现在将描述本发明第一实施例。
根据本实施例的活动图像编码装置和活动图像解码装置是为解决前文描述的第一个问题，在图11所示传统装置的结构中，提供了图1所示图像叠加部分，以代替叠加部分1105和1110。
当对应于一个活动图像序列的较上层的一帧在较下层中不存在时，该图像叠加部分内插出一个较低层帧，并且把内插得到的这一帧作为背景叠加到较上层帧的部分区域上，以得到一个内插的图像(图像信息)。该内插图像被用于较上层的预测编码/预测解码。现在将以这个图像叠加部分为基础描述根据本实施例的装置。
参考图1，第一区域提取部分101从较低层的第一区域信息和较低层的第二区域信息中提取出一个区域，该区域是第一区域而不是第二区域。具体地说，在图13a中，当第一区域信息用点线表示(假定在点线内部有值0，而在点线外部有值1)，而第二区域信息类似地用断线表示时，由第一区域提取部分101提取出的区域是图13a中的画斜线部分。
图1中的第二区域提取部分102从较低层的第一区域信息和较低层的第二区域信息中提取出一个区域，该区域是第二区域而不是第一区域。在图13a的情况中，画网格线的部分被提取出来。
图1中的控制器103是以第一区域提取部分101和第二区域提取部分102的输出去控制一个开关104的部分。就是说，当目标象素的位置只在第一区域中时，开关104被连于第二解码图像一侧，当目标象素位置只在第二区域中时，开关104被连于第一解码图像一侧，而当目标象素的位置在其他区域时，开关104被连于内插图像形成部分105的输出端。
图1中的内插图像形成部分105根据前文中的“先有技术”部分中所描述的表达式(1)，计算出较低层第一解码图像和较低层第二解码图像的内插图像。这里，在表达式(1)中，B(x,y,t1)是第一解码图像，B(x,y,t2)是第二解码图像，I(x,y,t3)是解码图像，这里t1、t2和t3分别为第一解码图像、第二解码图像以及内插图像的时刻。
图1中的加权平均部分106叠加根据前述表达式(2)准备的内插图像和较上层的解码图像。
背景内插判断部分107以三个区域信息(即较低层第一区域信息、较低层第二区域信息以及较上层区域信息)为基础，根据图14c中网格表示的较上层不能复盖较低层的前述两个区域(即作为背景出现的较低层的部分区域)的那个区域的大小，判断是否要完成压低畸变(例如前述的后图像)的合成处理。
当前述区域大于一预定阈值时，开关108连于左侧(开关104的输出端一侧)，以完成合成处理及其后的背景内插，这就是说，由对较低层取加权平均得到的一帧和该较低层的一帧受到合成处理及其后的背景内插，以产生用于对较上层进行预测编码/解码的图像信息。
另一方面，当前述区域小于一预定阈值时，开关108连于右侧(内插图像形成部分105的输出端一侧)，并且把内插图像形成部分105的输出用作为要与较上层合成的较低层。这就是说，内插图像形成部分105经由开关108向加权平均部分106提供对较低层取加权平均得到的图像。
然后，加权平均部分106把这一图像作为背景叠加到较上层上，以产生用于对较上层进行预测编码/解码的图像信息。在这种情况里，(当前述区域在预定阈值以下时)，由于本实施例的装置对较低层的第一区域信息和第二区域信息二者都没有使用，所以这些信息未被编码。因此，区域信息的代码量能被减少。
图6的方框图显示了图1中背景内插判断部分107的结构。在这个实施例中，根据图14c中画网格部分的大小来判断是否要完成前述合成处理。象实现这一点的其他方法那样，例如，可以采取使用区域大小的方法。图14a中的区域判断部分601是用于计算区域大小的部分，当假定图14a中的屏面A的部分区域为(背景区域)为Fr(A)，屏面C的部分区域为Fr(C)，屏面B的背景区域为Br(B)，则该区域可表示为：
{Fr(A)∪Fr(C)}∩Br(B) …………………(3)这里，在该表达式中的“∪”表示集的并，而“∩”表示集的交。
再有，该区域的大小可以用表达式(3)所表示的区域中的象素数目来表示。另一种作法是，可以用整个图像的象素数目对该区域中象素数目进行归一化来得到该区域的大小。再有，除了该区域的面积外，还可以考虑该区域的周边长度、该区域正方形边界区内的面积等，但如同前述的区域面积计算中那样，这些值需要被整个屏面的象素数及大小归一化。
如图14所示，Fr(A)∪Fr(C)的区域(假定为Fr(D)全部被包括在Fr(C)中，这个区域能由使用表达式(3)来确定，但一般地该区域表示为
{{Fr(A)∪Fr(C)}∩Br(D)}∩Br(B) ………(4)这里Br(D)表示屏面的背景区域，其中Fr(D)被指定为部分区域。
图6的比较判断部分602将面积测量部分得到的面积与事先确定的阈值(预定阈值)进行比较，而且如果该区域面积大于该阈值，则如图1中所示开关108连于开关104一侧，以完成合成处理。如果该区域面积大于该阈值，则开关108连于图1中所示内插图像形成部分105，而不完成合成处理，根据表达式(1)计算出的内插图像被提供给加权平均部分106。
到此为止，一直假定图1中的内插图像形成部分使用表示式(1)来准备内插图像，但代替准备内插图像，可以直接把较低层之前和之后的帧之一直接指定为内插图像形成部分105的输出。例如，如果假定两个较低层帧的时刻分别为t1和t2，而较上层的时刻为t3(假定t1＜t3＜t2)。如果采用接近于当前较上层帧时刻的较低层帧的象素，则内插象素I(x,y,t3)由下列表达式(5a)或(5b)计算。在t3-t1＜t2-t3的情况下，
I(x,y,t3)=B(x,y,t1) ……………(5a)在t3-t1＞t2-t3的情况下，
I(x,y,t3)=B(x,y,t2) ……………(5b)在这种情况下，图14c中画网格部分所示畸变区域(即被背景内插所内插的区域)变为图16中的画网格部分。所以，图16的画网格部分被用作为图1中背景内插判断部分107进行判断时所用的区域。如果使用表达式(3)中同样的符号，该区域(图16中的画网格部分)可由如下的表达式(6)表示：
{Fr(a)∩Br(D)}∩Br(B) ………(6)
当背景部分随时间变化时，利用上述方法不能合成好较低层。在这种情况下，在所引用的图14中，针对Br(A)区域，图像C的象素值被复制，而针对Fr(A)区域，Fr(A)周边区中的象素值被用于内插该象素值，这样，背景能被简单地合成出来。
用图18所示的结构替代图1中两点链线所包围的结构，便能够得到实现这种方法的图像叠加部分的结构。这里，假定没有输入较上层的区域信息。
这里，图18中所示选择部分1801选择两个较低层帧中更接近于当前较上层帧的那一帧。由选择部分1801选择的区域信息被输入到控制器1802和内插部分1804，而解码图像(象素信息)被输入到开关1803。控制器1802控制开关1803，如果要被合成的较低层的图像的象素在区域(例如Fr(A))内部，则向内插部分1 804提供哑数据，如果要被合成的较低层的图像的象素在区域(例如Br(A))之外，则向内插部分1804提供解码图像的象素值。
内插部分1804通过由区域周边中的象素值进行内插来确定区域内部的象素值。由于内插处理是通过使用背景信息(象素值)来完成的，所以被内插区域(区域内部)的象素值更接近于背景图像的象素值，从而图像质量的看得见的降低得到了减轻。可以提到一种填充法(padding method)作为一种特定的内插方法(见文献“MPEG4视频验证模型2.0版”(ISO/IEC JTC1/SC29 n1260,1996)中所示)。除此之外，可以使用一种内插方法，它使用背景区域象素值的均值或使用事先确定的某值，或者可以使用一种内插图像形成方法，它利用分形(fractal)再生出背景区域的织构(texture)信息。
现在将描述本发明的第二实施例。本实施例是为解决前述第二个问题，图2是在本发明中提供的图像叠加部分的结构方框图。图2中所示的第一区域提取部分101、第二区域提取部分102、控制器103、开关104、内插图像形成部分105、以及加权平均部分106都与图1中所示相同，所以将略去对它们的详细描述。
图2中的第三区域提取部分207提取出较低层的第一区域和第二区域相交的区域(即在较低层中作为背景出现的部分区域的重叠区域)。在图13a的例子中，被点线和断线包围的空白区域对应于这一区域。
图2中的的象素值内插部分208对由第三区域提取部分207提取出的区域进行内插。这就是说，象素值内插部分208基于由控制器103和开关104准备的合成象素周边区相邻信息(即在较低层中作为背景出现的部分区域的重叠区周边中的象素值)，内插出前述区域(重叠区域)中的象素值。于是产生出对较上层进行预测编码/解码所用的图像信息。这种内插处理类似于前述图18中所示内插部分1804所作的内插处理。
现在将描述本发明的第三实施例。本实施例的装置是要解决前面描述的第一和第二问题，它是把第一实施例中描述的可适用的背景内插判断装置结合到第二实施例中而构成的。
图3的方框图显示了第三实施例中提供的图像叠加部分的结构。第一区域提取部分101、第二区域提取部分102、控制器103、开关104、内插图像形成部分105、背景内插判断部分108、加权平均部分106以及开关110的操作与图1中所示相似，而第三区域提取部分207和象素值内插部分208的操作与图2中所示相似，所以这里将略去对它们的描述。
如前所述，这一实施例的装置有第一实施例和第二实施例的结构，因此它不仅能在有小运动的情况下避免对形状信息的无用的编码并且内插的效应不能被看见，而且能减轻由于在较上层中部分区域的往复运动(向后返回)造成的图像质量的降低。
现在将描述本发明的第四实施例。这一实施例是为解决前述第一、第二和第四个问题，图4的方框图显示了这一实施例的装置中提供的图像叠加部分的结构。
这里，图4中的第一象素值内插部分401象图2的象素值内插部分208那样对较低层的第一解码图像中的第一区域部分进行内插。类似地，图4中的第二象素值内插部分402对较低层第二解码图像中的第二部分区域进行内插。由于图2中的象素值内插部分208的具体操作已经描述过，这里将略去其描述。
图4中的第一内插图像形成部分403根据前述表达式(1)内插第一象素值内插部分401和第二象素值内插部分402的输出。另一方面，图4中的第二内插图像形成部分404根据表达式(1)内插较低层第一解码图像和第二解码图像，这如同在第一内插图像形成部分403中那样。内插图像形成部分每一个都完成如图1中的内插图像形成部分105所作的同样操作，所以这里略去对它们的描述。再有，加权平均部分和开关与图1中所示的那些相同。
图4中的背景内插判断部分407如同图1中的背景内插判断部分107那样，用于判断是否要完成合成处理，并根据这一判断确定向加权平均部分106提供的背景图像(在较上层上叠加的较低层)。这就是说，当背景内插判断部分407判定作为背景出现的较低层部分区域大于预定阈值时，加权平均部分106从第一内插图像形成部分403输入较低层部分区域周边中的象素值，并利用这输入的象素值内插该部分区域内部的象素值，以产生图像信息。
再有，当背景内插判断部分407判定作为背景出现的部分区域小于预定阈值时，加权平均部分106从第二内插图像形成部分404输入通过对较低层取加权平均得到的图像，并利用这输入的象素值内插该部分区域内部的象素值，以产生图像信息。
本发明要简化在传统实例中的合成处理，从而能减小硬件尺度而又不引起图像质量的大的降低。
假定本实施例的图4所示第二内插图像形成部分404根据表达式(1)完成内插，但它可以是这样构成的，即第二内插图像形成部分404根据表达式(5)利用在时间上接近于当前较上层的较低层帧的象素来完成内插。这就是说，例如，当在时间上较前的较低层帧在时间上接近于该较上层时，背景内插判断部分407根据由表达式(6)表示的区域判断是否要完成背景内插。此外，图4中的第一内插图像形成部分403直接输出由第一象素值内插部分401准备的图像。
现在将描述本发明的第五实施例。这个实施例是要解决前述的第一个问题，这里当较低层的第一部分区域和第二部分区域之间的位置和形状差别小时，通过以第一部分区域代替第二部分区域来减少第二部分区域所需的代码量。
在这一实施例的装置中提供的图像叠加部分有如图5中所示组成部分，处在图1至图4中所示结构中的第一区域信息和第二区域信息的输入部分中。
这里，图5中的比较部分501用于判断较低层两个区域信息之间的差异。如果较低层部分图像运动不那么明显，而且显示这种运动的区域信息变化是小的，则图5中的开关502连于较上侧，于是不利用较低层第二区域信息，代之以输出较低层第一区域信息，从而使需要编码的区域信息减少一倍。再有，当较低层部分区域的运动大时，开关连于较下侧，以输出各自的区域信息。作为判断区域信息变化的材料，例如可以使用图9所示画斜线部分的尺寸。
现在将描述本发明的第六实施例。这个实施例是要解决前述第三个问题。图7的方框图显示了为构成根据这一实施例的装置所用的图像叠加部分的结构。如该图中所示，在这一装置中提供的图像叠加部分除了第一实施例的结构外，还由存在判断部分709、第三内插图像形成部分710、以及开关711和712组成。
第一区域提取部分101、第二区域提取部分102、加权平均部分106以及开关108的操作与图1中相同，所以这里略去对它们的描述。控制器703、开关704、内插图像形成部分705分别对应于控制器103、开关104、以及内插图像形成部分105。
首先，当背景内插判断部分707判定作为背景出现的较低层部分区域大于预定阈值时，开关108连于左侧(开关704的输出端)。然后，图7中的存在判断部分709判断是否存在较低层的第一解码图像和第二解码图像，即判断背景内差所需较低层帧数是否满足。
这里，当存在判断部分709判定解码图像之一没有被输入时，它通过控制器703把开关704连到最左侧(第三内插图像形成部分711的输出端)。与此同时，开关711和开关712的连接使得存在的解码图像和与其对应的区域信息被输入到第三内插图像形成部分710。例如，当第二解码图像(它是在时间上较迟的解码图像)不存在时，这些开关的连接使得第一解码图像和第一区域信息被输入。
然后，图7中的第三内插图像形成部分以与图2中的象素值内插部分208相似的操作，使用解码图像内部部分区域周边中的象素值，完成对解码图像内部部分区域的内插处理，当已由存在判定部分709判定缺少一个输入时，由于开关704被连于最左侧，所以在这种情况下第三内插图像形成部分710被用于图像帧的叠加。
在图7中的内插图像形成部分705和背景内差判断部分707当中有一种情况是缺少一个输入。在这种情况下，图7中的内插图像形成部分707利用输入的较低层部分区域当中不能被较上层部分区域复盖的区域的大小来判断是否需要完成背景内插。再有，内插图像形成部分705不进行内插，而是直接输出解码图像。
在前面描述的第一至第六实施例中，判断是否要完成背景内插是对每个较上层帧进行的。然而，当在两个连续的较低层帧之间有多个较上层帧时，可以按下文描述完成背景内插。
这就是说，对这多个较上层帧(在较低层帧中不存在其对应帧的那些较上层帧)的每一个进行判断是否要完成背景内插，而当所有各判断结果都是不要完成背景内插时，便对这多个较上层帧都不进行背景内插。在这种情况下，较上层帧被叠加到之前和之后的两个较低层帧的内插图像上，或叠加到在时间上较接近的那个较低层帧上。
再有，当判定要针对至少一个较上层帧完成背景内插时(当对于这多个较上层帧中的任何一帧，其作为背景出现的较低层的部分区域大于预定阈值时)，由背景内插合成的较低层帧被叠加到所有这多个较上层帧上。
具体地说，针对所有这多个较上层帧，将对较低层取加权平均得到的一帧和较低层的一帧合成，以产生图像信息。在这种情况下，在多个较上层帧当中，例如只针对时间上的第一帧完成背景内插以合成较低层帧，而针对其他较上层帧，可以直接使用为第一较上层帧合成的较下层帧。
再有，利用第一至第六实施例的装置，当由图14c和图16中画网格部分所示图像的畸变大时。这一畸变被背景内插去掉。然而，当该图像畸变小时，不进行背景内插，而该图像畸变稍许存在。虽然在这种情况下的图像畸变从视觉上看并不明显，但这种畸变能如下述那样被压低，从而在视觉上看犹如没有引起畸变。
这就是说，当较上层被编码时，由图14c和图16中的画网格部分所表示的较低层部分区域也与较上层部分区域一起编码。为了这一目的，较上层部分区域被改变，从而使它包括图14c和图16的画斜线部分和画网格部分(被放大/被扩展)。
图17是用于完成改变部分区域处理的改变区域部分的方框图。这个改变区域部分利用较低层部分区域放大较上层部分区域，从而产生图像信息部分区域，从而改变了向图11所示较上层编码部分1103提供的区域信息。
现在将描述图17中所示改变区域部分每个构件的操作。在这个图中，开关1701把区域信息分离成较上层区域信息和较低层区域信息。图17中的存储器1702暂时存储较下层的区域信息。区域集成部分1703把较上层区域信息与一部分较低层区域信息集成起来以准备好新的区域信息。
具体地说，例如，当图1中的内插图像形成部分105根据表达式(1)准备内插图像时，图14c中的画网格部分被集成到较上层区域信息中以准备好新的区域信息。再有，当这样构成内插图像形成部分105以使其根据表达式(5)选定在时间上接近的较低层以准备内插图像时，图16中的画网格部分被集成到较上层区域信息中。
当进行背景内插时，图17中的开关1704连于较上侧(较上层的区域信息)，而当不进行背景内插时则连于较下侧(区域集成部分1703的输出端)。再有，当较上层区域信息在被处理时，开关1705连于较上侧，而当较低层区域信息在被处理时，则连于较下侧，其连接与开关1701同步。
如前所述，当不进行背景内插时，通过改变要被扩展/放大的较上层区域信息，图像畸变能被压低，甚而达到不引起畸变的程度。
工业上的可应用性
由上文的描述可以理解，根据本发明能得到如下效果。
首先，当在较低层和较上层的图像中的部分区域运动不怎么显著时，而且即使进行背景内插，也不能得到视觉效果，故不进行背景内插。与此相反，当部分区域运动显著时，进行背景内插，从而使用于背景内插的形状信息能被减少，而图像质量能由于信息减少而得到改善。
其次，当较低层和较上层图像中的部分图像进行往复运动、返回运动、或者不是沿一个方向运动而是改变方向运动时，则针对较下层各部分图像区域重叠的区域，使用其周边内的象素值进行内插，从而能减轻图像质量的视觉看得到的畸变。
再有，当要被编码的较上层图像的时间上之前和之后的一个较下层不存在时，通过使用只存在的那个较低层和使用其周边区内的象素值来内插部分图像区域，从而能减轻图像质量的视下降。
再有，利用部分图像区域的周边区内的象素值进行内插，而不改变对每个区域进行部分图像区域内插处理所用的屏面，由此使处理简化，从而能减小硬件尺度。
此外，当在两个连续较低层帧之间有多个较上层帧时，在进行背景内插时，只对这多个较上层帧中的第一个较上层帧进行背景内插，从而能减少背景内插处理量和背景内插所需较低层部分区域信息的代码量。
再有，在不进行背景内插的情况中，当较上层被编码时，被背景内插处理所内插过的区域也与较上层部分区域一起被编码，从而使由于没进行背景内插而可能引起的图像畸变能被压低，甚而达到不引起看得到的畸变。
权利要求书
1．(修改后)一种活动图像编码装置，它把一个活动图像序列分离成具有低帧速率的较低层和具有高帧速率的较上层，它把所述较低层的部分区域作为所述较上层中的部分图像进行编码，并在没有与较上层对应的较低层帧的情况下对部分区域的形状进行编码，用于合成所述较上层部分图像的背景，并通过预测对较上层编码，其中，
当作为背景出现的较下层的部分区域大于预定阈值时，该活动图像编码装置对部分区域的形状进行编码，并合成一个通过对较低层取加权平均而得到的帧和较低层的一帧，以产生所述部分图像背景的图像信息，而当所述作为背景出现的所述部分区域小于预定阈值时，该活动图像编码装置不对部分区域的形状进行编码，而是由较低层的加权平均产生图像信息。
2．(修改后)一种活动图像解码装置，在没有与具有高帧速率的较上层相对应的帧的情况下合成较上层部分图像背景，通过预测对所述较上层部分图像解码，并把所述预测解码部分图像叠加到所述合成的背景上，以把它们解码成一个活动图像序列，其中，
当较下层部分区域的形状已被编码时，该活动图像解码装置对所述部分区域的形状解码，并合成一个通过对较低层取加权平均得到的帧和较低层的一帧，以产生所述部分图像背景的图像信息；而当部分区域的形状未曾被编码时，该活动图像解码装置通过对较低层取加权平均来产生所述图像信息。
3．(修改后)一种活动图像编码装置，它把一个活动图像序列分离成具有低帧速率的较低层和具有高帧速率的较上层，它把所述较低层的部分区域作为所述较上层中的部分图像进行编码，并在没有与较上层对应的较低层帧的情况下对部分区域的形状进行编码，用于合成所述较上层部分图像的背景，并通过预测对较上层编码，其中，
该活动图像编码装置使用作为背景出现的该区域周边区中的象素值内插较低层重叠区域内的象素值，以产生所述部分图像背景的图像信息。
4．(修改后)一种活动图像解码装置，它在没有与具有高帧速率的较上层相对应的较低层帧的情况下合成较上层部分图像的背景，通过预测对所述较上层部分图像解码，并把所述预测解码的部分图像叠加到所述合成的背景上，以把它们解码为一个活动图像序列，其中，
该活动图像解码装置使用作为背景出现的较低层部分区域重叠区域周边区内的象素值内插重叠区内的象素值，以产生所述部分图像背景的图像信息。
5．(修改后)根据权利要求1的活动图像编码装置，其中所述部分区域内的象素值被使用较低层的部分区域周边区中的象素值内插，所述部分图像背景的图像信息是通过使用被内插的较低层帧产生的。
6．(修改后)根据权利要求2的活动图像解码装置，其中在所述部分区域内的象素值被使用较低层部分区域周边区中的象素值内插，所述部分图像背景的图像信息是通过使用被内插的较低层帧产生的。
7．(修改后)根据权利要求1的活动图像编码装置，其中，
在为合成较低层所需较低层帧的数目不满足要求的情况下，通过使用对所述较低层的部分区域内插得到的帧来产生所述部分图像背景的图像信息。
8．(修改后)根据权利要求2的活动图像解码装置，其中
在为合成较低层所需较低层帧的数目不满足要求的情况下，通过使用对所述较低层部分区域内插得到的帧来产生所述部分图像背景的图像信息。
9．(修改后)根据权利要求1的活动图像编码装置，其中
在两个相邻较低层帧之间有多个较上层帧的情况下，当作为这多个较上层帧中任何一个的背景而出现的较低层的部分区域大于预定阈值时，针对这多个较上层帧中的任何一个，将用于合成所述较上层部分图像背景的部分区域的形状予以编码。
10．(修改后)根据权利要求3的活动图像编码装置，其中
在两个相邻较低层帧之间有多个较上层帧的情况下，当作为这多个较上层帧中任何一个的背景而出现的较低层的部分区域大于预定阈值时，针对这多个较上层帧中的任何一个，将用于合成所述较上层部分图像背景的部分区域的形状予以编码。
11．(修改后)根据权利要求5的活动图像编码装置，其中
在两个相邻较低层帧之间有多个较上层帧的情况下，当作为这多个较上层帧中任何一个的背景而出现的较低层的部分区域大于预定阈值时，针对这多个较上层帧中的任何一个，将用于合成所述较上层部分图像背景的部分区域的形状予以编码。
12．(修改后)根据权利要求7的活动图像编码装置，其中
在两个相邻较低层帧之间有多个较上层帧的情况下，当作为这多个较上层帧中任何一个的背景而出现的较低层的部分区域大于预定阈值时，针对这多个较上层帧中的任何一个，将用于合成所述较上层部分图像背景的部分区域的形状予以编码。
13．(修改后)根据权利要求2的活动图像解码装置，其中
在两个相邻较低层帧之间有多个较上层帧的情况下，当用于合成所述较上层部分图像背景的部分区域的形状是针对所述多个较上层帧中的任何一个而被编码时，则针对这多个较上层帧的全部帧，合成对较低层取加权平均得到的一帧和较低层的一帧，以产生所述部分图像背景的图像信息。
14．(修改后)根据权利要求4的活动图像解码装置，其中
在两个相邻较低层帧之间有多个较上层帧的情况下，当用于合成所述较上层部分图像背景的部分区域形状是针对所述多个较上层帧中的任何一个而被编码时，则针对这多个较上层帧的全部帧，合成对较低层取加权平均得到的一帧和较低层的一帧，以产生所述部分图像背景的图像信息。
15．(修改后)根据权利要求6的活动图像解码装置，其中
在两个相邻较低层帧之间有多个较上层帧的情况下，当用于合成所述较上层部分图像背景的部分区域形状是针对所述多个较上层帧中的任何一个被编码时，则针对这多个较上层帧的全部帧，合成对较低层取加权平均得到的一帧和较低层的一帧，以产生所述部分图像背景的图像信息。
16．(修改后)根据权利要求8的活动图像解码装置，其中
在两个相邻较低层帧之间有多个较上层帧的情况下，当用于合成所述较上层部分图像背景的部分区域形状是针对多个较上层帧中的任何一个而被编码时，则针对这多个较上层帧的全部帧，合成对较低层取加权平均得到的一帧和较低层的一帧，以产生所述部分图像背景的图像信息。
17．根据权利要求1的活动图像编码装置，其中
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
18．根据权利要求3的活动图像编码装置，其中
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
19．根据权利要求5的活动图像编码装置，其中
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
20．根据权利要求7的活动图像编码装置，其中
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
21．根据权利要求9的活动图像编码装置，其中
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
22．根据权利要求10的活动图像编码装置，其中
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
23．根据权利要求11的活动图像编码装置，其中
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
24．根据权利要求12的活动图像编码装置，其中
当作为背景出现的较低层的部分区域小于预定阈值时，则利用较低层的部分区域使较上层的部分区域扩展，以产生图像信息的部分区域。
25．(修改后)根据权利要求2的活动图像解码装置，其中：
当较上层部分区域的背景被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值。
26．(修改后)根据权利要求6的活动图像解码装置，其中：
当较上层部分区域的背景被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值。
27．(修改后)根据权利要求2的活动图像解码装置，其中：
当较上层部分区域的背景被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时针对较低层一个部分区域外部的象素值使用所述较低层一帧的象素值实现内插，而针对较低层所述一个部分图像内部的象素值使用所述部分区域周边区中的象素值实现内插。
28．(修改后)根据权利要求4的活动图像解码装置，其中，
当较上层部分区域的背景被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时针对较低层一个部分区域外部的象素值使用所述较低层一帧的象素值实现内插，而针对较低层所述一个部分图像内部的象素值使用所述部分区域周边区中的象素值实现内插。
29．(修改后)根据权利要求6的活动图像解码装置，其中，
当较上层部分区域的背景被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时针对较低层一个部分区域外部的象素值使用所述较低层一帧的象素值实现内插，而针对较低层所述一个部分图像内部的象素值使用所述部分区域周边区中的象素值实现内插。
30．(修改后)根据权利要求25的活动图像解码装置，其中，
当较上层部分区域的背景被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时针对较低层一个部分区域外部的象素值使用所述较低层一帧的象素值实现内插，而针对较低层所述一个部分图像内部的象素值使用所述部分区域周边区中的象素值实现内插。
31．(修改后)根据权利要求26的活动图像解码装置，其中，
当较上层部分区域的背景被合成时，则针对第一部分区域和第二部分区域重叠的区域或者既不是第一部分区域也不是第二部分区域的区域，使用存在于较低层一帧之前和之后的较低层帧之一的象素值，而且在合成时针对较低层一个部分区域外部的象素值使用所述较低层一帧的象素值实现内插，而针对较低层所述一个部分图像内部的象素值使用所述部分区域周边区中的象素值实现内插。