动态图像编码装置及动态图像解码装置 【技术领域】
本发明涉及在存储图像编码及解码中的参照用图像数据时所使用的多帧缓冲器(multi-frame buffer)的存储器管理控制，特别涉及交错(interlace)图像数据的存储器管理方法。
背景技术
动态图像在从图像技术和图像会议直至DVD和数字电视的范围内，正被越来越多的应用系统所采用。为了传输动态图像，必须通过以往的对有效频带进行了限制的传输路径来传输大量的数据。为了通过受到限制的传输频带来传输数字数据，压缩或减少传输数据的量是必不可少的。
人们正在制定采用共享的方法来压缩图像数据量的图像编码规格，以便在由不同制造公司为用于应用系统所设计出的多个系统之间可以进行相互利用。图像编码规格是，ITU的H.261、H.263和ISO/IEC的MPEG-1、MPEG-2、MPEG-4。
在其众多的规格中作为基本的编码方法由下面的主要阶段组成。
1.将各画面分割成由像素组成的块(block)，以便能够按照块的水平来实行构成图像的画面处理。画面(picture)表示的是帧或者场(field)。
2.通过对1个块的图像数据进行变换、量化及熵编码，使画面空间上的冗余度得以减少。
3.利用连续画面间的相关性，对连续帧间的差分进行编码。
这是采用移动预测及补偿的技术来达到的。为了在每个块中决定移动矢量，进行移动检测，其中该移动矢量表示在帧间相关性强的预测图像数据，该移动检测用来检索在由编码器所编码的帧内相关性强的图像数据位置。再者，通过编码器及解码器来实行移动补偿，该移动补偿用来提取与移动矢量对应的预测图像数据。
图像编码器(动态图像编码装置)的结构示例如图1所示。图示出的图像编码器具备：变换部13，用来将空间图像数据变换到频域中；量化部14，用来对通过变换部13所得到的变换系数加以量化；可变长编码部15，用来对量化后的变换系数实行熵编码；图像缓冲器17，用来根据传输速率将可变位速率的压缩图像数据提供给传输路径；解码器16；移动预测部19。
图1所示编码器的图像数据10是采用PCM(脉码调制)来输入像素值的。差分器11用来计算图像数据10和移动补偿图像12的差分值。移动补偿图像12是通过对已编码后的图像加以解码并实行移动补偿而得到的(“对象的解码图像”)。这是采用与图像编码器对应的解码器16来实行的。解码器16逆向实行编码步骤，也就是说解码器16由逆量化部(Q-1)、逆变换部(IDCT)以及加法器构成，该加法器通过将解码后的差分与移动补偿图像进行加法运算来生成与在解码侧得到的画面相同的前图像。
在移动补偿编码过程中，对象画面的移动补偿数据是根据在该画面和解码后画面之间的移动预测，由对应的解码后的画面的画面数据生成的。移动预测值由二维移动矢量来表达，该二维移动矢量表示在解码后的画面和对象画面之间的像素位移。一般情况下，移动预测以块为单位实行。也就是说，在解码后的画面上对象帧的块和相关性最强的块成为移动补偿图像。移动预测部19和移动补偿部MC装入编码器中，该移动预测部19用来实行该移动预测，该移动补偿部MC根据与移动矢量对应而解码的画面来生成移动补偿图像。
图1所示的图像编码器如下进行动作。图像信号10的图像通常被分割成称为宏块的数个小块群。例如，图2所示的图像20被分割成多个宏块21。各宏块一般具有16×16的像素尺寸。
还有，画面被分割成数个切片22。各切片由多个宏块组成，是数据丢失时的同步恢复单位。还有，构成1个切片的宏块序列如图2所示没有必要只由同行的宏块构成，而也可以包含多行的宏块，或者在行的中间有不同切片的边界。
在只通过使图像中空间上的冗余度得以减少来对图像的图像数据进行编码时，其结果所得到的画面被称为I画面。I画面只参照画面内的像素值进行编码。由于编码后的I画面不能利用减少数据量所需的时间上的信息，因而其编码后的数据大小较大。
为了利用存在于连续画面间的时间上的冗余度来实行有效的压缩，而根据移动预测及补偿实行连续画面间的预测编码。在移动预测过程中所选择的参照画面是已经编码并解码后的1幅画面的场合下，被称为P画面。另外，在参照画面是2幅(一般情况下，显示顺序相对于对象画面而言是前方和后方)的场合下，被称为B画面。
就作为当前制定中图像编码方式的H.26L规格来说，在各16×16宏块中的移动补偿可以采用不同的块大小来实行。各个移动矢量对于作为移动补偿块大小的4×4、4×8、8×4、8×8、8×16或者16×16像素的块，可以做出决定。变成小的移动补偿块的有用性是，能够描述微小的移动。
根据移动预测处理的结果，移动补偿处理实行基于决定出的移动矢量的预测。然后，从预测出的块所得到的预测误差块中含有的信息，在变换部13中变换成变换系数。一般情况下，经常使用二维DCT(离散余弦变换)。所得到的变换系数被量化，最后在熵编码部15中实行熵编码(VLC)。还有，由移动预测部19计算出的移动矢量在被移动补偿使用的同时，经过可变长编码部15及图像缓冲器17，与压缩图像数据18组合，进行输出。
压缩图像数据18的传输流发送到解码器(动态图像解码装置)，因此根据接收数据来再现编码后的映像图像序列。解码器的结构对应于图1所示图像编码器所具备的解码器16的结构。
在新的图像编码方式中，为使更为有效的图像编码成为可能，可以具有画面间的多个参照画面。为此，移动预测部及移动补偿部具备用来提供各种参照画面的多帧缓冲器。在移动矢量中添加表示各个参照图像的信息。
多帧缓冲器的内部结构如图3所示，并且参照符号30表示出整体。多帧缓冲器由多个存储区域31、32构成，该存储区域用来存储图像信号的帧。多帧缓冲器30的存储区域被分割成2个不同种类的存储区域，也就是主要对只在短期内作为参照图像使用的参照画面进行存储的短期区域33，以及主要对在长期内使用的参照画面进行存储的长期区域34。
多帧缓冲器为了对特殊的图像进行编码或解码，而存储适当选择出的参照画面。参照画面的存储步骤被分割成2个处理阶段，也就是(1)参照画面的排列更改，以及(2)参照画面的缓冲。
(1)参照画面根据由切片层发送来的参照画面顺序信息，进行排列。参照画面的排序，只受到1个切片中含有的宏块群编码或解码处理的影响。该处理的目的是，通过给频繁参照的画面分配小的号码并且越是小的号码越分配代码长度短的代码，来减少下述信息的位数，该信息表示在实行移动补偿时所参照的参照图像。
(2)在参照画面的缓冲过程中，在为实行各编码/解码处理而对多帧缓冲器中所存储的参照画面加以更新时，控制编码或解码对象的画面缓冲。
为了参照画面的缓冲，而可以采用2种不同存储管理控制方式中的1个，也就是「移位窗口缓冲方式」或者「自适应存储器控制缓冲方式」。
采用移位窗口缓冲方式，对象的各个编码或者解码图像被追加存储到多帧缓冲器中。多帧缓冲器短期区域的画面采用先进先出(FIFO)方式，不断由新的图像进行周期性置换。只要缓冲器具有足够容量的未使用存储区域，则没有必要为了存储当前正在处理的图像的图像数据再删除任何图像数据。如果，在多帧缓冲器的未使用区域因已处理的新图像数据而成为满负荷的状态时，最先存储的图像数据将不断被置换为当前编码/解码后的新图像的图像数据。
在自适应存储器控制缓冲方式中，追加存储到多帧缓冲器中或者明确选择由此所删除的各图像。根据存储器管理控制处理参数来实行存储器控制，该参数用来使在编码及解码侧上相应的存储器管理控制可靠。为了实行这种图像的置换处理，而给各存储区域分配有明确指定对象画面所需的固有识别号码。还有，给各存储区域分配有索引并将该索引称为参照索引，上述索引表示实行上述(1)参照画面的排列更改后的顺序。
在上面的存储器管理控制方式中留有数个问题。采用以往的存储器管理控制方式，尤其是不能有效处理交错图像数据。交错图像数据因为各帧由时间及垂直方向的空间位置不同的2个场(顶部场及底部场)构成并且能够以场为单位进行编码，所以存在使存储器管理变得复杂这样的问题。
【发明内容】
因此，本发明的目的为，提供在对交错图像数据的编码及解码过程中可以有效实行图像存储器管理的动态图像编码装置、动态图像解码装置及存储器管理装置等。
为了达到上述目的，本发明所涉及的动态图像编码装置，其特征为，具备：存储装置，具有可以对包含顶部场和底部场的帧的图像数据进行存储的多个存储区域；编码装置，用于通过以场为单位来参照上述存储区域中所存储的图像数据，在实行移动预测和移动补偿的同时，以场为单位对输入图像进行编码；存储器管理装置，用于以帧为单位来管理上述多个存储区域；存储装置，用来对通过上述编码装置进行编码后的场的图像数据进行解码，并且在上述存储器管理装置的管理下，将解码后的场的图像数据存储到上述多个存储区域的任一个中。
另外，本发明所涉及的动态图像解码装置其特征为，具备：存储装置，具有可以对包含顶部场和底部场的帧的图像数据进行存储的多个存储区域；解码装置，用于通过以场为单位来参照上述存储区域中所存储的图像数据，在实行移动补偿的同时以场为单位对输入图像进行解码；存储器管理装置，用于以帧为单位来管理上述多个存储区域；存储装置，用来在上述存储器管理装置的管理下，将通过上述解码装置所解码后的场的图像数据存储到上述多个存储区域的任一个中。
再者，本发明所涉及的存储器管理装置是一种对动态图像进行编码或解码的装置中的存储器管理装置，其特征为具备：存储装置，具有可以对包含顶部场和底部场的帧的图像数据进行存储的多个存储区域；管理装置，用于以帧为单位来管理上述多个存储区域；存储器存取装置，用来在上述管理装置的管理下，将场的图像数据存储到上述多个存储区域的任一个中，以及从上述多个存储区域的任一个读出场的图像数据。
根据这些动态图像编码装置、动态图像解码装置及存储器管理装置，因为即使采用帧单位及场单位的任一个来实行向下述各存储区域的图像数据存储以及从各存储区域的图像数据读出，对于存储器管理而言也都总是以帧为单位予以实行的，上述各存储区域可以存储1个帧数据或2个场数据(顶部场数据及底部场数据)，所以在对交错图像数据的编码及解码过程中使存储器管理简捷化及有效化。特别是，在交错图像数据同时存在以帧为单位被编码的画面和以场为单位进行编码的画面的场合下，由于只采用统一的以帧为单位的存储器管理就得以完成，因而将实现有效的存储器管理。
在此，上述存储器管理装置对于上述多个存储区域的各自来说，也可以以帧为单位来管理是否可以存储图像数据，上述存储装置将上述场的图像数据存储到通过上述存储器管理装置管理为可存储的存储区域中。也就是说，上述存储器管理装置也可以通过将与上述多个存储区域的分别对应的存储允许标记设置成「使用」或「未使用」，来管理上述存储区域，上述存储装置将上述场的图像数据存储到上述存储允许标记表示「未使用」的存储区域中。例如，上述存储器管理装置在上述存储区域中存储有帧、顶部场或者底部场的图像数据的场合下，将与该存储区域对应的存储允许标记设置成「使用」，在上述存储区域中未存储图像数据、所存储的帧为不需要或者所存储的顶部场及底部场的双方都为不需要的场合下，将与该存储区域对应的存储允许标记设置成「未使用」。据此，对存储2个场数据的存储区域分配1位的存储允许标记，仅仅通过判断该1位存储允许标记的状态或者进行变更，就可以实行有关可否向各存储区域存储图像数据的管理，使管理所涉及的处理简捷化，与此同时可以减小管理所需的存储容量。
另外，上述存储器管理装置对于上述多个存储区域来说，也可以分别以帧为单位来管理短期参照所用的「短期区域」或者长期参照所用的「长期区域」。也就是说，上述存储器管理装置也可以通过将与上述多个存储区域分别对应的长期标记设置成「短期区域」或者「长期区域」，来管理上述存储区域。例如，上述存储器管理装置在将存储在上述长期标记被设置成「短期区域」的存储区域中的帧、顶部场或底部场的图像数据变更为长期参照用的场合下，将该长期标记设置成「长期区域」。据此，对存储2个场数据的存储区域分配1位的长期标记，仅仅通过判断该1位的长期标记的状态或者进行变更，就可以实行与各存储区域参照属性(短期参照用或者长期参照用)有关的管理，使管理所涉及的处理简捷化，与此同时可以减小管理所需的存储容量。再者，只是通过将长期标记从「短期区域」变更成「长期区域」，就可以使「短期区域」中所存储的图像数据移动到「长期区域」中。
还有，本发明不仅可以作为上述那种动态图像编码装置、动态图像解码装置及存储器管理装置来实现，而也可以作为动态图像编码方法、动态图像解码方法及存储器管理方法来实现，或作为程序来实现，或者作为记录有程序的计算机可读取的记录媒体来实现。
【附图说明】
图1表示的是实行移动补偿后的DPCM图像编码器的框图。
图2表示用于编码及解码处理的映像图像的二次分割。
图3表示用于移动预测及移动补偿的多帧缓冲器整体结构。
图4表示与1个存储区域相关联所存储的数据。
图5表示的是移动预测/移动补偿部的框图。
图6表示多帧缓冲器控制方法的示例。
图7是表示实施方式2中的图像编码器结构的框图。
图8表示的是所输入的图像信号或者编码的单位种类。
图8(a)表示以帧为单位进行编码的图像信号的示例，
图8(b)表示以场为单位进行编码的图像信号的示例，
图8(c)表示在帧和场同时存在的状态下进行编码的图像信号的示例。
图9表示的是存储器管理部动作过程的流程图。
图10表示的是由存储器管理部做出的存储器管理示例的表格，
图10(a)表示与图8(a)对应的存储器管理示例，
图10(b)表示与图8(b)对应的存储器管理示例，
图10(c)表示与图8(c)对应的存储器管理示例。
图11表示的是缓冲器中参照图像的存储状态，
图11(a)表示所输入的图像信号以帧为单位被编码时的缓冲器存储状态，
图11(b)表示所输入的图像信号以场为单位被编码时的缓冲器存储状态，
图11(c)表示所输入的图像信号在帧和场同时存在的状态下被编码时的缓冲器存储状态。
图12表示的是本发明所涉及的图像解码器结构的框图。
图13是对通过计算机系统来实现本发明的图像编码器及图像解码器所用的程序进行存储的记录媒体之说明图。
图14表示的是本发明的实现内容发送服务的内容提供系统整体结构的框图。
图15表示的是本发明所涉及的携带电话一个示例。
图16是表示图15的携带电话的结构框图。
图17表示的是本发明所涉及的数字广播用系统结构的框图。
实施发明的最佳方式
(实施方式1)
下面，有关本发明实施方式1中的图像编码器(动态图像编码装置)，通过参照附图予以说明。还有，本实施方式中的图像编码器在具备图1所示结构的同时，还具备下述图5所示的特征的存储器管理功能。下面，将与以往图像编码器的不同之处作为中心加以说明。
如上所述，图3表示出多帧缓冲器的整体结构。多帧缓冲器30具备多个存储区域31、32，用来存储由2个场也就是顶部场及底部场构成的参照图像。在存储区域31、32分别存储的数据如图4所示。各存储区域41用于存储顶部场42及底部场43，因此各场数据被独立写入或读出。
生成移动预测及移动补偿所需的适当的参照图像是通过图5所示的存储器控制部53来实行的。若各图像的编码或解码结束，则存储部(多帧缓冲器)52按照存储器控制信息进行更新。用于存储新的图像、例如作为编码或解码对象的图像数据的存储区域，是通过设置向各存储区域一个一个地分配的存储允许标记44，而被赋予标注的。一系列图像的移动预测或移动补偿所需要的参照图像是通过解除存储允许标记而被保持在帧缓冲器。在从存储部(多帧缓冲器)52删除图像时，将存储允许标记44设置成「未使用」状态。即使存储有帧的单个场、两个场及帧的任一个，存储允许标记44也成为使用状态。虽然存储允许标记44表示帧的状态，但是存储了什么则是以各存储器(场)单位来管理的，在只存储有顶部场或者底部场的一个场的场合下，也可以表示能够存储另一个场。
存储允许标记可以预先存储在存储部(多帧缓冲器)52内，或者取而代之存储在与多帧所对应的存储区域相关联的存储器控制部53内。只通过使顶部及底部场的每对对应1个存储允许标记44，而不需要附加对交错图像数据进行处理所用的硬件。
再者，也可以将1个长期标记45分配给各存储区域41。该标记45存储于存储部(多帧缓冲器)52或者与各存储区域相关联的存储器控制部53内。通过使用该长期标记45，各存储区域表示出已被长期参照图像存储。这样，通过设置长期标记45，来实现从短期区域33向长期区域34的图像移位处理(移动)。
还有，在本发明的实施方式中长期存储区域34在顶部及底部场位置42、43的任一个中存储顶部或者底部场，据此使长期图像数据的有效存储得以改进。这是通过设置可表示各场位置「未使用」的这种各长期存储区域用的2个存储允许标记而达到的。
存储器管理控制方法的示例表示于图6中。若在步骤61中图像的编码或解码处理结束，则如步骤62所示，多帧缓冲器所需的存储器控制处理开始。在步骤63中，首先选择存储区域，该存储区域存储有在后面的场处理过程中不需要的2个场，接着在步骤64中，存储允许标记44被设置成「未使用」。还有，如果存在存储有构成同一帧一个场数据的存储区域并且该存储区域的另一个场区域为未使用，则也可以在其未使用的场区域存储另一个场数据。例如，如果相同帧的顶部场数据已存储于存储区域中而未存储底部场数据，则也可以在其存储区域未存储的底部场区域存储底部场。
这样一来，就可以在未使用场对的每个存储空间中写入新的图像数据。这种选择是根据从图像编码器传送来的存储器控制信息实行的。图像编码器可以生成根据目前采用的编码规格中的定义的控制信息。
再者，存储器控制信息选择具有长期图像数据的存储区域(步骤65)。然后，通过步骤66来设置这些存储区域的长期标记45。
在步骤67中，根据存储器控制参数，处理对象的场存储到存储区域的各个「未使用」场位置中，此后在步骤68中重新开始编码或解码处理。
如上所述，本发明与使用多幅参照图像的移动预测及移动补偿部有关，并且多幅参照图像存储在具有各参照图像的存储区域的存储部中。各存储区域用来存储包含顶部场及底部场的1帧的图像数据。向存储部的图像数据的存储是通过存储器控制部进行控制的。向各存储区域分配有1个存储允许标记，该存储允许标记用来允许在1个存储区域中存储2个连续场的图像数据。据此，在图像信号是交错图像数据的场合下，虽然图像的编码·解码·移动预测·移动补偿以场为单位或者以帧为单位来实行，但是对于存储部的管理(「使用」/「未使用」的管理等」)而言总是以帧为单位予以实行的，因此使存储器管理所需的管理处理简单化。
还有，虽然在实施方式1中同时对存储允许标记44和长期标记45进行了说明，但是也可以采用只使用任一个、不使用另一个或者其他的方法来代替使用。
(实施方式2)
下面有关本发明实施方式2中的图像编码器及图像解码器，予以说明。本实施方式相当于对实施方式1加以具体化后的方式，与实施方式1的共同之处在于以帧为单位来实行存储器管理。
图7是表示实施方式2中图像编码器70结构的框图。该图像编码器70具有的特征是，尽管所输入的图像信号10的构造及编码单位是帧单位、场单位及它们同时存在的形式，都以帧为单位来实行对多帧缓冲器的存储器管理，该编码器具备差分器11、变换部13、量化部14、可变长编码部15、图像缓冲器17、解码器16、移动预测部19及存储器管理部71。解码器16具备逆量化部16a、逆向离散余弦变换部16b、缓冲器16c及移动补偿部16d。还有，对于与图1所示的以往图像编码器及实施方式1中的图像编码器相同的结构要件，附赋予同一个符号，并省略其说明。
本实施方式的图像编码器70具备特征性的存储器管理部71。该存储器管理部71根据表示所输入的图像信号10的图像采用何种单位(帧单位、场单位或者它们同时存在的形式)被编码的外部信息，向移动补偿部16d及移动预测部19发出成为与其单位相同的处理单位的指令，并以帧为单位实行多帧缓冲器也就是缓冲器16c中所存储的参照图像的管理。具体地说，如图8(a)所示，在所输入的图像信号10的画面在GOP(Group Of Picture或者序列)等中以帧为单位被编码的场合下，进行控制，使移动补偿部16d及移动预测部19中的处理以帧为单位来实行，并对存储器管理以帧为单位来进行，另一方面，如图8(b)所示，在所输入的图像信号10的画面在GOP(或者序列)等中以场为单位被编码的场合下，进行控制，使移动补偿部16d及移动预测部19中的处理以场为单位来实行，并对存储器管理以帧为单位来进行，再一方面，如图8(c)所示，在所输入的图像信号10的画面在每个画面或者GOP(或序列)等中同时存在帧和场而被编码的场合下，进行控制，以与其编码单位对应的方式，使移动补偿部16d及移动预测部19中的处理以帧为单位或者以场为单位来实行，并对存储器管理以帧为单位来实行。
还有，存储器管理的内容基本上与实施方式1相同，在此向作为存储1个帧数据或2个场数据(顶部场数据及底部场数据)单位的每个存储区域，分配1位的存储允许标记及1位的长期标记，对每个图像数据(在本实施方式中，是每个帧或者每个顶部场和底部场的对)判断是「使用」/「未使用」的任一状态，及保存区域为「长期」/「短期」区域的哪一个，并进行记录。这些标记设置于缓冲器16c或者存储器管理部71内。还有，「未使用」及「使用」分别表示：可以在对应的存储区域存储图像数据(帧数据、顶部场数据或者底部场数据)以及禁止存储。另外，「长期区域」及「短期区域」分别相当于，将缓冲器16c分类为2种存储区域时的各区域，也就是主要长期参照所用的存储区域及主要短期参照所用的存储区域。
图9是表示存储器管理部71动作过程的流程图。存储器管理部71根据所输入的外部信息来判断所输入的图像信号10的编码单位(步骤S70)，在图像信号10的画面以帧为单位被编码的场合(在步骤S70中为「帧单位」)下，对于由移动补偿部16d做出的移动补偿及由移动预测部19做出的移动预测进行控制，使之成为帧单位，与此同时以帧为单位实行向缓冲器16c的参照图像存储/删除以及向长期区域/短期区域的存储(步骤S71)，另一方面，在图像信号10的画面以场为单位被编码的场合(在步骤S70中为「场单位」)下，对于由移动补偿部16d做出的移动补偿及由移动预测部19做出的移动预测进行控制，使之成为场单位，与此同时以帧为单位，实行向缓冲器16c的参照图像存储/删除以及向长期区域/短期区域的存储(步骤S72)。
图10是表示由存储器管理部71做出的存储器管理示例的表格。存储器管理部71在所输入的图像信号10以帧为单位被编码的场合下，如图10(a)所示通过采用与每帧(也就是存储区域)相对应的存储允许标记及长期标记等，在每帧中记录、参照或更新处于「使用」/「未使用」的哪种状态以及存储于「长期」/「短期」区域的哪个区域中。
另一方面，在所输入的图像信号10以场为单位被编码的场合下，存储器管理部71如图10(b)所示，通过采用与顶部场和底部场的每对(也就是存储区域)相对应的存储允许标记及长期标记等，以每对也就是以帧为单位来记录、参照或更新处于「使用」/「未使用」的哪种状态以及存储于「长期」/「短期」区域的哪个区域中。该详细过程如同实施方式1中图6的流程图所示。
再者，在所输入的图像信号10以帧单位和场单位同时存在的状态被编码的场合下，存储器管理部71如图10(c)所示，通过对于帧采用与每帧相对应的存储允许标记及长期标记等，并且对于场采用与顶部场和底部场的每对相对应的存储允许标记及长期标记等，在每帧或者顶部场和底部场的每对中也就是以帧为单位，来记录、参照或更新处于「使用」/「未使用」的哪种状态以及存储于「长期」/「短期」区域的哪个区域中。
在此，存储允许标记的具体控制过程如下所述。也就是说，在存储区域中尚未存储图像数据场合、在存储区域中所存储的帧数据为不需要(确定为不使用的场合)的场合、或者在存储区域中所存储的顶部场数据及底部场数据的双方都为不需要的场合(已确定任一场数据都不使用的场合)下，将与该存储区域对应的存储允许标记设置成「未使用」。据此，可以向该存储区域存储新的帧数据或者场数据。
另一方面，在「未使用」的存储区域中已存储新的帧数据、顶部场数据或者底部场数据的场合下，将与该存储区域对应的存储允许标记设置成「使用」。据此，向该存储区域的其他帧数据或者场数据的存储被禁止，以确保已存储的帧数据或者场数据保持于存储区域中。还有，在「未使用」的存储区域中已存储顶部场数据或者底部场数据的场合下，虽然将与该存储区域对应的存储允许标记设置成「使用」，但是对于构成同一帧的底部场或顶部场的数据来说，则是作为可以存储到该存储区域另一个场区域中的数据进行控制的。
另外，长期标记的具体控制过程如下所述。也就是说，在将存储区域中所存储的图像数据(在存储有帧数据的场合下是该帧数据，在只存储有顶部场数据的场合下是该顶部场数据，在只存储有底部场数据的场合下是该底部场数据，在存储有顶部场数据和底部场数据双方的场合下是该顶部场数据和底部场数据的双方)作为短期参照用而加以使用的场合下，将与该存储区域对应的长期标记设置成「短期区域」。据此，可以与其他「短期区域」的存储区域一起作为FIFO的缓冲存储器而加以使用。
另一方面，在将存储区域中所存储的图像数据(在存储有帧数据的场合下是该帧数据，在只存储有顶部场数据的场合下是该顶部场数据，在只存储有底部场数据的场合下是该底部场数据，在存储有顶部场数据和底部场数据双方的场合下是该顶部场数据和底部场数据的双方)作为长期参照用而加以使用的场合下，将与该存储区域对应的长期标记设置成「长期区域」。据此，确保该图像数据从存储区域开始直至删除(变为「未使用」)为止明确地保持在存储区域中。另外，在长期标记被设置成「短期区域」的存储区域中所存储的帧、顶部场或底部场的图像数据变更成长期参照用的场合下，将该长期标记设置成「长期区域」。据此，可以轻易地使图像数据从「短期区域」移动到「长期区域」。
图11表示的是缓冲器中参照图像的存储状态。图11(a)表示所输入的图像信号10以帧为单位被编码时的缓冲器16c的存储状态，图11(b)表示所输入的图像信号10以场为单位被编码时的缓冲器16c的存储状态，图11(c)表示所输入的图像信号10在帧和场同时存在的状态下被编码时的缓冲器16c的存储状态。
如上所述，根据本实施方式中的图像编码器70，即使所输入的图像信号10的编码单位是帧单位、场单位以及它们同时存在形式的任一种，对于存储器管理来说都以帧为单位予以实行。因此，与帧单位和场单位同时存在的复杂存储器管理方式相比，使存储器管理所需的处理负载和电路规模得以减小。
还有，本实施方式中的存储器管理部71不仅应用于图像编码器中，也可以应用于图像解码器(动态图像解码装置)中。图12是表示具备存储器管理部109的图像解码器100结构的框图，该存储器管理部109具有与上述存储器管理部71相同的功能。图像解码器100具备：输入缓冲器102，用来暂时保持所输入的编码图像信号101；可变长度解码器103，用来实行与图像编码器70具备的可变长编码部15的编码对应的解码；逆量化部104，用来实行与图像编码器70具备的量化部14的量化对应的逆向量化；逆向离散余弦变换部105，用来实行由图像编码器70具备的变换部13的变换的逆向变换；加法器106，用来实行图像的加法运算并输出图像信号110；缓冲器107，作为存储参照图像的多帧缓冲器；移动补偿部108，用于通过可变长度解码器103取得编码图像信号101中含有的移动矢量，采用该移动矢量对缓冲器107中所存储的参照图像实行移动补偿；存储器管理部109。
存储器管理部109根据表示所输入的编码图像信号101的画面采用何种单位(帧单位/场单位)进行编码的外部信息，向移动补偿部108发出成为与其单位相同的处理单位的指令，与此同时以帧为单位实行多帧缓冲器也就是缓冲器107中所存储的参照图像的管理。具体地说，在所输入的编码图像信号101的画面在GOP(或者序列)等中以帧为单位被编码的场合下，进行控制，使移动补偿部108中的处理以帧为单位来实行，与此同时对存储器管理以帧为单位予以实行，另一方面在所输入的编码图像信号101的画面在GOP(或者充列)等中以场为单位被编码的场合下，进行控制，使移动补偿部108中的处理以场为单位来实行，与此同时对于存储器管理以帧为单位予以实行。还有，有关该图像解码器100中存储器管理的详细情形，除采用所输入编码图像信号101中含有的移动矢量来实行移动补偿这一点之外，与图像编码器70中的存储器管理相同。
上面，有关本发明所涉及的动态图像编码装置、动态图像解码装置及存储器管理，已根据2种实施方式做出说明，但是本发明并不限定于这些实施方式。
如同本实施方式那样，没有必要同时具备存储允许标记44和长期标记45，而也可以采用只使用任一个、不使用另一个或者用其他的方法来代替使用。
再者，如果与存储器控制的简单化相比更加注重存储器管理的高功能化及缓冲帧使用效率的提高，则不必以帧为单位固定实行存储器管理，也可以使帧单位和场单位同时存在。例如，也可以通过给各存储区域分配1位的存储允许标记和2位的长期标记，而对于「使用」/「未使用」的管理以帧为单位来实行，对于「短期区域」/「长期区域」的管理以场为单位来实行。
还有，虽然在上述实施方式中存储器管理(「使用」/「未使用」、「短期区域」/「长期区域」)是采用与画面(帧或场)对应的标记来实现的，但是本发明并不限定于采用标记的存储器管理。例如，在缓冲器内所存储的画面之中，通过设置记录有处于「使用」(或「未使用」)状态的画面号码(或参照索引或者表示缓冲器各区域的号码)的管理表格，或者设置记录有「短期区域」(或「长期区域」)中所存储的画面号码(或参照索引或者表示缓冲器各区域的号码)的管理表格，也可以实行同样的存储器管理。
另外，也可以将具备上述实施方式所示存储器管理功能的图像编码器及图像解码器作为程序来实现。通过将那种程序记录到软盘等记录媒体中使之流通，而可以将置于各种场所的广泛使用的计算机作为本发明所涉及的图像编码器或者图像解码器来发挥作用。
图13是有关对通过计算机系统来实现上述实施方式的图像编码器及图像解码器的程序进行存储所用的记录媒体之说明图。图13(a)表示出作为记录媒体主体的软盘的物理格式示例。图13(b)表示出从软盘的正面所看到的外观、剖面结构及软盘。软盘FD内置于卡盒F内，在该磁盘的表面上按同心圆状从外圆向内圆形成多个磁道Tr，并且各磁道按角度方向被分割成16个扇区Se。因而，对于存储有上述程序的软盘而言，在上述软盘FD上所分配的区域内记录有作为上述程序的图像编码器及图像解码器。另外，图13(c)表示在软盘FD上实行上述程序的记录再现所需的结构。在将上述程序记录到软盘FD中时，通过软盘驱动器从计算机系统Cs写入作为上述程序的图像编码器及图像解码器。另外，在由软盘内的程序将上述图像编码器及图像解码器建立到计算机系统中的场合下，通过软盘驱动器从软盘读出程序，转送到计算机系统中。还有，存储程序的记录媒体不仅限于软盘，也可以是CD-ROM、DVD-ROM等的光盘和存储卡、ROM盒等。
另外，本发明所涉及的图像编码器及图像解码器可以应用于各种各样的设备和系统。下面，说明上述实施方式中的图像编码器及图像解码器的应用示例。
图14是表示实现内容传输服务的内容提供系统ex100整体结构的框图。将通信服务的提供区域分割成所希望的大小，在各单元内设置有各自作为固定无线电台的基站ex107～ex110。该内容提供系统ex100例如在因特网ex101上通过因特网提供设备ex102、电话网ex104及基站ex107～ex110，来连接计算机ex111、PDA(个人数字助理)ex112、摄像机ex113、携带电话ex114及带摄像机的携带电话ex115等的各种设备。但是，内容提供系统ex100并不限定于图14的那种组合，而也可以组合连接任一个。另外，不用通过作为固定无线电台的基站ex107～ex110，各设备也可以与电话网ex104直接连接。
摄像机ex113是数字视频摄像机等的可实行动态图像摄影的设备。另外，携带电话是下述方式的携带电话机或是PHS(PersonalHandyphone System)等全都可以，上述方式包括PDC(个人数字通信)方式、CDMA(码分多址)方式、W-CDMA(宽带码分多址)方式或者GSM(Global System for Mobile Communications)方式。
流(stream)服务器ex103通过基站ex109及电话网ex104与摄像机ex113连接，采用摄像机ex113可以实行根据用户所发送并加以编码处理后的数据的实况传输等。所拍摄到的数据编码处理既可以通过摄像机ex113来实行，也可以通过进行数据发送处理的服务器等来实行。另外，由摄像机ex116所拍摄到的动态图像数据也可以通过计算机ex111发送给流服务器ex103。摄像机ex116是数字摄像机等的可拍摄静止图像、动态图像的设备。这种场合下，动态图像数据的编码通过摄像机ex116或通过计算机ex111都可以实行。另外，编码处理是在计算机ex111和摄像机ex116所具有的LSIex117中实行的。还有，也可以将图像编码·解码用的软件装入任何储存媒体(CD-ROM、软盘、硬盘等)中，该储存媒体是通过计算机ex111等可读取的记录媒体。再者，也可以通过带摄像机的携带电话ex115来发送动态图像数据。此时的动态图像数据是通过携带电话ex115所具有的LSI加以编码处理后的数据。
关于该内容提供系统ex100，与上述实施方式相同地，将用户使用摄像机ex113、摄像机ex116等所拍摄到的内容(例如，拍摄音乐实况的图像等)进行编码处理并发送给流服务器ex103，而另一方面流服务器ex103对发出请求的客户机传输上述内容数据流。作为客户机，有可以对上述编码处理后的数据进行解码的计算机ex111、PDAex112、摄像机ex113及携带电话ex114等。这样一来，内容提供系统ex100就可以在客户机中对编码后的数据进行接收及再现，并进一步通过在客户机中对其进行实时接收、解码及再现，还能够实现个人广播。
在构成该系统的各设备的编码、解码过程中，可以采用上述各实施方式所示的图像编码器或图像解码器。
作为一个示例，对有关携带电话予以说明。图15表示的是采用在上述实施方式所说明的图像编码器和图像解码器的携带电话ex115。携带电话ex115具有：天线ex201，用来在与基站ex110之间发送并接收电波；摄像部ex203，是CCD摄像机等可拍摄图像、静止图像的摄像机；显示部ex202，是对由摄像部ex203所拍摄到的图像以及由天线ex201所接收到的图像等被解码后的数据进行显示的液晶显示器等；主体部，由操作键ex204群构成；声音输出部ex208，是进行声音输出所用的扬声器等；声音输入部ex205，是进行声音输入所用的麦克风等；记录媒体ex207，用来保存所拍摄到的动态图像或静止图像的数据、所接收到的邮件数据及动态图像数据或静止图像数据等编码后的数据或者解码后的数据；缝隙部ex206，用于将记录媒体ex207可安装到携带电话ex115中。记录媒体ex207是将闪存储元件装入SD卡等塑料盒内的部件，该闪存储元件是电可擦和删除的非易失性存储器并且是EEPROM(电可擦除可编程只读存储器)的一种。
再者，有关携带电话ex115采用图16予以说明。携带电话ex115对于下述的主控制部ex311通过同步总线ex313相互连接有电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD(液晶显示器)控制部ex302、图像解码部ex309、多路分离部ex308、记录再现部ex307、调制解调电路部ex306及声音处理部ex305，上述主控制部ex311用来对具备有显示部ex202及操作键ex204的主体部各部进行总体控制。
电源电路部ex310当因用户的操作而使话终及电源键变成导通状态时，通过从电池组对各部提供电源，而使带摄像机的数字携带电话ex115起动，成为可工作的状态。
携带电话ex115根据由CPU、ROM及RAM等组成的主控制部ex311的控制，通过声音处理部ex305将在声音通话方式时由声音输入部ex205所收集的声音信号变换成数字声音数据，采用调制解调电路部ex306对其进行扩频处理，在通过发送接收电路部ex301施以数字模拟变换处理及频率变换处理之后，通过天线ex201进行发送。另外，携带电话机ex115对在声音通话方式时由天线ex201所接收到的接收数据进行放大并施以频率变换处理及模拟数字变换处理，通过调制解调电路部ex306进行逆扩频处理，在采用声音处理部ex305变换成模拟声音数据之后通过声音输出部ex208将其输出。
再者，在数据通信方式时发送电子邮件的场合下，通过主体部操作键ex204的操作所输入的电子邮件正文数据，经由操作输入控制部ex304发到主控制部ex311。主控制部ex311通过调制解调电路部ex306对正文数据进行扩频处理，在采用发送接收电路部ex301施以数字模拟变换处理及频率变换处理之后，通过天线ex201发送到基站ex110。
在数据通信方式时发送图像数据的场合下，通过摄像机接口部ex303将由摄像部ex203所拍摄到的图像数据提供到图像编码部ex312。另外，在不发送图像数据的场合下，也可以通过摄像机接口部ex303及LCD控制部ex302将由摄像部ex203所拍摄到的图像数据直接显示在显示部ex202上。
图像编码部ex312的结构具备有本申请发明中所说明的图像编码器，并采用上述实施方式所示的用于图像编码器的编码方法进行压缩编码，以此将通过摄像部ex203所提供的图像数据变换成编码图像数据，将其发到多路分离部ex308。另外，与此同时携带电话机ex115通过声音处理部ex305，将在采用摄像部ex203实行拍摄过程中由声音输入部ex205所收集的声音作为数字的声音数据，发到多路分离部ex308。
多路分离部ex308以指定方式对由图像编码部ex312所提供的编码图像数据和由声音处理部ex305所提供的声音数据进行多路复用，通过调制解调电路部ex306对其结果所得到的复用数据进行扩频处理，在采用发送接收电路部ex301施以数字模拟变换处理及频率变换处理之后，通过天线ex201进行发送。
在数据通信方式时接收与主页等所连接的动态图像文件数据的场合下，由调制解调电路部ex306对通过天线ex201从基站ex110所接收到的接收数据进行逆扩频处理，并将其结果所得到的复用数据发到多路分离部ex308。
另外，为了对通过天线ex201所接收到的复用数据进行解码，多路分离部ex308通过分离复用数据，而分成图像数据的比特流和声音数据的比特流，并通过同步总线ex313将该编码图像数据提供到图像解码部ex309，与此同时将该声音数据提供到声音处理部ex305。
图像解码部ex309的结构为具备上述实施方式中所说明的图像解码器，采用与上述实施方式所示的编码方法对应的解码方法对图像数据的比特流进行解码，以此生成再现动态图像，通过LCD控制部ex302将其提供到显示部ex202，据此显示例如与主页所连接的动态图像文件中包含的动态图像数据。与此同时，声音处理部ex305在将声音数据变换成模拟声音数据之后，将其提供到声音输出部ex208，据此再现例如与主页所连接的动态图像文件中包含的声音数据。
再者，不局限于上述系统的示例，最近人们正在探讨采用卫星、地面波的数字广播，并且如图17所示在数字广播用的系统中也可以至少安装上述实施方式的图像编码器或图像解码器的任一个。具体地说，在发射台ex409上图像信息的比特流通过电波传送给通信或广播卫星ex410。收到该电波的广播卫星ex410发送广播用的电波，并通过具有卫星广播接收设备的家庭天线ex406来接收该电波，采用电视(接收机)ex401或者机顶盒(STB)ex407等的装置对比特流进行解码予以再现。另外，在读取下述比特流并进行解码的再现装置ex403中也可以安装上述实施方式所示的图像解码器，上述比特流记录于作为记录媒体的CD和DVD等储存媒体ex402中。这种场合下，再现的图像信号显示于监视器ex404上。另外，还考虑到这样的结构，即将图像解码器安装在与有线电视用的电缆ex405或者卫星/地面波广播的天线ex406相连接的机顶盒ex407内，通过电视的监视器ex408对其进行再现。此时，也可以不是机顶盒，而在电视内装入图像解码器。另外，也可以通过具有天线ex411的汽车ex412从卫星ex410或者从基站ex107等接收信号，并在汽车ex412所具有的汽车导航ex413等显示装置上对动态图像进行再现。
再者，也可以通过上述实施方式所示的图像编码器对图像信号进行编码，记录到记录媒体中。作为具体示例，有将图像信号记录到DVD光盘ex421中的DVD记录器和记录到硬盘中的磁盘记录器等的记录器ex420。还有，也可以记录到SD卡ex422中。记录器ex420如果具备上述实施方式所示的图像解码器，则可以对记录于DVD光盘ex421和SD卡ex422中的图像信号进行再现，通过监视器ex408加以显示。
再者，可以考虑汽车导航ex413的结构例如是在图16所示的结构中除去摄像部ex203、摄像机接口部ex303及图像编码部ex312，并且同样对计算机ex111和电视(接收机)ex401等也可以进行相同的考虑。
另外，还可以考虑上述携带电话ex114等的终端除具有编码器·解码器双方的发送接收型终端之外，还有只有编码器的发送终端、只有解码器的接收终端的3种组装形式。
这样，可以将上述实施方式所示的图像编码器或图像解码器使用于上述的任一设备·系统中，据此能够得到上述实施方式所说明的效果。
再者，本发明并不限定于上述这种实施方式，而在不脱离本发明的范围内，可以进行各种的变形或者修改。
产业上的可利用性
本发明所涉及的动态图像编码装置、动态图像解码装置及存储器管理装置等，可以作为通过在LSI等电子电路或者在计算机上执行的程序所实现的图像编码器及图像解码器，来加以利用。例如，用作对动态图像进行编码或对编码后的动态图像进行解码加以再现的计算机、PDA、数字广播发送机及携带电话机等中所具备的图像编码器及图像解码器，是很有用的。