动态图像解码方法及装置.pdf

一种动态图像解码方法及解码装置，动态图像解码装置(1)具备：计数单元(102)，进行从帧内编码图像开始的图像数的计数；和检测单元(101)，根据作为计数单元(102)的计数结果的可参照图像数Num，仅将从存储在存储器(408-410)中的参照图像(Ref1)、参照图像(Ref2)、参照图像(Ref3)中帧内编码以后的参照图像作为对象，通过分别与图像信号Vin相比较，确定象素间差值大小最小的参照图像。

1.  一种动态图像解码方法，通过帧内解码方法或帧间解码方法其中之一对被编码的图像进行解码，其特征在于：
包括：
解码步骤，对被编码的图像进行解码而获得解码图像，在所述解码图像是帧内解码图像，并且是被指定为在解码其他编码图像时，作为对可以选择的解码参照图像进行限制的基准的基准图像的情况下，对表示所述解码图像被指定为基准图像的指定信息也一起进行解码，以及
指定步骤，根据所述指定信息，指定所述解码图像为基准图像，
在所述解码图像被所述指定步骤指定为基准图像的情况下，对于所述基准图像以后通过所述帧间解码方法被解码的图像，从被指定为所述基准图像的所述解码图像和所述基准图像以后被解码的图像之中至少之一的图像中选择解码参照图像，并且禁止选择所述基准图像以前被解码的图像作为解码参照图像，
在所述解码图像未被所述指定步骤指定为基准图像的情况下，对于所述基准图像以后通过所述帧间解码方法被解码的图像，从所述基准图像以前被解码的图像，被指定为所述基准图像的所述解码图像和所述基准图像以后被解码的图像之中至少之一的图像中选择解码参照图像。

2.  一种动态图像解码装置，通过帧内解码单元或帧间解码单元其中之一对被编码的图像进行解码，其特征在于：
包括：
解码单元，对被编码的图像进行解码而获得解码图像，在所述解码图像是帧内解码图像，并且是被指定为在解码其他编码图像时，作为对可以选择的解码参照图像进行限制的基准的基准图像的情况下，对表示所述解码图像被指定为基准图像的指定信息也一起进行解码，以及
指定单元，根据所述指定信息，指定所述解码图像为基准图像，
在所述解码图像被所述指定单元指定为基准图像的情况下，对于所述基准图像以后通过所述帧间解码单元被解码的图像，从被指定为所述基准图像的所述解码图像和所述基准图像以后被解码的图像之中至少之一的图像中选择解码参照图像，并且禁止选择所述基准图像以前被解码的图像作为解码参照图像，
在所述解码图像未被所述指定单元指定为基准图像的情况下，对于所述基准图像以后通过所述帧间解码单元被解码的图像，从所述基准图像以前被解码的图像，被指定为所述基准图像的所述解码图像和所述基准图像以后被解码的图像之中至少之一的图像中选择解码参照图像。

动态图像解码方法及装置
本发明是本申请人2002年10月2日向中国专利局提交的申请号为“028032284”发明名称是《动态图像编码方法及装置、动态图像解码方法及装置》的分案申请。
技术领域
本发明涉及一种参照多个编码图像或解码图像来编码或解码动态图像信号的动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置以及存储由软件来实现这些方法用程序的记录媒体。
背景技术
近年来，迎来统一处理声音、图像和其它象素值等信息的多媒体时代，以前的信息媒体、即将报纸、杂志、电视、收音机、电话等的信息传递给人的手段被采纳为多媒体对象。通常，所谓多媒体是指不仅文字，还同时关联图形、声音、尤其是图像等进行显示，但在将上述现有信息媒体作为多媒体对象中，必需将该信息表示为数字形式。
但是，若将上述各信息媒体具有的信息量估计为数字信息量，则在文字的情况下，每1个文字的信息量为1-2字节，相反，在声音的情况下，必需每秒64kbits(电话品质)、另外，动态图像必需每秒100Mbits(现行电视接收品质)以上的信息量，上述信息媒体中以数字形式来原样处理庞大的信息是不现实的。例如，已通过具有64kbps-1.5Mbps的传送速度的服务综合数字通信网(ISDN：Integrated Services Digital Network：综合服务数字网)实用化可视电话，但通过ISDN来原样发送由摄像机拍摄的图像信息是不可能的。
因此，必需信息压缩技术，例如，在可视电话的情况下，使用由ITU-T(国际电气通信联合电气通信标准化部门)国际标准化的H.261或H.263标准的动态图像压缩技术。另外，也可利用MPEG-1标准的信息压缩技术将图像信息与声音信息一起放入通常的音乐用CD(致密盘)。
这里，所谓MPEG(Moving Picture Experts Group：移动图像专家组)是动态图像信号的数字压缩的国际标准，MPEG-1是将动态图像信号压缩到1.5Mbps、即将电视信号的信息压缩到约1/100的标准。另外，因为以MPEG-1标准为对象的传送速度主要限制在约1.5Mbps，所以由应满足更高画质化要求的标准化MPEG-2将动态图像信号压缩到2-15Mbps。
另外，在现状下，通过MPEG-1、MPEG-2和进行标准化的作业组(ISO/IECJTC1/SC29/WG11)标准化压缩率更高的MPEG-4。MPEG-4中还引入了强有力的耐错误技术，不仅可以低位速率进行高效率的编码，而且即使发生传送路径错误，也可减小主观画质恶化。另外，ITU-T中，开始H.26L的标准化活动，作为下一代图像编码方式。
参照MPEG-1、MPEG-2、MPEG-4此前编码或解码的图像的图像信号(参照图像)，通过使用编码、解码参照图像与被编码、解码图像的差值的帧间编码(Inter Predictive Coded Picture(帧间预测编码图像)：下面简称为Inter Picture(帧间图像))，可实现大幅度的压缩率(例如参照ISO/IEC13818-2[INTERNATIONAL STANDARD Information technology-Genericcoding of moving picture and associated audio information：Video]2000年12月15日，第7页，Intro.4.1.1)。
另外，通过削减时间方向和空间方向的冗余性，可实现信息量压缩。因此，在以削减时间冗余性为目的的帧间预测编码中，参照已编码、解码的图像(参照图像)形成预测图像，对得到的预测图像和编码对象图像的差值进行编码。这里，所谓图像是表示1个画面的用语，在逐行图像中表示帧，在隔行图像中表示帧或字段。
在2001年9月时的H.26L标准中，为了进一步提高压缩率，不仅参照此前编码或解码的图像，而且从在被编码、解码图像之前编码、解码的多个图像中选择任意图像，设为参照图像。
图1表示现有动态图像编码方法和动态图像解码方法的概念说明图。图1是从被编码、解码图像前的3个图像中选择任意图像、并设为参照图像的实例。图1中，各图像按显示时刻的顺序排列，左侧图像的显示时刻早。编码顺序也是左侧图像先被编码。因此，位流顺序也是图像J₁、图像J₂、图像J₃、图像J₄。因此，在被编码、解码图像为图像J₄的情况下，从图像J₁、图像J₂、图像J₃中选择1个，设为参照图像，在被编码、解码图像为图像J₅的情况下，从图像J₂、图像J₃、图像J₄中选择1个，设为参照图像。
图2是表示现有动态图像编码装置构成的框图。
动态图像编码装置4是压缩编码输入的图像信号Vin后、输出变换为可变长编码等位流的图像编码信号Str的装置，具备动作检测单元401、选择单元402、图像信号减法单元403、编码单元404、解码单元405、加法单元406、选择单元407和存储器408-410。
动作检测单元401分别读取存储在存储器408-410中作为已编码图像的参照图像，通过与输入图像信号Vin相比较，确定画面间差值大小(误差能量)小的参照图像Ref和表示画面间差值小的象素位置的动作信息MV。通常，多确定误差能量最小的参照图像Ref和象素位置，但最近不单纯是误差能量最小，还利用确定动作信息MV使误差能量变小且压缩率变大的方法。将参照图像Ref和象素位置的信息统称为动作信息MV。选择单元402输出根据作为切换指示信号的参照图像指示信号RefFrm从存储于存储器408-410中的参照图像Ref₁、参照图像Ref₂、参照图像Ref₃中选择的参照图像Ref。减法单元403计算图像信号Vin与参照图像Ref的差分图像信号Dif。
编码单元404编码差分图像信号Dif与作为特定参照图像用信息的动作信息MV。解码单元405解码由编码单元404编码的编码数据Coded，得到复原差分图像信号RecDif。加法单元406将参照图像Ref与复原差分图像信号RecDif相加。选择单元407在后续图像编码中，将输入的解码图像信号Recon参照为参照图像，所以作为解码图像信号Rec₁、解码图像信号Rec₂、解码图像信号Rec₃输出到存储器408-410之一。
下面，说明上述构成的动态图像编码装置的动作。
将图像信号Vin输入图像信号减法单元403和动作检测单元401。动作检测单元401读取存储于存储器408-410中的作为已解码图像的参照图像Ref₁、参照图像Ref₂、参照图像Ref₃，通过与输入的图像信号Vin进行比较，确定画面间差值大小最小的参照图像，输出参照图像和作为特定参照象素位置用信息的动作信息MV。
同时，动作检测单元401输出作为切换指示信号的参照图像指示信号RefFrm，使选择单元402可选择对应于动作信息MV的参照图像并作为参照图像Ref输出。因为由于场交换等而丧失画面间相关，所以压缩率比仅由帧间编码和被编码图像的图像编码信号可复原的帧内编码(Intra CodingPicture：以下简称为Intra Picture)低。此时，动作检测单元401输出由动作信息MV表示为帧内编码、且总是将输出值0的参照图像Ref4作为参照图像Ref输出用的参照图像指示信号Ref Frm。参照图像Ref4的值不一定是0，在例如取0-255的辉度信号或RGB彩色信号的情况下，也可是平均值128。
另外，为了在防止错误传播或图像编码信号途中可再现图像，所以必需对每一定数量的图像进行可仅由被编码图像的图像编码信号复原的帧内编码。因此，动作检测单元401可通过从外部提供的帧内编码指示信号Reset的指示来强制切换为帧内编码。
另一方面，输入图像信号Vin的减法单元403计算该图像信号Vin与选择单元402选择的参照图像Ref之差分，将差分图像信号Dif输出到编码单元404。接着，编码单元404编码差分图像信号Dif和动作检测单元401输出的动作信息MV，输出图像编码信号Str和编码数据Coded。其中，编码数据Coded是复原图像必需的数据，图像编码信号Str将编码数据Coded进一步变换为可变长编码等的位流。
解码单元405解码编码数据Coded，将复原差分图像信号RecDif输出到加法单元406。加法单元406将复原差分图像信号RecDif与选择单元402选择的参照图像Ref相加，将解码图像信号Recon输出到选择单元407。选择单元407在后续的图像编码时，可将解码图像信号Recon作为参照图像来参照，所以作为解码图像信号Rec₁、解码图像信号Rec₂、解码图像信号Rec₃输出到存储器408-410之一。在本例中，选择单元407进行切换，将在最早时刻保存在存储器中的图像替换为新的解码图像信号Recon。
图3是表示现有动态图像解码装置构成的框图。
动态图像解码装置5是解码上述动态图像编码装置4编码的图像编码信号Str的装置。
解码单元501解码输入的图像编码信号Str，输出复原差分图像信号RecDif和动作信息MV。动作复原单元502解码动作信息MV，输出参照图像指示信号RefFrm。选择单元503、选择单元505、存储器506-508的动作与图2所示动态图像编码装置4的选择单元402、选择单元407、和存储器408-410相同。加法单元504将复原差分图像信号RecDif与参照图像Ref相加后，输出解码图像信号Vout(相当于图2中的解码图像信号Recon)。
在所述动态图像编码装置4和动态图像解码装置5中，分别在选择单元402和选择单元503的输出侧设置未图示的动作补偿单元，进行根据从存储器输出的参照图像的象素值来内插生成作为1/2象素位置精度等象素值的小数象素位置精度的象素值的动作补偿。
然而，在上述现有动态图像编码装置及现有动态图像解码装置中，未完全区别参照图像是帧内编码的图像(Intra Picture：帧内图像)还是在帧内编码图像之后进行帧间编码的图像(Inter Picture：帧间图像)。例如，在图1的现有动态图像编码方法和动态图像解码方法的概念说明图中，图像J₂是帧内编码的图像，此外的图像J₁、图像J₃、图像J₄、图像J₅是帧间编码的图像，但也参照图像J₁来作为图像J₄的参照图像。在图像J₄参照图像J₁作为参照图像的情况下，将在帧内编码图像J₂之前的图像参照为参照图像。
但是，在中途再现图像的情况下，即使例如从图像编码信号中途的帧内编码图像J₂解码图像并进行再现，在解码图像J₄时也必需参照解码后的图像J₁。因此，存在不能正确解码图像J₄以后的图像的问题。
另外，例如在图像编码信号中途发生流错误，并且图像J₁由于错误而不能正确解码的情况下，虽然帧内编码的图像J₂可正确解码，但解码图像J₄时必需参照图像J₁，所以产生不能正确解码图像J₄以后的图像的问题。
发明的内容
因此，鉴于上述问题，提出本发明，其目的在于提供一种动态图像编码方法和动态图像解码方法，可根据图像编码信号中途的帧内编码图像进行再现，另外，即使在流中发生错误的情况下，也可无错误地再现帧内编码图像以后的图像。
根据本发明的动态图像解码方法，通过帧内解码方法或帧间解码方法其中之一对被编码的图像进行解码，其特征在于：包括：解码步骤，对被编码的图像进行解码而获得解码图像，在所述解码图像是帧内解码图像，并且是被指定为在解码其他编码图像时，作为对可以选择的解码参照图像进行限制的基准的基准图像的情况下，对表示所述解码图像被指定为基准图像的指定信息也一起进行解码，以及指定步骤，根据所述指定信息，指定所述解码图像为基准图像。在所述解码图像被所述指定步骤指定为基准图像的情况下，对于所述基准图像以后通过所述帧间解码方法被解码的图像，从被指定为所述基准图像的所述解码图像和所述基准图像以后被解码的图像之中至少之一的图像中选择解码参照图像，并且禁止选择所述基准图像以前被解码的图像作为解码参照图像。在所述解码图像未被所述指定步骤指定为基准图像的情况下，对于所述基准图像以后通过所述帧间解码方法被解码的图像，从所述基准图像以前被解码的图像，被指定为所述基准图像的所述解码图像和所述基准图像以后被解码的图像之中至少之一的图像中选择解码参照图像。
根据本发明的动态图像解码装置，通过帧内解码单元或帧间解码单元其中之一对被编码的图像进行解码，其特征在于：包括：解码单元，对被编码的图像进行解码而获得解码图像，在所述解码图像是帧内解码图像，并且是被指定为在解码其他编码图像时，作为对可以选择的解码参照图像进行限制的基准的基准图像的情况下，对表示所述解码图像被指定为基准图像的指定信息也一起进行解码，以及指定单元，根据所述指定信息，指定所述解码图像为基准图像。在所述解码图像被所述指定单元指定为基准图像的情况下，对于所述基准图像以后通过所述帧间解码单元被解码的图像，从被指定为所述基准图像的所述解码图像和所述基准图像以后被解码的图像之中至少之一的图像中选择解码参照图像，并且禁止选择所述基准图像以前被解码的图像作为解码参照图像。在所述解码图像未被所述指定单元指定为基准图像的情况下，对于所述基准图像以后通过所述帧间解码单元被解码的图像，从所述基准图像以前被解码的图像，被指定为所述基准图像的所述解码图像和所述基准图像以后被解码的图像之中至少之一的图像中选择解码参照图像。
根据本发明的动态图像编码方法，以图像单位来编码动态图像，其特征在于：包括：指定步骤，将被存储于存储器中的多个图像的帧内编码的图像，指定为在限制参照图像时作为基准的图像；和编码步骤，编码信号，该信号表示：在所述指定步骤指定的图像之后将要编码的图像，其是仅参照在所述指定步骤指定的图像以后被编码过的图像、并在限制所述参照图像时作为基准的图像。
另外，根据本发明的动态图像编码方法，以图像单位来编码动态图像，其特征在于：包括：指定步骤，将被存储于存储器中的多个图像的被帧内编码的图像，指定为在限制参照图像时作为基准的图像；删除步骤，将在所述指定步骤指定的图像之前被编码的图像删除；和编码步骤，对信号进行编码，该信号表示：在所述指定步骤被指定的图像以后被编码的图像，其是仅参照所述指定步骤指定的图像以后被编码过的图像、而删除在所述指定步骤被指定过的图像以前被编码过的图像。
另外，根据本发明的动态图像编码方法，以图像单位来编码动态图像，其特征在于：包括：特定步骤，从存储器中存储的多个图像中，特定在帧内编码的图像以后被编码的1个图像，作为参照图像；编码步骤，从所述存储器中读取特定的参照图像，算出作为读取的参照图像与被编码图像之差分的差分图像信号，编码得到的差分图像信号；和存储步骤，解码被编码的所述差分图像信号，与所述参照图像的图像信号相加，并将得到的图像存储在所述存储器中；所述特定步骤，计数帧内编码的图像以后被编码的图像数，根据计数的数，特定所述参照图像。
另外，根据本发明的动态图像解码方法，以图像单位来解码动态图像，其特征在于：包括：解码步骤，对信号进行解码，该信号表示：在对解码对象图像解码时进行参照的参照图像进行限制时、成为基准的图像；和特定步骤，在所述基准的图像以后将要被解码的图像、是仅将成为所述基准的图像且在被帧内解码过的图像以后被解码过的图像、特定为参照图像。
另外，根据本发明的动态图像解码方法，以图像单位来解码动态图像，其特征在于：包括：解码步骤，对信号进行解码，该信号表示：在将解码对象图像解码时进行参照的参照图像进行限制时成为基准的图像；删除步骤，删除成为所述基准的图像且是在被帧内解码过的图像之前被解码过的图像；和特定步骤，在成为所述基准图像以后被解码过的图像、是仅将成为所述基准图像且在被帧内解码过的图像以后被解码过的图像、特定为参照图像。
根据本发明的动态图像解码方法，以图像单位来解码动态图像，其特征在于：包括：解码步骤，解码被输入的图像编码信号；特定步骤，从存储器中存储的多个图像中，特定帧内解码的图像以后被解码的1个图像，作为参照图像；和存储步骤，从所述存储器中读取特定的参照图像，将读取的参照图像的图像信号与解码的被解码图像的差分图像信号相加，将得到的图像输出到外部，并存储在所述存储器中；所述特定步骤包括：判断步骤，根据解码的信息来特定应作为参照图像的图像，并判断特定的图像是否是帧内解码图像以后被解码的图像；通常处理步骤，所述判断的结果为所述特定的图像是帧内解码图像以后被解码的图像时，特定所述特定的图像作为参照图像；和错误处理步骤，所述判断的结果为所述特定的图像不是帧内解码图像以后被解码的图像的情况下，特定事先设定的预定图像作为参照图像。
另外，根据本发明的动态图像编码装置，以图像单位来编码动态图像，其特征在于：具备：特定单元，从存储器中存储的多个图像中，特定在帧内编码的图像以后被编码的1个图像作为参照图像；编码单元，从所述存储器中读出特定的参照图像，算出作为读取的参照图像与被编码图像之差分的差分图像信号，将得到的差分图像信号进行编码；存储单元，对编码的所述差分图像信号解码，与所述参照图像的图像信号相加，并将得到的图像存储在所述存储器中；和计数单元，计数帧内编码的图像以后被编码的图像数，
所述特定单元根据所述计数单元计数的数，特定所述参照图像。
根据本发明的动态图像解码装置，以图像单位来解码动态图像，其特征在于：具备：解码单元，将输入的图像编码信号解码；特定单元，从存储器中存储的多个图像中，特定帧内解码图像以后被解码的1个图像，作为参照图像；存储单元，从所述存储器中读取特定的参照图像，将读取的参照图像的图像信号与解码的被解码图像的差分图像信号相加，将得到的图像输出到外部，并存储在所述存储器中；和计数单元，计数帧内编码的图像以后被编码的图像数，
所述特定单元根据所述计数单元计数的数，特定所述参照图像。
并且，本发明实现为在计算机中执行所述动态图像编码方法和动态图像解码方法的步骤的程序，另外，实现为由所述动态图像编码方法编码的流数据，可经CD-ROM或通信网络等记录媒体或传送媒体来流通。
例如，按图像J₁、图像J₂、图像J₃、图像J₄、图像J₅的顺序编码图像，图像J₂是帧内编码图像，此外的图像J₁、图像J₃、图像J₄、图像J₅是帧间编码的图像。即，位流的顺序为图像J₁、图像J₂、图像J₃、图像J₄、图像J₅的顺序。
此时，在根据本发明的动态图像编码方法和动态图像解码方法中，在画面编码和解码时可选择作为参照图像的图像在例如编码图像J₅时，可参照图像J₂、图像J₃、图像J₄。另外，在编码图像J₄时，因为禁止参照在帧内编码图像J₂之前的图像J₁，所以可仅参照图像J₂和图像J₃。
附图的简要说明
图1是现有动态图像编码方法和动态图像解码方法概念的说明图。
图2是表示现有动态图像编码装置构成的框图。
图3是表示现有解码装置构成的框图。
图4是表示根据本发明的动态图像编码装置一实施例构成的框图。
图5是表示上述实施例中动作检测单元的动作的流程图。
图6是表示上述实施例中图像编码时可选择作为参照图像的图像的说明图。
图7是表示根据本发明动态图像编码装置的其它实施例的构成框图。
图8是表示根据本发明的动态图像解码装置一实施例构成的框图。
图9是表示上述实施例中动作复原单元的动作流程图。
图10是说明上述实施例中用于解码的参照图像的方法1-3的选择的说明图，(a)是用于解码的参照图像的说明图，(b)是表示图像位置关系的说明图。
图11是表示根据本发明的动态图像解码装置实施例2的构成框图。
图12是表示上述实施例中动作复原单元动作的流程图。
图13是存储由计算机系统来实施所述实施例1和2的动态图像编码方法和动态图像解码方法的程序的记录媒体说明图，(a)是表示作为记录媒体主体的软盘的物理格式实例的说明图，(b)是表示从软盘正面看的外观、截面构造及软盘的说明图，(c)是表示在软盘FD中记录再现所述程序用构成的说明图。
图14是表示实现内容配送服务的内容提供系统的整体构成的框图。
图15是表示便携电话一例的图。
图16是表示便携电话内部构成的框图。
图17是表示数字播放用系统的整体构成的框图。
发明的具体实施方式
下面，用图4-图17来说明本发明的实施例。
(实施例1)
图4是表示根据本发明的动态图像编码装置一实施例构成的框图。另外，进行与图2所示现有动态图像编码装置4的各单元相同动作的设备附加相同标记。
动态图像编码装置1是压缩编码输入的图像信号Vin后、输出变换为可变长编码等位流的图像编码信号Str的装置，具备动作检测单元101、选择单元402、图像信号减法单元403、编码单元404、解码单元405、加法单元406、选择单元407、存储器408-410和计数单元102。
计数单元102一旦由从外部输入的帧内编码指示信号Reset指示帧内编码，则开始从帧内编码的图像开始计数图像数，将结果作为可参照图像数Num通知动作检测单元101。
动作检测单元101根据可参照图像数Num，将存储器408-410中存储的参照图像Ref1、参照图像Ref2、参照图像Ref3中在帧内编码以后编码和解码的图像作为对象，通过与各图像信号Vin相比较，确定画面间差值大小(误差能量)小的参照图像Ref和表示画面间差值大小变小的象素位置的动作信息MV。通常，多确定误差能量最小的参照图像Ref和象素位置，但除了误差能量最小外，也可确定动作信息MV使误差能量变小且压缩率变大。为了表示参照图像Ref，将参照图像指示信号RefFrm输出到选择单元402。
选择单元402根据作为切换指示信号的参照图像指示信号RefFrm，从存储于存储器408-410中的参照图像Ref1、参照图像Ref2、参照图像Ref3中选择并作为参照图像Ref输出。
减法单元403计算图像信号Vin与参照图像Ref的差分图像信号Dif。编码单元404编码差分图像信号Dif与作为特定参照图像用信息的动作信息MV，输出图像编码信号Str和编码数据Coded。这里，编码数据Coded是复原图像必需的数据(编码动作信息MV或差分图像信号Dif的数据)，图像编码信号Str还将编码数据Coded变换为可变长编码等位流。
解码单元405解码编码数据Coded，得到复原差分图像信号RecDif。加法单元406将参照图像Ref与复原差分图像信号RecDif相加。选择单元407在编码后续图像时，将输入的解码图像信号Recon参照为参照图像，所以作为解码图像信号Rec1、解码图像信号Rec2、解码图像信号Rec3输出到存储器408-410之一。在本实施例中，由选择单元407来进行切替，由新的解码图像信号Recon来替换最早时刻保存在存储器中的解码图像信号。
下面，说明上述构成的动态图像编码装置的动作。
图5是表示动作检测单元101的动作的流程图。
将图像信号Vin输入图像信号减法单元403和动作检测单元101。
动作检测单元101一旦输入图像信号Vin，则读取存储于存储器408-410中的参照图像Ref1(步骤S1)。接着，动作检测单元101判断该参照图像Ref1是否是帧内编码图像以后的图像。即，根据各图像固有的图像序号和从计数单元102通知的可参照图像数Num，使用例如式(A)来进行判断(步骤S2)。这里，图像序号是附加于编码图像中的识别序号，具有下述特征。
即，图像信号Vin的图像(图片)序号仅比存储器408-410中保存后作为参照图像的图像中最近保存的图像的图像序号大1。
参照图像的图像序号
≥图像信号Vin的图像序号-可参照图像数Num…(A)
结果，因为满足上式(A)的情况是参照图像Ref1是帧内编码图像以后的图像，所以动作检测单元101算出图像信号Vin与参照图像Ref1的差值(步骤S3)。另一方面，在不满足上式(A)的情况下，不算出差。
接着，动作检测单元101分别对存储在存储器409中的参照图像Ref2和存储在存储器410中的参照图像Ref3进行与对所述参照图像Ref1进行的处理一样的处理(步骤S1-步骤S3)。
接着，动作检测单元101确定上述算出差的参照图像中画面间差值大小最小的参照图像(步骤S4)。另外，动作检测单元101输出确定的参照图像，作为特定用信息的动作信息MV，同时，输出作为切换指示信号的参照图像指示信号RefFrm，使选择单元402选择确定的参照单元，并作为参照图像Ref输出(步骤S5)。
也可在步骤S3中算出差值后，决定步骤S4中算出差的参照图像中画面间差值大小小的参照图像，从存储器408到410重复步骤S1、步骤S2、步骤S3、步骤S4。
另一方面，输入图像信号Vin的减法单元403计算该图像信号Vin与选择单元402选择的参照图像Ref的差，将差分图像信号Dif输出到编码单元404。接着，编码单元404编码差分图像信号Dif和动作检测单元101输出的动作信息MV，输出图像编码信号Str和编码数据Coded。
解码单元405解码编码数据Coded，将复原差分图像信号RecDif输出到加法单元406。加法单元406将复原差分图像信号RecDif与选择单元402选择的参照图像Ref相加，向选择单元407输出解码图像信号Recon。选择单元407在后续图像编码时可将解码图像信号Recon参照为参照图像，所以作为解码图像信号Rec1、解码图像信号Rec2、解码图像信号Rec3输出到存储器408-410之一。
图6是表示图像编码时可选择作为参照图像的图像的说明图。与图1一样，图像J₂是帧内编码图像，此外的图像J₁、图像J₃、图像J₄、图像J₅是帧间编码的图像。位流的编码顺序为图像J₁、图像J₂、图像J₃、图像J₄、图像J₅的顺序。
如上所述，动态图像编码装置1通过动作，在如图6所示例如编码图像J₅时，在进行帧间编码时可选择为参照图像的图像可参照图像J₂、图像J₃、图像J₄。另外，在编码图像J₄时，因为禁止参照在帧内编码图像J₂之前的图像J₁，所以可仅参照图像J₂和图像J₃。
如上所述，因为仅将帧内编码的图像以后被编码的图像参照为参照图像进行编码，所以可从图像编码信号途中的帧内编码的图像进行再现。另外，即使在流中发生错误的情况下，也可生成作为帧内编码图像以后无错误再现流的图像编码信号Str。
另外，为了从途中再现DVD或硬盘中记录的图像信号，必需可从该途中复原的结构，由从途中开始再现的图像来进行Reset指示。该Reset指示也可是在编码图像时由操作者确定并进行指示，也可在每经过一定图像周期或时间发出Reset指示。
各图像所有是帧内编码、还是帧间编码各图像等信息作为各图像的辅助信息。因此，也可编码表示所述实施例1中说明的帧内编码的图像是由帧内编码指示信号Reset特定的图像(图7)。另外，当是表示为帧内编码的图像、且为由该帧内编码指示信号Reset特定的图像的图像时，不参照在该特定图像之前存储在存储器中的图像。
另外，虽表示在帧内编码的图像为基准，不参照在帧内编码图像之前存储的图像，但也可通过帧内编码的图像，以帧内编码的图像为基准，从存储器中删除在帧内编码图像之前存储的图像。
另外，帧内编码指示信号Reset虽表示不参照在帧内编码图像之前存储的图像，但为了从存储器内删除在帧内编码图像之前存储的图像，也可编码与该帧内编码指示信号Reset不同的控制命令。
图8是表示根据本发明的动态图像解码装置一实施例构成的框图。另外，进行与图3所示现有动态图像解码装置5的各单元相同动作的设备附加相同标记。
动态图像解码装置2是解码上述实施例1所示动态图像编码装置1编码的图像编码信号Str的装置，具备解码单元201、动作复原单元202、选择单元503、加法单元504、选择单元505、存储器506-508和计数单元203。
解码单元201解码输入的图像编码信号Str，输出复原差分图像信号RecDif、动作信息MV和帧内编码指示信号Reset。计数单元203一旦由帧内编码指示信号Reset指示帧内编码，则开始从帧内编码开始计数图像数，将结果作为可参照图像数Num通知动作复原单元202。
动作复原单元202解码动作信息MV，通过根据可参照图像数Num判断对应于该动作信息MV的参照图像是否是可参照的图像，确定参照图像。
选择单元502根据作为切换指示信号的参照图像指示信号RefFrm，从存储在存储器506-508中的参照图像Ref1、参照图像Ref2、参照图像Ref3中选择，并作为参照图像Ref输出。加法单元504将复原差分图像信号RecDif与参照图像Ref相加后，输出解码图像信号Vout1(相当于图4中的解码图像信号Recon)。
选择单元505在后续的图像解码时可将输入的解码图像信号Vout1参照为参照图像，所以作为解码图像信号Rec1、解码图像信号Rec2、解码图像信号Rec3输出到存储器506-508之一。在本实施例中，由选择单元505进行切换，以由新的解码图像信号Recon来替换最早时刻保存在存储器中的图像。
下面，说明上述构成的动态图像解码装置的动作。
图9是表示动作复原单元202的动作流程图。
将图像编码信号Str输入解码单元201。解码单元201解码输入的图像编码信号Str，并输出复原差分图像信号RecDif和动作信息MV。另外，解码单元201在输入的图像编码信号Str是帧内编码的图像的情况下，输出帧内编码指示信号Reset。
计数单元203一旦从解码单元201输入帧内编码指示信号Reset，则从帧内编码的图像开始计算图像数，并作为可参照图像数Num通知给动作复原单元202。
输入动作信息MV和可参照图像数Num的动作复原单元202根据作为特定参照图像用信息的动作信息MV，特定编码时参照的参照图像(步骤S11)。接着，动作复原单元202判断该参照图像是否是帧内解码图像以后的图像。即，根据各图像固有的图像序号和从计数单元203通知的可参照图像数Num，用例如下式(B)来进行判断(步骤S12)。
参照图像的图像序号
≥图像编码信号Str的图像序号-可参照图像数Num…(B)
结果，因为满足上式(B)的情况是参照图像是帧内解码图像以后图像，所以动作复原单元202选择根据动作信息MV特定的参照图像作为解码中使用的参照图像(步骤S13)。
另一方面，在不满足上式(B)的情况下，参照图像是在帧内解码图像之前的图像。原来，在编码时应仅参照帧内编码图像以后的图像进行编码。因此，根据动作信息MV特定解码必需的参照图像应是由可参照图像数Num得到的帧内解码图像以后解码的图像。但是，由于传送错误，有可能参照帧内解码图像之前解码的图像、即不满足上式(B)。因此，动作复原单元202在不满足上式(B)的情况下，通过事先设定用于解码的参照图像的以下说明的方法1-3之一来选择(步骤S14)。
图10是说明用于解码的参照图像的方法1-3的选择的说明图，(a)是用于解码的参照图像的说明图，(b)是表示图像位置关系的说明图。这里，表示解码图像P₄时，图像P₂是帧内解码的图像，此外的图像P₁、图像P₃、图像P₄是画面间解码的图像。图像的显示时刻的顺序和图像的解码开始时刻(流中的位置)的顺序是图像P₁、图像P₂、图像P₃、图像P₄的顺序中早的时刻。
(方法1)
选择根据动作信息MV来特定的参照图像(图像P₁)，原样作为用于解码的参照图像。此时，即使参照编码编码时错误地进行帧内编码图像前的图像，只要正确解码图像P₁，则也可正确解码。
(方法2)
选择帧内解码的图像(图像P₂)，作为用于解码的参照图像。此时，因为帧内解码的图像是可参照为参照图像的图像中最先解码的图像，所以与可参照的图像中画面解码图像前的图像相关最强，编码时的参照图像为在帧内解码的图像前解码的图像的情况下，不损害画质的可能性高。
(方法3)
选择之前解码的图像(图像P₃)，作为用于解码的参照图像。通常时间间隔越短，图像信号的相关越高，结果，之前解码的图像作为参照图像的概率非常高。因此，若根据动作信息MV特定的参照图像错误，则在相关最强之前解码的图像是原来的参照图像的可能性高，不损害画质的可能性高。
既可使用这些方法1-方法3中的一个，也可组合多个方法来使用。作为组合例，当在方法1中不选择根据动作信息MV特定的参照图像(图像P₁)原样作为用于解码的参照图像时，例如选择方法3所示之前解码的图像作为用于解码的参照图像的所谓默认处理。
接着，动作复原单元202依次读取存储器506-508中存储的参照图像Ref1、参照图像Ref2、参照图像Ref3，判断是否是上述选择的参照图像(图9，步骤S15)。即，特定选择的参照图像存储在存储器506-508的哪一个中。另外，输出作为切换指示信号的参照图像指示信号RefFrm，以便选择单元503能选择特定的参照图像Ref1、参照图像Ref2、参照图像Ref3之一，作为参照图像Ref输出(图9，步骤S16)。
加法单元504将参照图像Ref与解码单元201输出的复原差分图像信号RecDif相加，将解码图像信号Vout1(相当于图4中的解码图像信号Recon)输出到选择单元505。选择单元505在后续图像解码时可将输入的解码图像信号Vout1参照为参照图像，所以作为解码图像信号Rec1、解码图像信号Rec2、解码图像信号Rec3输出到存储器506-508之一。
如上所述，仅将帧内解码的图像之后的图像参照为参照图像，正确解码编码的图像编码信号Str，得到解码图像信号Vout1，可从图像编码信号的途中帧内编码图像中进行再现。另外，即使在流中发生错误的情况下，也可无错误再现帧内编码的图像以后的图像。
另外，在本实施例中，虽事先设定选择动作复原单元202用于解码的参照图像的方法1-3，但本发明不限于此。例如，在由动作信息MV特定的图像与可参照图像数大不相同的情况下，设定方法3，在由动作信息MV特定的图像存储在存储器内并可参照的情况下，设定方法1，此外，也可象方法2那样对应于状况来动态切换3个方法或其中两个方法。
另外，各图像具有帧内解码或画面间解码各图像等信息作为各图像的辅助信息，因此，也可接收包含信号的图像编码信号Str，该信号表示上述实施例1中说明的帧内编码图像是由帧内编码指示信号Reset特定的图像，解码表示是由该帧内编码指示信号Reset特定的图像的信号。另外，在作为表示是帧内编码图像、且是由该帧内编码指示信号Reset特定的图像的图像时，也可不参照在该特定图像之前存储在存储器中的(解码)图像。
另外，虽表示以帧内解码的图像为基准，不参照在帧内解码图像之前存储的图像，但也可通过帧内解码的图像，以帧内解码的图像为基准，从存储器中删除在帧内解码图像之前存储的图像。
另外，为了从存储器内删除在帧内编码图像之前存储的图像，也可编接收包含与该帧内编码指示信号Reset不同的控制命令的图像编码信号Reset，解码该控制命令，判断是否是表示由帧内编码指示信号Reset特定的图像的信号，同时是否接收该信号，进行错误控制。
(实施例2)
下面，说明本发明实施例2的动态图像解码装置。
图11是表示根据本发明的动态图像解码装置实施例2的构成框图。另外，进行与图8所示动态图像解码装置2的各单元相同动作的设备附加相同标记，省略说明。
动态图像解码装置3在图8所示的动态图像解码装置2的构成为还具备选择单元301，由于传送错误等，由动作信息MV特定的参照图像为帧内解码图像前解码的图像的情况下的动作与实施例1不同。
选择单元301根据从动作复原单元302通知的错误通知信号Err，输出从加法单元504输出的解码图像信号Recon或从选择单元503输出的参照图像Ref之一，作为解码图像信号Vout2。
下面，说明上述构成的动态图像解码装置的动作，但对与上述实施例1一样的部分省略说明。
图12是表示动作复原单元302的动作流程图。
图12所示步骤S21-S22的动作与图9所示步骤S11-S12的动作一样。接着，动作复原单元302判断特定的参照图像是否是帧内解码图像以后的图像的结果，在不满足上式(B)的情况下，即参照图像是帧内解码图像以前解码的图像的情况下，向选择单元301通知错误通知信号Err，作为有错误。另外，动作复原单元302选择此前解码的解码图像，作为参照图像和解码图像信号(步骤S23)。即，在通知错误通知信号Err的情况下，选择单元301输出参照图像Ref，作为解码图像信号Vout2，所以将此前解码的解码图像作为参照图像变为将此前解码的解码图像作为解码图像信号。
另一方面，上述判断的结果，在满足上式(B)的情况下，参照图像是帧内解码图像以后的图像，所以与上述实施例2一样，动作复原单元302选择根据动作信息MV特定的参照图像，作为用于解码的参照图像(步骤S24)。
下面图12所示的步骤S25-S26的动作与图9所示步骤S15-S16的动作一样。
接着，加法单元504将参照图像Ref与解码单元201输出的复原差分图像信号RecDif相加，输出解码图像信号Recon。选择单元301在未从动作复原单元302通知错误通知信号Err的情况下，输出从加法单元504输出的解码图像信号Recon，作为解码图像信号Vout2，在通知错误通知信号Err的情况下，输出从选择单元503输出的参照图像Ref，作为解码图像信号Vout2。即，在通知错误通知信号Err的情况下，原样输出此前解码的解码图像，作为解码图像信号Vout2。
选择单元505在后续图像解码时可将输入的解码图像信号Vout2参照为参照图像，所以作为解码图像信号Rec1、解码图像信号Rec2、解码图像信号Rec3输出到存储器506-508之一。
如上所述，例如由于传送错误等发生参照帧内解码图像前的图像的情况下，输出作为象素相关最强的之前解码图像的参照图像Ref，作为解码图像信号Vout2，所以可将错误引起的图像恶化的影响抑制到最小。
另外，在上述各实施例中，因为存储器的个数为3，所以可参照最大3个图像的编码图像，但不限于此，若增加存储器个数，则可参照更多的编码图像来进行编码和解码。
另外，在上述各实施例中，在所述动态图像编码装置1和动态图像解码装置2、3中，分别在选择单元402和选择单元503的输出侧设置未图示的动作补偿单元，进行补偿象素的图像间动作量的动作补偿。
另外，在上述各实施例中，在进行帧间编码时，若存在帧内编码的图像，则对所有图像进行限制，使不参照此前编码的图像作为参照图像，但本发明不限于此。例如，即使是帧内编码的图像，也不限制不参照此前编码的图像作为参照图像，即，也可象以前那样设置可参照此前编码的图像作为参照图像的多种帧内编码的图像，必要时分开使用。此时，区别两种帧内编码图像的信息可存储在例如图像编码信号Str内的头信息等中。
并且，上述各实施例中的计数单元102、103的计数不是图像的编码和解码顺序(Decording order)，即使是图像的显示顺序(Display order)也无妨。
(实施例3)
另外，通过将实现上述各实施例所示动态图像编码方法或动态图像解码方法构成的程序记录在软盘等记录媒体中，可在独立的计算机系统中简单实施上述各实施例中所示处理。
图13是使用存储所述实施例1和2的动态图像编码方法或动态图像解码方法的软盘、由计算机系统来实施情况下的说明图。
图13(b)表示从软盘正面看的外观、截面构造及软盘，图13(a)表示作为记录媒体主体的软盘的物理格式实例。软盘FD内置于壳F内，在该盘的表面以同心圆从外周向内周形成多个轨道Tr，沿角度方向将各轨道分割成16个扇区Se。因此，在存储所述程序的软盘中，在所述软盘FD上分配的区域中，记录作为所述程序的动态图像编码方法或动态图像解码方法。
另外，图13(c)表示在软盘FD中记录再现所述程序用构成。在将所述程序记录在软盘FD中的情况下，从计算机系统Cs中经软盘驱动器FDD写入作为所述程序的动态图像编码方法或动态图像解码方法。另外，在通过软盘内的程序在计算机系统中构筑所述动态图像编码方法或动态图像解码方法的情况下，由软盘驱动器FDD从软盘FD中读取程序，传送给计算机系统。
另外，在上述说明中，使用软盘作为记录媒体来进行说明，但也可使用光盘来同样进行。另外，记录媒体不限于此，若是IC卡、ROM盒等可记录程序的媒体，则可同样实施。
这里，说明上述实施例中所示的动态图像编码方法或动态图像解码方法的应用例和使用其的系统。
图14是表示实现内容配送服务的内容提供系统ex100的整体构成的框图。将通信服务的提供区分割成期望大小，在各小区内分别配置作为固定无线站的基站ex107-ex110。
该内容提供系统ex100例如经因特网服务提供商ex102、电话网ex104和基站ex107-ex110，将计算机ex111、PDA(personal digital assistant)ex112、摄像机ex113、便携电话ex114、带照相机的便携电话ex115等各种设备连接于因特网ex101上。
但是，内容提供系统ex100不限于图14的组合，也可任意组合连接。另外，也可不经作为固定无线站的基站ex107-ex110而将各设备直接连接于电话网ex104。
摄像机ex113是数字视频的摄像机等可拍摄动态图像的设备。另外，便携电话是PDC(Personal Digital Communications)方式、CDMA(CodeDivision Multiple Access)方式、W-CDMA(Wideband-Code DivisionMultiple Access)方式或GMS(Global System for Mobile Communications)方式等便携电话机，或PHS(Personal Handyphone System)等，无论是哪种都无妨。
另外，从摄像机ex113经基站ex109、电话网ex104连接流服务器ex103，可使用摄像机ex113来进行基于用户发送的编码处理后数据的实况配送等。可由摄像机ex113来进行拍摄数据的编码处理，也可由进行数据发送处理的服务器等来进行。另外，也可将由照相机116拍摄的动态图像数据经计算机ex111发送给流服务器ex103。照相机116是数字照相机等可拍摄静止图像、动态图像的设备。此时，既可由照相机ex116也可由计算机ex111来进行动态图像数据的编码。另外，在计算机ex111或照相机ex116所有的LSIex117中处理编码处理。也可将图像编码、解码用软件组装在作为可由计算机ex111读取的记录媒体的任何存储媒体(CD-ROM、软盘、硬盘等)中。并且，也可由带照相机的便携电话ex115来发送动态图像数据。此时的动态图像数据是由便携电话ex115所有的LSI进行编码处理的数据。
在内容提供系统ex100中，用户将用摄像机ex113、照相机ex116等拍摄的内容(例如拍摄音乐实况的电影等)与上述实施例一样进行编码处理后，发送到流服务器ex103，另一方面，流服务器ex103向有请求的客户机流配送上述内容。作为客户机，有可解码上述编码处理数据的计算机ex111、PDAex112、摄像机ex113、便携电话ex114等。从而，内容提供系统ex100是如下系统：客户机接收并再现编码的数据，并且客户机通过实时接收、解码和再现，也可实现个人播放。
在构成该系统的各设备的编码、解码中，也可使用上述各实施例中所示的动态图像编码装置或动态图像解码装置。
以便携电话为例进行说明。
图15是表示使用上述实施例中说明的动态图像编码方法和动态图像解码方法的便携电话ex115的图。便携电话ex115具有：与基站ex110之间收发信电波用的天线ex201、CCD照相机等可拍摄电影、静止图像的照相机部ex203、显示解码照相机部ex203拍摄的电影、天线ex201接收的电影等的数据的液晶显示器等显示部ex202、由操作键ex204群构成的主体部、输出声音用的扬声器等声音输出部ex208、输入声音用的麦克风等声音输入部ex205、保存拍摄的动态图像或静止图像的数据、接收的邮件数据、动态图像数据或静止图像的数据等编码数据或解码数据的存储媒体ex207、可将存储媒体ex207安装在便携电话ex115中的开槽部ex206。存储媒体ex207在SD卡的塑料壳内等存放作为在可电改写或删除的非易失性存储器的EEPROM(Electrically Erasable and Programmable Read Only Memory)之一的闪存元件。
用图16来说明便携电话ex115。便携电话ex115经同步总线ex313将电源电路部ex310、操作输入控制部ex304、图像编码部ex312、相机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、复用分离部ex308、记录再现部ex307、调制解调部ex306和声音处理部ex305彼此连接于统一控制具有显示部ex202和操作键ex204的主体部各部的主控制部ex311。
电源电路部ex310一旦由于用户操作而打开结束通话及电源键时，通过从电池组向各部供电，将带相机的数字便携电话ex115启动到可动作状态。
便携电话ex115根据由CPU、ROM及RAM等构成的主控制部ex311的控制，通过声音处理部ex305将声音通话模式时由声音输入部ex205采集的声音信号变换为数字声音数据，由调制解调电路部ex306进行频谱扩展处理，在由收发信电路部ex301进行数模变换处理及变频处理后，经天线ex201发送。另外，便携电话机ex115在放大声音通话模式时由天线ex201接收的接收信号，实施变频处理及模数变换处理，由调制解调部ex306进行频谱逆扩展处理，通过声音处理部ex305变换为模拟声音信号后，经声音输出部ex208输出。
并且，在数据通信发送电子邮件的情况下，经操作输入控制部ex304将通过主体部的操作键ex204的操作输入的电子邮件的文本数据发送到主控制部ex311。主控制部ex311由调制解调电路部ex306频谱扩展处理文本数据，在由收发信电路部ex301实施数模变换处理及变频处理后，经天线ex201发送到基站ex110。
在数据通信模式时发送图像数据的情况下，将由相机部ex203拍摄的图像数据经相机接口部ex203提供给图像编码部ex312。另外，在不发送图像数据的情况下，也可将由相机部ex203拍摄的图像数据经相机接口部ex303及LCD控制部ex302直接显示在显示部ex202中。
图像编码部ex312构成为具备本申请中说明的图像编码装置，通过上述实施例所示图像编码装置中所用的编码方法压缩编码从相机部ex203提供的图像数据，变换为编码图像数据，并发送到复用分离部ex308。另外，与此同时，便携电话机ex115将拍摄机部ex203拍摄中由声音输入部ex205采集的声音作为数字声音数据，经声音处理部ex305发送到复用分离部ex308。
复用分离部ex308按规定的方式复用从图像编码部ex312提供的编码图像数据和从声音处理部ex305提供的声音数据，由调制解调电路部ex306对结果得到的复用数据进行频谱扩展处理，在由收发信电路部ex301实施数模变换处理及变频处理后，经天线ex201发送。
在接收在数据通信模式时链接到主页等上的动态图像文件数据的情况下，由调制解调电路部ex306频谱逆扩展处理经天线ex201从基站ex110接收的接收信号，将结果得到的复用数据发送到复用分离部ex308。
另外，在解码经天线ex201接收的复用数据中，复用分离部ex308通过分离复用数据，分为图像数据的编码位流和声音数据的编码位流，经同步总线ex313将该编码图像数据提供给图像解码部ex309，同时，将该声音数据提供给声音处理部ex305。
下面，图像解码部ex309构成为具备本申请中说明的图像解码装置，通过由对应于上述实施例中所示编码方法的解码方法解码图像数据的编码位流，生成再现动态图像数据，经LCD控制部ex302提供给显示部ex202，从而，显示包含于例如链接于主页上的动态图像文件中的动态图像数据。与此同时，声音处理部ex305将声音数据变换为模拟声音信号后，提供给声音输出部ex208，从而，再现包含于例如链接于主页上的动态图像文件中的声音数据。
限于上述系统实例，最近的话题是通过卫星、地面波来进行数字播放，图17错误！未发现参照源。也可在所示数字播放用系统中组装上述实施例的至少图像编码装置或图像解码装置之一。具体而言，由播放站ex409将电影登记处的编码位流经电波传送到通信或播放卫星ex410。接收位流的播放卫生ex410发送播放用电波，具有卫星播放接收设备的家庭天线ex406接收该电波，通过电视(接收机)ex401或机顶盒(STB)ex407等装置解码编码位流后进行再现。另外，也可在读取记录在作为记录媒体的CD或DVD等存储媒体ex402中的编码位流、并解码的再现装置403中安装上述实施例所示的图像解码装置。此时，再现的电影信号显示于监视器ex404上。另外，还考虑构成为在有线电视用电缆ex405或卫星/地面波播放天线ex406上连接的机顶盒ex407内安装图像解码装置，由电视的监视器ex408来进行再现。此时，也可不在电视内组装机顶盒，而组装图像解码装置。另外，也可是有天线ex411的车ex412从卫星ex410或基站ex107等接收信号，在车ex412所有的车导航装置ex413等显示装置中再现动态图像。
另外，也可由上述实施例所示图像编码装置编码图像信号，并记录在记录媒体中。作为具体例，有将图像信号记录在DVD盘ex421中的DVD记录器，或记录在硬盘中的盘记录器等记录器ex420。另外，也可记录在SD卡ex422中。若记录器ex420具备上述实施例所示的图像解码装置，则可再现记录在DVD盘ex421或SD卡ex422中的图像信号，并由监视器ex408进行显示。
考虑车导航装置ex413的构成是例如从图16所示构成中去除相机部ex203和相机接口部ex303、图像编码部ex312的构成，同样也可考虑计算机ex111或电视(接收器)ex401等。
另外，上述便携电话ex114等的终端除具有编码器、解码器两者的收发信型终端外，还考虑仅有编码器的发送终端、仅有解码器的接收终端等3种安装形式。
因此，可将上述实施例所示动态图像编码方法或动态图像解码方法用于上述之一的设备、系统中，从而，可得到上述实施例中说明的效果。
另外，上述实施例中所示的动态图像编码方法或动态图像解码方法在例如中途再现记录在DVD、SD卡、存储器等记录媒体中的流数据的情况下也有效。
从上述说明可知，根据本发明的动态图像编码方法，以图像单位来编码动态图像，其特征在于：包括：特定步骤，从存储器中存储的多个图像中，特定在帧内编码的图像以后被编码的1个图像，作为参照图像；编码步骤，从所述存储器中读取特定的参照图像，算出作为读取的参照图像与被编码图像之差分的差分图像信号，编码得到的差分图像信号；和存储步骤，解码编码的所述差分图像信号，与所述参照图像的图像信号相加，并将得到的图像存储在所述存储器中。
因为不进行将帧内编码图像之前的图像参照为参照图像的编码，所以可从图像编码信号的中途帧内编码图像进行再现。另外，即使在流中发生错误的情况下，也可生成作为可无错误再现帧内编码图像以后图像的流的图像编码信号。从而，存储媒体从重要的中途再现或无线、有线传送时重要的传送时的错误耐性方面的优点扩大，实际应用好。
另外，根据本发明的动态图像解码方法，以图像单位来解码动态图像，其特征在于：包括：解码步骤，解码输入的图像编码信号；特定步骤，从存储器中存储的多个图像中，特定帧内解码图像以后解码的1个图像，作为参照图像；和存储步骤，从所述存储器中读取特定的参照图像，将读取的参照图像的图像信号与解码的被解码图像的差分图像信号相加，将得到的图像输出到外部，同时，存储在所述存储器中。
由此，可仅将帧内解码图像以后的图像参照为参照图像，正确解码编码的图像编码信号，得到解码图像信号，并可从图像编码信号途中的帧内编码图像进行再现。另外，即使在流中产生错误的情况下，也可无错误再现帧内编码的图像以后的图像。
产业上的可利用性
如上所述，根据本发明的动态图像编码方法和动态图像解码方法在途中再现记录在便携电话、DVD装置、个人计算机等使用的例如DVD、SD卡、存储器等存储媒体中的流数据的情况等中有用。