图像编码方法和装置以及图像编码程序.pdf

所公开的是一种图像编码装置，其中，在预测模式丰富的编码中，在编码之前可以高度正确地估计生成的代码量，并且其中编码装置和步骤中的编码处理可以在例如图像质量、压缩比和速率的最佳控制之下被执行。编码器12把具有正交余弦变换作为主函数的诸如MPEG4 AVC之类预测模式丰富的编码处理应用到来自输入端11的一输入图像信号VTN(被编码的图像)。生成代码量的预测器18基于在把帧内和帧间预测处理应用到输入图像信号VTN上获得的预测残余来预测编码器12中生成的代码量BIT(N)。编码控制器19使用生成代码量预测器18预测的生成的代码量BIT(N)用于控制编码器12中的编码。

1.  一种图像编码装置，包括：
编码装置，用于使用正交变换和运动补偿对输入图像信号应用预测丰富的压缩编码处理；
代码量预测装置，用于预测所生成的代码量，所述代码量预测装置基于在把帧内和/或帧间预测处理应用到所述输入图像信号上获得的预测残余来预测在所述编码装置中生成的代码量；和
控制装置，用于使用所述代码量预测装置预测的所生成的代码量，用于控制所述编码装置中的编码处理。

2.  根据权利要求1的图像编码装置，其中所述代码量预测装置把所述帧内预测处理结果的相对于所述输入图像的一帧内预测图像的帧内预测残余或者所述帧间预测处理结果的相对于所述输入图像的一帧间预测图像的帧间预测残余二者中较小的那个使用作为所述预测残余。

3.  根据权利要求1的图像编码装置，其中所述代码量预测装置使用已经编码的一图像的生成的已知预测残余和已知代码量以及现在要被编码的图像获得的所述预测残余来预测现在要被编码的图像生成的未知代码量。

4.  根据权利要求1的图像编码装置，其中通过在所述编码装置外部提供的帧内或帧间预测处理装置获得所述预测残余，基于所述预测残余，代码量预测装置预测所生成的代码量。

5.  根据权利要求1的图像编码装置，其中通过在所述编码装置内提供的帧内或帧间预测处理装置获得所述预测残余，基于所述预测残余，代码量预测装置预测所生成的代码量。

6.  根据权利要求4或5的图像编码装置，其中所述帧内或帧间预测处理装置根据一宏数据块或由归组在一起作为一单位的数个宏数据块组成的一超级数据块来建立所述预测残余。

7.  根据权利要求1的图像编码装置，其中在一采样值被使用作为帧内预测处理输出和帧间预测处理输出中的至少一个的情况下，处理输出的所述采样值首先被校正，然后获得所述预测残余以便基于所述预测残余来预测生成的代码量。

8.  根据权利要求1的图像编码装置，其中所述代码量预测装置除了使用上述帧内和/或帧间预测处理输出之外，使用一帧内近似值处理输出和/或一帧间近似值处理输出作为大致表示帧内和/或帧间预测处理输出的一类似趋向的特性值，以便获得上述预测残余。

9.  根据权利要求8的图像编码装置，其中所述代码量预测装置使用帧内近似值处理输出的结果或者帧间近似值处理输出的结果二者中的较小者作为所述预测残余。

10.  根据权利要求9的图像编码装置，其中所述代码量预测装置使用已经编码的一图像生成的已知预测残余和已知代码量以及现在要被编码的图像获得的所述预测残余来预测现在要被编码的图像生成的未知代码量。

11.  根据权利要求8的图像编码装置，其中通过在所述编码装置外部提供的帧内近似值收集装置或者帧间近似值收集装置来获得所述预测残余，基于所述预测残余，代码量预测装置预测所生成的代码量。

12.  根据权利要求8的图像编码装置，其中通过在所述编码装置内提供的帧内近似值收集装置或者帧间近似值收集装置来获得所述预测残余，基于所述预测残余，代码量预测装置预测所生成的代码量。

13.  根据权利要求8的图像编码装置，其中在所述帧内近似值处理输出和帧间近似值处理输出中的至少一个被使用的情况下，所述代码量预测装置首先校正近似值处理输出，然后获取所述预测残余以便基于所述预测残余来预测生成的代码量。

14.  根据权利要求8的图像编码装置，其中在一采样值被使用作为所述帧内近似值处理输出和帧间近似值处理输出中的至少一个的情况下，所述代码量预测装置首先校正采样值，然后获取所述预测残余以便基于所述预测残余来预测生成的代码量。

15.  根据权利要求1或8的图像编码装置，其中所述控制装置使用生成的预测代码量用于控制所述编码装置中的图像质量、速率和/或压缩比。

16.  根据权利要求2或9的图像编码装置，其中在序列前端，所述代码量预测装置使用一预测功能来从现在要被编码的图像获得的预测残余中预测现在要被编码的图像生成的未知代码量。

17.  根据权利要求2或9的图像编码装置，其中在情景改变的情况下，所述代码量预测装置对现在要被编码的图像获得的预测残余执行校正处理来预测现在要被编码的图像生成的未知代码量。

18.  根据权利要求16或17的图像编码装置，其中在情景改变的情况下，所述代码量预测装置把一预测功能应用到现在要被编码的图像获得的预测残余上，以便预测现在要被编码的图像生成的未知代码量，所述预测功能与在序列前端使用的相同。

19.  根据权利要求1、8、17或18的图像编码装置，其中由所述代码量预测装置获得的预测残余被用于检测情景改变。

20.  根据权利要求19的图像编码装置，其中在情景改变的情况下由所述预测功能预测的生成的代码量和关于用于情景改变检测的预测残余的信息被用于编辑处理。

21.  一种图像编码方法，包括：
编码步骤，使用正交变换和运动补偿对输入图像信号应用预测丰富的压缩编码处理；
代码量预测步骤，用于预测所生成的代码量，所述代码量预测步骤基于在把帧内和/或帧间预测处理应用到所述输入图像信号上获得的预测残余来预测在所述编码步骤中生成的代码量；和
控制步骤，用于使用所述代码量预测步骤所预测的生成的代码量，用于控制所述编码步骤中的编码处理。

22.  根据权利要求21的图像编码方法，其中所述代码量预测步骤把所述帧内预测处理结果的相对于所述输入图像的一帧内预测图像的帧内预测残余或者所述帧间预测处理结果的相对于所述输入图像的一帧间预测图像的帧间预测残余二者中较小的那个使用作为所述预测残余。

23.  根据权利要求21的图像编码方法，其中所述代码量预测步骤使用已经编码的一图像生成的已知预测残余和已知代码量以及现在要被编码的图像获得的所述预测残余来预测现在要被编码的图像生成的未知代码量。

24.  根据权利要求21的图像编码方法，其中所述代码量预测步骤除了使用上述帧内和/或帧间预测处理输出之外，使用一帧内近似值处理输出和/或一帧间近似值处理输出作为大致表示帧内和/或帧间预测处理结果的一类似趋向的特性值，以便获得上述预测残余。

25.  根据权利要求24的图像编码方法，其中所述代码量预测步骤使用帧内近似值处理输出的结果或者帧间近似值处理输出的结果二者中的较小者作为所述预测残余。

26.  根据权利要求25的图像编码方法，其中所述代码量预测步骤使用已经编码的一已知图像的已知预测残余和生成的代码量以及现在要被编码的图像获得的所述预测残余来预测现在要被编码的图像生成的未知代码量。

27.  根据权利要求24的图像编码方法，其中在所述帧内近似值处理输出和帧间近似值处理输出中的至少一个被使用的情况下，所述代码量预测步骤首先校正近似值处理输出，然后获取所述预测残余以便基于所述预测残余来预测生成的代码量。

28.  根据权利要求24的图像编码方法，其中在一采样值被使用作为所述帧内近似值处理输出和帧间近似值处理输出中的至少一个的情况下，所述代码量预测步骤首先校正采样值，然后获取所述预测残余以便基于所述预测残余来预测生成的代码量。

29.  根据权利要求22或25的图像编码方法，其中所述控制步骤使用生成的预测代码量用于控制所述编码步骤中的图像质量、速率和/或压缩比。

30.  根据权利要求23或26的图像编码方法，其中在序列前端，所述代码量预测步骤使用一预测功能来从现在要被编码的图像获得的预测残余中预测现在要被编码的图像生成的未知代码量。

31.  根据权利要求23或26的图像编码方法，其中在情景改变的情况下，所述代码量预测步骤对现在要被编码的图像获得的预测残余执行校正处理来预测现在要被编码的图像生成的未知代码量。

32.  根据权利要求30或31的图像编码方法，其中在情景改变的情况下，所述代码量预测步骤把一预测功能应用到现在要被编码的图像获得的预测残余上，以便预测现在要被编码的图像生成的未知代码量，所述预测功能与在序列前端使用的相同。

33.  根据权利要求22、24、25或32任何一的图像编码方法，其中由所述代码量预测步骤获得的预测残余被用于检测情景改变。

34.  根据权利要求33的图像编码方法，其中在情景改变的情况下由所述预测功能预测的生成的代码量和关于用于情景改变检测的预测残余的信息被用于编辑处理。

35.  一种在计算机上执行用来图像编码的程序，所述程序包括：
编码步骤，使用正交变换和运动补偿向输入图像信号应用预测丰富的压缩编码处理；
代码量预测步骤，用于预测所生成的代码量，所述代码量预测步骤基于在把帧内和/或帧间预测处理应用到所述输入图像信号上获得的预测残余来预测在所述编码步骤中生成的代码量；和
控制步骤，用于使用所述代码量预测步骤所预测的生成的代码量，用于控制所述编码步骤中的编码处理。

图像编码方法和装置以及图像编码程序
技术领域
本发明涉及一种图像编码装置、图像编码方法以及一种图像编码程序。更具体地说，它涉及一种图像编码装置、图像编码方法以及一种图像编码程序，其可以很方便被用于把运动或静止图像记录在诸如磁带、磁盘、光盘或磁光盘之类的记录介质上，或者用于为电视会议系统或能够图像传输/接收的电话系统通过传输介质发送运动或静止图像。
背景技术
在把运动图像数字化以及记录或发送如此数字化的运动图像中，考虑到过高的数据量，传统的做法是通过编码来压缩图像数据。典型的运动图像的编码，已知为一种运动补偿的预测编码系统。
运动补偿的预测编码是一种利用沿着时间轴的图像相关性的编码方法，并且通过检测被编码的图像(被编码的图像，即，当前帧)相对于参考图像(参考图像，即，参考帧)的运动矢量以及通过对按照运动矢量已经编码和解码的参考图像进行运动补偿来生成一已预测图像。得到被编码的图像相对于预测图像的预测残余，并且预测残余以及运动矢量被编码以便压缩运动图像的信息量。
运动补偿的预测编码可以通过MPEG(运动图像专家组)编码来举例说明。在MPEG中，一场或帧被分裂为多个宏数据块，每一块由16像素×16条线构成。根据此宏数据块作为一单位来执行运动补偿的预测编码。
运动补偿的预测编码可以概略地被划分成两个编码系统，即，帧内编码和帧间编码。只要涉及被编码的宏数据块，在帧内编码中，一固有帧或场的信息被直接编码，而在帧间编码中，在时间上与一固有帧或场不同的一帧(或一场)被使用作为一参考图像，并且从参考图像中生成的预测图像和该固有帧或场的信息之间的差值被编码。
在MPEG中，每一帧作为I图像(帧内编码图像)、P图像(预测编码图像)和B图像(双向预测编码图像)之一而被编码。此外，在MPEG中，以一GOP(图像组)为单位来执行处理。
在GOP基础上的处理中获得的编码数据被记录在记录介质上或者被发送的情况下，因为要保持扩展或解码地图像的高质量，所以编码的数据量需要小于记录介质的记录容量或者小于通信网的传输容量。
由于这个原因，在例如通过上面引用的MPEG压缩编码运动或静止图像时，从控制图像质量或比特率的观点，需要正确估计生成的图像或场的代码量。
为了正确估计所生成的代码量，已知有一种方法，其中在编码本身之前，使用一临时参数来执行临时编码，以便估计生成的代码量。可是，使用此方法，编码处理量几乎翻倍。另外，使用此方法，例如增加电池驱动的移动装置的功耗，从而增加充电操作的频率。
因此，本发明的受让人在WO98/26599(日本专利JP-A-H-10-526505)中公开了一种例如代替执行两次编码而只需要执行一次编码可从运动预测残余中直接估计所生成的代码量的技术。
同时，作为MPEG的一种，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码系统，并且作为包含隔行扫描和逐行扫描以及还包含标准分辨率图像和高清晰度图像的一标准，当前被用于一包含专业人员和消费者应用两者的宽广范围。对于MPEG2压缩系统的使用，通过为标准分辨率例如720×480像素隔行扫描的图像或者为高分辨率例如1920×1088像素隔行扫描的图像分别分配4到8Mbps的代码量(比特率)或者18到22Mbps的代码量，则可以实现高压缩比和优良的图像质量。
虽然MPEG2主要用于高图像质量编码，主要用于广播，但是它不胜任具有比MPEG1的代码量(比特率)更低的代码量(比特率)的一编码系统，即，更高压缩比的编码系统。随着移动终端的风靡，此类编码系统的需求从今以后将不断增加。鉴于此考虑，MPEG4编码系统已经正在标准化。至于图像编码系统，该标准在1998年12月被承认为国际标准ISO/IEC 14496-2。
最近，鉴于当初电视会议系统的图像编码的目的，正在推进对H.264(ITU-T Q6/16 VCEG)的标准化。已经知道与MPEG2或MPEG4例证的传统编码系统相比较，H.264用于编码或解码的处理量较大，然而，可以实现一更高的编码效率。另一方面，鉴于实现一更高的编码效率，通过采用不被H.264支持的功能进入H.264中作为基础，作为MPEG4动作的一部分的JVT(联合视频组)也正在尝试制订一新标准。
作为采用JVT(在下面被称为JVT编解码器或H.264|MPEG-4 AVC)当前标准化的编码系统的一规定示例，在下文中解释一种图像编码装置。图1描述了通过诸如离散余弦变换或卡南-洛维(Karhunen-Loeve)变换之类的正交变换以及运动补偿用于实现图像压缩的图像信息编码装置的框图。
参见图1，图像编码装置100由如下组成：A/D(模拟/数字)转换器101，图像重新排列缓存器102，加法器103，正交变换单元104，量化器105，可逆编码器106，存储缓冲器107，解量化器108，逆正交变换单元109，解数据块滤波器110，帧存储器111，运动预测/压缩单元112，帧内预测器113以及速率控制器114。
在图1中，模数转换器101把一输入图像信号转换成为一数字信号。图像重新排列缓存器102响应于从图像编码装置100中输出的图像压缩信息的GOP(图像组)结构来重新排列那些帧。只要受到帧内(图像内)编码的图像被涉及，图像重新排列缓存器102把整个帧的图像信息发送给正交变换单元104。正交变换单元104把诸如离散余弦变换或卡南-洛维变换之类的正交变换应用到图像信息，以便发送变换系数给量化器105。量化器105对从正交变换单元104提供到那的变换系数进行量化。
可逆编码器106把诸如可变长度编码或算术编码之类的可逆编码应用到已量化变换系数，以便把已编码变换系数路由到存储缓冲器38并存储在其中。这些已编码变换系数作为图像压缩信息被输出。
量化器105的状态由速率控制器114控制。此外，量化器105把量化的变换系数发送到解量化器108，此解量化器108把变换系数解量化。逆正交变换单元109把逆正交变换处理应用到已解量化的变换系数上以便生成解码图像信息。解数据块滤波器101应用从解码图像信息中去掉数据块失真的处理以便把信息发送给帧存储器111用于存储在其中。
另一方面，只要涉及受到帧间编码(图像间编码)的图像，则图像重新排列缓存器102把图像信息发送给运动预测与补偿单元112。运动预测与补偿单元112从帧存储器111中去掉同时参考的图像信息，并且把运动预测与补偿处理应用到如此去掉的图像信息以便生成参考图像信息。运动预测与补偿单元112把参考图像信息发送到加法器103，在此，参考图像信息被转换成与上述讨论的所述图像信息的差值信息。运动预测与补偿单元112同时输出运动矢量信息给可逆编码器106。
此可逆编码器106把诸如可变长度编码或算法编码之类的可逆编码处理应用到运动矢量信息，以便形成被插入到图像压缩信息报头部分中的信息。其它处理类似于受到帧内编码的图像压缩信息并因此不具体解释。
在编码系统中，被JVT(在下面被称为JVT编解码器)当前标准化的一帧内预测编码被用于完成帧内编码，其中从一数据块相邻像素中生成一预测图像以便对该差值进行编码。即，在要受到帧内编码的图像中，从被编码的像素数据块相邻的像素中生成一预测图像，并且与预测图像的差值被编码。解量化器108和逆正交变换单元109对一帧内编码像素分别进行解量化和逆正交变换，而加法器110对逆正交变换单元109的一输出总计到使用于编码该像素数据块中的预测图像上以便把该总数路由到帧存储器111用于存储在其中。对于帧内编码的一像素数据块，帧内预测器113读出储存在帧存储器111中的附近像素以便生成一预测图像。至于用于生成预测图像的帧间预测模式，它在变量编码器106中受到可逆编码处理并且当它被包括在图像压缩处理中时被输出。
图2示出了与图像编码装置100对应的一图像信息解码装置的示意结构。参见图2，一图像解码装置120包括：存储缓冲器121，可逆解码器122，解量化器123，逆正交变换单元124，加法器125，图像重新排列缓存器126，D/A(数字/模拟)转换器127，运动预测补偿单元128，帧存储器129和帧内预测器130。
在图2中，存储缓冲器121暂时保存输入图像压缩信息然后发送储存的信息给可逆解码器122。可逆解码器122把例如可变长度解码或算法解码应用到图像压缩信息，以便把已量化变换系数路由到解量化器123。在所述帧是帧间编码帧的情况下，可逆解码器122还解码储存在图像压缩信息报头中的运动矢量信息，并且把如此解码的信息路由到运动预测补偿单元128。
解量化器123把从可逆解码器122中提供到那的如此量化的变换系数解量化，并把变换系数发送到逆正交变换单元124。此逆正交变换单元124基于图像压缩信息的预置格式把诸如离散余弦反变换或反向卡南-洛维变换之类的逆正交变换应用到变换系数上。
在所述帧是帧内编码的情况下，逆正交变换的图像信息被储存在图像重新排列缓存器126中并且经D/A转换器127 D/A转换后输出。
另一方面，如果所述帧被帧间编码，则运动预测补偿单元128基于反向解码的运动矢量信息以及基于储存在帧存储器129中的图像信息来生成参考信息，以便把如此生成的参考信息路由到加法器125。加法器125把此参考信息合成到逆正交变换单元124的一输出上。该处理的其他部分与帧内编码图像相同因此为了简洁不详细解释。
帧内预测编码被使用于JVT编解码器中，因此，如果所述帧已经被帧内编码，则帧内预测器130从帧存储器129中读出一图像，并根据帧内预测模式生成一预测图像，其中由可逆解码器122执行可逆解码。加法器125把逆正交变换单元124的输出总计到预测图像上。
图像编码装置100和图像信息解码装置120在例如如下的专利文献2和3中有所描述。
[专利文献1]WO98/26599(特愿平10-526505)
[专利文献2]特开2001-199818号公报
[专利文献3]特开2002-20953号公报
同时，如果在专利文献1中描述的方法被应用到预测模式丰富的编码，如图1所示比如MPEG4-AVC，则特别是与传统MPEG系统相比，则差错增加。另外，如果上述方法被使用，则运动预测可能未达到期望，在情景改变的情况下，运动预测残余增加到使生成的代码量正确估计无效。
发明内容
鉴于上述技术情况，本发明的一目的是提供一种图像编码的方法和装置以及图像编码的程序，通过它们，在预测模式丰富的编码中，在编码之前，可以高度正确地估计生成的代码量，并且通过它们，当对于图像质量、压缩比以及速率管理最佳控制时可以执行编码处理。
为了实现上述目的，图像编码装置包括：编码装置，用于使用正交变换和运动补偿向输入图像信号应用预测丰富的压缩编码处理；代码量预测装置，用于预测所生成的代码量；和控制装置，用于使用代码量预测装置预测的所生成的代码量用于控制编码装置中的编码处理。代码量预测装置基于在把帧内和/或帧间预测处理应用到所述输入图像信号上获得的预测残余来预测在所述编码装置中生成的代码量。
代码量预测装置基于在把帧内和/或帧间预测处理应用到所述输入图像信号上获得的预测残余来预测在所述编码装置中生成的代码量。控制装置使用代码量预测装置预测的生成代码量用于控制编码装置中的编码处理。
为了实现上述目的，根据本发明的图像编码方法和程序包括：编码步骤，使用正交变换和运动补偿向输入图像信号应用预测丰富的压缩编码处理；代码量预测步骤，预测所生成的代码量；和控制步骤，用于使用所述代码量预测步骤所预测的生成代码量用于控制所述编码步骤中的编码处理。代码量预测步骤基于在把帧内和/或帧间预测处理应用到所述输入图像信号上获得的预测残余来预测在所述编码步骤中生成的代码量。
代码量预测步骤基于在把帧内和/或帧间预测处理应用到所述输入图像信号上获得的预测残余来预测在所述编码步骤中生成的代码量。控制步骤使用代码量预测步骤预测的生成代码量用于控制编码步骤中的编码处理。
对于根据本发明的图像编码装置，编码装置，用于使用正交变换和运动补偿向输入图像信号应用预测丰富的压缩编码处理；代码量预测装置预测所生成的代码量，代码量预测装置基于在把帧内和/或帧间预测处理应用到输入图像信号上获得的预测残余来预测在编码装置中生成的代码量；并且控制装置使用代码量预测装置预测的生成代码量用于控制编码装置中的编码处理。因此，在预测模式丰富的编码中，可以在编码之前把生成的代码量估计到高准确度，如此以使编码装置中的编码处理可以在例如图像质量、压缩比或速率的最佳控制之下被执行。
对于根据本发明的图像编码方法和图像编码程序，编码步骤使用正交变换和运动补偿向输入图像信号应用预测丰富的压缩编码处理；代码量预测步骤基于在把帧内和/或帧间预测处理应用到输入图像信号上获得的预测残余来预测在编码步骤中生成的代码量；并且控制步骤使用代码量预测步骤预测的生成代码量用于控制编码步骤中的编码处理。因此，在预测模式丰富的编码中，可以在编码之前把生成的代码量估计到高准确度，如此以使编码装置中的编码处理可以在例如图像质量、压缩比或速率的最佳控制之下被执行。
附图说明
图1是一传统图像编码装置的框图。
图2是示出图像解码装置的框图。
图3是根据本发明第一实施例的图像编码装置的框图。
图4是用于预测生成代码量的预测器的内部结构电路图。
图5说明了用于估计在预测器中生成的代码量的方法。
图6是示出图像编码装置中的处理顺序的流程图。
图7是示出用于生成预测残余的处理流程图。
图8是根据本发明第二实施例的图像编码装置的框图。
图9是根据本发明第三实施例的图像编码装置的框图。
图10是根据本发明第四实施例的图像编码装置的框图。
具体实施方式
在下面，解释本发明的某些优选实施例。第一实施例是如图3所示的一图像编码装置10。此图像编码装置10包括编码器12，生成代码量的预测器18以及编码控制器19。编码器被用于把诸如MPEG4 AVC之类预测模式丰富的以及具有正交余弦变换作为主函数的编码处理应用到来自输入端11的输入图像信号VIN(被编码的一图像)。生成代码量的预测器18基于通过把帧内预测和帧间预测应用到输入图像信号VIN上所预测的预测残余来预测编码器12中生成的代码量BIT(N)。编码控制器19使用生成代码量预测器18预测的生成的代码量BIT(N)用于控制编码器12中的编码处理。
编码器12包括用于根据4×4、8×8或16×16像素的数据块作为一单位执行帧内预测的帧内预测器13和用于执行帧间预测的帧间预测器14。图像编码装置10除了帧内预测器13和帧间预测器14外，包括提供在编码器12外部的帧内预测器16和帧间预测器17。在编码器12外部提供的帧内预测器16和帧间预测器17根据4×4、8×8或16×16像素的数据块或者由好几个数据块作为一单位组成的超级数据块来分别建立帧内预测残余和帧间预测残余，正如随后将解释的那样。
从输入端11输入到图像编码装置10的输入图像信号VIN(要被编码的图像)被发送给编码器12、帧内预测器16、帧间预测器17以及被发送给生成代码量的预测器18。
在输入图像信号VIN的像素数据块附近，编码器12的帧内预测器13从已经编码的像素值中生成一要被帧内编码的帧内预测图像，以便计算它与帧内预测图像的差值。编码器12的帧间预测器14计算参考图像和要被编码的图像之间的差值。
在输入图像信号VIN的像素数据块附近，编码器12外部的帧内预测器16从早已编码的像素值中生成一要被帧内编码的帧内预测图像VP1，以便把如此生成的帧内预测图像输出到生成代码量的预测器18。帧间预测器17从参考图像和要被编码的图像之间的差值中生成一帧间预测图像，以便把如此生成的帧内预测图像VP1输出给生成代码量的预测器18。
生成代码量的预测器18使用表示帧内预测处理结果的帧内预测残余相对于帧内预测图像VP1的输入图像信号的帧内预测残余E1或者表示帧间预测处理结果的帧间预测残余相对于帧间预测图像VP2的输入图像信号VIN的帧间预测残余E2二者中较小的一作为预测残余BD(n)。随后将详细解释生成代码量的预测器18，它使用已经编码的一图像生成的已知预测残余和已知代码量并且还使用如上所述获得的现在要被编码的图像预测残余BD(n)来预测现在要被编码的生成的未知代码量BIT(n)。
编码控制器19从生成代码量的预测器18中接收预测的生成的未知代码量BIT(n)，并且为生成的代码量生成一控制参数PC，用于控制编码器12中的编码处理，以便把如此生成的参数输出给编码器12。生成的代码量的此控制参数PC在编码器12中的编码处理期间被用于控制图像质量、压缩比和速率。
参见图4和5，生成代码量的预测器18的操作被详细地解释。参见图4，生成代码量的预测器18在编码器12编码包含在输入图像信号VIN中的数据块之前通过减法器18a计算输入图像信号VIN和从帧内预测器16输出的帧内预测图像VP1之间的差值，以便把结果的帧内预测残余E1输出到比较器18c。生成代码量的预测器18还通过减法器18b计算输入图像信号VIN和从帧间预测器17中输出的帧间预测图像VP2之间的差值，以便把结果的帧间预测残余E2输出到比较器18c。比较器18c把帧内预测残余E1与帧间预测残余E2进行比较以便生成帧内预测残余E1或者帧间预测残余E2其中幅值或绝对值较小的一作为预测残余BD(n)。
使用预测残余BD(n)，生成代码量的预测器18估计现在要被编码的图像V(n)的生成的代码量BIT(n)。图5示出了一种在编码器12编码以前用于使用预测残余BD(n)来估计生成的代码量BIT(n)的方法。在图5中，V(n-1)是已经编码的一图像，V(n)是现在要被编码的一图像，BD(n-1)是早已编码的图像V(n-1)的预测残余，BIT(n-1)是早已编码的图像V(n-1)的早已生成代码量，BD(n)是现在要被编码的图像V(n)的预测残余，而BIT(n)是现在要被编码的图像V(n)的代码量。
在一给定图像已被编码的情况下，已编码图像V(n-1)的代码量BIT(n-1)和预测残余BD(n-1)此时被保存。在编码现在要被编码的图像V(n)之前，通过如图4所示的方法找到预测残余BD(n)。在实际编码之前，可以使用图像V(n)的预测残余BD(n)大致通过递归公式BIT(n)＝(BD(n)/BD(n-1))BIT(n-1)                    (1)来估计正要被编码的图像V(n)的生成的代码量BIT(n)。
同时，用于估计生成的代码量的方法在被应用到要进行编码的压缩系统上定义的每个图像类型时生效。例如，在MPEG的情况下，可以根据如下来为每一I、P和B图像来估计生成的代码量：BIT_I(n)＝(BD(n)/BD(n-1))BIT_I(n-1)               (2)BIT_P(n)＝(BD(n)/BD(n-1))BIT_P(n-1)               (3)BIT_B(n)＝(BD(n)/BD(n-1))BIT_B(n-1)               (4)
应当指出：等式(2)、(3)和(4)分别代表I图像、P图像和B图像。
在图像编码装置10中，正如上述等式(2)、(3)和(4)中指示的那样，可以单独地为各自的图像类型估计生成的代码量，或者等式(1)可以总起来被用到多幅图像类型的组中。可以取决于特性点对同一图像类型进行子划分。等式(1)到(4)可以在需要时被校正。
应当指出，在序列前端，比如在情景开始的时候，在过去缺乏编码的图像，因此使用等式(1)解释的方法可能完全不被应用。如果过去没有进行编码，则可以使用形式为如图4所示找到的预测残余的估计函数f直接进行估计。该估计函数f可以任意选择。BIT(O)＝f(BD(0))                                  (5)
在情景改变的情况下，可以出现这样的情况：利用使用等式(1)解释的方法几乎不可预测生成的代码量BIT(n)，因为与已往编码图像的差值极大。在这种情况下，等式(1)到(4)可以被适当地校正或者生成的代码量BIT(n)可以通过采用等式(5)的方法来估计。例如通过关于是否发生任何显著的变化而时常检查图像预测残余，可以检测到情景改变。
图6集中示出了上文解释的图像编码装置10中的一组处理过程。当然，这些处理程序说明了在由计算机系统执行上述图像编码操作中所执行的图像编码方法或图像编码程序。在计算机系统的CPU按顺序读出并执行如图6所示例如储存在HDD中的处理程序的图像编码程序的情况下，在图像编码装置10上执行的操作可以类似地在计算机系统上被执行。
首先，在步骤S1中，生成预测残余BD(n)。在步骤S1的子程序中，如图7所示生成帧内预测图像VP1(步骤S11)以及生成帧间预测图像VP2(步骤S12)。然后，从帧内预测图像VP1中以及从输入图像信号VIN中生成帧内预测残余E1(步骤S13)，并且从帧间预测图像VP2中以及从输入图像信号VIN中生成帧间预测残余E2(步骤S14)。帧内预测残余E1或者帧间预测残余E2中绝对值较小的被使用作为预测残余BD(n)。
在图6的步骤S2中，预测残余BD(n-1)和已经编码的图像V(n-1)的生成的代码量BIT(n-1)以及在步骤S1中生成的预测残余BD(n)被用来估计生成的代码量BIT(n)。
如果在下一步骤S3中图像编码装置10未示出的系统控制器或者计算机系统的CPU检测到控制处于给定序列的前端，则处理转到步骤S5以便使用预测残余BD(n)与一预置系数相乘的估计函数f来估计生成的代码量BIT(O)，如图7所示。
如果在步骤S4中图像编码装置10未示出的系统控制器或者计算机系统的CPU检测到出现一情景改变，则处理转到步骤S5以便使用预测残余BD(n)与一预置系数相乘的估计函数f来估计生成的代码量BIT(0)。在这种情况下，等式(1)到(4)可以在需要时被适当地校正。例如通过为任何显著的变化而时常检查图像预测残余，可以检测到情景改变。
如果系统控制器或CPU已经确定在步骤S3中控制不是处于序列的前端或者在步骤S4中控制不是处于一情景改变处，或者如果在步骤S5中，控制处于序列的前端或者处于一情景改变处，则使用等式(5)估计生成的代码量，并且处理随后转到步骤S6。
在步骤S6中，使用在步骤S2中估计的生成的代码量BIT(n)或者在步骤S5中估计的生成的代码量BIT(O)而生成所述生成的代码量的控制参数PC。在下一步骤S7中，按照生成的代码量的控制参数PC为编码器12中的编码处理控制图像质量、压缩比或速率。
在图像编码装置10中，除了编码器12的帧内预测器13和帧间预测器14外，在编码器12外部提供帧内预测器16和帧间预测器17。本发明不只限制为上述第一实施例的图像编码装置10。例如，如图8所示，提供根据本发明第二实施例的图像编码装置20，它只有帧内预测器16在编码器12外部。在此图像编码装置20中，生成代码量的预测器21使用帧内预测器16找到的帧内预测图像VP1来估计生成的代码量BIT(n)。具体地说，生成代码量的预测器21估计来自帧内预测器16中的帧内预测图像VP1和输入图像信号VTN之间的差值作为预测残余BD(n)。
作为第二实施例的图像编码装置20的一修改，可以在帧内预测器16的位置处使用如图3所示的帧间预测器17。
如图9所示，根据本发明第三实施例的图像编码装置22未装备有帧内预测器也未装备有帧间预测器，并且通过生成代码量的预测器23使用在编码器12内部提供的帧内预测器13和帧间预测器14分别获得的帧内预测图像VP1和帧间预测图像VP2来估计生成的代码量BIT(n)。作为一修改，可以只提供来自帧内预测器13中的帧内预测图像VP1给生成代码量的预测器23，或者可以只提供来自帧间预测器14中的帧间预测图像VP2给生成代码量的预测器23。
作为另外一修改，可以在编码器12内部使用如图3所示的帧内预测器16和帧间预测器17。在这种情况下，编码器12未装备有内部帧内预测器13也未装备有帧间预测器14。
在图3中，在编码器12外部提供的帧内预测器16和帧间预测器17可以被与这些预测器16、17相关或者具有大致类似于这些预测器16、17的趋向的组件所替换。
另外指出，生成代码量的预测器18除了使用上述帧内和/或帧间预测处理输出之外，使用一帧内近似值处理输出和/或一帧间近似值处理输出作为特性值，以便获得上述预测残余。帧内近似值处理输出和帧间近似值处理输出是大致表示帧内和/或帧间预测处理输出的类似趋向的特性值。帧内近似值处理输出和帧间近似值处理输出分别通过帧内近似值收集装置以及通过帧间近似值收集装置来获得。
在这种情况下，生成代码量的预测器18使用帧内近似值处理的结果或帧间近似值处理的结果中的较小一作为上述预测残余。生成代码量的预测器18使用已经编码的图像的已知预测残余和已知生成的代码量以及现在要被编码的图像预测残余来预测一现在要生成的未知代码量。
在帧内近似值处理输出和帧间近似值处理输出中的至少一个被使用的情况下，生成代码量的预测器18校正近似值处理输出，随后获取上述预测残余以便基于所述预测残余预测生成的代码量。特别地，如果一采样值被使用作为帧内近似值处理输出和帧间近似值处理输出中的至少一个，则近似值处理输出被校正，然后获得上述预测残余并且基于所述预测残余来预测生成的代码量。
在这种情况下，编码控制器19使用预测的生成的代码量用于编码器12中的图像质量控制、速率控制和/或压缩比控制。在一序列的前端，生成代码量的预测器18使用现在要被编码的图像如此获得的预测残余与一预置系数相乘的预测函数来预测现在要被编码的图像的未知生成代码量。在情景改变的情况下，生成代码量的预测器18通过把校正处理应用到正要被编码的图像如此获得的预测残余来预测现在要被编码的图像的未知生成代码量。
在情景改变的情况下，生成代码量的预测器18通过应用与序列的前端使用到正要被编码的图像获得的预测残余上的函数相同的预测函数来预测现在要被编码的图像的未知生成代码量。通过生成代码量的预测器18获得的预测残余还用于检测情景改变。
现在解释一种图像装置，其中：本发明被用到MPEG4 AVC，通过诸如卡南-洛维变换之类的正交变换和运动压缩(第四实施例)实现图像压缩。参见图10，一图像编码装置30包括一编码器30a(在图10中链虚线下侧上示出)和一代码量预测和控制器30b(在图10中的链虚线上侧上示出)。编码器30a使用一帧内预测器44和一运动预测与补偿单元43来编码从输入端31输入的输入图像信号(用于编码的图像)VIN，其中帧内预测器44和运动预测与补偿单元43分别适于把帧内预测编码和帧间预测编码应用到输入图像信号。代码量预测和控制器30b由如下部件构成：一生成代码量的预测器49，用于基于把帧内和帧间预测处理应用到输入图像信号VIN上而获得的预测残余来预测编码器30a中的生成代码量BIT(N)；和一速率控制器45，它采用生成代码量的预测器49预测的生成代码量BIT(N)用于控制编码器30a中的编码处理速率。
图像编码装置30除了帧内预测器44和运动预测与补偿单元43之外，还包括：A/D(模拟/数字)转换器32，图像重新排列缓存器33，加法器34，正交变换单元35，量化器36，可逆编码器37，存储缓冲器38，解量化器39，逆正交变换单元40，解数据块滤波器41，帧存储器42，运动预测/压缩单元43，和帧内预测器44。这些组件一起组成编码器30a。
图像编码装置30除了生成代码量的预测器49和速率控制器45之外，还包括帧内预测器47、采样器46、帧内预测器48和校正单元50。这些组件一起组成代码量预测和控制器30b。
现在解释图像编码装置30的操作。首先，解释编码器30a。在图10中模数转换器32把从输入端31输入的图像信号转换成为数字信号。图像重新排列缓存器33响应于从图像编码装置30输出的图像压缩信息的GOP(图像组)结构而重新排列各个帧。
只要涉及受到帧内(帧内图像)编码的图像，则图像重新排列缓存器33把整个帧的图像信息发送给正交变换单元35。正交变换单元35把诸如离散余弦变换或卡南-洛维变换之类的正交变换应用到图像信息，以便把变换导致的变换系数发送给量化器36。量化器36把量化处理应用到从正交变换单元35中发送的变换系数上。
可逆编码器37把诸如可变长度编码或算术编码之类的可逆编码应用到已量化变换系数，以便把如此编码的变换系数路由到存储缓冲器38用于存储在其中。这些已编码变换系数作为图像压缩信息从一输出终端51输出。
量化器36的状态由速率控制器45控制。此外，量化器36把如此量化的变换系数发送到解量化器39，此解量化器39把变换系数解量化。逆正交变换单元40把逆正交变换处理应用到已解量化的变换系数上以便生成解码图像信息。解数据块滤波器41把去掉数据块失真的处理应用到解码图像信息中以便把结果信息发送给帧存储器42用于存储在其中。
另一方面，只要涉及受到帧间编码(图像间编码)的图像，则图像重新排列缓存器33把图像信息发送给运动预测与补偿单元43。运动预测与补偿单元43从帧存储器42中去掉同时参考的图像信息，并且把运动预测与补偿处理应用到如此去掉的图像信息以便生成参考图像信息。参考图像信息被发送给加法器34，在此，它被转换成与所述图像信息的差值信息。运动预测与补偿单元43同时输出运动矢量信息给可逆编码器37。此可逆编码器37把诸如可变长度编码或算法编码之类的可逆编码处理应用到运动矢量信息，以便形成被插入到图像压缩信息报头部分中的信息。其它处理类似于受到帧内编码的图像压缩信息的处理。
现在解释代码量预测/控制单元30b的操作。来自图像重新排列缓存器33中的输出被提供给帧内预测器47。图像重新排列缓存器33的一输出在被采样器46采样之后被输入到帧间预测器48。在从图像重新排列缓存器33中输入的图像信号帧内编码的一像素数据块附近，帧内预测器47从早已编码的像素值中生成一帧内预测图像，并且把如此生成的帧内预测图像输出给生成代码量的预测器49。另一方面，帧间预测器48从图像重新排列缓存器33中由采样器46采样图像信号为较小尺寸的一图像并随后从参考图像和被编码图像之间的差值中生成一帧间预测图像。通过这种尺寸改变，帧间预测器48降低预测处理量是可能的。帧内预测器47的输出被输入到生成代码量的预测器49用于比较。可是，如果图像尺寸被采样器46改变并且来自帧间预测器48中的帧间预测图像然后被直接输入到生成代码量的预测器49用于比较，则由于尺寸上的区别而使两个输出无法彼此直接比较。因此，为了提供来自帧间预测器48的输出以及来自帧内预测器47的输出二者的直接比较，则校正单元50连接到帧间预测器48，并且尺寸已经改变了的帧间预测图像首先被校正并随后在生成代码量的预测器49中与帧内预测器47的输出比较，以便预测现在要被编码的图像的生成的代码量。但是，参考图4和5解释的方法在细节上可以加以必要的修改而被应用到用于预测在生成代码量的预测器49中生成的代码量，采样器46和校正单元50连接在图4中的帧间预测器17的前面和后面。
生成代码量的预测器49估计的生成代码量被提供给速率控制器45。速率控制器45为生成的代码量生成一参数，此参数被提供给量化器36以便控制编码率。
在第四实施例的图像编码装置30中，采样器46和校正单元50被提供在帧间预测器48的前面和后面以便减少预测处理量。可是，省略采样器46和校正单元50并且从图像重新排列缓存器33的输出中由帧间预测器48直接生成一帧间预测图像以便把如此生成的帧间预测图像输入到生成代码量的预测器49。
在代码量预测/控制单元30b中，可像在上述第二实施例(图8)中那样只提供帧内预测器47，在此情况下，生成代码量的预测器49使用帧内预测器47找到的帧内预测残余估计生成的代码量。当然，代码量预测/控制单元30b可以不装备有帧内预测器47而是只有帧间预测器48。
帧内预测器47同时可以被使用作为帧内预测器44。帧内预测器44还可以被省略，在此情况下，帧内预测器47的结果可以被使用。类似地，帧间预测器48同时可以被使用作为运动预测与补偿单元43。运动预测与补偿单元43也可以被省略，在此情况下，帧间预测器48的结果可以被使用。
在图像编码装置30中，提供在编码器30a外部的帧内预测器47和帧间预测器48可以被具有大致与这些预测器47、48类似或相关的趋向的组件所替换。
另外指出，生成代码量的预测器49代替使用上述帧内和/或帧间预测处理输出，而是使用一帧内近似值处理输出和/或一帧间近似值处理输出作为特性值，以便获得上述预测残余，其中所述近似值处理输出是大致表示帧内和/或帧间预测处理输出的一类似趋向的特性值。帧内近似值处理输出和帧间近似值处理输出分别通过帧内近似值收集装置以及通过帧间近似值收集装置来获得。在生成代码量的预测器49中执行的处理作为如图3所示的图像编码装置10的修改已经被解释，并因此不在这里特别说明。
本发明其特征在于如下事实：即，在图像编码装置中以及在图像编码方法中，使用编码装置和编码步骤，应用压缩编码，所述压缩编码向输入图像信号使用预测丰富的正交变换和运动补偿，过去编码中生成的代码量被用于预测正在编码的图像或字段生成的代码量。
本发明其特征在于如下事实：即，在图像编码装置中以及在图像编码方法中，使用编码装置和编码步骤，应用压缩编码，所述压缩编码向图像信号使用预测丰富的正交变换和运动补偿，帧内预测、帧间预测、与其相关的近似值或值组合在一起以便在场景改变时刻正确找到预测残余。