图像编码方法、图像译码方法、图像编码装置、图像 译码装置、程序、计算机数据信号，以及图像传送系统 【技术领域】
本发明涉及可以适合于移动式视频传送系统等的图像传送系统的图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号，以及图像传送系统。
背景技术
以往，作为运动图像的编码模式，已知有ITU-T H.26x和MPEG连续等的标准运动图像编码方式。在这些图像编码方式中，实施对于由空间坐标表示的图像数据(空间图像数据)进行正交变换，变换到由空间频率表示的图像数据(频率图像数据)的步骤。通过这样的正交变换，可以从成为编码对象的帧图像中除去与空间变化有关的冗长度，可以提高通过图像编码的数据压缩的效率等。
作为对图像数据适用的正交变换，从压缩效率和安装负荷地平衡和专用LSI的普及等的观点出发，主要使用离散余弦变换(DCT：Discrete Cosine Transform)。对于空间图像数据进行DCT，由此作为在频率图像数据中的频率图像成分的正交变换系数，生成多个DCT系数。
另外，由DCT等的正交变换生成的正交变换系数，进一步被可变长编码，成为在图像传送中使用的压缩数据的编码数据。作为这样的可变长编码方法之一，使用算术编码(AC：ArithmeticCoding)。
一般，当对组合了多种符号的信息源系列(符号系列)进行算术编码的情况下，首先，在[0.0，1.0)的数直线(概率数直线)中，对于各个符号，根据符号的出现概率分配一定的区间。这时，表示符号和数直线上的区间的对应关系的表，被称为概率表。在根据算术编码可变长编码信息源系列时，通过参照该概率表，生成在数直线上表现信息源系列的代码字。
在此，参照图1～图3说明有关算术编码。具体地说，把字符串“ARITHMETIC”作为编码对象的信息源系列，把其算术编码作为例子说明。
在上述的信息源系列内，出现A、C、E、H、I、M、R、T这8种字符。对于这些字符，如图1的表所示，在[0.0，1.0)的数直线(概率数直线)上，如变为与字符串中的各字符的出现概率成比例的区间长度那样分别分配区间。在表示该字符和数直线上区间的对应关系的图1中所示的表，为在算术编码中使用的概率表。
图2是展示使用了图1所示的概率表的字符串“ARITHMETIC”的编码的图。在算术编码中，通过把根据概率表的区间缩小操作，相对包含在信息源系列中的各字符顺序进行，生成编码信息源系列的代码字。
在图2所示的例子中，首先，对作为编码对象的字符串“ARITHMETIC”的第1字符“A”，参照图1所示的概率表，划分为把数直线上的区间[0，1]与各文字对应的8个区间。而后，在这些区间中，对与字符“A”对应的区间[0.0，0.1]缩小区间。以下，对于第2字符“R”，参照概率表，把区间[0.0，0.1]区分为8个区间。而后，在这些区间中，对与字符“R”对应的区间[0.07，0.08]进行区间缩小。
以下，对各字符顺序进行采用该区间缩小的编码操作。而后，在最终得到的数直线上的区间[0.0757451536，0.0757451552]中，处于该区间内的数值“0.0757451536”，把字符串“ARITHMETIC”作为算术编码后的代码字生成。
图3是展示对使用了图1所示的概率表的代码字“0.0757451536”的字符串“ARITHMETIC”译码的图。
在图3所示的例子中，首先，对作为译码对象的代码字“0.0757451536”，参照图1所示的概率表，特定包含代码字的区间长0.1的区间[0.0，0.1]。而后，在把与特定的区间对应的字符“A”作为第1字符输出的同时，通过(代码字-下限)/(区间长)，生成新的代码字“0.0757451536”。以下，对于代码字“0.0757451536”，参照概率表，特定包含代码字的区间长度0.1的区间[0.7，0.8]。而后，在把与特定的区间对应的字符“R”作为第2字符输出的同时，生成新的代码字“0.757451536”。
以下，对代码字顺序进行该译码操作。而后，从算术编码后的代码字“0.0757451536”中复原字符串“ARITHMETIC”。
这样，在使用了算术编码的信息源系列的可变长编码中，通过使包含在信息源系列中的符号和数直线上的区间对应，可以用[0.0，1.0)的数直线上的代码字表现任意的信息源系列。另外，通过根据各符号的出现概率设定使符号和区间对应的概率表，可以高效率地进行信息源系列的可变长编码，可以提高采用编码的数据压缩的效率。
【发明内容】
图4是展示使用了采用上述的算术编码的可变长编码的图像编码方法一例的流程图。在图4所示的图像编码方法中，通过被称为使用了在ITU-TH.26L视频编码方式(参照VCEG-M10 H.26L TestModel Long Term Number 8(TML-8)draft0)中应用的环境建模的CBAC(Context-based Adaptive Binary Arithmetic Coding)的方法，进行图像数据的算术编码。
在图像数据的编码中，首先，把编码对象的图像分割为规定大小的块，对每块进行帧内编码(Intra-Frame Coding，帧内编码)或帧间编码(Inter-Frame Coding，帧间编码)、DCT等的正交变换等必要的数据变换处理，生成表示在块内之图像的图像数据。而后，对该图像数据，使用算术编码等进行可变长编码，生成经数据压缩的编码数据。
在图4所示的图像编码方法中，特别是不用预先被固定设定的条件进行编码，而是在编码每块图像数据时进行环境建模(步骤S901，Context Modeling)。在使用了环境建模的算术编码中，关于在图像数据的编码中使用的概率表，对在编码对象的块中的图像数据适用的概率表，参照在相邻块中的图像编码的处理结果等的编码条件进行切换设定。
如果结束了采用环境建模的概率表的设定，则2值化编码对象的图像数据(例如多个DCT系数)，生成应该传送的数据系列(S902，Binarization)。而后，对经2值化的数据系列进行算术编码(S903，Adaptive Binary Arithmetic Coding)，得到编码数据。
具体地说，对于经2值化的数据系列的各位，分配由环境建模设定的概率表进行概率评价(S904，Probability Estimation)。而后，用分配的概率表算术编码数据系列，生成作为编码数据的数直线上的代码字(S905，Arithmetic Coding)。另外，根据算术编码的处理结果，把编码后的位的发生频度等的信息反馈到概率表，由此更新概率评价，把编码的趋势反映在概率表中(S906，ProbabilityEstimation Update)。
如果采用使用了环境建模的算术编码的上述图像编码方法，由于根据编码条件或处理结果变换所使用的概率表，因而可以减少编码数据中的冗长度。但是，即使在进行了这样的环境建模的情况下，对于在算术编码中的编码条件不能直接反映成为编码对象的数据自身具有的特性。因此，在以往的编码方法中，存在不能充分实现通过除去图像数据的冗长度，提高在编码数据中的数据压缩效率的问题。
本发明，就是为了解决以上的问题而提出的，其目的在于提供一种可以在编码条件中反映成为编码对象的图像数据的特性，提高在编码数据中的数据压缩效率的图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号，以及图像传送系统。
为了实现这样的目的，本发明的图像编码方法，是把图像分割为规定大小的块，对每块编码图像数据的编码方法，其特征在于：具备(1)对用在块内之图像的空间坐标表现的图像数据进行正交变换，生成多个正交变换系数的正交变换步骤；(2)通过使用了规定概率表的算术编码可变长编码多个正交变换系数，生成编码数据的编码步骤，(3)在编码步骤中，对于多个正交变换系数中的规定的正交变换系数，根据该正交变换系数的空间频率值切换适用的概率表。
同样，本发明的图像编码装置，是把图像分割为规定大小的块，为每块编码图像数据的编码装置，其特征在于：具备(1)对用在块内之图像的空间坐标表示的图像数据进行正交变换，生成多个正交变换系数的正交变换装置；(2)通过使用了规定概率表的算术编码可变长编码多个正交变换系数，生成编码数据的编码装置；(3)在编码装置中，对于在多个正交变换系数中的规定的正交变换系数，根据在正交变换系数中的空间频率值切换适用的概率表。
另外，本发明的图像编码程序，其特征在于使计算机执行上述的图像编码方法。另外，其特征在于：本发明的计算机数据信号，被包含在载波上，传送用于使计算机执行上述的图像编码方法的图像编码程序。
在上述的图像编码方法、装置、程序，以及计算机信号中，在通过正交变换空间图像数据设置作为频率图像数据的正交变换系数后，算术编码该正交变换系数，由此生成经数据压缩的编码数据。而后，在正交变换系数的算术编码中，考虑成为编码对象的正交变换系数依赖于空间频率的数据特性，关于1个或者多个正交变换系数，对其他的正交变换系数切换概率表，进行算术编码。
由此，作为图像数据的正交变换系数自身具有的数据特性，相对在算术编码中的编码条件反映出来。因而可以有效地除去图像数据的冗长度，提高在编码数据中的数据压缩效率。
另外，本发明的图像译码方法，是把图像分割为规定大小的块，译码对每块编码图像数据后的编码数据的译码方法，其特征在于：包含(1)在通过使用了规定概率表的反算数编码可变长译码编码数据，生成多个正交变换系数的译码步骤；(2)对多个正交变换系数进行反正交变换，生成由在块内之图像的图像空间坐标表示的图像数据的反正交变换步骤，(3)在译码步骤中，对于多个正交变换系数中的规定的正交变换系数，根据在该正交变换系数中的空间频率的值切换适用的概率表。
同样，本发明的图像译码装置，是把图像分割为规定大小的块，译码为每块编码图像数据的编码数据的译码装置，其特征在于：包含(1)在通过使用了规定概率表的反算数编码可变长译码编码数据，生成多个正交变换系数的译码装置；(2)对多个正交变换系数进行反正交变换，生成由在块内之图像的图像空间坐标表示的图像数据的反正交变换装置，(3)在译码装置中，对于多个正交变换系数中的规定的正交变换系数，根据在该正交变换系数中的空间频率的值切换适用的概率表。
另外，本发明的图像译码程序，其特征在于使计算机执行上述的图像译码方法。另外，其特征在于：本发明的计算机数据信号，被包含在载波上，搬送用于使计算机执行上述的图像译码方法的图像译码程序。
在上述的图像编码方法、装置、程序，以及计算机信号中，在通过反算术编码经数据压缩的正交变换系数，译码作为频率数据的正交变换系数之后，反正交变换该正交变换系数，生成空间图像数据。而后，在编码数据的反算术编码中，和上述的算术编码情况一样，考虑成为译码对象的正交变换系数依赖于空间频率的数据特性，关于1个或者多个正交变换系数，对其他的正交变换系数切换概率表，进行反算术编码。
由此，对在反算术编码中的译码条件反映作为图像数据的正交变换系数自身具有的数据。因而，可以有效地除去图像数据的冗长度，从数据压缩效率提高的编码数据中，适宜地复原图像数据。
另外，本发明的图像传送系统，是把图像分割为规定大小的块，用对每块编码图像数据后的编码数据传送图像的图像传送系统，其特征在于：包含(1)从图像中生成编码数据并输出的上述图像编码装置；(2)输入来自图像编码装置的编码数据复原图像的上述图像译码装置。
如果采用这样的图像传送系统，则可以使用在编码条件中反映成为编码对象的图像数据的特性，数据压缩效率提高的编码数据，高效率地传送图像。
【附图说明】
图1是展示在算术编码中使用的概率表一例的表。
图2是展示使用了图1所示的概率表的字符串的编码的图。
图3是展示使用了图1所示的概率表的字符串的译码的图。
图4是展示使用了算术编码的图像编码方法一例的流程图。
图5是概略地展示图像编码方法一实施方式的流程图。
图6是展示图像编码装置一实施方式构成的方框图。
图7A～图7J是展示在运动补偿中使用的编码模式一例的模式图。
图8A以及图8B是展示图像数据的正交变换的图。
图9是概略地展示图像译码方法一实施方式的流程图。
图10是展示图像译码装置一实施方式的构成方框图。
图11A～图11D，是展示DCT系数的算术编码的图。
图12是展示在级别数据的2值化中使用的2值化表例子的表。
图13A以及图13B是展示用于切换概率表的DCT系数划分方法例子的图。
图14是展示对编码对象的块C，参照相邻块A、B的环境建模的图。
图15是展示在相邻块A、B中的不是0的DCT系数的有无，和在块C中的DCT系数是0的概率的关系的表。
图16是展示相对DCT系数采用概率表切换的符号量减少效果的表。
图17是展示图像传送系统一实施方式构成的模式图。
【具体实施方式】
以下，和图面一同详细说明本发明的图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号，以及使用它的图像传送系统的适宜的实施方式。进而，在图面的说明中在同一要素上标注系统符号，并省略重复的说明。另外，图面的尺寸比率，不一定和说明中的一致。
首先，说明图像编码方法以及图像编码装置。
图5是概略展示本发明的图像编码方法一实施方式的流程图。本编码方法，是对作为静止图像或者运动图像等中的帧图像的输入帧图像D1进行规定的变换处理操作以及编码处理操作，在移动式视频系统等的图像传送系统中生成可以传送的数据被压缩后的编码数据D7的图像编码方法。
在图5所示的图像编码方法中，首先，对输入帧图像D1进行规定的数据处理操作变换图像数据，生成用空间坐标表示的图像数据(空间图像数据)D5(步骤S101)。作为在此进行的数据处理操作，例如，有对在运动图像中的帧图像进行帧间编码时的运动补偿(MC：Motion Compensation)的帧间预测。另外，当对帧图像进行帧内编码时，例如，输入帧图像D1的图像数据直接成为空间图像数据D5。
以下，对空间图像数据D5进行正交变换操作，生成用空间频率表现的作为图像数据(频率图像数据)的D6(S102，正交变换步骤)。该正交变换，在以规定大小(规定的像素数)分割了帧图像的每块中，对块内的图像的空间图像数据进行。由此，在包含在输入帧图像D1中的每块，分别得到频率图像数据D6。
由正交变换得到的频率图像数据D6，由多个正交变换系数构成。正交变换系数，分别表示在块内之图像中的规定的空间频率上的频率图像成分。另外，对正交变换系数，根据需要进一步进行量化操作，生成成为编码对象的正交变换系数(量化系数)。
接着，对多个正交变换系数D6使用算术编码进行可变长编码，生成作为压缩数据的编码数据D7(S103，编码步骤)。即，对正交变换系数D6把适用的概率表设定为规定的概率表中(S104)。而后，使用已设定的概率表算术编码正交变换系数D6(S105)，设置成编码数据D7。
在此，在本实施方式的图像编码方法中，在对正交变换系数D6进行算术编码时，对于多个正交变换系数D6中的规定的正交变换系数，根据在该正交变换系数中的空间频率值，切换适用的概率表。具体地说，例如，对多个正交变换系数D6中的规定的正交变换系数，预先准备适用和其他的正交变换系数不同的概率表。或者，对于规定的正交变换系数，根据编码条件等，把适用的概率表分别切换为其他的正交变换系数。
下面说明采用本实施方式的图像编码方法的效果。
在图5所示的图像编码方法中，在通过正交变换空间图像数据D5生成作为频率图像数据的正交变换系数D6后，通过此后算术编码正交变换系数，生成经数据压缩的编码数据D7。而后，在正交变换系数D6的算术编码中，考虑成为编码对象的正交变换系数D6依赖于空间频率的数据特性，关于1个或者多个正交变换系数，对其他的正交变换系数切换概率表，进行算术编码。
通过这样使用与正交变换系数的空间频率值有关的环境(context)设定概率表，可以对在算术编码中的编码条件反映作为图像数据的正交变换系数D6自身具有的数据特性。因而，可以有效地除去图像数据的冗长度，提高在编码数据D7中的数据压缩效率。进而，有关具体的概率表的切换方法，后面详细叙述。
图6是展示本发明的图像编码装置一实施方式构成的方框图。以下，参照图6所示的图像编码装置，进一步说明图5所示的图像编码方法。进而，以下，作为编码对象对于被输入到图像编码装置中的输入帧图像D1，假设主要是由时间系列的帧图像组成的运动图像。但是，本发明的图像编码方法以及图像编码装置，对于由1帧构成的静止图像也同样可以适用。
作为编码对象输入的输入帧图像D1，首先，用16像素×16行的大小分割为正方形的图像块，该图像块，是成为运动补偿等的数据处理单位的图像块，被称为宏块(macro block)。进而，在后述的DCT(正交变换)中，例如在H.26L编码方式中，使用4像素×4行大小的DCT块。这种情况下，1个宏块，在DCT中，具有16个亮度(Luma)块，8个色差(Chroma)块。图像编码对这些块的每个进行。
帧图像D1被输入到运动检测部11，对每个宏块检测图像的运动。运动检测部11，比较要检测运动的宏块中的图像数据、和在输入帧图像或者其它帧图像中的其它宏块中的图像数据，检测表示图像运动的运动向量D2。
具体地说，在运动检测部11中，作为编码后的帧图像参照被存储在帧存储器20中的局部译码图像D8的规定图像区域，发现与成为现在的编码对象的输入帧图像D1的宏块类似的图案。而后，用该类似图案和宏块之间的空间性移动量，确定运动向量D2。另外，这时，从对运动补偿准备的多个编码模式中，选择在宏块中的运动补偿中使用的编码模式。
图7A～图7J是展示对运动补偿准备的编码模式一例的模式图。在该图7A～图7J所示的多个编码模式中，准备不进行运动补偿的跳跃(Skip)模式0、用分别不同运动补偿用块的块划分进行的帧间编码的帧间模式1～7、用分别不同的块划分进行帧内编码的帧内模式8、9这10个编码模式。进而，上述运动向量D2，对于各宏块，被付与划分出的每个运动补偿用块。
如果求得运动向量D2，则在运动补偿部12中，用来自运动检测部11的运动向量D2、使用来自帧存储器20的局部译码图像D8，生成运动预测图像。通过对包含在帧图像D1中的全部的宏块确定运动向量D2生成运动预测图像，得到相对输入帧图像D1的预测帧图像D4。
接着，在减法器13中，生成输入帧图像D1和预测帧图像D4之间的差分(预测残差)帧图像D5。另外，当未制成预测帧图像D4的情况下，把输入帧图像D1直接作为帧图像D5。该帧图像D5，和输入帧图像D1一样是由空间坐标表示的图像数据，该空间图像数据D5成为以后的正交变换以及算术编码的对象。
差分帧图像D5的图像数据，被输入到正交变换部(正交变换装置)14。在正交变换部14中，对于采用空间坐标的差分帧图像D5，为包含在宏块中的每个正交变换块(例如16个亮度块和8个色差块)进行正交变换。而后，作为采用空间频率的图像数据，生成多个正交变换系数。另外，该正交变换系数，在量化部15中用规定的量化参数量化，得到成为算术编码对象的最终的正交变换系数(量化系数)D6。
图8A以及图8B是展示图像数据的正交变换的图。被分割为在帧图像D5内的正交变换用中的各块的图像数据是空间图像数据，如图8A用4×4的像素成分示例那样，通过以水平坐标和垂直坐标规定的4×4空间像素成分a11～a44表示。正交变换部14，通过以规定的变换方法正交变换该空间图像数据，变换为图8B所示的图像数据。该图像数据是频率图像数据，是用水平频率和垂直频率规定的作为4×4的频率图像成分的正交变换系数f11～f44表示。
作为具体的正交变换，例如，可以适用离散余弦变换(DCT：Discrete Cosine Transform)。DCT是使用傅立叶变换的余弦项的正交变换，在图像编码中经常使用。通过对空间图像数据进行DCT，生成作为频率图像数据的DCT系数f11～f44。进而，在DCT中，例如，在H.26L编码方式中，作为正交变换用块，如图8A以及8B所示使用4×4的DCT块。
由正交变换部14以及量化部15生成的正交变换系数D6，在可变长编码部(编码装置)16中，通过使用了规定概率表的算术编码进行可变长编码。由此，生成作为输入帧图像D1的压缩数据的编码数据D7。
另外，在可变长编码部16中，除了正交变换系数D6外，输入由运动检测部11检测的运动向量D2，和表示在运动检测部11中被选择的编码模式的编码模式信息D3。这些运动向量D2以及编码模式信息D3，在可变长编码部16中，和正交变换系数D6一样，通过使用了规定概率表的算术编码进行可变长编码，被多重化在编码数据D7上。
在此，对于在可变长编码部16中在算术编码中使用的概率表的设定，有关图5所示的图像编码方法和上述一样。另外，在运动向量D2以及编码模式信息D3的算术编码中，通常，使用和正交变换系数D6的算术编码不同的概率表。另外，即使在正交变换系数D6的算术编码中，也可以在亮度块的算术编码和色差块的算术编码中，使用不同的概率表。
另外，用正交变换部14以及量化部15生成的正交变换系数D6，在本图像编码装置内，用反量化部17以及反正交变换部18译码。而后，在加法器19中加算译码后的图像数据和预测帧图像D4，生成局部译码图像D8。该局部译码图像D8被存储在帧存储器20中，在另一帧图像的运动补偿中使用。
以下，说明图像译码方法以及图像译码装置。
图9是概略展示本发明的图像译码方法一实施方式的流程图。本译码方法，是对由图5所示的图像编码方法生成的编码数据D7进行规定的译码处理操作以及变化处理操作，作为与输入帧图像D1对应的图像复原输出帧图像D10的图像译码方法。
在图9所示的图像译码方法中，首先，对于编码数据D7使用反算术编码进行可变长译码，生成作为由空间频率表示的图像数据的多个正交变换系数(量化系数)D6(S201，译码步骤)。即，相对编码数据D7把适用的概率表设定为规定的概率表(S202)。而后，使用已设定的概率表反算术编码编码数据D7(S203)，生成作为频率图像数据的正交变换系数D6。
在此，在本实施方式的图像译码方法中，在对编码数据D7进行反算术编码时，对于在多个正交变换系数D6中的规定的正交变换系数，根据在该正交变换系数中的空间频率值，切换适用的概率表。具体地说，例如，对于在多个正交变换系数D6中的规定的正交变换系数，预先准备适用和其他的正交变换系数不同的概率表。或者，对于规定的正交变换系数，根据编码条件等，把适用的概率表另外地切换为其他的正交变换系数。
以下，对多个正交变换系数D6顺序进行反量化操作以及反正交变换操作，生成由空间坐标表示的图像数据(空间图像数据)D9(S204，反正交变换步骤)。而后，对空间图像数据D9进行规定的数据处理操作变换图像数据，复原输出帧图像D10(S205)。
下面说明本实施方式的图像译码方法的效果。
在图9所示的图像译码方法中，在通过反算术编码经数据压缩的编码数据D7译码作为频率图像数据的正交变换系数D6后，反正交变换该正交变换系数，由此生成空间图像数据D9。而后，在编码数据D7的反算术编码中，和上述的算术编码的情况一样，考虑成为编码对象的正交变换系数D6依赖于空间频率的数据特性，关于1个或者多个正交变换系数对其他的正交变换系数切换概率表，进行反算术编码。
通过这样使用与正交变换系数的空间频率值有关的环境设定概率表，可以对反算术编码中的译码条件反映作为图像数据的正交变换系数D6自身具有的数据特性。因而，可以有效地除去编码数据的冗长度，并可以从数据压缩效率提高后的编码数据D7中，适宜地译码图像数据。
图10是展示本发明的图像译码装置一实施方式构成的方框图。
作为译码对象输入的编码数据D7被输入到可变长译码部(译码装置)21，通过使用了规定概率表的反算术编码进行可变长译码，生成多个正交变换系数D6等。可变长译码部21，对于被数据压缩的编码数据D7，检测出表示帧图像开头的同步字，以后，译码在每个宏块中包含在编码数据D7中的各数据，生成作为频率图像数据的正交变换数据D6，以及运动向量D2等。进而，在算术编码中使用的概率表，如上所述可以适宜切换。
在可变长译码部21中被译码的正交变换系数D6，由反量化部22以及反正交变换部(反正交变换装置)23进行反量化、反正交变换。由此，生成作为空间图像数据的复原差分帧图像D9。该复原差分帧图像D9，是与编码前的差分图像D5对应的帧图像。
另一方面，运动向量D2被输入到运动补偿部24。在运动补偿部24中，使用来自可变长译码部21的运动向量D2，和被存储在帧存储器25中的其它帧图像，生成预测帧图像D4。而后，在加法器26中，将复原差分帧图像D9和预测帧图像D4相加，把译码后的帧图像作为输出帧图像D10输出。
在此，与在上述的图像编码装置中执行的图像编码方法对应的处理，可以通过用于使计算机执行图像编码的图像编码程序实现。另外，与在图像译码装置中执行的图像译码方法对应的处理，可以通过使计算机执行图像译码的图像译码程序实现。
例如，图像编码装置，由连接存储在图像编码处理动作中所需要的软件程序等的ROM，和在程序执行中暂时存储数据的RAM的CPU构成。在这样的构成中，通过由CPU执行规定的图像编码程序，实现图像编码装置。
同样，图像译码装置，可以由连接存储在图像译码处理动作中所需要的软件程序等的ROM，和在程序执行中暂时存储数据的RAM的CPU构成。在这样的构成中，通过由CPU执行规定的图像译码程序，可以实现图像译码装置。
另外，用于使CPU执行为了图像编码或者图像译码的各处理的上述程序，可以记录在计算机可以读取的记录介质上颁布。在这样的记录介质中，例如，包含硬盘以及软盘等的磁性介质、CD-ROM以及DVD-ROM等的光学介质、闪盘等的磁性光学介质，或者，如执行或者存储程序命令那样特别配置的，例如RAM、ROM，以及半导体非易失性存储器等硬盘等。
另外，用于使计算机执行图像编码或者图像译码的上述程序，可以设置成包含在载波中的计算机数据信号。由此，可以把图像编码程序或者图像译码程序经由有线或者无线传送线路传送。
以下，对于在图5、图6所示的图像编码方法以及图像编码装置中的正交变换系数的算术编码(可变长编码)的顺序，以及适宜的编码条件，以具体例子说明。在此，作为把空间图像数据变换到频率图像数据的正交变换假设是DCT，以在ITU-T H.26L编码方式中的DCT系数的编码为例子说明。进而，有关以下说明的编码方法以及编码条件，即使对于图9、图10所示的图像译码方法以及图像译码装置也同样可以适用。另外，有关具体的编码方式，并不限于上述的H.26L编码方式。
首先，参照图11A～图11D说明DCT系数的算术编码的具体顺序。图11A展示图8所示的4×4的DCT系数(量化系数)f11～f44的具体的一数值例子。在图像编码装置的可变长编码部中，对这样的DCT系数以规定的处理顺序进行算术编码，生成编码数据。
在由空间频率表示的图像数据中的作为频率图像成分的DCT系数f11～f44中，和由空间坐标表示的图像数据中的空间图像成分a11～a44(参照图8A)不同，各DTC系数，对于其系数值的大小等，具有依赖于对应的空间频率值的数据特性。即，在各DCT系数fij中，该下标值i，j分别表示对应的垂直频率、水平频率。多个DCT系数f11～f44，依赖于这些垂直频率的值和水平频率的值，具有相互不同的数据特性(例如，数据的趋势)。
例如，在i，j小空间频率值低的频率区域中的f11、f12、f21等的DCT系数，和在i，j大空间频率值高的频率区域中的f44、f43、f34等的DCT系数中，与其系数值的大小和系数值是0的概率等有关的数据特性不同。一般，在自然图像中，可以得到在低频区域中大的正交变换的系数值，随着变为高频率系数值减小。
在图5、图6所示的图像编码方法以及图像编码装置中，考虑依赖于这样的DCT系数的空间频率的数据特性，如上所述，对于作为编码对象的DCT系数，通过根据空间频率值切换适用的概率表进行算术编码，提高编码的效率。
在DCT系数的算术编码处理顺序中，首先，作为2维数据的DCT系数f11～f44，用图11B所示的曲折扫描，变换为1维数据。在该曲折扫描中，如变为扫描后的1维数据从低频率带向高频率带转移的数据串那样，扫描DCT系数。
具体地说，在i+j＝2中从空间频率值最低的DCT系数f11开始扫描，以i+j＝3的系数f12、f21，i+j＝4的系数f31、f22、f13、…这样的顺序，直至在i+j＝8上空间频率值最高的系数f44，顺序曲折地扫描DCT系数。由此，排列从低频率区域到高频率区域的DCT系数，得到图11C所示的1维数据。
对于该DCT系数的1维数据，为了降低其数据量，进一步变换到由图11D所示的级别以及行程长度组成的数据。在此，级别表示在多个DCT系数中是具有不是0的系数值的DCT系数的系数级别。另外，行程长度表示在不是0的DCT系数之前的系数值是0的数据的个数的游程长度。
例如，在图11A所示的DCT系数的数据例子中，如图11C所示，16个DCT系数f11～f44，根据具有不是0的系数值的DCT系数的出现位置，划分由系数f11组成的系数群s1、由系数f11、f21组成的系数群s2、由系数f31～f13组成的系数群s3、由系数f14～f32组成的系数群s4，以及由系数f41～f44组成的系数群s5。
而后，对于这些系数群s1～s5，如图11D所示，分别求级别值以及行程长度值。具体地说，在系数群s1中，级别值是f11＝10，Run值是0。另外，在系数群s2中，级别值是f21＝2，行程长度值是1。另外，在系数群s3中，级别值是f13＝-1，行程长度值是2。另外，在系数群s4中，级别值是f32＝1，行程长度值是2。
另外，最后的系数群s5，是全部系数f41～f44的系数值为0的系数群，为在图11A所示的DCT系数中的有效数据的终端(EOB：End of Block)。因而，在该系数群s5中，把表示EOB符号意义的0作为级别值。
进而，在相对DCT块的DCT系数的数据中，如果全部的DCT系数是0，则因为该DCT块无效，所以DCT系数不成为算术编码的对象。这样的DCT块的有效、无效，例如，由对各宏块给予的编码块模式(CBP：Coded Block Pattern)指定。该CBP，对于包含在宏块中的16个亮度块以及8个色差块的各自，指定块的有效、无效。
由图11D所示的级别以及行程长度组成的数据，用规定的2值化表2值化，制成成为算术编码对象的2值化图案。图12是展示在图11D所示的级别数据的2值化中使用的2值化表一例的表。在该2值化表中，级别值0、1、2、3…，用分别不同的图案长度2值化。
各级别以及行程长度的数据如果分别被2值化，则以s1的级别、s1的行程长度、s2的级别、s2的行程长度、…、s5的级别的顺序，用规定的概率表进行算术编码这些数据，生成与图11A的正交变换系数对应的作为编码数据的代码字。
在此，对于在DCT系数的算术编码中使用的概率表，在各宏块中，在帧间编码和帧内编码，或者亮度块和色差块中，可以使用不同的概率表。另外，在图12所示那样的2值化图案的算术编码中，例如，在Bin-no.(编码位置)1上的最初的2值化编码、Bin-no.2的2值化编码、Bin-no.是3以上的2值化编码，以及在表示2值化图案的正负的编码数据中使用不同的概率表等，可以根据2值化符号的符号位置使用不同的概率表。
进而，在图5、图6所示的图像编码方法以及图像编码装置中，如上所述，对于在DCT系数f11～f44中规定的DCT系数，可以根据其DCT系数中的空间频率值切换适用的概率表。
在此，作为用于切换适用的概率表的DCT系数的划分方法，有把多个DCT系数f11～f44，分为空间频率值低的第1系数群，以及空间频率值高的第2系数群，在第1系数群和第2系数群中切换适用的概率表的方法。
在作为频率图像数据的DCT系数(正交变换系数)中，如上所述，在低频率区域中的DCT系数，和在高频率区域中的DCT系数中数据特性不同。因而，对低频率区域以及高频率区域这2个系数群分配DCT系数，通过分别切换概率表，对于在算术编码中的编码条件，可以有效地反映依赖于空间频率的DCT系数的数据特性。
作为DCT系数的具体的划分方法，例如，有在算术编码中把成为最初的编码对象的正交变换系数作为第1系数群G1的划分方法。这相当于在不是0的正交变换系数中把由空间频率值最低的正交变换系数组成的图11C所示的系数群s1作为第1系数群G1，把另一系数作为第2系数群G2。
例如，如果在全部中空间频率数值最低的DCT系数f11不是0，则如图13A所示，把1个DCT系数f11划分为第1系数群G1，把15个DCT系数f12～f44划分为第2系数群G2。在系数群s1中的系数变为0，是在块内的全部正交变换系数是0时，因而，在其他的系数群中的系数变为0，其意义不同。因而，把成为最初的编码对象的DCT系数作为第1系数群，对其他的DCT系数切换概率表，可以提高在编码数据中的数据压缩效率。
或者，如图13B所示，也可以使用把fij中的i+j是2～4的范围中的6个DCT系数f11～f31作为第1系数群G1，把其他的10个DCT系数f14～f44作为第2系数群G2的划分。即使在这种划分中，在第1系数群G1和第2系数群G2中，系数变为0的概率和EOB出现的概率不同。因而，通过在这些系数群中切换概率表，可以提高在编码数据中的数据压缩的效率。另外，也可以使用此外的划分方法。或者，把DCT系数划分为3以上的系数群，可以对它们分别切换适用的概率表。
作为对DCT系数的概率表的切换方法，可以使用根据在各DCT系数中预想的数据特性预先切换概率表的方法。或者，也可以通过使用了图4所示的环境建模的编码方法(CABAC)进行概率表的切换以及更新。
作为具体的环境建模的例子，例如如图14所示，考虑相对编码对象的块C，位于左侧上的相邻块A以及位于上侧的相邻块B。而后，有参照在2个相邻块A、B各自中的图像编码处理结果，对块C切换适用的概率表的方法。
成为编码对象的块C的图像数据，作为图像的一般性质，成为与编码后的相邻块A、B的图像类似的图像数据的可能性高。因而，如上所述通过使用参照在相邻块中的图像编码的处理结果的环境建模切换概率表，可以根据编码条件减少编码数据中的冗长度，可以提高该数据压缩的效率。
下面说明用图13A所示的划分方法把DCT系数划分为2个系数群时的具体概率表的切换方法的例子。在被设定成和在系数群G2中的另一DCT系数不同的系数群G1中的成为最初编码对象的系数群s1中的DCT系数，如上所述是表示在块内不是0的正交变换系数的有无的系数。因此，例如当是运动补偿块的情况下，如果在相邻块中没有运动变化，DCT系数未发生，则即使在该块中，同样地DCT系数不发生的概率高。
利用这样的成为最初编码对象的DCT系数的数据特性，可以对编码对象的块C适用参照相邻块A、B的图14所示的环境建模。即，如果参照在相邻块A、B中的图像编码处理结果中不是0的DCT系数的有无，对在块C中成为最初编码对象的DCT系数进行切换概率表的环境建模，则可以降低在块C的编码数据中的冗长度。
图15是展示在相邻块A、B中不是0的DCT系数的有无、在块C中的DCT系数全部是0的频度以及概率的相关的表。在表中，A+B＝0表示在相邻块A、B中都不是0的DCT系数不存在的情况。另外，A+B＝1，表示在相邻块A、B中不是0的DCT系数在一方中存在的情况。另外，A+B＝2，表示在相邻块A、B中不是0的DCT系数在两方中存在的情况。
在此，作为用于看DCT系数的相关的编码对象的图像数据，使用测试图像“Foreman”。另外，在帧内模式中把量化参数设置为QP＝10，在帧间模式中设置成QP＝16。另外，视频大小使用了QCIF(纵176×横144)。
如图15的表所示，即使在帧内模式以及帧间模式之一中，当A+B＝0时C＝0(在块C中的DCT系数全部是0)的概率也最高，在A+B变为最大的同时，C＝0的概率下降。另外，如果比较在A+B＝0时C＝0的概率，则在相关比较大的帧间模式中，概率更大。
以上，参照采用左侧以及上侧相邻块的A+B值0、1、2，通过对在C块中的DCT系数切换概率表，可以提高在编码数据中的数据压缩效率。另外，有关相对这种情况下的DCT系数的概率表的切换，具体地说，理想的是考虑图12所示的2值化表，对包含在2值化图案中的作为最初的2值化编码的Bin-no.1的2值化编码切换概率表。
与正交变换系数对应的2值化图案最初的2值化编码，通常，表示被编码的正交变换系数的级别值是0，或者是1以上的符号。因而，通过切换适用于该2值化编码的概率表，可以有效地提高数据压缩的效率。或者，对其他的编码位置(Bin-no.)的概率表也同样可以切换。
图16是展示相对于成为上述最初编码对象的DCT系数采用概率表切换的符号量降低效果的表。在该表中，展示用以往的H.26L的编码方式的CABAC编码图像时的符号量、用切换了相对于成为最初编码对象的DCT系数的概率表的本发明的方法编码图像时的符号量，以及通过使用切换概率表的方法的符号量的降低率。
在此，对用于看在符号量降低率的编码对象的图像数据，以及在图像编码中使用的量化参数QP，在(a)测试图像“Foreman”中QP＝24，在(b)测试图像“Foreman”中QP＝16，在(c)测试图像“Stefan”中QP＝24，以及在(d)检测图像“Stefan”中QP＝16这4个条件下进行图像编码。
如图16的表所示，在4个条件下的图像编码的全部中，可以得到采用概率表的切换的符号量降低的效果。另外，即使在测试图像“Foreman”以及“Stefan”的某个中，量化参数QP大DCT系数变为0的概率高的条件一方，可以得到更大的降低效果。
以下，说明用图13B所示的划分方法把DCT系数划分为2个系数群时的具体的概率表的切换方法的例子。在作为频率图像数据的DCT系数中，一般，随着从低频率区域转移到高频率区域，系数值减小。因此，在低频率区域的第1系数群G1、高频率区域的第2系数群G2中，表示在DCT系数中不是0的有效的数据终端的EOB的出现概率不同。
因而，如果在第1系数群G1和第2系数群G2中，切换表示是否是相对Bin-no.1的EOB的概率表，则可以降低在生成的编码数据中的冗长度。另外，也可以切换EOB以外的概率表。
作为这种情况下的概率表的切换方法，例如，有参照在DCT系数的量化中使用的量化参数QP，在第1系数群G1和第2系数群G2中切换概率表的方法。
当量化DCT系数的情况下，被量化的DCT系数的数据特性，受到在量化中使用的量化参数的影响。例如，如果考虑关于EOB的概率表的切换，则当量化参数变大时，EOB在更低频率一侧的DCT系数中更容易发生。因而，通过参照量化参数切换概率表，根据量化条件减少在编码数据中的冗长度，可以提高数据压缩的效率。这种情况下，通过使系数群G1、G2的划分位置变化，可以切换概率表。
另外，对于上述的概率表的切换或者系数群的划分的位置的变动，还可以相对块C使用参照相邻块A、B的图14所示的环境建模进行。例如，在一般的图像中，在只是直流成分的图像块连续的情况等下，有EOB的出现位置在空间上连续的趋势。因而，如果参照在左侧以及上侧的2个相邻块A、B各自的处理结果中的EOB位置进行环境建模，则可以降低在块C的编码数据中的冗长度。
具体地说，例如，有参照相邻块A、B中的EOB位置，把该EOB位置作为在块C中的系数群G1、G2的划分位置，在系数群G1和G2中使用不同的概率表的方法。这种情况下，当在相邻块A、B中EOB的位置不同的情况下，理想的是选择使用其中高频率数一侧、低频率数一侧，或者平均值的位置等，用规定的方法设定在块C中的划分位置。
另外，在相邻块A、B都不是0的正交变换系数不存在的情况下，和由于使用帧内模式等不同的编码模式等的原因，不能进行参照相邻块A、B的划分位置的设定的情况下，理想的是使用预先另外准备的概率表。
另外，在设定的系数群的划分位置中设定上限和下限，当在相邻块A、B中的EOB位置变为其范围外的情况下，也可以使用上限或者下限的划分位置。当设定这样的上限、下限的情况下，理想的是参照在正交变换系数的量化中使用的量化参数设定。
另外，即使在这样的参照EOB位置的概率表的切换中，具体地说，理想的也是考虑图8所示的2值化表，切换相对包含在2值化图案中的作为最初的2值化符号的Bin-no.1的2值化符号的概率表。
另外，对于概率表的切换，除了参照EOB位置等的概率表的切换以外还可以使用各种方法。例如，可以参照在相邻块中的运动向量和编码模式、DCT系数的大小和不是0的系数的个数等。
图17是展示本发明的图像传送系统(例如移动视频传送系统)一实施方式的构成的模式图。本图像传送系统，其构成包含实现图5所示的图像编码方法的图像编码装置1(例如图6所示的图像编码装置)1，和实现图9所示的图像译码方法的图像译码装置(例如图10所示的图像译码装置)2。
在本系统中，输入帧图像D1，在图像编码装置1中被编码生成编码数据D7，输出到有线或者无线的规定的传送路。而后，从图像编码装置1传送到传送路的编码数据D7，被输入图像译码装置2，作为输出帧图像D10复原。
如果采用这样的图像传送系统，则可以在编码条件中反映成为编码对象的图像数据的特性，使用数据压缩效率提高后的编码数据，有效地传送图像。
本发明的图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号，以及图像传送系统，在编码条件中反映成为编码对象的图像数据的特性，可以作为能够提高编码数据中的数据压缩效率的方法以及装置使用。
即，在正交变换系数和编码数据之间的算术编码或者译码中，如果其构成考虑依赖于成为编码对象的正交变换系数的空间频率的数据特性，对于在多个正交变换系数中的规定的正交变换系数切换在算术编码中使用的概率表，则可以对在算术编码中的编码条件反映作为图像数据的正交变换系数自身具有的数据特性。因而，可以有效地除去图像数据的冗长度，提高在编码数据中的数据压缩的效率。