图像编码装置及图像编码方法.pdf

本发明提供一种图像编码装置及图像编码方法。该图像编码装置包括：模式选择单元，用于选择输入图像类型；输入单元，用于根据模式选择单元的输出来输入图像数据；图像大小判断单元，用于判断由输入单元所输入的图像数据的图像大小；块大小决定单元，用于根据由图像大小判断单元所判断出的图像大小来决定块的块大小；以及块构造单元，用于将由输入单元所输入的图像数据分割为由块大小决定单元所决定的块大小的块。

1.  一种图像编码装置，用于以块为单位执行编码处理，该图像编码装置包括：
模式选择单元，用于选择输入图像类型；
输入单元，用于根据模式选择单元的输出来输入图像数据；
图像大小判断单元，用于判断由输入单元所输入的图像数据的图像大小；
块大小决定单元，用于根据由图像大小判断单元所判断出的图像大小来决定块的块大小；以及
块构造单元，用于将由输入单元所输入的图像数据分割为由块大小决定单元所决定的块大小的块。

2.  根据权利要求1所述的图像编码装置，其特征在于，如果由图像大小判断单元所判断出的图像大小是第一图像大小，则块大小决定单元决定为第一块大小；如果由图像大小判断单元所判断出的图像大小是大于第一图像大小的第二图像大小，则块大小决定单元决定为大于第一块大小的第二块大小。

3.  根据权利要求2所述的图像编码装置，其特征在于，第一块大小是4×4像素，第二块大小是8×8像素。

4.  根据权利要求2所述的图像编码装置，其特征在于，如果由输入单元所输入的图像数据是标准分辨率图像数据，则图像大小判断单元判断为第一图像大小；如果由输入单元所输入的图像数据是高分辨率图像数据，则图像大小判断单元判断为第二图像大小。

5.  根据权利要求4所述的图像编码装置，其特征在于，第一块大小是4×4像素，第二块大小是8×8像素。

6.  根据权利要求1所述的图像编码装置，其特征在于，还包括正交变换单元，该正交变换单元用于对由块构造单元所分割的块进行正交变换。

7.  根据权利要求6所述的图像编码装置，其特征在于，正交变换单元用于通过执行离散余弦变换、整数变换、或哈达马变换来对块进行正交变换。

8.  根据权利要求6所述的图像编码装置，其特征在于，正交变换单元用于根据块大小来选择对4×4像素块的正交变换和对8×8像素块的正交变换。

9.  根据权利要求1所述的图像编码装置，其特征在于，还包括滤波器，该滤波器用于根据块大小来执行滤波处理。

10.  根据权利要求9所述的图像编码装置，其特征在于，滤波器用于根据块大小来执行对4×4像素块的滤波处理和对8×8像素块的滤波处理。

11.  根据权利要求9所述的图像编码装置，其特征在于，滤波器用于对由块构造单元所分割的块的边界像素执行平滑滤波处理。

12.  根据权利要求11所述的图像编码装置，其特征在于，还包括预测编码单元，该预测编码单元用于通过使用预测图像数据来对图像数据进行编码，其中，滤波器是对用于生成预测图像数据的图像数据执行滤波处理的解块滤波器。

13.  根据权利要求1所述的图像编码装置，其特征在于，图像大小判断单元用于根据由用户指定的拍摄模式来判断由输入单元所输入的图像数据的图像大小。

14.  一种图像编码装置，用于以块为单位执行编码处理，该图像编码装置包括：
输入单元，用于输入图像数据；
图像大小判断单元，用于判断由输入单元所输入的图像数据的图像大小；
块大小决定单元，用于根据由图像大小判断单元所判断出的图像大小来决定块的块大小；
块构造单元，用于将由输入单元所输入的图像数据分割为由块大小决定单元所决定的块大小的块；以及
滤波器，用于以块大小决定单元所决定的块大小来对图像数据执行滤波处理。

15.  根据权利要求14所述的图像编码装置，其特征在于，如果由图像大小判断单元所判断出的图像大小是第一图像大小，则块大小决定单元决定为第一块大小；如果由图像大小判断单元判断出的图像大小是大于第一图像大小的第二图像大小，则块大小决定单元决定为大于第一块大小的第二块大小。

16.  根据权利要求15所述的图像编码装置，其特征在于，第一块大小是4×4像素，第二块大小是8×8像素。

17.  根据权利要求15所述的图像编码装置，其特征在于，如果由输入单元所输入的图像数据是标准分辨率图像数据，则图像大小判断单元判断为第一图像大小；如果由输入单元所输入的图像数据是高分辨率图像数据，则图像大小判断单元判断为第二图像大小。

18.  根据权利要求17所述的图像编码装置，其特征在于，第一块大小是4×4像素，第二块大小是8×8像素。

19.  根据权利要求14所述的图像编码装置，其特征在于，还包括正交变换单元，该正交变换单元用于对由块构造单元所分割的块进行正交变换。

20.  根据权利要求19所述的图像编码装置，其特征在于，正交变换单元通过执行离散余弦变换、整数变换、或哈达马变换来对块进行正交变换。

21.  根据权利要求19所述的图像编码装置，其特征在于，正交变换单元根据块大小来选择对4×4像素块的正交变换和对8×8像素块的正交变换。

22.  根据权利要求14所述的图像编码装置，其特征在于，滤波器用于对由块构造单元所分割的块的边界像素执行平滑滤波处理。

23.  根据权利要求22所述的图像编码装置，其特征在于，还包括预测编码单元，该预测编码单元用于通过使用预测图像数据来对图像数据进行编码，其中，滤波器是对用于生成预测图像数据的图像数据执行滤波处理的解块滤波器。

24.  一种图像编码装置，用于以块为单位执行编码处理，该图像编码装置包括：
输入单元，用于选择性地输入标准分辨率图像数据和高分辨率图像数据；
图像大小判断单元，用于判断由输入单元所输入的图像数据是标准分辨率图像数据还是高分辨率图像数据；
块大小决定单元，用于根据图像大小判断单元的输出来决定块大小；
块构造单元，用于根据由块大小决定单元所决定的块大小将由输入单元所输入的图像数据分割为块；
正交变换单元，用于对由块构造单元所分割的每个块变换图像数据；
量化单元，用于量化由正交变换单元变换过的图像数据；
编码单元，用于对由量化单元量化过的图像数据进行编码；以及
解块滤波器，用于根据块大小对图像数据执行滤波处理。

25.  根据权利要求24所述的图像编码装置，其特征在于，如果由输入单元所输入的图像数据是标准分辨率图像数据，则正交变换单元以4×4像素为单位执行正交变换，如果由输入单元所输入的图像数据是高分辨率图像数据，则正交变换单元以8×8像素为单位执行正交变换。

26.  一种图像编码方法，用于以块为单位执行编码处理，该图像编码方法包括以下步骤：
模式选择步骤，用于选择输入图像类型；
输入步骤，用于根据在模式选择步骤中的结果来输入图像数据；
图像大小判断步骤，用于判断在输入步骤中所输入的图像数据的图像大小；
块大小决定步骤，用于根据在图像大小判断步骤中所判断出的图像大小来决定块的块大小；以及
块构造步骤，用于将在输入步骤中所输入的图像数据分割为在块大小决定步骤中所决定的块大小的块。

27.  一种图像编码方法，用于以块为单位来执行编码处理，该图像编码方法包括以下步骤：
输入步骤，用于输入图像数据；
图像大小判断步骤，用于判断在输入步骤中所输入的图像数据的图像大小；
块大小决定步骤，用于根据在图像大小判断步骤中所判断出的图像大小来决定块的块大小；
块构造步骤，用于将在输入步骤中所输入的图像数据分割为在块大小决定步骤中所决定的块大小的块；以及
滤波步骤，用于以在块大小决定步骤中所决定的块大小来对图像数据执行滤波处理。

28.  一种图像编码方法，用于以块为单位执行编码处理，该图像编码方法包括以下步骤：
输入步骤，用于选择性地输入标准分辨率图像数据和高分辨率图像数据；
图像大小判断步骤，用于判断在输入步骤中所输入的图像数据是标准分辨率图像数据还是高分辨率图像数据；
块大小决定步骤，用于根据在图像大小判断步骤中的结果来决定块大小；
块构造步骤，用于根据在块大小决定步骤中所决定的块大小将在输入步骤中所输入的图像数据分割为块；
正交变换步骤，用于对在块构造步骤中所分割的每个块变换图像数据；
量化步骤，用于量化在正交变换步骤中变换过的图像数据；
编码步骤，用于对在量化步骤中量化过的图像数据进行编码；以及
解块滤波步骤，用于根据块大小对图像数据执行滤波处理。

图像编码装置及图像编码方法
技术领域
本发明涉及一种图像编码装置及其方法，尤其是在以块为单位执行编码处理的图像编码装置及其方法中，涉及一种对应于多种输入图像大小来执行编码处理的技术。
背景技术
作为高效率编码运动图像的技术，例如JPEG(联合图像专家组)、以及MPEG(运动图像专家组)-1和MPEG-2的编码方法已变得可实际商用。每个制造商都在开发和商业化生产通过使用编码方法来使视频数据可记录的DVD(digital versatile disk，数字多用途盘)记录器或摄像装置例如数字视频摄像机。利用这些装置或个人计算机、DVD播放器等，用户可以简单地观看和听运动图像。
此外，作为对静止图像执行压缩编码的技术，在使用采用JPEG的方法。数字静物摄像机(still camera)利用JPEG压缩所拍摄的图像，并在存储卡等中记录压缩过的图像。
而且，期望一种能比上述MPEG-2等产生更高的压缩的运动图像的编码方法。近来，ITU-T(International TelecommunicationUnion-Telecommunication Standardization Sector，国际电信联盟标准化部门)和ISO(International Organization forStandardization，国际标准化组织)已经标准化了称为H.264/MP EG-4part 10(此后称为“H.264”)的编码方法。尽管H.264比传统的编码方法需要更多的编码和解码运算量，但是众所周知它能实现更高的编码效率。例如，在日本特开2004-56827号公报中公开了H.264的数据处理的构成。通常，数字静物摄像机能够选择像素数，例如640×480像素、1600×1200像素等，并用所选择的像素数记录所拍摄的静止图像。在数字视频摄像机中，存在能够选择视频格式例如480/60i、720/30p、1080/60i(i：隔行扫描模式，p：逐行扫描(progressive)模式)并且利用所选择的视频格式来记录所拍摄的运动图像的产品。例如，在日本特开2002-314870号公报中公开了对一些具有不同像素数的输入图像信号执行记录处理的图像装置。
因此，输入并记录在摄像装置中的图像的类型及大小可以考虑各种情况。
然而，例如，在拍摄装置采用H.264编码方法的情况下，存在下面的问题。
因为在H.264的编码处理时所执行的整数变换中的块大小固定为4×4像素块，当对于使用摄像装置处理的各种输入图像时，存在缺乏灵活性的问题。
而且，关于上述整数变换，对由4×4像素块对输入图像执行正交变换的情况和由8×8像素块对同一输入图像执行正交变换的情况进行比较，对于复杂图案的解码图像，与由8×8像素块执行的正交变换相比，由4×4像素块执行的正交变换质量下降(degradation)。这是因为由4×4像素块执行的正交变换的空间频率分辨率比由8×8像素块执行的正交变换的低。
发明内容
有鉴于传统技术中的以上问题，本发明通过MPEG、H.264、或者继承或扩展上述编码技术的图像方法来提供能在复杂图案的图像中得到高质量的解码图像的图像编码装置和方法。
根据本发明的一个方面，提供一种图像编码装置，用于以块为单位执行编码处理，该图像编码装置包括：模式选择单元，用于选择输入图像类型；输入单元，用于根据模式选择单元的输出来输入图像数据；图像大小判断单元，用于判断由输入单元所输入的图像数据的图像大小；块大小决定单元，用于根据由图像大小判断单元所判断出的图像大小来决定块的块大小；以及块构造单元，用于将由输入单元所输入的图像数据分割为由块大小决定单元所决定的块大小的块。
根据本发明的另一方面，提供一种图像编码装置，用于以块为单位执行编码处理，该图像编码装置包括：输入单元，用于输入图像数据；图像大小判断单元，用于判断由输入单元所输入的图像数据的图像大小；块大小决定单元，用于根据由图像大小判断单元所判断出的图像大小来决定块的块大小；块构造单元，用于将由输入单元所输入的图像数据分割为由块大小决定单元所决定的块大小的块；以及滤波器，用于以块大小决定单元所决定的块大小来对图像数据执行滤波处理。
根据本发明的又一方面，提供一种图像编码装置，用于以块为单位执行编码处理，该图像编码装置包括：输入单元，用于选择性地输入标准分辨率图像数据和高分辨率图像数据；图像大小判断单元，用于判断由输入单元所输入的图像数据是标准分辨率图像数据还是高分辨率图像数据；块大小决定单元，用于根据图像大小判断单元的输出来决定块大小；块构造单元，用于根据由块大小决定单元所决定地块大小将由输入单元所输入的图像数据分割为块；正交变换单元，用于对由块构造单元所分割的每个块变换图像数据；量化单元，用于量化由正交变换单元变换过的图像数据；编码单元，用于对由量化单元量化过的图像数据进行编码；以及解块滤波器，用于根据块大小对图像数据执行滤波处理。
根据本发明的又一方面，提供一种图像编码方法，用于以块为单位执行编码处理，该图像编码方法包括以下步骤：模式选择步骤，用于选择输入图像类型；输入步骤，用于根据在模式选择步骤中的结果来输入图像数据；图像大小判断步骤，用于判断在输入步骤中所输入的图像数据的图像大小；块大小决定步骤，用于根据在图像大小判断步骤中所判断出的图像大小来决定块的块大小；以及块构造步骤，用于将在输入步骤中所输入的图像数据分割为在块大小决定步骤中所决定的块大小的块。
根据本发明的又一方面，提供一种计算机程序，用于执行上述图像编码方法。
根据本发明的又一方面，提供一种存储介质，其存储用于上述图像编码方法的程序代码。
根据本发明的又一方面，提供一种图像编码方法，用于以块为单位来执行编码处理，该图像编码方法包括以下步骤：输入步骤，用于输入图像数据；图像大小判断步骤，用于判断在输入步骤中所输入的图像数据的图像大小；块大小决定步骤，用于根据在图像大小判断步骤中所判断出的图像大小来决定块的块大小；块构造步骤，用于将在输入步骤中所输入的图像数据分割为在块大小决定步骤中所决定的块大小的块；以及滤波步骤，用于以在块大小决定步骤中所决定的块大小来对图像数据执行滤波处理。
根据本发明的又一方面，提供一种计算机程序，用于执行上述图像编码方法。
根据本发明的又一方面，提供一种存储介质，其存储用于上述图像编码方法的程序代码。
根据本发明的又一方面，提供一种图像编码方法，用于以块为单位执行编码处理，该图像编码方法包括以下步骤：输入步骤，用于选择性地输入标准分辨率图像数据和高分辨率图像数据；图像大小判断步骤，用于判断在输入步骤中所输入的图像数据是标准分辨率图像数据还是高分辨率图像数据；块大小决定步骤，用于根据在图像大小判断步骤中的结果来决定块大小；块构造步骤，用于根据在块大小决定步骤中所决定的块大小将在输入步骤中所输入的图像数据分割为块；正交变换步骤，用于对在块构造步骤中所分割的每个块变换图像数据；量化步骤，用于量化在正交变换步骤中变换过的图像数据；编码步骤，用于对在量化步骤中量化过的图像数据进行编码；以及解块滤波步骤，用于根据块大小对图像数据执行滤波处理。
根据本发明的又一方面，提供一种计算机程序，用于执行上述图像编码方法。
根据本发明的又一方面，提供一种存储介质，其存储用于上述图像编码方法的程序代码。
通过下面典型实施例的说明(参考附图)，本发明的其它特征和优点将变得显而易见。
附图说明
图1是本发明第一实施例的图像编码装置的示意性框图。
图2示出720×480像素的示意性标准分辨率(standarddefinition，SD)原始图像。
图3A示出对应于图2的SD原始图像的块由4×4像素块解码的图像。
图3B示出对应于图2的SD原始图像的块由8×8像素块解码的图像。
图4示出1920×1080像素的高分辨率(high definition，HD)原始图像。
图5A示出解码SD图像。
图5B示出解码HD图像。
图6是示出第一实施例中的图像编码装置的示意性处理过程的流程图。
图7是本发明第三实施例中的图像编码装置的示意性框图。
图8A和8B示出解块滤波(deblocking filter)的示意性处理。
图9示出示意性屏蔽滤波。
图10A示出对8×8像素块执行解块滤波的像素值。
图10B示出对4×4像素块执行解块滤波的像素值。
图11是示出第三实施例中的图像编码装置的示意性处理过程的流程图。
图12是H.264的图像编码处理的框图。
图13是示出第二实施例中的图像编码装置的示意性处理过程的流程图。
图14中的A～D示出离散余弦变换的处理。
图15是本发明第二实施例中的图像编码装置的示意性框图。
图16是本发明中的摄像装置的示意性框图。
具体实施方式
下面参考附图来详细说明本发明的典型实施例。在实施例中举例说明的组成部分的相对布局会根据应用本发明的装置的结构和情况而适当改变。本发明不局限于这些示出的实施例。
第一实施例
图1是本发明第一实施例中的适合在摄像装置等中使用的图像编码装置的框图。因为在将本实施例中的图像编码装置应用于摄像装置的情况下，该摄像装置包括摄像机，所以由该摄像机拍摄的图像数据相当于在本实施例中的图像编码装置中的输入图像数据。
在图1中，块构造单元101将输入图像数据分割为预定大小的块。图像大小判断单元102判断输入到块构造单元101中的输入图像的图像大小。块大小决定单元103根据图像大小判断单元102判断出的图像大小，来决定在块构造单元101中形成的块的大小。
4×4离散余弦变换单元104对4×4像素块执行离散余弦变换。8×8离散余弦变换单元105对8×8像素块执行离散余弦变换。选择单元106和107根据由块大小决定单元决定的块大小，来选择4×4离散余弦变换单元104(选择单元106和107中的“A”侧路径)和8×8离散余弦变换单元105中的一个(选择单元106和107中的“B”侧路径)。
量化(quantization)单元108量化由4×4离散余弦变换单元104或8×8离散余弦变换单元105所输出的变换系数。熵(entropy)编码单元109熵编码由量化单元108所量化的变换系数并输出编码后的数据。
下面详细说明上述离散余弦变换。
离散余弦变换是正交变换，是在MPEG-1和MPEG-2等(MPEG固定为8×8像素块)中使用的变换方法。
下面参考图14说明离散余弦变换。图14中的A示出4×4像素块的输入图像，图14中的B示出在对该4×4像素块执行离散余弦变换后所输出的变换系数。此外，图14中的C示出8×8像素块的输入图像，图14中的D示出在对该8×8像素块执行离散余弦变换后所输出的变换系数。
参考图14中的A和B来说明为4×4像素块执行离散余弦变换的例子。X₁₁到X₄₄表示输入图像的像素值，Y₁₁到Y₄₄表示离散余弦变换系数。这里，A₄表示4×4离散余弦变换矩阵，X表示输入图像数据，Y表示离散余弦变换系数的数据。该离散余弦变换由下面的方程定义：
[Y]＝[A₄][X][A₄]^T                               (1)
其中：
A 4 = a a a a b c - c - b a - a - a a c - b b - c - - - ( 2 ) ]]>
a = 1 2 , b = 1 2 cos ( π 8 ) , c = 1 2 cos ( 3 π 8 ) ]]>
X = X 11 X 12 X 13 X 14 X 21 X 22 X 23 X 24 X 31 X 32 X 33 X 34 X 41 X 42 X 43 X 44 - - - ( 3 ) ]]>
Y = Y 11 Y 12 Y 13 Y 14 Y 21 Y 22 Y 23 Y 24 Y 31 Y 32 Y 33 Y 34 Y 41 Y 42 Y 43 Y 44 - - - ( 4 ) ]]>
即，方程(1)可以重写为下面的方程：
Y 11 Y 12 Y 13 Y 14 Y 21 Y 22 Y 23 Y 24 Y 31 Y 32 Y 33 Y 34 Y 41 Y 42 Y 43 Y 44 = a a a a b c - c - b a - a - a a c - b b - c X 11 X 12 X 13 X 14 X 21 X 22 X 23 X 24 X 31 X 32 X 33 X 34 X 41 X 42 X 43 X 44 a b a c a c - a - b a - c - a b a - b a - c - - - ( 5 ) ]]>
因此，在方程(5)和图14中的B中，垂直空间频率按照Y₁₁、Y₂₁、Y₃₁、及Y₄₁的顺序变为高变换系数，并且水平空间频率按照Y₁₁、Y₁₂、Y₁₃、Y₁₄的顺序变为高变换系数。即，该矩阵按照频率增加顺序，从左到右且从上到下布置。
在如图14中的C和D中所示的转换8×8像素块的情况下，因为与4×4像素块的情况相比有很多变换系数，所以可以认为空间频率分辨率高。在方程(5)的变换系数中，Y₁₁是输入图像的D C分量，并且用离散余弦变换系数Y₁₂到Y₁₄而不是Y₁₁表示输入图像的AC分量。
下面说明图1的图像编码装置的操作。在本实施例中的图像编码装置是根据输入图像的图像大小的编码单元，能相应地改变块的大小并利用该块来执行编码处理。因而，该图像编码装置可以从4×4像素块和8×8像素块中进行选择。
此外，作为输入图像，以1920×1080像素的高分辨率图像(这里称为“HD图像”)及720×480像素的标准分辨率图像(这里称为“SD图像”)为例来说明本实施例。本实施例的图像编码装置不局限于上述图像大小，并能够适用于HD及SD图像之外的图像大小(例如，360×288像素(CIF(Common Intermediate Format，通用中间格式)图像)、360×240像素(SIF(Source Input Format，源输入格式)图像)等)。此外，该图像编码装置能够适应4×4像素块及8×8像素块以外的块大小(例如，4×8像素块，2×4像素块等)。此外，在本实施例中，可以使用其它正交变换(例如，整数变换，Hadamard(哈达马)变换等)来代替离散余弦变换。
在图1中，首先，当输入图像数据时，由图像大小判断单元102判断该输入图像数据的图像大小。在本实施例中，判断输入图像数据是SD图像还是HD图像。在输入图像被图像大小判断单元判断为SD图像的情况下，块大小决定单元103将该块大小决定为4×4像素。否则，在输入图像被图像大小判断单元判断为HD图像的情况下，块大小决定单元103将该块大小决定为8×8像素。块构造单元101根据块大小决定单元103决定的块大小将输入图像数据分割成块。
在由块大小决定单元103决定的块大小为4×4像素的情况下，选择单元106及107选择图1的“A”。即，选择4×4离散余弦变换单元104中的处理。否则，在由块大小决定单元103决定的块大小为8×8像素时，选择单元106及107选择图1的“B”。即，选择8×8离散余弦变换单元105中的处理。所选择的4×4离散余弦变换单元104或8×8离散余弦变换单元105对该块执行离散余弦变换并将离散余弦变换系数输出到量化单元108。量化单元108量化所输入的离散余弦变换系数。然后，熵编码单元109对量化过的离散余弦变换系数进行熵编码，并输出编码数据。
下面说明块大小对压缩图像的影响。
块大小在产生块失真和空间频率分辨率上产生影响。首先，参考图2的原始图像和图3的解码图像来说明块失真的产生情况。
图3示出通过对图2中的原始图像执行压缩和展开处理后的解码图像的一部分。这里，假定该图像大小为720×480像素的SD图像。图3A和3B中的图像表示与图2中由粗线所包围的16×16像素块201相对应的解码图像。应该理解的是，该图不是成比例的。如果所示图像是720×480像素，则图像中的粗线区域201远大于16×16像素区域。然而，这里为了便于说明，假定图2的图像中的粗线区域201是16×16像素。图3A示出由4×4像素块处理过的解码图像，图3B示出由8×8像素块处理过的解码图像。在图3A中由粗线所包围的8×8像素块300由四个像素块301、301、303、304组成，图3B中由粗线所包围的块305表示8×8像素块。
当块的边界处的像素值因为量化处理而变得不连续时产生块失真。即，在离散余弦变换的块的边界处产生块失真。图3A和3B示出在解码图像中的块失真。水平和垂直实线表示块失真。图3A示出块大小为4×4像素的情况下的块失真，图3B示出块大小为8×8像素的情况下的块失真。8×8像素的块大小的块失真比4×4像素的块大小的块失真更加明显。即，在用相同分辨率的显示器欣赏对相同图像利用不同块大小进行编码和解码的解码图像的情况下，由8×8像素块解码的图像的块失真比由4×4像素块解码的图像的块失真在视觉上更加明显。
下面参考图3A和3B说明空间频率分辨率。因为在图3A的情况下执行4×4离散余弦变换，如上所述空间频率分辨率低。因此，尽管像块301这样的具有低空间分辨率的平坦图案(flat pattern)的解码图像不容易模糊，然而，像块302这样的具有高空间分辨率的复杂图案的解码图像容易模糊。另一方面，因为在图3B的情况下执行8×8离散余弦变换，因而空间频率分辨率高，并且和图3A所示的块大小为4×4像素的情况相比，复杂图案的解码图像不容易模糊。
因此，如上所述，在图像尺寸假定已经固定的情况下，如果使执行离散余弦变换的块大小大(例如，8×8)，则块失真在视觉上变得明显，但是复杂图案的解码图像不容易模糊。另一方面，如果使执行离散余弦变换的块大小小(例如，4×4)，则块失真在视觉上变得不明显，但是复杂图案的解码图像容易模糊。
这里，在压缩/展开SD图像及HD图像的情况下，表示相同物体并且具有不同图像大小的SD图像及HD图像被压缩和展开，参考图2、图4、图5说明用相同图像大小显示解码SD图像和解码HD图像。图2示出SD图像，图4示出HD图像。与SD图像的像素密度相比，HD图像具有高的像素密度。
图5A示出与图2中粗线所包围的16×16像素块201相对应的16×16像素的解码SD图像，并且通过由4×4像素块的压缩/展开来执行解码该SD图像。图5B示出与图4中的粗线所包围的32×32像素块401相对应的32×32像素的解码HD图像，通过由8×8像素块的压缩/展开来执行解码该HD图像。如以上参考图2所述，应该理解的是，该图不是成比例的。如果在图4中所示的图像是1920×1080像素，则图像中的粗线区域401要远大于32×32像素区域。然而，这里为了便于说明，假定在图4的图像中的粗线区域401是32×32像素。在比较图5A和图5B间的块失真的情况下，压缩/展开时的块大小是不同的，但是因为像素密度不同，因而块失真几乎相同。图5B(块大小为8×8像素)的解码图像的空间频率分辨率高于图5A(块大小为4×4像素)的解码图像。即，在复杂图案的图像中例如图5A的块501及图5B的块502，其块失真情况是相同的，但是图5B的8×8像素的块大小不像图5A的4×4像素的块大小那样容易模糊。
如上所述，在SD图像和HD图像是相同物体的图像、并且用相同的图像大小显示压缩和展开后的解码图像的情况下，如果在执行HD图像的压缩/展开时的块大小大于在执行SD图像的压缩/展开时的块大小，则能够得到不像SD图像那样容易模糊的HD图像的解码图像。
接着，参考图6的流程图来说明本发明的图像编码装置的典型处理过程，该处理过程在根据输入图像的图像大小相应地选择块大小之后进行编码。
首先，在步骤S601，输入图像数据。接着，在步骤S602，图像大小判断单元102判断该输入图像数据的图像大小。即，判断该输入图像是SD图像还是HD图像。接着，在步骤S603，块大小决定单元103根据步骤S602的图像大小判断结果来决定块大小。如果该输入图像数据是SD图像，则该块大小决定单元103将块大小决定为4×4像素，如果该输入图像数据是HD图像，则该块大小决定单元103将块大小决定为8×8像素。
接着，在步骤S604，判断由块大小决定单元103所决定的块大小(步骤S603)是否为8×8像素。如果该块大小不是8×8像素(即，块大小为4×4像素)(在步骤S604为否)，则处理进入步骤S605。另一方面，如果该块大小是8×8像素(在步骤S604为是)，则处理进入步骤S607。
在步骤S605，块构造单元101根据块大小决定单元103的结果将该输入图像数据分割为4×4像素块。然后，在步骤S606，4×4离散余弦变换单元104对该4×4像素块执行离散余弦处理。然后，处理进入步骤S609。
另一方面，在步骤S607，块构造单元101根据块大小决定单元103的结果将该输入图像数据分割为8×8像素块。然后，在步骤S608，8×8离散余弦变换单元105对该8×8像素块执行离散余弦处理。然后，处理进入步骤S609。
在步骤S609，在步骤S606或步骤S608中被离散余弦变换的变换系数被量化单元108量化。然后，在步骤S610，量化后的系数由熵编码单元109进行熵编码，并且输出编码后的数据。然后，该处理结束。这样，所输出的编码数据变得可利用记录和再现装置进行记录，并且能通过对编码数据进行解码来观看解码图像。当利用记录和再现装置记录时，与编码数据一起记录表示其是由8×8像素块还是由4×4像素块进行处理的信息。
在步骤S602中判断该输入图像的大小可以如下修改。图像大小判断单元102可以这样构成，以便其可以根据由用户指定的图像大小(例如图像类型，如HD图像、SD图像等)或拍摄模式等来判断图像大小。例如，在具有本发明的图像编码装置的摄像装置(例如，数字视频摄像机等)中，在用于选择图像类型的模式选择单元被设置为“HD图像”的情况下，图像大小判断单元102基于模式选择单元的设置状态将该输入图像判断为HD图像，然后判断该输入图像的图像大小；在模式选择单元被设置为“SD图像”的情况下，图像大小判断单元102将该输入图像判断为SD图像，然后判断该输入图像的图像大小。例如，在图16中示出上述摄像装置的设置。摄像单元1601拍摄由模式选择单元1604所选择的图像类型(SD图像或HD图像)的图像数据。图像编码装置1602对由摄像单元1601所拍摄的图像数据进行编码。记录/再现单元1603在记录介质上记录由图像编码装置1602编码后的图像数据，并再现所记录的图像数据。模式选择单元1604选择是记录HD图像还是SD图像。如上所述，图像编码装置1602基于模式选择单元1604的选择状态来判断图像大小。除了判断图像大小的处理之外，该图像编码装置1602的编码处理与图1中的相同。
步骤S609中的量化处理可以修改如下。如果决定的块大小为4×4块大小，则量化单元108通过利用4×4量化矩阵来执行量化处理。另一方面，如果决定的块大小为8×8块大小，则量化单元108通过利用8×8量化矩阵来执行量化处理。
因此，根据本实施例，在输入图像是相同物体的图像，并且尽管输入图像的大小不同，但通过根据输入图像的图像大小改变块大小来以相同的图像大小显示解码图像的情况下，与像传统技术那样的固定块大小(即使输入图像的图像大小大)的情况相比，能够得到复杂图案部分不易模糊的解码图像。因此，与传统技术相比，本发明的图像编码装置能得到高质量的图像。
第二实施例
下面说明本发明的第二实施例。第二实施例中的本发明的图像编码装置的特点是具有如下配置：利用通过扩展H.264而得到的编码方法对运动图像执行压缩编码。
这里，下面参考图12来说明H.264中的图像编码处理的块结构。图12的图像编码装置包括减法器1201，整数变换单元1202，量化单元1203，熵编码单元1204，逆量化单元1205，逆整数变换单元1206，加法器1207，帧存储器1208及1212，内(intra)预测单元1209，选择单元1210及1215，解块滤波器1211，间(inter)预测单元1213，以及运动检测单元1214。第二实施例的图像编码装置将输入图像数据分割为块，以块为单位执行H.264编码处理，并且输出编码数据。
下面参考图12来说明H.264编码处理。
首先，减法器1201从输入图像数据中减去预测图像数据，并输出差异数据。后面说明预测图像数据的生成方法。
整数变换单元1202对从减法器1201输出的差异数据执行正交变换，并且输出变换系数。然后，量化单元1203利用所预定的量化参数来量化该变换系数。
熵编码单元1204对由量化单元1203所量化的变换系数进行熵编码，并且输出编码数据。
由量化单元1203量化的变换系数还被用来生成预测图像数据。逆量化单元1205逆量化由量化单元1203量化过的变换系数。逆整数变换单元1206对由逆量化单元1205逆量化过的变换系数执行逆整数变换，并输出解码后的差异数据。加法器1207将解码后的差异数据和预测图像数据相加，并且输出局部解码图像数据。
局部解码图像数据被记录在帧存储器1208中。可选地，局部解码图像数据还可以由解块滤波器1211处理。选择单元1210选择是否对该局部解码图像数据执行解块滤波处理。帧存储器1212存储从解块滤波器1211输出的局部解码图像数据和从选择单元1210输出的局部解码图像数据。局部解码图像数据中的可以在后续编码处理中作为预测图像数据进行参考的数据被存储在帧存储器1208或帧存储器1212中。使用解块滤波器1211是为了消除噪声。
内预测单元1209利用存储在帧存储器1208中的局部解码图像数据来执行帧内预测处理，并生成预测图像数据。间预测单元1213利用存储在帧存储器1212中的局部解码图像数据，基于由运动检测单元1214检测到的运动矢量信息，来执行帧间预测处理，并生成预测图像数据。运动检测单元1214为输入图像数据检测运动矢量，并将检测到的运动矢量信息输出到间预测单元1213和熵编码单元1204。
选择单元1215在间预测和内预测之间选择应该使用哪个预测图像数据，即，选择单元1215从内预测单元1209的输出及间预测单元1213的输出中选择其中之一。该选择单元1215将所选择的预测图像数据输出到减法器1201及加法器1207。以上是关于由图12所示的配置进行的H.264的编码处理的说明。
下面说明H.264中的解块滤波器。在H.264的编码方法中，规定了用于对局部解码图像执行滤波的解块滤波器(例如，图12的解块滤波器1211)的设置。在MPEG-1和MPEG-2中没有该规定。解块滤波器1211使块的边界部分平滑，消除局部解码图像中的块失真，并且防止块失真传播到在运动补偿处理中参考该局部解码图像的图像中。这在ITU-T H.264或ISO/IEC MPET-4Part 10的ISO/IEC 14496-10的文献中有更详细的说明。
下面说明H.264中的整数变换。在MPEG-1和MPEG-2中执行通过利用8×8像素单位的离散余弦变换而进行的编码处理。另一方面，在H.264中通过利用整数变换来执行编码处理。
下面说明在H.264的编码方法中所使用的整数变换。上述离散余弦变换的方程(5)可以变为下面的方程(6)：
Y 11 Y 12 Y 13 Y 14 Y 21 Y 22 Y 23 Y 24 Y 31 Y 32 Y 33 Y 34 Y 41 Y 42 Y 43 Y 44 = ( 1 1 1 1 2 1 - 1 - 2 1 - 1 - 1 1 1 - 2 2 - 1 X 11 X 12 X 13 X 14 X 21 X 22 X 23 X 24 X 31 X 32 X 33 X 34 X 41 X 42 X 43 X 44 1 2 1 1 1 1 - 1 - 2 1 - 1 - 1 2 1 - 2 1 - 1 ) ⊗ c 2 cd 2 c 2 cd 2 cd d 2 4 cd d 2 4 c 2 cd 2 c 2 cd 2 cd 2 d 2 4 cd 2 d 2 4 - - - ( 6 ) ]]>
其中：
c = 1 2 , d = 2 5 ]]>
H.264的整数变换使用如下整数变换矩阵：
1 1 1 1 2 1 - 1 - 2 1 - 1 - 1 1 1 - 2 2 - 1 ]]>
指定下面的方程(7)作为整数变换：
1 1 1 1 2 1 - 1 - 2 1 - 1 - 1 1 1 - 2 2 - 1 X 11 X 12 X 13 X 14 X 21 X 22 X 23 X 24 X 31 X 32 X 33 X 34 X 41 X 42 X 43 X 44 1 2 1 1 1 1 - 1 - 2 1 - 1 - 1 2 1 - 2 1 - 1 - - - ( 7 ) ]]>
可以通过加法和移位处理来计算该整数变换。
c 2 cd 2 c 2 cd 2 cd d 2 4 cd d 2 4 c 2 cd 2 c 2 cd 2 cd 2 d 2 4 cd 2 d 2 4 ]]>
通过对4×4像素块的每个组成部分执行不同的量化处理来计算上述项。即，在H.264中，通过结合整数变换和量化处理来实现正交变换。这在ITU-T H.264或ISO/IEC MP ET-4Part 10的ISO/IEC 14496-10的文献中有更详细的说明。
在使用上述H.264编码方法的图像编码装置中，可以像第一实施例那样根据输入图像的大小在编码时选择块大小。然而，在当前标准的H.264中，执行整数变换的块大小被固定为4×4像素块。因此，在第二实施例中，对当前的整数变换处理进行扩展，并且除了4×4像素块之外至少允许8×8像素块的处理。图15示出允许上述变换处理的图像编码装置的框图。在图15中，与图1和图12功能相同的组件具有相同的附图标记，这里不再重复其说明。
在图15中，块大小决定单元1500根据由图像大小判断单元102所判断出的图像大小来决定在块构造单元101中形成的块大小。此外，根据所决定的块大小，块大小决定单元1500控制整数变换单元1202和逆整数变换单元1206的处理块大小(4×4像素或8×8像素)。
接着，参考图13的流程图来说明本发明的图像编码装置的处理过程，该图像编码装置在根据输入图像的图像大小适当选择块大小之后进行编码。
首先，在步骤S1301，输入图像数据。接着，在步骤S1302，图像大小判断单元102判断该输入图像数据的图像大小。即，判断该输入图像是SD图像还是HD图像。
接着，在步骤S1303，块大小决定单元1500根据步骤S1302的判断结果来决定块大小。如果该输入图像数据是SD图像，则该块大小决定单元1500将块大小决定为4×4像素，如果该输入图像数据是HD图像，则将块大小决定为8×8像素。
接着，在步骤S1304，判断由块大小决定单元1500所决定的块大小是否为8×8像素。如果该块大小不是8×8像素(即，块大小为4×4像素)(在步骤S1304为否)，则处理进入步骤S1305。另一方面，如果该块大小是8×8像素(在步骤S1304为是)，则处理进入步骤S1307。
在步骤S1305，块构造单元101根据块大小决定单元1500的结果将该输入图像数据分割为4×4像素块。然后，在步骤S1306，整数变换单元1202对4×4像素块执行整数变换。然后，处理进入步骤S1309。
另一方面，在步骤S1307，块构造单元101根据块大小决定单元1500的结果将输入图像数据分割为8×8像素块。然后，在步骤S1308，整数变换单元1202对8×8像素块执行整数变换。然后，处理进入步骤S1309。
在步骤S1309，在步骤S1306或步骤S1308中被整数变换的变换系数被量化单元1203量化。然后，在步骤S1310，量化后的系数被熵编码单元1204进行熵编码，并且输入编码数据。然后，该处理结束。这样，所输出的编码数据变得可利用记录和再现装置进行记录，并且可通过解码该编码数据来观看解码后的图像。当利用记录和再现装置记录时，与编码数据一起记录表示其是由8×8像素块还是由4×4像素块进行处理的信息。
在将本实施例中的图像编码装置应用到摄像装置的情况下，由摄像单元所拍摄的图像数据等于在本实施例中的图像编码装置中的输入图像数据。
可以像第一实施例那样修改在步骤S1302中对输入图像的图像大小的判断处理。即，图像大小判断单元102可以这样配置，以便其可以根据用户指定的模式(例如图像类型，如HD图像、SD图像等)等来判断图像大小。例如，在具有本发明的图像编码装置的拍摄装置中(例如，数字视频摄像机等)，在用于选择图像类型的模式选择单元被设置为“HD图像”的情况下，图像大小判断单元102基于模式选择单元的设置状态将输入图像判断为HD图像，并判断该输入图像的图像大小。在模式选择单元被设置为“SD图像”的情况下，图像大小判断单元102基于模式选择单元的设置状态将该输入图像判断为SD图像，并判断该输入图像的图像大小。例如，在图16中示出上述摄像装置的配置。摄像单元1601拍摄由模式选择单元1604所选择的图像类型(SD图像或HD图像)的图像数据。图像编码装置1602对由摄像单元1601所拍摄的图像数据进行编码。记录/再现单元1603在记录介质上记录由图像编码装置1602编码的图像数据，并再现所记录的图像数据。模式选择单元1604选择是记录HD图像还是SD图像。如上所述，图像编码装置1602基于模式选择单元1604的选择状态来判断图像大小。除了图像大小的判断处理之外，该图像编码装置1602的编码处理与图15中的相同。
可以将步骤S1309中的量化处理修改如下。如果所决定的块大小为4×4块大小，则量化单元1203通过利用4×4量化矩阵来执行量化处理，逆量化单元1206通过利用4×4逆量化矩阵来执行逆量化处理。另一方面，如果所决定的块大小为8×8块大小，则量化单元1203通过利用8×8量化矩阵来执行量化处理，逆量化单元1206通过利用8×8逆量化矩阵来执行逆量化处理。
因此，根据第二实施例，与第一实施例相同，与传统的固定块大小(即使输入图像的图像大小大时)的情况相比，能容易地得到复杂图案部分不模糊的解码图像。因此，与传统技术相比，本发明的图像编码装置能够得到高质量的图像。然后，通过允许改变H.264的编码处理中的块大小，能够实现图像质量的提高，还可通过处理8×8像素来提高编码处理的效率。
第三实施例
下面参考附图说明第三实施例。
图7是第三实施例中的图像编码装置的框图。图7的图像编码装置的特点在于，除了在第一实施例中所说明的图1的图像编码装置的配置之外，还具有根据所决定的块大小来改变解块滤波器的处理的配置。图7中功能与图1中的组件功能相同的组件具有相同的附图标记，这里不再重复其说明。
减法器701从输入图像数据中减去预测图像数据。逆量化单元702执行逆量化。4×4逆离散余弦变换单元703对4×4像素块执行逆离散余弦变换。8×8逆离散余弦变换单元704对8×8像素块执行逆离散余弦变换。选择单元705和706选择4×4逆离散余弦变换单元703(选择单元705和706中“A”侧路径)和8×8逆离散余弦变换单元704中的一个(选择单元705和706中“B”侧路径)。
加法器707将解码后的差异数据和预测图像数据相加并且输出局部解码图像数据。4×4解块滤波器708对4×4像素块执行滤波处理(后面说明)。8×8解块滤波器709对8×8像素块执行滤波处理(后面说明)。选择单元710和711选择4×4解块滤波器708(选择单元710和711中“A”侧路径)和8×8解块滤波器709(选择单元710和711中“B”侧路径)中的一个。
帧存储器712存储局部解码图像数据。间预测单元713执行帧间预测。运动检测单元714检测帧间的运动。
接着，下面说明图7的图像编码装置的操作。
首先，减法器701从输入图像数据中减去预测图像数据，并输出差异数据。后面说明预测图像数据的生成方法。量化变换系数被熵编码单元109进行熵编码，并被逆量化单元702进行逆量化。
在由块大小决定单元103所决定的块大小为4×4像素的情况下，选择单元705和706选择图7的“A”。即，选择在4×4逆离散余弦变换单元703中的处理。另一方面，在由块大小决定单元103所决定的块大小为8×8像素的情况下，选择单元705和706选择图7的“B”。即，选择在8×8逆离散余弦变换单元704中的处理。所选择的4×4逆离散余弦变换单元703或8×8逆离散余弦变换单元704对块执行逆离散余弦变换并输出解码差异数据。
加法器707将解码差异数据和预测图像数据相加，并且输出局部解码图像数据。
在由块大小决定单元103所决定的块大小为4×4像素的情况下，选择单元710和711选择图1的“A”。即，选择在4×4解块滤波器708中的处理。否则，当由块大小决定单元103所决定的块大小为8×8像素情况下，选择单元710和711选择图1的“B”。即，选择在8×8解块滤波器709中的处理。所选择的4×4解块滤波器708或8×8解块滤波器709对局部解码图像数据执行解块滤波处理。由4×4解块滤波器708或8×8解块滤波器709滤波后的局部解码图像数据存储在帧存储器712中。
间预测单元713利用存储在帧存储器712中的局部解码图像数据，基于由运动检测单元714所检测到的运动矢量信息来执行帧间预测处理，并生成预测图像数据。
接着，参考图8A和8B、图9及图10A和10B来说明图7的图像编码装置中的解块滤波处理。这里，说明使用3×3屏蔽(mask)滤波器执行平滑滤波的解块滤波处理的例子。然而，解块滤波处理并不局限于使用3×3屏蔽滤波器的滤波。
在图8A中，f(i，j)(i和j是整数)表示所关心的像素的值，通过该所关心的像素执行滤波。在图8B中，g(i，j)表示滤波处理过的f(i，j)的值。基于在滤波前围绕所关心的像素的3×3屏蔽滤波器上的像素值(即，图8A中的f(i-1，j-1)、f(i，j-1)、f(i+1，j-1)、f(i-1，j)、f(i，j)、f(i+1，j)、f(i-1，j+1)、f(i，j+1)、以及f(i+1，j+1))来确定g(i，j)。
接着，参考图9说明利用3×3屏蔽滤波器的滤波。图9中所示出的数字表示滤波因子，利用该滤波因子乘以对应于每个位置的像素值。
可以通过下面的方程表示在利用图9的3×3屏蔽滤波器滤波的情况下，滤波后的像素值g(i，j)：
g ( i , j ) = { Σ m = - 1 1 Σ n = - 1 1 f ( i + m , j + n ) } ÷ 9 - - - ( 8 ) ]]>
其中m和n是整数。通过执行该滤波，围绕所关心的像素的像素值和所关心的像素的像素值之间的差值变小。
接着，参考图10A和10B来说明执行滤波的像素。图10A和图10B示出对一帧图像的一部分进行放大后的图像。在图10A和10B中，在块中被粗线围住的小方块表示一个像素。在图10A中被粗线围住的块的大小为8×8像素，在图10B中被粗线围住的块的大小为4×4像素。
这里，参考图10A说明对块大小为8×8像素的情况下的滤波处理。
对图10A中由交叉影线(cross-hatch)区域所表示的、作为所关心的像素f(i，j)的一个特定像素执行上述滤波处理。对由交叉影线区域所表示的全部像素即8×8像素块的块边界像素执行该处理。通过对8×8像素块的块边界像素执行滤波处理，块边界像素值之间的差值变小，可以减小块失真。此外，在块大小为4×4像素的情况下，对在图10B由交叉影线区域所表示的、作为所关心的像素f(i，j)的一个特定像素执行上述滤波处理。
接着，参考图11说明第三实施例的图像编码装置的示例处理过程。尤其是，说明根据输入图像的图像大小的(逆)离散余弦变换以及解块滤波的处理。在图11中，与图6中的步骤具有相同处理的步骤具有相同的步骤编号，并且在这里不再重复其说明。
首先，如上所述，在步骤S601到步骤S609中，决定与输入图像大小相对应的块大小，执行与所决定的块大小相对应的离散余弦变换，并且执行量化。
然后，在块大小为4×4像素的情况下，在步骤S1101中，逆量化单元702逆量化由量化单元108量化过的变换系数。接着，在步骤S1102，由4×4逆离散余弦变换单元703对4×4像素块执行逆离散余弦变换。在步骤S1103，由4×4解块滤波单元708对4×4像素块的边界像素执行解块滤波处理。
在块大小为8×8像素的情况下，在步骤S1104中，逆量化单元702逆量化由量化单元108所量化的变换系数。接着，在步骤S1105，由8×8逆离散余弦变换单元703对8×8像素块执行逆离散余弦变换。在步骤S1106，由8×8解块滤波单元709对8×8像素块的边界像素执行解块滤波处理。
在执行解块滤波处理之后(步骤S1103或步骤S1106)，执行上述操作过程(例如，间预测等)，然后输出编码数据。然后，该处理结束。这样，输出编码数据变得可利用记录和再现装置(未示出)进行记录，并且可以通过解码该编码数据来观看解码图像。当利用记录和再现装置记录时，与编码数据一起记录表示其是由8×8像素块还是由4×4像素块进行处理的信息。
在将本实施例中的图像编码装置应用到摄像装置的情况下，由摄像单元所拍摄的图像数据相当于在本实施例中的图像编码装置中的输入图像数据。
此外，可以像第一实施例那样修改在图11的步骤S602中对输入图像的图像大小的判断处理。即，图像大小判断单元102可以这样配置，以便其可以根据用户指定的模式(例如图像类型，如HD图像、SD图像等)等来判断图像大小。例如，在具有本发明的图像编码装置的摄像装置中(例如，数字视频摄像机等)，在用于选择图像类型的模式选择单元被设置为“HD图像”的情况下，图像大小判断单元102基于模式选择单元的设置状态将该输入图像判断为HD图像，然后判断该输入图像的大小。在模式选择单元被设置为“SD图像”的情况下，图像大小判断单元102基于模式选择单元的设置状态将该输入图像判断为SD图像，然后判断该输入图像的大小。例如，在图16中示出上述摄像装置的设置。摄像单元1601拍摄由模式选择单元1604所选择的图像类型(SD图像或HD图像)的图像数据。图像编码装置1602对由摄像单元1601所拍摄的图像数据进行编码。记录/再现单元1603在记录介质上记录由图像编码装置1602所编码的图像数据，并再现所记录的图像数据。模式选择单元选择记录HD图像还是SD图像。如上所述，图像编码装置1602基于模式选择单元1604的选择状态来判断图像大小。除了判断图像大小的判断处理之外，该图像编码装置1602的编码处理与图15中的相同。
可以将图11的步骤S609中的量化处理修改如下。如果所决定的块大小为4×4块大小，则量化单元108通过利用4×4量化矩阵来执行量化处理，逆量化单元702通过利用4×4逆量化矩阵来执行逆量化处理。另一方面，如果所决定的块大小为8×8块大小，则量化单元108通过利用8×8量化矩阵来执行量化处理，逆量化单元702通过利用8×8逆量化矩阵来执行逆量化处理。
因此，根据本实施例，通过根据输入图像的图像大小改变块大小，与像传统技术那样的固定块大小(即使输入图像的图像大小大)的情况相比，能够得到复杂图案部分不易模糊的解码图像。另外，通过根据所决定的块大小改变滤波处理的块大小，本实施例的装置能对预计会产生块失真的部分执行适当的滤波处理。通过这样有效减小块失真，能够得到高质量的图像。
其它实施例
本发明可以应用于由单个设备构成的装置或包括多个设备的系统。
而且，可以通过直接或间接为系统或装置提供实现前述实施例的功能的软件程序，由该系统或装置的计算机读取所提供的程序代码并执行该程序代码来实现本发明。
这时，只要系统或装置具有该程序的功能，可以以任一形式执行该程序，例如目标码、由解释程序执行的程序、或提供给操作系统(OS)的脚本数据。
能被用于提供程序的存储介质的例子包括软盘、硬盘、光盘、磁光盘、CD-ROM(光盘-只读存储器)、CD-R(可记录CD)、CD-RW(可重写CD)、磁带、非易失性存储卡、ROM、DVD(数字多用途盘，例如DVD-ROM和DVD-R)、以及蓝光(blue-ray)盘。
至于提供程序的方法，客户计算机能利用客户计算机的浏览器连接到因特网上的网站，并将本发明的计算机程序或该程序的自动安装压缩文件下载到记录介质例如硬盘。而且，可以通过将构成该程序的程序代码分割为多个文件并从不同的网站下载这些文件来提供本发明的程序。换句话说，WWW(World Wide Web，万维网)服务器可以将由计算机实现本发明的功能的程序文件下载到多个用户。
还能在存储介质例如CD-ROM上加密并存储本发明的程序，将该存储介质分发给用户，允许满足一定要求的用户通过因特网从网站下载解密密匙信息，并允许这些用户通过利用该密匙信息来解密所加密的程序，从而将程序安装在用户计算机上。
除了由计算机执行可读程序来实现根据实施例的前述功能的情况外，运行在计算机上的操作系统等可以执行全部或部分实际处理，以便由该处理实现前述实施例的功能。
在从存储介质读取程序后，可以将其写入到插在计算机中的功能扩展板或连接在计算机上的功能扩展单元所提供的存储器中。安装在功能扩展板或功能扩展单元上的中央处理单元(CPU)等执行全部或部分实际处理以便由该处理实现前述实施例的功能。
虽然已参考典型实施例说明了本发明，但应该理解，本发明并不局限于所公开的实施例，相反，本发明旨在覆盖包括在所附权利要求的精神和范围内的各种修改和等同设置。下面的权利要求符合最宽的解释，以便包含全部修改、等同结构和功能。