分层编码、解码时的分辨率变换 【技术领域】
本发明涉及图像的分辨率变换，尤其涉及使用分层编码方式进行的分辨率变换。
背景技术
近年，伴随着计算和网络的显著发达，使得字符数据、图像数据、声音数据等多种信息在计算机内、网络间进行储存或者进行传输。由于在这些数据中包含有非常多的图像、特别是多值图像，所以其数据量庞大，就有在进行储存·传输时将消耗存储器和通信线路等资源的问题。为此，在图像的储存·传输时，通过除去图像所持有的冗余性，或者在视觉上难以识别图像质量的劣化的程度内对图像的内容进行变更来削减数据量的，高效编码经常得以使用。
作为高效编码的方式，作为静止图像的国际标准编码方式广泛使用由ISO和ITU-T所推荐的JPEG。JPEG是以离散余弦变换为基本的方式，但存在若提高压缩率就产生块状的畸变之类的问题。
另一方面，由于在输入或者输出图像的设备中出于对图像质量提高地要求而使高分辨率化不断发展，比以往越发要求高的压缩率。为此，作为不同的变换方式就有分频带编码。此分频带编码，由例如用于进行子波变换的滤波器(下面叫做“子波变换”)，进行数字信号的频带分割，并进行数字信号的压缩。即，分频带编码，在对所输入的信号用具有不同的通过频带的多个滤波器实施滤波处理之后，以与各频率频带相应的间隔实施下降采样，并利用各滤波器的输出信号的能量的偏向(tendency)进行压缩(例如，参照Martin·Vetterli著“子波变换和分频带编码”、电子信息通信学会杂志、Vol.74.No.12、1991年12月、P1275-1278)。
由于此分频带编码是分层编码处理，在解码处理时不是对所有的层次进行解码处理，而是进行解码处理至所需的层次，故在具有能够容易地实现效率良好的解码处理的优点的反面，会包含混叠(alias)而使图像劣化。
一般，可以说子波变换是分频带编码的下位概念或改良，但当在本发明的详细说明中单纯记述为子波的情况下，则并不限于子波变换滤波器，而是广泛包含着使用了适用于分频带编码的滤波器的技术。
图34中示出在分频带编码中所用的滤波器、例如利用子波变换滤波器进行频带分割以及合成的装置的基本结构。在此子波变换滤波器中一般使用正交镜象(Orthogonal mirror)滤波器。
图34中，1101是对图像数据进行前置处理的图像输入处理单元，1102是离散子波变换器，1103是量化器，1104是熵编码器，1105是传输记录处理单元，1106是接收再现处理单元，1107是熵解码器，1108是反量化器，1109是反离散子波变换器，1110是图像输出单元。从图像输入处理单元1101到传输记录处理单元1105是编码装置，输出数据经传输或记录介质，通过从接收再现处理单元1106到图像输出单元1110的解码装置，使图像得以再现。
首先，对编码处理进行说明，在图像输入处理单元1101对输入图像信号进行γ处理和彩色变换等处理，并输入到离散子波变换器1102。在离散子波变换器1102中对所输入的图像信号进行水平、垂直方向的离散子波变换。子波变换处理通过对处理后的低频成分递归地进行子波处理来进行多层的层次化处理。进行了离散子波变换的图像数据被输入到量化器1103。量化器1103能够通过以预定的特性对子波数据进行量化，来改变压缩率和编码速率。对进行了量化的图像数据通过熵编码器1104，进行利用数据的冗余性的数据压缩。在传输记录处理单元1105中，进行用于传输所编码的数据的处理，或者在记录到介质的情况下进行适应于该介质的变换处理。通过以上的动作图像被分层编码，输出数据被传输或者记录到记录介质。
解码处理以与编码时相反的顺序进行，用接收再现处理单元1106，对所传输或者记录在介质中的图像数据进行分离再现，用熵解码器1107进行解码，用反量化器1108解码成量化前的数据，进而用反离散子波变换器1109解码成原来的图像数据。然后，用图像输出单元1110变换成合乎输出目的的图像数据进行输出。此时，就能够利用分层编码处理从到反子波变换处理的中途(intermediate)层次的图像中，得到所需的小的图像大小的图像。由于子波变换一般是倍频程(octave)变换，故可容易地得到以1/2n进行了层次化的图像。
在图35和和图36中以编码动作中的离散子波变换为中心，在图37中以解码动作中的离散子波变换为中心更详细地进行说明。
在图35中，对与图34相同的结构附加相同的参照编号。图像数据被输入到用于频带分割的分析用LPF(分析LPF)1203和同样用于频带分割的分析用HPF(分析HPF)1201，分别被分离成低频频带信号和高频频带信号。由于各个信号的频带为原来的一半，故通过下降采样器1202、1204进行间取处理。高频成分原样向量化器1103进行输出。低频成分进一步通过分析HPF1205、分析LPF1207、下降采样器1206、1208递归地进行处理。在这里为方便起见示出基于2等级的处理的3层次输出。在图38中示出其概念图。通过以水平垂直2维的处理，如图38所示那样用分析HPF1201和下降采样器1202得到对应于HL1、LH1、HH1的数据，通过分析LHP1203和下降采样1204得到LL1，由于LL1递归地进行处理故分别通过分析HPF1205和下降采样器1206得到对应于图38中的HL2、LH2、HH2的数据，通过分析LPF1207和下降采样器1208得到对应于图38中的LL2的数据。
各个频带的数据由对应于各自的量化器1103a～1103c进行量化，以各个频带用熵编码器1104进行编码，并由传输记录处理单元1105进行输出。
图36是表示离散子波变换器1102的别的结构的例子。在图36中对与图35相同的结构附加相同的参照编号。在图36所示的结构中，在不需要图像全部的层次数据的情况下，由传输记录处理单元1105将该信息输出到控制单元1209。控制单元1209进行控制以使不从分层编码的各个频带的数据对不需要的层次数据进行编码。如果高分辨率的高层层次的数据不需要，则开关1210，通过使对应于该高层层次的开关打开，来进行动作以使不进行编码的层次数据不被输入到熵编码器1104。此时，通过使离散子波变换器1102的一部分和熵编码器1104的不需要的处理停止，就能够谋求处理能力的降低和消耗电力的减少。
在图37中，对与图34相同的结构附加相同的参照编号。在图38所示的例子中反量化器1108a对应于量化HL1·LH1·HH1的层次数据的量化器1103a，反量化器1108b对应于量化HL2·LH2·HH2的层次数据的量化器1103b，反量化器1108c对应于量化作为低频频带的LL2的层次数据的量化器1103c。进行了反量化的信号从LL2的信号按顺序进行反子波变换。
首先，LL2由上升采样器1301内插零进行上升采样，并由用于频带合成的合成用LPF(合成LPF)1302进行插值处理并进行再现。HL2·LH2·HH2也同样地由上升采样器1304进行上升采样，并由用于频带合成的合成用HPF(合成HPF)1305进行插值再现，通过由加法器1303与LL2成分进行相加来进行合成，使LL1复原。所复原的LL1进而通过上升采样器1306进行上升采样，并由合成LPF1307进行插值再现。HL1·LH1·HH1也通过升采样器1309进行上升采样，并由合成HPF1310进行插值再现，由加法器1308与LL1成分进行相加来进行合成，被复原到原来的图像。
通过用图像输出单元1110选择输出上述处理过程的各层次数据，就可容易地输出1/2n的图像大小。
在分频带编码、或者基于子波变换的以往的编码方法中，若在该频带分割中使用分接头(tap)多的例如FIR(Finite Impulse Response)滤波器，则在滤波器的阻止频段中的裂口(rip)的发生范围就变宽，在图像的边缘等的等级变化大的部分的周围，就会发生振铃振荡(ringing)。特别是在递归地进行多次频带分割时，由于以往在所有频带分割中使用相同的滤波器，故因下降采样的影响，越进行频带分割相对地滤波器的分接头就增多。结果在图像的边缘周围的宽范围内就会发生振铃振荡。为此使用分接头数少的、宽广特性的滤波器，以抑制振铃振荡的发生范围。此子波变换滤波器，一般使用正交镜象滤波器。
图39是使用了在近年所提案的JPEG2000中所用的正交镜象滤波器的9×7滤波器的特性图。可知LPF、HPF都是宽广的。但是，由于宽广故在频带分割的滤波之后进行下降采样的时刻，将发生混叠(aliasing)。但是，如果不进行量化地进行合成，则在LPF和HPF各自的通过域中所包含的混叠，理论上应被删除。但是，若取出层次中途的LPF信号作为图像信号进行输出，则由于没有合成HPF成分故不能删除混叠。
此问题在于，在对于进行了频率分割的信号的解码时，完全再构成的条件没有得到满足，不能相互删除在HPF和LPF中产生的混叠。
LPF侧的混叠的影响，在等级差大的边缘附近成为振铃振荡而出现，这是因为虽然边缘包含高频频带的信号，但没有HPF信号成分，故不能删除LPF侧的混叠，高频成分作为混叠直到低频成分给与影响，这在图像上平缓地进行变化的区域中使噪声发生。即，对低频成分的图像质量就会劣化。
取出层次中途的信号的方法，仅抽取此LPF信号成分进行输出，当然包含混叠，不能得到良好的图像。
这些LPF和HPF的特性，在标准中进行定义，若变更特性进行使用则不能保证兼容性，将违背标准本身。
另一方面，有在输入图像和输出图像的图像大小不同的情况下，预先对输入到编码装置的图像进行分辨率变换的方法。在此情况下，使用已有的分辨率变换装置即可，但此时需要适合要输出的分辨率来变更滤波器等的设定，在二维滤波器的情况下其存储器和硬件量也将加大。进而，在输出对象同时请求多个分辨率的情况下，就需要准备多台装置并适合输出对象分别使其动作。
另外，也可在分层编码中进行颜色的分辨率变换，例如在将4∶2∶2的图像信号变换成4∶2∶0的情况下，通过阻断颜色的垂直成分或者进行同等的处理就可容易地进行变换。但即使在此情况下，也由于在以往的方法中阻断高频成分故不能删除混叠，就有混叠成分剩余而使图像劣化的缺点。同样地，尽管能够通过阻断颜色的水平成分实现4∶1∶1，通过阻断颜色的垂直和水平成分实现4∶1∶0，但还是有同样的缺点。
【发明内容】
本发明就是鉴于以上问题而完成的，目的是进行像质良好的图像再现，而不存在包含于分层编码的中途层次中的图像的混叠对于图像质量的坏影响。
另外，本发明的另一目的是，即使在对图像进行编码至中途层次的情况下，也能进行良好的图像品质的图像编码。
为了达到上述目的，本发明提供一种对预先分层地进行了编码的编码图像数据进行解码的解码方法，包括：判断将要输出的图像大小的判断步骤；以及对编码图像数据进行解码，直到比为得到上述所判断的图像大小所需的最低限度层次，还要多至少一个层次的层次的解码步骤。
另外，本发明提供一种对预先分层地进行了编码的编码图像数据进行解码的解码装置，包括：判断将要输出的图像大小的判断机构；以及对编码图像数据进行解码，直到比为得到上述所判断的图像大小所需的最低限度层次，还要多至少一个层次的层次的解码机构。
另外，为了达到上述目的，本发明提供一种对图像分层地进行编码的编码方法，包括：判断将要输出的图像大小的判断步骤；以及对图像进行编码，直到比为得到上述所判断的图像大小所需的最低限度层次，还要多至少一个层次的层次的编码步骤。
另外，本发明提供一种对图像分层地进行编码的编码装置，包括：判断将要输出的图像大小的判断机构；以及对图像进行编码，直到比为得到上述所判断的图像大小所需的最低限度层次，还要多至少一个层次的层次的编码机构。
另外，为了达到上述目的，本发明还提供一种对图像分层地进行编码的编码方法，包括：对上述图像的图像信号内的，成为在层次分离时混叠发生的原因的频率成分进行抑制的频率抑制步骤；以及对在上述频率抑制步骤中所抑制的图像信号进行层次分离的层次分离步骤。
另外，本发明还提供一种对图像分层地进行编码的编码装置，包括：对上述图像的图像信号内的，成为在层次分离时混叠发生的原因的频率成分进行抑制的频率抑制机构；以及对由上述频率抑制机构所抑制的图像信号进行层次分离的层次分离机构。
进而，为了达到上述目的，本发明还提供一种对预先分层地进行了编码的编码图像数据进行解码的解码方法，包括：判断将要解码的编码图像数据的层次的判断步骤；进行解码直到上述所判断的层次的解码步骤；判定上述所判断的层次是否全部的层次的判定步骤；以及在上述所判断的层次不是全部的层次的情况下，对在上述解码步骤中进行了解码的解码图像数据，抑制成为混叠发生的原因的频率成分的频率抑制步骤。
进而，本发明还提供一种对预先分层地进行了编码的编码图像数据进行解码的解码方法，包括：对编码图像数据全部进行解码的解码步骤；判定上述编码图像数据是否已进行编码直到全部的层次的判定步骤；以及当在上述判定步骤中判定为不是全部的层次的情况下，对在上述解码步骤中进行了解码的解码图像数据，抑制成为混叠发生的原因的频率成分的频率抑制步骤。
进而，本发明还提供一种对预先分层地进行了编码的编码图像数据进行解码的解码方法，包括：从外部输入编码图像数据的输入步骤；判断将要解码的编码图像数据的层次的判断步骤；进行解码直到上述所判断的层次的解码步骤；判定上述进行了解码的层次是否为上述所输入的编码图像数据的全部层次的判定步骤；以及在上述所判断的层次不是全部层次的情况下，对在上述解码步骤中进行了解码的解码图像数据，抑制成为混叠发生的原因的频率成分的频率抑制步骤。
另外，本发明还提供一种对预先分层地进行了编码的编码图像数据进行解码的解码装置，包括：判断将要解码的编码图像数据的层次的判断机构；进行解码直到上述所判断的层次的解码机构；判定上述所判断的层次是否全部的层次的判定机构；以及在上述所判断的层次不是全部的层次的情况下，对由上述解码机构所解码的解码图像数据，抑制成为混叠发生的原因的频率成分的频率抑制机构。
进而，本发明还提供一种对预先分层地进行了编码的编码图像数据进行解码的解码装置，包括：对编码图像数据全部进行解码的解码机构；判定上述编码图像数据是否已进行编码直到全部的层次的判定机构；以及在由上述判定机构判定为不是全部的层次的情况下，对由上述解码机构所解码的解码图像数据，抑制成为混叠发生的原因的频率成分的频率抑制机构。
进而，本发明还提供一种对预先分层地进行了编码的编码图像数据进行解码的解码装置，包括：从外部输入编码图像数据的输入机构；判断将要解码的编码图像数据的层次的判断机构；进行解码直到上述所判断的层次的解码机构；判定上述进行了解码的层次是否为上述所输入的编码图像数据的全部层次的判定机构；以及在上述所判断的层次不是全部层次的情况下，对由上述解码机构所解码的解码图像数据，抑制成为混叠发生的原因的频率成分的频率抑制机构。
本发明的其他特征以及优点，通过以附图为参照的下面的说明将会弄明白。此外，在附图中对相同或相似的结构附加相同的参照标号。
【附图说明】
附图包含在说明书中，构成其一部分，表示本发明的实施形式，并与说明书的记述一起用于说明本发明的原理。
图1是表示本发明第1实施形式中的图像再现的处理概念的流程图。
图2是概念性地表示进行了分层编码的图像的层次状态的图。
图3是表示本发明的实施形式中的输入输出图像大小比和层次的关系的图。
图4是表示本发明第1实施形式中的解码装置的功能结构的框图。
图5是表示本发明第1实施形式中的反离散子波变换器的内部结构的框图。
图6是说明本发明第1实施形式中的解码处理的具体例子的流程图。
图7是说明本发明第2实施形式中的解码处理的具体例子的流程图。
图8是说明本发明第3实施形式中的解码处理的具体例子的流程图。
图9是表示本发明第4实施形式中的解码装置的功能结构的框图。
图10是说明本发明第4实施形式中的解码处理的具体例子的流程图。
图11是表示本发明第5实施形式中的图像再现的处理概念的流程图。
图12是表示本发明第5实施形式中的编码装置的功能结构的框图。
图13是表示本发明第5实施形式中的离散子波变换器的内部结构的框图。
图14是说明本发明第5实施形式中的编码处理的具体例子的流程图。
图15是说明本发明第6实施形式中的编码处理的具体例子的流程图。
图16是说明本发明第7实施形式中的编码处理的具体例子的流程图。
图17是表示本发明第8实施形式中的离散子波变换器的内部结构的框图。
图18是说明本发明第8实施形式中的编码处理的具体例子的流程图。
图19是表示本发明第9实施形式中的离散子波变换器的内部结构的框图。
图20是用于说明本发明第9实施形式中的编码处理的流程图。
图21是说明本发明第9实施形式中的滤波器特性的图。
图22是表示本发明第9实施形式的变形例中的，用递归结构所实施的离散子波变换器的结构的框图。
图23是说明本发明第10实施形式中的离散子波变换器的结构的框图。
图24是说明本发明第10实施形式中的滤波器特性的图。
图25是表示本发明第10实施形式的变形例中的，用递归结构所实施的离散子波变换器的结构的框图。
图26是说明本发明第11实施形式中的离散子波变换器的结构的框图。
图27是说明本发明第11实施形式中的滤波器特性的图。
图28是表示本发明第11实施形式的变形例中的，用递归结构所实施的离散子波变换器的结构的框图。
图29是表示本发明第12实施形式中的解码器的结构的框图。
图30是表示本发明第12实施形式中的子采样滤波器的内部结构的框图。
图31是用于说明本发明第12实施形式中的解码处理的流程图。
图32是用于说明本发明第13实施形式中的解码处理的流程图。
图33是用于说明本发明第14实施形式中的解码处理的流程图。
图34是表示以往的编码·解码装置的结构的框图。
图35是说明以往的编码单元的细节的框图。
图36是说明以往的别的编码单元的细节的框图。
图37是说明以往的解码单元的细节的框图。
图38是表示分层编码中的图像的层次的概念的图。
图39是表示以往的9×7滤波器的特性的图。
【具体实施方式】
下面参照附图对本发明的优选实施形式进行详细说明。
在本发明的第1～第8实施形式中，作为使用了分层编码处理的图像再现装置以及图像记录装置来实施，尤其是对输出中途层次的图像的装置是有效的。此外，在本实施的形式中，作为分层编码以使用了遵循JPEG2000的离散子波变换方式的情况为例进行说明。
<第1实施形式>
首先使用图1的流程图对第1实施形式的概要进行说明。
首先，在步骤S101中检测输出图像大小，在步骤S102中检测输入图像大小，进入步骤S103。
在步骤S103中，从在步骤S102和步骤S103中所得到的输出图像大小和输入图像大小来判断所需的最低限度的解码层次，进入步骤S104。在步骤S104中将在步骤S103中判断了的解码层次更多1个层次地(更大地对图像进行解码的方向)进行设定，进入步骤S105。在步骤S105中进行解码处理直到在步骤S104进行了再设定的层次，进入步骤S106。在步骤S106中，由于在步骤S104对比所需的输出图像大小还大的图像进行了解码，故进行降低其分辨率的分辨率变换处理。进行前置滤波处理以使在此下降采样时不发生混叠。接着在步骤S107中，实施适合于输出在步骤S106所得到的良好图像的对象的，γ校正和彩色校正、格式变换、偏移处理等，并输出所请求的良好图像。
接着，使用图2对上述处理例子具体进行说明。
图2是示意进行了分层编码的图像的层次状态的图。在这里，对从图像全体的像素数水平640像素、垂直480像素的图像数据，输出水平160像素、垂直120像素的图像的情况进行说明。由于将要输出的图像大小在图2中相当于LL2，故首先求出LL2的解码层次。但是由于仅LL2的解码图像是包含混叠的畸变图像，故为了消除混叠LL2成分的混叠成分，对解码层次进行设定以使再多1个层次地进行解码。在这里，对LL2、HL2、LH2、HH2的水平320像素、垂直240像素进行解码。通过这样进行处理，LL2频带的混叠就得以消除。然后，通过使用已知的子采样滤波器从被解码的水平320像素、垂直240像素的图像取得所需的水平160像素、垂直120像素，就可获得良好的图像。
图3是表示输入输出图像大小比和进行解码的层次的关系的图。将输出图像大小设为Sout，输入图像大小设为Sin，在上面的轴上示出Sout/Sin。另外，在下面的轴上示意地示出此时在本发明中进行解码的层次。例如在输出输入输出比超过1/8(1/23)，1/4(1/22)以下的图像的情况下，解码的结果就成为，进行解码至图像大小为输入图像大小的1/2的层次。
图4是表示第1实施形式的解码装置的功能结构的框图。图中，1107是熵解码器，1108是反量化器。反离散子波变换器401，与在以往例子中所说明的图34的反离散子波变换器1109基本上相同，不同点是可根据后述的控制信号，在中途停止解码处理或者使动作部分停止。402是分辨率变换用的子采样滤波器，403是控制层次处理的控制单元，404是输出图像处理单元。
控制单元403从输入图像大小和输出图像大小来判断待解码的层次，并控制反离散子波变换器401和子采样滤波器402。由于对于反离散子波变换器401，不需要进行所需的解码层次以上的解码，故进行在中途使处理停止或者使不需要的处理单元不动作等的控制。通过这样进行控制，就能够谋求处理时间、处理能力和消耗功率的改善。
对于子采样滤波器402，对来自反离散子波变换器401的图像数据，进行用于使图像大小为1/2以下的分辨率变换处理。此处理，是为除去因下降采样的混叠而包含前置滤波处理的处理。但是，在输出所有输入图像大小的情况下，不进行利用此子采样滤波器402的处理。输出图像处理单元404，与图34的图像输出单元1110同样进行输出图像用的各种处理、变换，并输出。
图5是反离散子波变换器401的内部结构的框图。与图37所示的以往结构不同之处在于，能够通过控制单元403的控制在中途使解码处理停止，或者使动作部分停止，或者不使其启动等。进而，相当于LL2的最低分辨率的数据不被输出到子采样滤波器402。这是因为LL2的数据包含混叠，故需要进行解码至高一个层次。但是，在作为缩略图等不拘泥于图像质量的简易图像进行输出的情况下则不限于此。
这样，通过进行解码至比所需要的层次高一个层次，就可得到不包含混叠的良好的图像。
接着，说明本第1实施形式中的解码处理的具体例子。在这里，参照图6对用输入输出的图像大小比来表达、并求出将要解码的层次的情况进行说明。
在图6中，在步骤S11中检测输出图像大小(Sout)，在步骤S12中检测输入图像大小(Sin)。
接着在步骤S13中，通过下式(1)从在步骤S11和步骤S12中所得到的输出图像大小(Sout)和输入图像大小(Sin)求出所需的最低限度的解码层次(n)。此处理对应于图1的步骤S103。
1/2n≥Sout/Sin＞1/2(n+1) ...(1)
接着，在步骤S14中以在步骤S13中求出的n为基础从下式(2)求出将要解码的层次进行解码，或者进行解码至该输入输出比。此处理对应于图1的步骤S104和S105。
1/2(n-1)其中，n为1以上的整数...(2)
接着在步骤S15中，由于在步骤S104对比所需的输出图像大小还大的图像进行了解码，故进行降低其分辨率的分辨率变换处理。进行前置滤波处理以使在此时不发生混叠。接着在步骤S16中，对在步骤S15中所得到的图像，实施适合于输出对象的γ校正和彩色校正、格式变换、偏移处理等，并输出所请求的良好图像。
通过以上的动作，即便是中途层次的图像也可输出良好的图像。
此外，在本第1实施形式中，说明了比所需的层次的更多一个层次地进行解码，但如果更进一步希望高的图像质量，则只要多一个层次以上地进行解码就可实现。这就兼顾了运算量、硬件量等和图像质量。
<第2实施形式>
在本第2实施形式中，参照图7对用输入输出的图像大小比来表达、并求出将要解码的层次的其他方法进行说明。此外，由于装置结构和分层编码的概念与上述第1实施形式同样，故在这里省略说明。另外，在图7中，对与图6相同的处理附加相同的参照编号。
在图7中，在步骤S11中检测输出图像大小(Sout)，在步骤S12中检测输入图像大小(Sin)。
接着在步骤S23中，通过下式(3)从在步骤S11和步骤S12中所得到的输出图像大小(Sout)和输入图像大小(Sin)求出输入输出图像大小比(X)。
X＝Sin/Sout ...(3)
接着，在步骤S24中以在步骤S13中求出的输入输出图像大小比(X)为基础从下式(4)求出所需的最大可省略的解码层次数(n)。
n＝INT(log2X) ...(4)
此外，在公式(4)中，INT(f(X))表示从通过f(X)的计算所得到的数值，舍去小数点以后的运算。
接着在步骤S25中，由于通过步骤S24求出可省略解码的层次数，故由下式(5)从输入图像的总层次数求出比将要解码的层次数更进一步增加了1个层次的实际进行解码的层次数，并满足该条件地进行解码。
解码层次数＝总层次数-n+1 ...(5)
接着在步骤S15中，由于在步骤S25对比所需的输出图像大小还大的图像进行了解码，故进行降低其分辨率的分辨率变换处理。进行前置滤波处理以使在此时不发生混叠。接着在步骤S16中，对在步骤S15中所得到的图像，实施适合于输出对象的γ校正和彩色校正、格式变换、偏移处理等，并输出所请求的良好图像。
通过以上的动作，即便是中途层次的图像也可输出良好的图像。
<第3实施形式>
在本第3实施形式中，参照图8对一边顺次进行分层解码，并确认解码图像大小一边进行实现的方法进行说明。此外，由于装置结构和分层编码的概念与上述第1实施形式同样，故在这里省略说明。另外，在图8中，对与图6相同的处理附加相同的参照编号。
在图8中，在步骤S11中检测输出图像大小(Sout)，进入步骤S32。在步骤S32中从低分辨率图像开始顺次进行一个层次的解码处理。
接着在步骤S33中，判断在步骤S32中所解码的图像大小是否为输出图像大小(Sout)以上。如果为输出图像大小(Sout)以上则进入步骤S34。如果未达到则返回步骤S32，再解码一个层次。这样通过步骤S32和S33的动作，解码了等于或大于输出图像大小的图像数据。
在步骤S34中，在通过步骤S32和步骤S33解码了等于或大于输出图像大小的图像数据的基础上，再进行一个层次的解码处理。但是当在此时刻未达到输入图像大小的情况下，步骤S34的处理就不进行。
接着在步骤S15中，由于在步骤S34对比所需的输出图像大小还大的图像进行了解码，故进行降低其分辨率的分辨率变换处理。进行前置滤波处理以使在此时不发生混叠。接着在步骤S16中，对在步骤S15中所得到的图像，实施适合于输出对象的γ校正和彩色校正、格式变换、偏移处理等，并输出所请求的良好图像。
通过以上的动作，即便是中途层次的图像也可输出良好的图像。
<第4实施形式>
在本第4实施形式中，对从LUT(Look Up Table)求出没有混叠成分的待解码的层次的方法进行说明。
图9是表示本第4实施形式的解码装置的功能结构的框图。与在上述第1实施形式中参照图4进行了说明的结构不同的是，追加了LUT1002，可从控制单元1001进行参照。由于其他的结构与上述第1实施形式同样，故在这里省略说明。
控制单元1001，与在上述第1实施形式中参照图4进行了说明的控制单元403基本上相同，不同点是通过参照LUT1002，来控制在中途停止解码处理或者使动作部分停止。LUT1002基于输入输出图像大小信息等将待解码的层次信息发送到控制单元1001。
此外，LUT1002只要其功能和目的相同，则不过问其种类和结构。如果是SRAM这样的易失性存储器，则在启动时装入其内容即可。
另外，LUT1002的内容，判断子波过滤器的特性和混叠的影响度并进行变更即可，也可以相适应地进行变更。
控制单元1001通过参照LUT1002从输入图像大小和输出图像大小判断不包含混叠成分的待解码的层次，并对反离散子波变换器401和子采样滤波器402进行控制。
接着，参照图10对本第4实施形式中的处理进行说明，对与图6相同的处理附加相同的参照编号。
在图10中，在步骤S11中检测输出图像大小(Sout)，在步骤S12中检测输入图像大小(Sin)。
接着在步骤S43中参照LUT1002从在步骤S11和步骤S12中所得到的信息求出进行解码的层次。LUT1002，预先进行设定以返回像素数比为得到所指定的输出图像大小的图像所需的最小层次多的、高1个层次的层次(以返回图3所示那样的输出)。
接着在步骤S44中进行解码直到在步骤S43中所求出的层次。
接着在步骤S15中，由于在步骤S44对比所需的输出图像大小还大的图像进行了解码，故进行降低其分辨率的分辨率变换处理。进行前置滤波处理以使在此时不发生混叠。接着在步骤S16中，对在步骤S15中所得到的图像，实施适合于输出对象的γ校正和彩色校正、格式变换、偏移处理等，并输出所请求的良好图像。
通过以上的动作，即便是中途层次的图像也可输出良好的图像。
在本第4实施形式中，通过LUT判断混叠的影响，得到待解码的层次信息，但即使求不进行解码的层次也可同样地实现。另外，也可以由等价的数字运算来代用。
<第5实施形式>
本第5实施形式目的是，进行没有对分层编码的中途层次中的图像的混叠的图像质量的差影响的良好的编码。
首先使用图11的流程图对第5实施形式的概要进行说明。
在步骤S201中检测传输图像大小。此大小，可根据图像的传输目的地和进行记录的介质和动作模式适当进行替换。接着进入步骤S202。在步骤S202中检测输入图像大小。
接着进入步骤S203。在步骤S203中从在步骤S201和步骤S202中所得到的传输图像大小和输入图像大小判断所需的传输编码层次，进入步骤S204。在步骤S204中将在步骤S203中判断了的编码层次再多1个层次地(对更大的图像进行编码的方向)进行设定，进入步骤S205。在步骤S205中进行编码处理直到在步骤S204进行了再设定的层次，进入步骤S206。在步骤S206中进行传输或者向介质的记录。
接着，使用图12具体说明上述处理例子。
图12是表示进行了分层编码的图像的层次状态的图。在这里，对从输入图像全体的像素数水平640像素、垂直480像素的图像数据，编码并输出水平160像素、垂直120像素的图像的情况进行说明。由于将要编码输出的图像大小在图2中相当于LL2，故首先求出LL2的编码层次。但是由于仅LL2的编码图像是包含混叠的畸变图像，故为了消除混叠LL2成分的混叠成分，对编码层次进行设定以使再多1个层次地进行编码。在这里，对LL2、HL2、LH2、HH2的水平320像素、垂直240像素进行编码。通过这样进行处理，在解码器进行解码时LL2频带的混叠就得以消除。在解码器中，通过已知的子采样滤波器进行从被解码的水平320像素、垂直240像素的图像取得所需的水平160像素、垂直120像素的分辨率变换处理，就可获得良好的图像。
图像的输入输出比和进行编码的层次的关系，与图3所示的相同。如果将传输图像大小设为Sout，输入图像大小设为Sin，在上面的轴上示出Sout/Sin，则在下面的轴上示出本发明中的编码层次。例如在传输输出输入输出比超过1/8(1/23)，1/4(1/22)以下的图像的情况下，就进行编码直到传输图像大小成为输入图像大小的1/2的层次。
图12是表示本第5实施形式的编码装置的功能结构的框图。图中，1101是图像输入处理单元，2402是离散子波变换器，2403是量化器，2404是熵编码器，2405是传输记录处理单元，2401是控制单元。
控制单元2401从输入图像大小和传输图像大小来判断待编码的层次，并控制离散子波变换器2402、量化器2403、熵编码器2404和传输记录处理单元2405。控制器2401并不限于从图中传输记录处理单元2405得到信息，也可以从系统的模式信息等得到。由于对于离散子波变换器2402和熵编码器2404，不需要进行所需的编码层次以上的编码，故进行在中途使处理停止或者使不需要的处理单元不动作等的控制。通过这样进行控制，就能够谋求处理时间、处理能力和消耗功率的改善。
对于量化器2403，也可以通过省略不需要的层次的量化处理，或者全部输出0来阻断不需要的层次的数据。在传输记录处理单元2405中格式化将要传输的层次的数据并进行输出。不需要的层次数据通过截止处理等被消除。作为不需要的数据的消除方法在上面叙述了多个，但至少实施一个即可。
图13中示出离散子波变换器2402的内部结构。图像数据被输入到用于频带分割的分析用的LPF(分析LPF)2503，和同样用于频带分割的分析用HPF(分析HPF)2501，被分别分离成低频频带信号和高频频带信号。由于各个信号的频带为原来的一半，故通过下降采样器2502、2504进行间取处理。高频成分原样向量化器2403进行输出。低频成分进一步通过分析HPF2505、分析LPF2507、下降采样器2506、2508递归地进行处理。在这里为方便起见示出基于2等级的处理的3层次输出。在图38中示出其概念图。通过以水平垂直2维的处理，如图38所示那样用分析HPF2501和下降采样器2502得到对应于HL1、LH1、HH1的数据，通过分析LHP2503和下降采样2504得到LL1，由于LL1递归地进行处理故分别通过分析HPF2505和下降采样器2506得到对应于图38中的HL2、LH2、HH2的数据，通过分析LPF2507和下降采样器2508得到对应于图38中的LL2的数据。
通过传输记录处理单元2405，在图像的所有层次数据不需要的情况下，将该信息输出到控制单元2401。控制单元2401进行控制以使不从分层编码的各个频带的数据对不需要的层次的数据进行编码。
与图36所示的以往的结构不同点是，通过控制单元2401的控制，对在中途使编码处理停止，或者使动作部分停止，或者不使其启动等进行判断的判断算法。在本第5实施形式中，因至少使层次处理多1来进行传输，故没有仅最低频率成分的编码，最少也需要从低者开始2层次的编码。从而，图13的开关2601就对不包含那些层的层次数据进行控制。但是，在作为缩略图等不拘泥于图像质量的简易图像进行输出的情况下则不限于此。
各自的频带的数据由对应于各自的量化器2403a～2403c进行量化，在各自的频带中用熵编码器2404进行编码，并由传输记录处理单元2405进行输出。
这样，通过进行编码至比所需的层次更高一个层次，就可传输并取得不包含混叠的良好的图像。
接着在本第5实施形式中对编码处理的具体例子进行说明。在这里，参照图14对用输入输出的图像大小比来表达、并求出将要编码的层次的情况进行说明。
在图14中，在步骤S51中检测传输图像大小(Sout)，在步骤S52中检测输入图像大小(Sin)。
接着在步骤S53中，通过下式(6)从在步骤S51和步骤S52中所得到的传输图像大小(Sout)和输入图像大小(Sin)求出所需的最低限度的编码层次(n)。此处理对应于图11的步骤S203。
1/2n≥Sout/Sin＞1/2(n+1) ...(6)
接着，在步骤S54中以在步骤S53中求出的n为基础从下式(7)求出将要编码的层次进行编码。此处理对应于图11的步骤S204和S205。
1/2(n-1)其中，n为1以上的整数 ...(7)
接着在步骤S55中，传输在步骤S54中所得到的已编码的图像信号，或者向介质进行记录。
通过以上的动作，即便是中途层次的图像也可输出良好的图像。
此外，在本第1实施形式中，说明了比所需的层次的再多一个层次地进行编码，但如果更进一步希望高的图像质量，则只要多一个层次以上地进行编码就可实现。这就兼顾了运算量、硬件量等和图像质量。
<第6实施形式>
在本第6实施形式中，参照图15对用输入输出的图像大小比来表达、并求出将要编码的层次的其他方法进行说明。此外，由于装置结构和分层编码的概念与上述第5实施形式同样，故在这里省略说明。另外，在图15中，对与图14相同的处理附加相同的参照编号。
在图14中，在步骤S51中检测传输图像大小(Sout)，在步骤S52中检测输入图像大小(Sin)。
接着在步骤S63中，通过下式(8)从在步骤S51和步骤S52中所得到的传输图像大小(Sout)和输入图像大小(Sin)求出输入输出图像大小比(X)。
X＝Sin/Sout ...(8)
接着，在步骤S64中以在步骤S63中求出的输入输出图像大小比(X)为基础从下式(9)求出所需的最大可省略的编码层次数(n)。
n＝INT(log2X) ...(9)
此外，在公式(9)中，INT(f(X))表示从通过f(X)的计算所得到的数值，舍去小数点以后的运算。
接着在步骤S65中，由于通过步骤S64求出可省略编码的层次数，故由下式(10)从输入图像的总层次数求出比将要编码的层次数更再增加了1个层次的实际进行编码的层次数，并满足该条件地进行编码。
编码层次数＝总层次数-n+1 ...(10)
接着在步骤S55中，传输在步骤S65中所得到的已编码的图像信号，或者向介质进行记录。
通过以上的动作，即便是中途层次的图像也可输出良好的图像。
<第7实施形式>
在本第7实施形式中，参照图16对一边顺次进行分层编码，并确认编码图像大小一边进行实现的方法进行说明。此外，由于装置结构和分层编码的概念与上述第5实施形式同样，故在这里省略说明。另外，在图16中，对与图14相同的处理附加相同的参照编号。
在图16中，在步骤S51中检测传输图像大小(Sout)，进入步骤S72。在步骤S72中从低分辨率图像开始进行一个层次的编码处理。
接着在步骤S73中，判断在步骤S72中所编码的图像大小是否为传输图像大小(Sout)以上。如果为传输图像大小(Sout)以上则进入步骤S74。如果未达到则返回步骤S72，再编码一个层次。这样通过步骤S72和S73的动作，传输图像大小以上就被进行解码。
在步骤S74中，在通过步骤S72和步骤S73解码了等于或大于输出图像大小的图像数据的基础上，再进行一个层次的编码处理。但是当在此时刻未达到输入图像大小的情况下，步骤S74的处理就不进行。
接着在步骤S55中，传输在步骤S54中所得到的已编码的图像信号，或者向介质进行记录。
通过以上的动作，即便是中途层次的图像也可输出良好的图像。
<第8实施形式>
在本第8实施形式中，对从LUT(Look Up Table)求出没有混叠成分的待编码的层次的方法进行说明。
图17是表示本第8实施形式的解码装置的功能结构的框图。与在上述第5实施形式中参照图12进行了说明的结构不同的是，追加了LUT2602，可从控制单元2401进行参照。由于其他的结构与上述第5实施形式同样，故在这里省略说明。
此外，LUT2602只要其功能和目的相同，则不过问其种类和结构。如果是SRAM这样的易失性存储器，则在启动时装入其内容即可。
另外，LUT2602的内容，判断子波过滤器的特性和混叠的影响度并进行变更即可，也可以相适应地进行变更。
控制单元2401通过参照LUT2602从输入图像大小和传输图像大小判断不包含混叠成分的待编码的层次，并对离散子波变换器2402、量化器2403、熵编码器2404、传输记录处理单元2405进行控制。
接着，参照图18对本第8实施形式中的处理进行说明，对与图14相同的处理附加相同的参照编号。
在图18中，在步骤S51中检测传输图像大小(Sout)，在步骤S52中检测输入图像大小(Sin)。
接着在步骤S83中从在步骤S51和步骤S52中所得到的信息求出进行编码的层次。LUT2602，预先进行设定以返回像素数比为得到所指定的输出图像大小的图像所需的最小层次多的、高1个层次的层次(以返回图3所示那样的输出)。
接着在步骤S84中进行编码直到在步骤S83中所求出的层次。
接着在步骤S55中，传输在步骤S84中所得到的已编码的图像信号，或者向介质进行记录。
通过以上的动作，即便是中途层次的图像也可输出良好的图像。
在本第8实施形式中，通过LUT判断混叠的影响，得到待编码的层次信息，但即使求不进行编码的层次也可同样地实现。另外，也可以由等价的数字运算来代用。
此外，在上述第1至第8实施形式中作为二维子波变换进行了说明，但本发明并不限于此，即使用一维子波变换也能够同样地进行。另外，关于图像大小也可以适当使用水平像素数、垂直像素数的任一或者两者，进行判断。
另外，在上述第1至第8实施形式中使用流程图作为利用软件的处理对动作进行了说明，但也可以用硬件进行实施。
进而，数值即使使用近似值也可得到同样的效果。
另外，在图像信号具有亮度成分、颜色成分等多个成分的情况下既可以应用于全部成分，也可以只应用于具有效果的亮度成分。
在本发明的第9～第15实施形式中，作为使用了分层编码处理的编码装置和解码装置进行了实施，特别对输出中途层次的图像的装置，或者变换颜色的分辨率的装置有效。此外，在本实施形式中，作为分层编码，以使用了遵循JPEG2000的离散子波变换方式的情况为例进行说明。
<第9实施形式>
使用图19的框图对本第9实施形式中的离散子波变换器的结构进行说明。图中对进行与在以往例子中所说明的图35和图36同样的处理的结构附加相同的参照编号，并省略说明。
101、103是作为前置滤波器的LPF，102、104是减法器。
下面，沿着图20的流程图来说明具有上述结构的离散子波变换器的动作。
输入图像信号被分别输入到LPF101和减法器102。输入到LPF101的图像信号受到频带限制(步骤S301)，并输入到与以往同样的子波变换单元的分析LPF1203。由于分析LPF1203是宽广的特性，故在利用后级的下降采样器1204的下降采样中将发生混叠，LPF101作为前置滤波器起作用，起到预先抑制成为其混叠的频率成分的作用。LPF101基于该目的，设定成将尼奎斯特频率以上的频带成分进行抑制阻断的特性，以使根据采样定理的混叠不发生。由于此特性依赖于系统整体的图像特征，故需要并入到最优的特性。
另一方面，对分析HPF1201，输入来自减法器102的输出。减法器102从输入图像信号减去LPF101的输出信号(1-前置滤波器)并输出信号(步骤S302)。通过此减法处理，就能够取得与HPF同样的效果，并且与LPF101的输出相适合能够实现不具有增益，且频率特性也平坦的特性。
图21示出此特性的情形。图21示出通过LPF101和HPF(1-LPF101)的信号分别在平衡良好的尼奎斯特频率附近大幅降低的状态。当将LPF101的截断频率进一步设定成低频侧时，低频频带的混叠就进一步得以改善，相应地在高频频带中混叠就多发生。
通过了分析LPF1203的低频成分的信号用下降采样器1204进行下降采样，并作为第1层次的低频成分(对应于LL1的数据)进行输出。另一方面，通过了分析HPF1201的高频成分的信号用下降采样器1202进行下降采样，并作为第1层次的高频成分(对应于图38中HL1、LH1、HH1的数据)进行输出(步骤S303)。
在步骤S304中，判断是否已进行子波变换处理至预先所设定的层次，如果为否则返回步骤S301，并反复与上述同样的处理。
在图19所示的本第9实施形式的结构中，通过对低频成分递归地进行上述处理来谋求层次化。具体来讲，下降采样器1204的输出(第1层次的低频成分、对应于LL1的数据)被进一步输入到作为前置滤波器的LPF103(步骤S301)，该输出被输入到第2层的分析LPF1207进行如以往那样的处理。此时，由于利用LPF103抑制除去了成为混叠的成分，故混叠成分不发生。LPF103的频率特性当然成为用于抑制除去因分析LPF1207和其后的下降采样器1208产生的混叠的特性。
另一方面，对分析HPF1205，输入来自减法器104的输出。减法器104从来自下降采样器1204的低频信号减去LPF103的输出信号进行输出(步骤S302)。通过此减法处理，就能够取得与HPF同样的效果，并且与LPF103的输出相适合能够实现不具有增益，且频率特性也平坦的特性。(步骤S303)。
之后，通过了分析LPF1207的低频成分的信号用下降采样器1208进行下降采样，并作为第2层次的低频成分(对应于图38中LL2的数据)进行输出。另一方面，通过了分析HPF1205的高频成分的信号用下降采样器1206进行下降采样，并作为第2层次的高频成分(对应于图38中HL2、LH2、HH2的数据)进行输出。
如果在步骤S304中，判断为直到预先所设定的层次的子波变换处理已结束，则进入步骤S305，对各自的层次信号进行量化处理。
在步骤S305中所量化的分层编码数据实施利用其冗余度进行压缩的熵编码处理(步骤S306)，之后在步骤S307中，按照输出格式进行格式化，进行传输或者向记录系统输出。
上述步骤S305～S307的处理，能够使用在以往例子中所说明的图34的量化器1103、熵编码器1104、传输记录处理单元1105同样的结构进行。
在采用倍频程分割的本第9实施形式中，LPF101和LPF103的截断频率的关系也成为倍频程的关系。这意味着因为图像的采样频率通过下降采样器1204成为倍频程的关系，故可用相同的FIR滤波器构成。
但是，由于图像中的频率频带不同，所以还考虑分别对应该频带进行微妙的绘制，或者为谋求编码效率的提高而使其分别持有最优的LPF特性的情况。尤其在对最高位层次(高频成分)不进行编码或者解码的情况下，通过重视其低频频带特性进行设计，就可最大限度地抑制除去混叠的影响。
这样，通过在子波变换前抑制除去由尼奎斯特频率以上的混叠组成的成分，就可一边遵守标准一边在中途层次中对不包含混叠的，更良好的图像进行编码，进而可对编码图像信号更良好地进行解码。
<第9实施形式的变形例>
接着对上述第9实施形式的变形例进行说明。在本变形例中，对递归地使用图19所示的LPF、减法器、分析LPF、分析HPF的情况进行说明。图22中示出本变形例的离散子波变换器的结构例。在图22中对进行与图19同样的处理的结构附加相同的参照编号，并省略说明，但追加有开关301和存储器304之处与第9实施形式大为不同。
输入图像信号，从开关301的a端输入，被分别输入到LPF302和减法器303。在LPF302中进行频带限制以抑制除去混叠成分，并经分析LPF1203、下降采样器1204作为低频成分进行输出。
在减法器303中，通过取输入图像信号和来自LPF302的输出的差分实现HPF的功能，其输出信号经分析LPF1201、下降采样器1202作为高频成分进行输出。
在来自下降采样器1201和1203的输出内，高频成分作为高频层次被输出到后级。低频成分为了用于递归处理而暂时保持到存储器304，在进行下一层次处理的情况下，经开关301的b端从存储器304再次被输入到LPF302、减法器303。通过进行此递归性的反复至预先所决定的层次，就可进行层次化处理。
这样，就能够取得与第9实施形式同样的效果。
<第10实施形式>
接着，对第10实施形式进行说明。
图23是表示第10实施形式中的离散子波变换器的结构的框图。在上述第9实施形式中作为前置滤波器使用了LPF，但在本第10实施形式中如图23所示那样为使用HPF的结构。图中，对进行与图35、图36、图19同样的处理的结构附加相同的参照编号，并省略说明。
502、504是作为前置滤波器的HPF，501、503是减法器。
与第9实施形式同样沿着图20的流程图来说明本第10实施形式中的离散子波变换器的动作。
输入图像信号被分别输入到HPF502和减法器501。对输入到HPF502的图像信号进行频带限制(步骤S301)，并输入到与以往同样的子波变换单元的分析HPF1201。由于分析HPF1201是宽广的特性，故在利用后级的下降采样器1202的下降采样中将发生混叠，HPF502作为前置滤波器起作用，起到预先抑制成为混叠的频率成分的作用。HPF502基于该目的，设定成将尼奎斯特频率以下的频带成分进行抑制阻断的特性，以使根据采样定理的混叠不发生。由于此特性依赖于系统整体的图像特征，故需要并入到最优的特性。
另一方面，对分析LPF1203，输入来自减法器501的输出。减法器501从输入图像信号减去HPF502的输出信号(1-前置滤波器)并输出信号(步骤S302)。通过此减法处理，就能够取得与LPF同样的效果，并且与HPF502的输出相适合能够实现不具有增益，且频率特性也平坦的特性。
图24示出此特性的情形。图24示出通过LPF(1-HPF502)和HPF502的信号分别在平衡良好的尼奎斯特频率附近大幅降低的状态。当将HPF502的截断频率进一步设定成低频侧时，低频频带的混叠就进一步得以改善，相应地在高频频带中混叠就多发生。
通过了分析HPF1201的高频成分的信号用下降采样器1202进行下降采样，并作为第1层次的高频成分(对应于图38中HL1、LH1、HH1的数据)进行输出。另一方面，通过了分析LPF1203的低频成分的信号用下降采样器1204进行下降采样，并作为第1层次的低频成分(对应于LL1的数据)进行输出(步骤S303)。
在步骤S304中，判断是否已进行子波变换处理至预先所设定的层次，如果为否则返回步骤S301，并反复与上述同样的处理。
在图23所示的本第10实施形式的结构中，通过对低频成分递归地进行上述处理来谋求层次化。具体来讲，下降采样器1204的输出(第1层次的低频成分、对应于LL1的数据)被进一步输入到作为前置滤波器的HPF504(步骤S301)，该输出被输入到第2层的分析HPF1205进行如以往那样的处理。此时，由于利用HPF504抑制除去了成为混叠的成分，故混叠成分不发生。HPF504的频率特性当然成为用于抑制除去因分析HPF1205和其后的下降采样器1206产生的混叠的特性。
另一方面，对分析LPF1207，输入来自减法器503的输出。减法器503从来自下降采样器1204的低频信号减去HPF504的输出信号进行输出(步骤S302)。通过此减法处理，就能够取得与LPF同样的效果，并且与HPF504的输出相适合能够实现不具有增益，且频率特性也平坦的特性。
之后，通过了分析HPF1205的高频成分的信号用下降采样器1206进行下降采样，并作为第2层次的高频成分(对应于图38中HL2、LH2、HH2的数据)进行输出。另一方面，通过了分析LPF1207的低频成分的信号用下降采样器1208进行下降采样，并作为第2层次的低频成分(对应于图38中LL2的数据)进行输出(步骤S303)。
由于在步骤S304中成为YES以后的处理，与在上述第9实施形式中所说明的相同，故省略说明。
在采用倍频程分割的本第10实施形式中，HPF502和HPF504的截断频率的关系也成为倍频程的关系。这意味着因为图像的采样频率通过下降采样器1204成为倍频程的关系，故可用相同的FIR滤波器构成。
但是，由于图像中的频率频带不同，所以还考虑分别对应该频带进行微妙的绘制，或者为谋求编码效率的提高而使其分别持有最优的HPF特性的情况。尤其在对最高位层次(高频成分)不进行编码或者解码的情况下，通过重视其低频频带特性进行设计，就可最大限度地抑制除去混叠的影响。
这样，即使作为前置滤波器取代LPF而使用HPF，也能够取得与第9实施形式同样对效果。
<第10实施形式的变形例>
接着对上述第10实施形式的变形例进行说明。在本变形例中，对递归地使用图23所示的HPF、减法器、分析LPF、分析HPF的情况进行说明。图25中示出本变形例的离散子波变换器的结构例。在图25中对进行与图23同样的处理的结构附加相同的参照编号，并省略说明，但追加有开关301和存储器304之处与第10实施形式大为不同。
输入图像信号，从开关301的a端输入，被分别输入到HPF601和减法器602。在HPF601中进行频带限制以抑制除去混叠成分，并经分析HPF1201、下降采样器1202作为高频带层次被输出到后级。
在减法器602中，通过取输入图像信号和来自HPF601的输出的差分实现HPF的功能，其输出信号经分析LPF1203、下降采样器1204作为低频成分进行输出。
低频成分为了用于递归处理而暂时保持到存储器304，在进行下一层次处理的情况下，经开关301的b端从存储器304再次被输入到HPF601、减法器602。通过进行此递归性的反复至预先所决定的层次，就可进行层次化处理。
这样，即使作为前置滤波器取代LPF而使用HPF，也能够取得与第9实施形式同样对效果。
<第11实施形式>
接着，对第11实施形式进行说明。
图26是表示第11实施形式中的离散子波变换器的结构的框图。在第9实施形式中作为前置滤波器使用了LPF，在第10实施形式中使用了HPF，但在本第11实施形式中，如图26所示那样为使用LPF和HPF两方的结构。图中，对进行与图35、图36、图19、图23同样的处理的结构附加相同的参照编号，并省略说明。
701、703是作为前置滤波器的HPF，702、704是LPF。
与第9实施形式同样沿着图20的流程图来说明本第11实施形式中的离散子波变换器的动作。
输入图像信号由HPF701被进行频带限制(步骤S301)，并输入到与以往同样的子波变换单元的分析HPF1201。由于分析HPF1201是宽广的特性，故在利用后级的下降采样器1202的下降采样中将发生混叠，HPF701作为前置滤波器起作用，起到预先抑制成为混叠的频率成分的作用。HPF701基于该目的，设定成将尼奎斯特频率以下的频带成分进行抑制阻断的特性，以使根据采样定理的混叠不发生。由于此特性依赖于系统整体的图像特征，故需要并入到最优的特性。
另一方面，输入图像信号也被输入到LPF702进行频带限制(相当于取得步骤S302中的(1-前置滤波器)信号)，并输入到与以往同样的子波变换单元的分析LPF1203。由于分析LPF1203是宽广的特性，故在利用后级的下降采样器1202的下降采样中将发生混叠，LPF702作为前置滤波器起作用，起到预先抑制成为混叠的频率成分的作用。LPF702基于该目的，设定成将尼奎斯特频率以上的频带成分进行抑制阻断的特性，以使根据采样定理的混叠不发生。由于此特性依赖于系统整体的图像特征，故需要并入到最优的特性。
此外，在上述流程中，也可将利用LPF702的频带限制处理看作步骤S301，在此情况下，就能够将利用上述HPF701的频带限制处理看作取得步骤S302的(1-前置滤波器)信号的处理。
图27示出此HPF701和LPF702的特性的情形。图27示出通过LPF702和HPF701的信号分别在平衡良好的尼奎斯特频率附近大幅降低的状态。当将各自的截断频率进一步设定成低频侧时，低频频带的混叠就进一步得以改善，相应地在高频频带中混叠就多发生。
通过了分析HPF1201的高频成分的信号用下降采样器1202进行下降采样，并作为第1层次的高频成分(对应于图38中HL1、LH1、HH1的数据)进行输出。另一方面，通过了分析LPF1203的低频成分的信号用下降采样器1204进行下降采样，并作为第1层次的低频成分(对应于LL1的数据)进行输出(步骤S303)。
在步骤S304中，判断是否已进行子波变换处理至预先所设定的层次，如果为否则返回步骤S301，并反复与上述同样的处理。
在图26所示的本第11实施形式的结构中，通过对低频成分递归地进行上述处理来谋求层次化。具体来讲，下降采样器1204的输出(第1层次的低频成分、对应于LL1的数据)被进一步输入到作为前置滤波器的HPF703、LPF704(步骤S301、S302)，HPF703的输出被输入到第2层的分析HPF1205进行如以往那样的处理。此时，由于利用HPF703抑制除去了成为混叠的成分，故混叠成分不发生。HPF703的频率特性当然成为用于抑制除去因分析HPF1205和其后的下降采样器1206产生的混叠的特性。另一方面对分析LPF1207，输入来自LPF704的输出。
之后，通过了分析HPF1205的高频成分的信号用下降采样器1206进行下降采样，并作为第2层次的高频成分(对应于图38中HL2、LH2、HH2的数据)进行输出。另一方面，通过了分析LPF1207的低频成分的信号用下降采样器1208进行下降采样，并作为第2层次的低频成分(对应于图38中LL2的数据)进行输出(步骤S303)。
在采用倍频程分割的本第11实施形式中，HPF701、703和LPF702、704的截断频率的关系也成为倍频程的关系。这意味着因为图像的采样频率通过下降采样器1204成为倍频程的关系，故可用相同的FIR滤波器构成。
但是，由于图像中的频率频带不同，所以还考虑分别对应该频带进行微妙的绘制，或者为谋求编码效率的提高而使其分别持有最优的HPF特性的情况。尤其在对最高位层次(高频成分)不进行编码或者解码的情况下，通过重视其低频频带特性进行设计，就可最大限度地抑制除去混叠的影响。
这样，作为前置滤波器使用LPF和HPF两者，就够取得与第9实施形式同样对效果。
<第11形式的变形例>
接着对上述第11施形式的变形例进行说明。在本变形例中，对递归地使用图26示的HPF、LPF、分析LPF、分析HPF的情况进行说明。图28示出本变形例的离散子波变换器的结构例。在图28对进行与图26样的处理的结构附加相同的参照编号，并省略说明，但追加有开关301和存储器304之处与第11施形式大为不同。
输入图像信号，从开关301的a端输入，被分别输入到HPF901、LPF902。在HPF901、LPF902中分别进行频带限制以抑制除去混叠成分。HPF901的输出经分析HPF1201、下降采样器1202作为高频带层次被输出到后级。
LPF902的输出经分析LPF1203、下降采样器1204作为低频成分进行输出。
低频成分为了用于递归处理而保持到存储器304，在进行下一层次处理的情况下，经开关301的b端从存储器304再次被输入到HPF901、LPF902。通过进行此递归性的反复至预先所决定的层次，就可进行层次化处理。
这样，作为前置滤波器使用LPF和HPF两者，就能够取得与第9实施形式同样对效果。
此外，在上述第9至第11的实施形式以及这些变形例中的HPF和/或LPF处理中，也可以适当使用水平成分、垂直成分的某个或者两者。
另外，在图像信号具有多个成分的情况下既可以应用于全部成分，也可以只应用于具有效果的亮度成分。当对颜色成分使用时，也可应用于4∶2∶2、4∶1∶1、4∶2∶0、4∶1∶0等的变换处理，能够使用层次结构容易地实现。
<第12实施形式>
接着，对本发明的第12实施形式进行说明。
图29是表示本发明第12实施形式中的解码器的结构的框图。图中，对进行与在以往例中所说明的图34同样的处理的结构附加相同的参照编号，并省略说明。
202是用于混叠除去的子采样滤波器、或低通滤波器或下降采样滤波器，203是控制子采样滤波器202的插入的控制单元，204是输出图像处理单元。
控制单元203，判断是否对全部层次的编码图像数据进行解码处理，并控制是使子采样滤波器202通过还是使其插入。子采样滤波器202，为了除去因下降采样产生的混叠而进行包含前置滤波处理的处理。输出图像处理单元204进行为了输出图像的各种处理、变换并输出。
图30中示出子采样滤波器202的内部结构。在进行解码至全部层次的情况下，由于不需要子采样滤波器的插入，因此就原样通过。此外，这时可为了有意缩小图像大小而使用子采样滤波器。在不进行解码至全部层次的情况下，通过进行子采样滤波处理，除去包含在图像中的混叠成分，就作为良好的图像而输出。但是，在作为缩略图等不拘泥于图像质量的简易图像进行输出的情况下则不限于此。
接着，使用图31的流程图对具有上述结构的解码器中的本第12实施形式的解码处理进行说明。
首先在步骤S401中，取得包含向解码装置输入的图像的图像大小和编码层次信息等的输入图像信息。接着在步骤S402中取得包含输出图像大小的输出图像信息，进入步骤S403。
在步骤S403中，从在步骤S401和步骤S402中所得到的输入图像大小和输出图像大小，判断所需的解码层次，进入步骤S404。在步骤S404中，进行解码处理直到在步骤S403中所判断的解码层次。接着，在步骤S405中判断是否通过步骤S404的解码处理对全部层次的编码图像数据进行了解码，如果是YES则进入步骤S407，如果是NO则进入步骤S406。
在全部层次的编码图像数据没有被解码的情况下，由于进行解码至中途的层次，已解码的图像信号包含混叠，故在步骤S406中使用子采样滤波器202对因不进行与包含在图像信号中的HPF的合成而没有删除的混叠成分进行抑制、消除。滤波处理后进入步骤S407。
另一方面，在全部层次的编码图像数据得以解码的情况下，因不剩余混叠成分故不需要步骤S406的处理，因此不进行步骤S406的处理进入步骤S407。在步骤S407中实施适合于输出所得到的良好图像的对象的，γ校正和彩色校正、格式变换、偏移处理等，并输出所请求的良好图像。
如上所述根据本第12实施形式，即使在对图像数据进行解码至中途层次的情况下，也可通过控制子采样滤波器202的插入，得到不包含混叠的良好的图像。
<第13实施形式>
接着，对本发明的第13实施形式进行说明。本第13实施形式的解码器，具有与图29和图30所示的解码器同样的结构，但控制单元203中的处理不同。下面，参照图32所示的流程图对解码动作进行说明。
在上述第12实施形式中，在解码处理中判断进行解码至哪个层次，但在本第13实施形式中，基于在编码时所编码的层次来决定有无子采样滤波器202的插入。
在图32中，在步骤S501中对全部编码数据进行解码处理。
接着在步骤S502中，取得表示在图像的编码时，层次分割后全部层次是否进行了编码的编码信息。在步骤S503中，以在步骤S502中所取得的信息为基础，判断在编码时是否对全部层次进行了编码。如果是NO则进入步骤S406，如果是YES则进入步骤S407。
当在编码时全部层次没有被编码的情况下，由于已解码的图像信号包含混叠，故在步骤S406中使用子采样滤波器202对因不进行与包含在图像信号中的HPF的合成而没有删除的混叠成分进行抑制、消除。滤波处理后进入步骤S407。
另一方面，当在编码时全部层次得以编码的情况下，因不剩余混叠成分故不需要步骤S406的处理，因此不进行步骤S406的处理进入步骤S407。在步骤S407中实施适合于输出所得到的良好图像的对象的，γ校正和彩色校正、格式变换、偏移处理等，并输出所请求的良好图像。
通过以上的动作，即使是在编码时进行编码至中途层次的图像，也可通过控制子采样滤波器202的插入，输出不包含混叠的良好的图像。
此外，在上述第13实施形式中，根据在编码时全部层次的图像是否被编码来控制有无子采样滤波器202的插入，但也可以除此控制之外，还如在上述第12实施形式中所说明那样，进行依照解码时进行了解码的层次的控制。
<第14实施形式>
接着，对本发明的第14实施形式进行说明。本第14实施形式的解码器，具有与图29和图30所示的解码器同样的结构，但控制单元203中的处理不同。下面，参照图33所示的流程图对解码动作进行说明。
在上述第12实施形式中判断解码处理时的层次，在第13实施形式中判断编码时的层次，而在本第14实施形式中则涉及图像数据的接收或者从介质等的再现时有无插入子采样滤波器202的判断。
在图33中，在步骤S601中接收图像数据或者从介质等再现，并进行解码处理至所设定的解码层次。
接着在步骤S602中取得表示在图像数据的接收时或者从介质等再现时所接收/再现的图像数据是否是全部层次的数据的信息，在步骤S603中，以在步骤S602中所取得的信息为基础，判断是否已接收/再现全部层次的数据。如果是NO则进入步骤S406，如果是YES则进入步骤S407。
在未接收/再现全部层次的编码图像数据的情况下，由于进行解码至中途的层次，已解码的图像信号包含混叠，故在步骤S406中使用子采样滤波器202对因不进行与包含在图像信号中的HPF的合成而没有删除的混叠成分进行抑制、消除。滤波处理后进入步骤S407。
另一方面，在已接收/再现全部层次的编码图像数据的情况下，因不剩余混叠成分故不需要步骤S406的处理，因此不进行步骤S406的处理进入步骤S407。在步骤S407中实施适合于输出所得到的良好图像的对象的，γ校正和彩色校正、格式变换、偏移处理等，并输出所请求的良好图像。
如上所述根据本第14实施形式，即使在对图像数据进行接收/再现至中途层次的情况下，也可通过控制子采样滤波器202的插入，得到不包含混叠的良好的图像。
此外，在上述第12至第14实施形式中，在对图像数据进行解码至中途层次的情况下插入了子采样滤波器202，但在作为缩略图等不拘泥于图像质量的简易图像进行输出的情况下则不限于此。
另外，在图像信号具有亮度成分、颜色成分等多个成分的情况下既可以应用于全部成分，也可以只应用于具有效果的亮度成分。
此外，在上述第9～第14实施形式中，作为分层编码以二维子波变换进行了说明，但本发明并不限于此，即使是一维子波变换也能够同样地进行。另外，即使是水平成分、垂直成分的任何一方也可，但使用两个成分则更好。
另外，以上实施形式的软件结构和硬件结构，能够适当进行置换。
<其他实施形式>
本发明既可以适用于由多个设备(例如主机、接口、扫描器、照相头、通信设备等)构成的系统，也可以适用于由单个设备形成的装置(例如，传真装机置、数字静止照相机、数字摄像机等)。
无需赘言，本发明的目的也可以这样达到，通过将记录了实现上述实施形式的功能的软件程序代码的存储介质提供给计算机系统或者装置(例如，个人计算机)，该系统或者装置，通过CPU或者MPU读出并执行保存在存储介质中的程序代码。
这种情况下，就成为从存储介质读出的程序代码自身将实现上述的实施形式的功能，存储了该程序代码的存储介质将构成本发明。
另外，为了提供程序代码，能够使用例如，软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡和ROM等的存储介质，或者LAN(局域网)和WAN(广域网)等的计算机网络。
另外无需赘言，不仅包含通过计算机执行所读出的程序代码，上述的实施形式的功能得以实现的情况，也包含根据该程序代码的指示，在计算机上运行的OS(操作系统)等进行实际处理的一部分或者全部，通过该处理前面所说的实施形式的功能得以实现的情况。
进而无需赘言，也包含当从存储介质读出的程序代码，被写入到插入计算机的功能扩充板和/或连接到计算机的功能扩充单元上所具备的存储器以后，根据该程序代码的指示，该功能扩充板和/或功能扩充单元上所具备的CPU等进行实际处理的一部分或者全部，通过该处理前面所说的实施形式的功能得以实现的情况。
在将本发明适用于上述存储介质的情况下，与在实施形式中说明了的图1、图6～8、图10、图11、图14～16、图18、图20、图31～33的任何一个所示的流程图相对应的程序代码就保存在该存储介质中。
本发明并不限于上述实施形式，在不脱离本发明的精神和范围内可以进行各种变更和修正。因此，为了公开本发明的范围，附加以下的权利要求项。