视频编码和解码方法、设备及程序 【技术领域】
本发明涉及活动图像的压缩编码和解码，尤其涉及一种有效地发送编码状态的方法。
背景技术
活动图像信号的压缩编码技术通常用于活动图像信号的传输和存储再生。公知的技术包括诸如ITU-T建议书H.263、ISO/IEC国际标准14496-2(MPEG-4视频)等的国际标准视频编码方法。
另一种公知的较新的编码系统是ITU-T和ISO/IEC共同国际标准化而制订的视频编码方法，即ITU-T建议书H.264和ISO/IEC国际标准14496-10。例如，在下面列出的非专利文献1中公开了在这些视频编码方法中使用的普通编码技术。
【非专利文献1】
《国际图像编码标准的基本技术》(Fumitaka Ono和HiroshiWatanabe合著，CORONA出版有限公司1998年3月20日出版)
在这些编码方法中，一种编码设备被配置以将一个图像分割成多块区域，并在相同状态下对每块区域执行编码操作。该编码设备将每块区域内所包括的像素值分组成多个编码单元，此后，获得相对于预先确定的预测信号的余量，然后执行差值信号的离散余弦变换(DCT)、DCT系数的量化和已量化数据的可变长度编码。从而生成压缩编码数据(比特流)。
编码单元的大小根据图像编码状态(在下文中称作“编码模式”)而不同。图1图示图像编码模式和编码单元之间的关系。这些编码模式中的一种模式是称作在不分离一个图像地扫描线的情况下执行编码的帧编码模式的编码模式(在下文中称作“帧模式”)。图1中的编号802表示这种帧模式。在这种情况下，编码单元是一个包括16×16个像素的宏块。
与此相反地，在分离一个图像的扫描线的情况下执行编码的编码模式称作场编码模式(图1中的803，在下文中将称作“场模式”)。图1中的编号804表示将一个隔行扫描图像的扫描线分离出来形成偶数扫描线和奇数扫描线的情况。在这种情况下，编码单元是宏块单元，与在帧编码的情况下是类似的，但是在合并扫描线之后的编码单元是16×32个像素。
此外，还存在一种按编码单元分离扫描线的情况下执行编码的模式和一种按编码单元不分离扫描线的情况下执行编码的模式。图1中的编号805代表按编码单元不分离扫描线的情况下执行编码的情况。在这种情况下的编码单元是宏块。按编码单元自适应地分离或不分离扫描线的情况下(在下文中称作“MB_AFF模式”)，如图1中用806所表示的，用“宏块对”代表编码单元，每个宏块对包括16×32个像素。如上面所描述的，该编码设备根据编码模式改变编码单元的大小以获得一种最佳结构，从而执行高效的压缩编码。
另一方面，在将一个图像分割成多块区域的情况下，还配置该编码设备来定义在编码模式中效率最高的编码单元内的区域。图2(a)和图2(b)图示使用现有技术分割的图像内的区域的例子。图2(a)的图像901被分割成两个区域，一个是填充与块902相同图案的区域，另一个是未填充的区域。在这里假设是帧模式，并以从图像中央开始的虚箭头904所示的顺序用宏块单元来定义区域903。图2(b)的图像905也被分割成两个区域，一个是填充与块906相同图案的区域，另一个是未填充的区域。在这里假设是MB_AFF模式，并以从图像中央开始的虚箭头908所示的顺序用“宏块对”单元来定义区域907。
逐区域地将按编码单元编码的压缩编码数据放置在一起，并添加诸如编码模式和其它的相关信息，然后予以传输或者记录。通过逐区域地将压缩编码数据放置在一起，我们实现了即使出现因为某一区域内数据污损导致的错误，也可以抑制该错误到其它区域的扩展的优点。也可以执行按区域单元的并行处理，从而能够快速地操作。
然而，上面的现有技术存在下述问题。即，它要求在将一个图像分割成多个区域的视频编码方法中，时间上相邻的图像的区域彼此一致。然而，在现有技术中，以编码单元为基础定义区域，而编码单元随着编码模式的不同而不同。因为这个原因，在相邻图像的编码模式彼此不同的情况下，即使在相同的状态下定义，区域的图案也将是不同的。
例如，假设图像901和图像905是在时间上相邻的两个图像，因为各自图像的编码模式之间的不同，区域903和区域907的图案是不同的。在这样的不一致的情况下，相应的区域将随着时间改变它们的形状，当在时间轴上显示所述区域内的所述图像时，将使人感到明显的障碍。
此外，通过观察图2(a)中的矩形909和图2(b)中的矩形910，可以看出矩形910的下半块属于图像901内的其它区域(未填充区域)。也就是说，在再生图像901的未填充区域之前，与矩形910的下半块相对应的块是不存在的。因此，在预测编码中未使用相关的块，因而，对压缩编码的效率造成不利的影响。
【发明内容】
因而，本发明的一个目的是减少活动图像的编码和解码中由于编码模式不同所导致的区域形状的变化，和提高压缩编码的效率。
为了解决上述问题，根据本发明的一种视频编码方法是一种由视频编码设备编码一个分割成多个区域的活动图像的视频编码方法，该视频编码方法包括：在编码包含多个图像的一个活动图像时确定每个图像的编码模式的步骤；根据编码模式确定用于将所述图像分割成多个区域的区域构成单元的步骤；根据区域构成单元来定义所述区域的步骤；编码与所述如此定义的区域有关的区域信息(例如与区域形状有关的信息)的步骤；根据编码模式按编码单元压缩编码在所述区域内包含的像素数据，从而生成压缩编码数据的步骤；和输出编码模式、区域信息和压缩编码数据的步骤。
在根据本发明的视频编码方法中，可以从下列编码模式中选择一种编码模式：在不分离构成一个图像的扫描线的情况下执行编码的帧模式；在分离构成一个图像的扫描线的情况下执行编码的场模式；将一个图像划分成多个编码单元和通过帧模式或场模式在每个编码单元内执行编码的编码单元转换模式；通过帧模式或场模式在每个图像单元内执行编码的图像单元转换模式；作为帧模式与编码单元转换模式之组合的第一组合模式；和作为场模式与图像单元转换模式之组合的第二组合模式。
在根据本发明的视频编码方法中，每个编码单元可以是：当编码模式是帧模式时一个包含N×N个像素的块；当编码模式是场模式时一个包含N×N个像素的块；或者当编码模式是编码单元转换模式时一个包含N×M(M是垂直像素的数量，M＝2N)个像素的块。
可以配置根据本发明的视频编码方法以便当用一种编码模式编码构成活动图像的所有图像时，区域构成单元是编码单元，和当用不同的编码模式编码构成活动图像的图像时，区域构成单元是不同编码模式的编码单元中最大的编码单元。
根据本发明的视频解码方法是一种由视频解码设备解码一个分割成多个区域的活动图像的视频解码方法，该视频解码方法包括：实现输入通过将图像分割成多个区域和对其执行压缩编码而根据构成一个活动图像的每个图像所生成的压缩编码数据的步骤；根据压缩编码数据确定每个图像的编码模式的步骤；根据编码模式确定将所述图像分割成多个区域所用的区域构成单元的步骤；根据压缩编码数据获得与区域有关的区域信息(例如与区域形状有关的信息)的步骤；根据区域构成单元和区域信息来定义区域的步骤；解码在编码单元中如此定义的区域内所包括的压缩编码数据，从而生成编码单元中的再生数据的步骤；和根据编码模式依据编码单元中的再生数据构造一个再生图像的步骤。
在根据本发明的视频解码方法中，可以从下列编码模式中选择一种编码模式：在不分离构成一个图像的扫描线的情况下执行编码的帧模式；在分离构成一个图像的扫描线的情况下执行编码的场模式；将一个图像划分成多个编码单元和通过帧模式或场模式在每个编码单元中执行编码的编码单元转换模式；通过帧模式或场模式在每个图像单元中执行编码的图像单元转换模式；作为帧模式与编码单元转换模式之组合的第一组合模式；和作为场模式与图像单元转换模式之组合的第二组合模式。
在根据本发明的视频解码方法中，每个编码单元可以是：当编码模式是帧模式时一个包含N×N个像素的块；当编码模式是场模式时一个包含N×N个像素的块；或者当编码模式是编码单元转换模式时一个包含N×M(M是垂直像素的数量，M＝2N)个像素的块。
可以配置根据本发明的视频解码方法以便当用一种编码模式编码构成活动图像的所有图像时，区域构成单元是编码单元，和当用不同的编码模式编码构成活动图像的图像时，区域构成单元是不同编码模式的编码单元中最大的编码单元。
配置根据本发明的视频编码程序以使一台计算机执行与上述视频编码方法有关的处理。
配置根据本发明的视频解码程序以使一台计算机执行与上述视频解码方法有关的处理。
根据本发明的一种视频编码设备是一种用于编码一个分割成多个区域的活动图像的视频编码设备，该视频编码设备包括：编码模式确定装置，用于在编码包含多个图像的活动图像时确定每个图像的编码模式；区域构成单元确定装置，用于根据编码模式确定用于将所述图像分割成多个区域的区域构成单元；区域定义装置，用于根据区域构成单元来定义所述区域；区域信息编码装置，用于编码与如此定义的区域有关的区域信息；和数据生成装置，用于根据编码模式按编码单元压缩编码在所述区域内包含的像素数据，从而生成压缩编码数据。
根据本发明的一种视频解码设备是一种用于解码一个分割成多个区域的活动图像的视频解码设备，该视频解码设备包括：数据输入装置，用于实现输入通过将图像分割成多个区域和对其执行压缩编码而根据构成一个活动图像的每个图像生成的压缩编码数据；编码模式确定装置，用于根据压缩编码数据来确定每个图像的编码模式；区域构成单元确定装置，用于根据编码模式来确定将所述图像分割成多个区域所用的区域构成单元；区域信息获取装置，用于根据压缩编码数据获得与区域有关的区域信息；区域定义装置，用于根据区域构成单元和区域信息来定义区域；再生数据生成装置，用于解码用编码单元压缩编码的在如此定义的区域内所包括的数据，从而生成编码单元内的再生数据；和再生图像构造装置，用于根据编码模式依据编码单元内的再生数据构造一个再生图像。
还可以配置根据本发明的视频编码方法，以便对于活动图像内包括的所有图像，在不分离构成每个图像的扫描线的情况下执行编码的帧模式中，区域构成单元是一个包括N×N个像素的块；在分离构成每个图像的扫描线的情况下执行编码的场模式中，区域构成单元是一个包括N×N个像素的块；在将每个图像划分成多个编码单元和通过帧模式或场模式在每个编码单元内执行编码的编码单元转换模式中，区域构成单元是一个包括N×M(M是垂直像素的数量，和M＝2N)个像素的块；或者在通过帧模式或场模式执行一个图像单元内每个图像的编码的图像单元转换模式中，区域构成单元是一个包括N×M(M是垂直像素的数量，和M＝2N)个像素的块。
还可以配置根据本发明的视频解码方法，以便对于活动图像内包括的所有图像，在不分离构成每个图像的扫描线的情况下执行编码的帧模式中，区域构成单元是一个包括N×N个像素的块；在分离构成每个图像的扫描线的情况下执行编码的场模式中，区域构成单元是一个包括N×N个像素的块；在将每个图像划分成多个编码单元和通过帧模式或场模式在每个编码单元内执行编码的编码单元转换模式中，区域构成单元是一个包括N×M(M是垂直像素的数量，和M＝2N)个像素的块；或者在通过帧模式或场模式执行一个图像单元内每个图像的编码的图像单元转换模式中，区域构成单元是一个包括N×M(M是垂直像素的数量，和M＝2N)个像素的块。
还可以配置根据本发明的视频编码设备以包括：输入装置，用于执行包括多个图像的一个活动图像的输入；编码模式控制装置，用于在编码该活动图像时确定每个图像的编码模式；区域构成单元确定装置，用于根据编码模式确定将每个图像分割成多个区域所用的区域构成单元；区域分割装置，用于根据区域构成单元来定义区域和将每个图像分割成多个区域；编码装置，用于压缩编码与如此定义的区域有关的区域信息、编码模式信息和在所述区域内包括的像素数据以生成压缩编码数据；和输出装置，用于输出压缩编码的数据。
还可以配置根据本发明的视频解码设备以包括：输入装置，用于执行输入通过将构成一个活动图像的每个图像分割成多个区域和对其执行压缩编码而生成的压缩编码数据；编码模式确定装置，用于根据压缩编码数据来确定每个图像的编码模式；区域构成单元确定装置，用于根据编码模式来确定将每个图像分割成多个区域所用的区域构成单元；区域定义装置，用于根据压缩编码数据获得与所述区域有关的区域信息，和用于根据区域构成单元和区域信息来定义所述区域；和解码装置，用于根据所述编码模式来解码在如此定义的区域内所包括的压缩编码数据，从而构造一个再生图像。
根据本发明的这些方面，当在不同的编码模式中将一个活动图像的每个构成图像分割成多个区域的时候，根据编码模式的组合来确定一个区域构成单元，在此基础上定义多个区域，和以此为基础来执行活动图像的编码或解码。这允许在相邻的图像之间定义一致的区域，因此能够减少由于编码模式的不同而导致的区域形状的变化，并提高压缩编码的效率。
根据下面的详细描述和附图，将更全面地理解本发明，这些附图仅是示例性的，不能将其视为对本发明的限制。
根据下面的详细描述，可应用本发明的其它领域将是显而易见的。然而，应当理解为了说明本发明优选实施例的详细描述和具体的例子仅是示例性的，因为根据该详细描述在本发明的精神和范围内的各种改变和修改对于本领域的技术人员来说将是显而易见的。
【附图说明】
图1概念性地图示现有技术中在编码模式中图像的编码单元。
图2(a)示意性地图示在根据现有技术的帧模式中分割的一个图像的区域。图2(b)示意性地图示在根据现有技术的MB_AFF模式中分割的一个图像的区域。
图3是图示根据本发明的视频编码设备的示意性结构的方框图。
图4是图示执行根据本发明的视频编码方法的处理流程的流程图。
图5是图示确定编码区域的处理流程的流程图。
图6(a)示意性地图示在用帧模式编码整个图像的情况下，在根据本发明的视频编码方法的基础上分割的一个图像的区域。图6(b)示意性地图示在用MB_AFF模式编码整个图像的情况下，在该视频编码方法的基础上分割的一个图像的区域。
图7是图示根据本发明的视频解码设备的示意性结构的方框图。
图8是图示执行根据本发明的视频解码方法的处理流程的流程图。
图9图示根据本发明的视频处理程序的结构。
图10(a)图示用于视频处理程序的存储区域的结构的一个例子。图10(b)是图示作为一种记录媒体的软盘的外形的示意图。图10(c)是图示将记录媒体安装到与一台计算机相连的驱动器上的状态的示意图。
【具体实施方式】
第一实施例
首先，将参考附图描述本发明的第一实施例。
图3是图示用于执行根据本发明的视频编码方法的一种视频编码设备的结构方框图。如图3所示，该视频编码设备100安装有第一输入端子101、设置编码模式的编码模式控制器102、第二输入端子103、用于将一个图像分割成多个区域的区域分割设备104和编码器105。编码模式控制器102包括区域确定单元116。
下面将描述上述结构中视频编码设备100的操作和由其执行的视频编码方法的每个步骤。
通过输入端子101输入编码一个图像的状态(在图4中的S201)。输入方法将根据应用程序而不同，可以想到的方法例如包括：根据压缩率输入预先确定的模板的模式、用户使用键盘输入指定状态的模式、等等。
上述编码模式包括图像编码模式。所述编码模式例如如下：
(1)在不分离构成一个图像的扫描线的情况下执行编码的帧模式。
(2)在彼此分离构成一个图像的偶数扫描线和奇数扫描线的情况下执行编码的场模式。
(3)将一个图像分割成多个编码单元和通过帧模式或场模式(MB_AFF模式)按编码单元执行编码的编码单元转换模式。
(4)通过帧模式或场模式按图像单元执行编码的图像单元转换模式。
(5)组合(1)和(3)的第一组合模式。
(6)组合(2)和(3)的第二组合模式。
根据这些模式，区域确定单元116确定进行编码的区域(图4中的S202)。稍后将参考图5描述处理的细节。通过第二输入端子103输入一个作为编码目标的图像，然后，由区域分割单元104根据在S202确定的区域将其分割成多个区域(切片)。同时，区域分割单元104将这些区域内所包括的像素值划分成编码单元(图4中的S203)。
编码单元根据编码模式而不同。在帧模式中，编码单元是每个包括16×16个像素的宏块；在场模式中，编码单元是每个包括16×16个像素的宏块；在编码单元转换模式中，编码单元是每个包括16×32(其中32是垂直像素的数量)个像素的“宏块对”。编码单元的大小可以是除了16×16和16×32之外的任何大小。
将具有在S203划分成编码单元的像素值的图像输入给编码器105，然后通过运动补偿和离散余弦变换按编码单元压缩编码(图4中的S204)。也就是说，ME/MC(运动估计/运动补偿)114使用在帧存储器113内存储的一个参考图像来检测该图像的运动矢量，然后，计算与一个运动补偿预测信号的差值(图3中的108)。而且，在DCT 109内离散余弦变换所述差值信号，此后，在Q(量化)110内量化所获得的数据，然后，在VLC(可变长度编码)115内可变长度编码已量化的数据。从而生成压缩编码数据。
另一方面，在IQ+IDCT(逆量化+逆离散余弦变换)111内逆量化和逆离散余弦变换所述已量化的数据，然后，将结果添加给预测信号162(图3中的112)，从而生成一个图像。将所生成的图像作为一个参考图像存储在帧存储器113内。在这里再生一个以帧模式编码的图像，然后将其存储在帧存储器113内。在这里，再生一个以场模式编码的图像，然后，在合并偶数扫描线和奇数扫描线之后将其存储在帧存储器113内。在这里再生一个以MB_AFF模式编码的图像，然后以宏块对的形式将其存储在帧存储器113内。
将在S204生成的压缩编码数据输入给首部信息添加单元106(图3中的HDR)，并与包括图像编码模式和区域形状的相关信息的编码模式信息相组合以获得预先确定格式的数据(图4中的S205)。然后，通过输出端子107发送或记录所述数据(图4中的S206)。在这里，区域形状的相关信息是生成这些区域的规则，例如在随后描述的图6(a)中图示的虚箭头404所指示的顺序和在随后描述的图6(b)中图示的虚箭头408所指示的顺序。
接着，将参考图5描述在图4的S202确定编码区域的处理。图5图示定义(或确定)区域的处理流程。当在S301通过输入端子101输入一个信号时，根据这个输入信号获得在整个活动图像内使用的编码模式信息(S302)。该编码模式是上述模式(1)至(6)中的一种模式。
下一步骤S303是确定是否将单一模式应用于构成该活动图像的所有图像。当确定结果为肯定时(S303：是)，则该流程前进到S304。在这种情况下，因为按相同的编码单元(在帧模式中的宏块或者在MB_AFF模式中的宏块对)编码所有的图像，区域构成单元(切片映像单元)可以等于一个编码单元。
与此相反地，当以相互不同的模式编码构成活动图像的各图像时，即当上述确定的结果为否定时(S303：否)，则该流程前进到S305。在这种情况下，相互比较在各编码模式下编码单元的大小，然后，选择其中最大的编码单元作为一个区域构成单元。
例如，当组合帧模式和MB_AFF模式作为编码模式时，相应模式中的编码单元是宏块和宏块对。因此，选择最大的宏块对作为一个区域构成单元。
在通过帧模式或场模式按图像单元编码构成一个视频图像的每个图像的图像单元转换模式中，区域构成单元是16像素(水平)×32像素(垂直)。其原因如下。
如先前所描述的，在帧模式中的编码单元是16×16。另一方面，在场模式中每一场内的编码单元也是16×16，因此在合并两个场形成一帧之后的编码单元实际上是16×32。因此，根据将最大的编码单元定义为区域构成单元的规则(在S305描述的规则)，依照具有最大编码单元的场模式，将图像单元转换模式中的区域构成单元定义为16×32。
在以这种方式确定的区域构成单元的基础上，定义用于分割每个图像的区域(S306)，并将它们输出(S307)。因为在区域构成单元的基础上构造每个区域，最小区域的大小与区域构成单元相同，绝对不会定义比它更小的区域。
图6(a)和图6(b)图示通过根据本发明的视频编码方法所分割的图像内的区域的例子。对于图6(a)的图像401来说，假设以帧模式编码所有的图像，并将区域构成单元视为一个编码单元的宏块。根据虚箭头404所指示的规则(顺序)，将图像401分割成区域403a(填充区域)和区域403b。块402代表区域构成单元。
类似地，对于图6(b)的图像405来说，假设以MB_AFF模式编码所有的图像，因此将区域构成单元视为一个编码单元的宏块对。根据虚箭头408所指示的规则(顺序)，将图像405分割成区域407a(填充区域)和区域407b。块406代表区域构成单元。
在根据本发明的视频编码方法中，如上面所描述的，组合帧模式和MB_AFF模式时，与相应模式相对应的编码单元是宏块和宏块对。将一个宏块对选择为它们之中的最大者，并将其定义为区域构成单元。因为在宏块对的基础上定义区域，将如图6(b)的图像405中所示独立于编码模式分割所有的图像。
也就是说，确定公用的区域构成单元来代替编码单元，并在此基础上定义所有图像的区域。这使得能够独立于各图像的编码模式，根据同一规则进行分割，从而获得相同的区域形状，从而维持在时间上相邻图像的区域之间的一致性。因此，根据本发明的方法和设备降低了由于编码模式的不同造成区域形状上的改变所导致的人感觉上的障碍。同时，该方法和设备还降低了对预测编码效率的不利影响。
第二实施例
接着，将参考图7和图8来描述本发明的第二实施例。
图7是图示用于执行根据本发明的视频解码方法的视频解码设备的结构的方框图。如图7所示，该视频解码设备500装备有输入端子501、解码器502、输出端子503、编码模式控制器504和数据分析器505。编码模式控制器504具有一个区域指定单元511。
下面将描述上述结构的视频解码设备500的操作和由其执行的视频解码方法的每个步骤。
由第一实施例中的视频编码方法所生成的压缩编码数据通过输入端子501输入(图8中的S601)。由数据分析器505分析压缩编码数据以解码其可变长度编码，然后将首部信息输出给编码模式控制器504。编码模式控制器504参考在首部信息中描述的编码模式来指定压缩编码数据的编码模式(图8中的S602)。在此所指定的编码模式是在第一实施例中所描述的模式(1)至(6)之一。
S603是根据如此指定的编码模式和根据在首部信息中所描述的区域生成规则(在图6(a)中用虚箭头404所指示的顺序)来推导出编码区域。在本步骤中推导编码区域的处理与参考图5所描述的确定编码区域的处理完全相同，因此，在此省略其图示和详细描述。
按编码单元解码在S603所推导出的区域内的压缩编码数据(S604)。即，将从图7的数据分析器505输出的图像数据(DCT系数、运动信息、等等)输入给解码器502，然后，根据编码模式控制器504指定的编码模式在IQ(逆量化)506中逆量化所述数据。此后，在IDCT(逆离散余弦变换)507内逆离散余弦变换所述被逆量化的数据，并且还在MC(运动补偿)510内运动补偿该图像数据，然后将运动补偿之后的数据添加给预测信号(图7中的508)，从而再生图像。
此外，将再生图像存储在帧存储器509内，并在其显示时间通过输出端子503输出给显示设备(未图示)。在将再生图像存储在帧存储器509内时，根据编码模式使用在S604解码的数据来构造再生图像(S605)。
即，首先重新构造一个以帧模式编码的图像，然后将其存储在帧存储器509内。首先重新构造一个以场模式编码的图像，在合并偶数扫描线和奇数扫描线之后将其存储在帧存储器509内。首先重新构造一个以MB_AFF模式编码的图像，然后以宏块对的形式将其存储在帧存储器509内。
然后通过输出端子503将在S605构造的再生图像输出给显示设备(未图示)(S606)。
在根据本发明的视频解码方法中，如上面所描述的，在编码模式的基础上以公用的区域构成单元定义每个图像的区域的情况下来执行解码。因此，根据同一规则分割的区域全是相同形状的，而与相应图像的编码模式无关，从而维持了在时间上相邻图像的区域之间的一致性。因此，根据本发明的方法和设备降低了由于编码模式的不同造成区域形状的改变所导致的人类感觉上的障碍。同时，该方法和设备还降低了对预测编码效率的不利影响。
应当指出本发明并不限制于上面在第一和第二实施例中所描述的内容，在不脱离本发明范围的情况下还可以采用适当的修改实施例。例如，上面的实施例描述了典型的例子，在这些例子中在彼此分离每个图像的偶数扫描线和奇数扫描线时以场模式来执行编码和解码，但是本发明也可以应用于任何一种分离方法。例如，本发明还可以应用于将第零、第四、第八和第十二扫描线分离出来形成第一子图像、将第一、第五、第九和第十三扫描线分离出来形成第二子图像、将第二、第六、第十和第十四扫描线分离出来形成第三子图像和将第三、第七、第十一和第十五扫描线分离出来形成第四子图像的情况。在这种情况下，假设按宏块单元编码每个子图像，必需假设在合并所有的扫描线之后的有效编码单元是四个宏块的组合来定义区域构成单元。
最后，将参考图9描述用于执行根据本发明的视频编码方法或视频解码方法的程序。
如图9所示，在记录媒体10内形成的程序存储区域10a中存储视频处理程序11。该视频处理程序11可以由一台计算机来执行，该计算机包括一个便携式终端，该程序11包括负责视频处理的主模块12、随后将要描述的视频编码程序13和随后将要描述的视频解码程序14。
视频编码程序13包括编码模式确定模块13a、区域构成单元确定模块13b、区域定义模块13c、区域信息编码模块13d和压缩编码数据生成模块13e。通过这些模块的操作所实现的功能类似于通过执行上述视频编码方法的相应步骤所实现的功能。
视频解码程序14包括压缩编码数据输入模块14a、编码模式指定模块14b、区域构成单元确定模块14c、区域定义模块14d、再生数据生成模块14e和再生图像构造模块14f。通过这些模块的操作所实现的功能类似于通过执行上述视频解码方法的相应步骤所实现的功能。
通过在记录媒体10中记录视频处理程序11，可以使一台计算机，包括一个便携式终端，很容易地执行在上面的每个实施例中所描述的处理。更具体地说，在具有例如如图10(a)所示的物理格式的软盘的程序存储区域10a内存储该视频处理程序11。在程序存储区域10a内中心位置的周围形成多个同心磁道T，并在圆周方向上将每个磁道T分割成十六个扇区S。
将程序存储区域10a装入软盘外壳C内，如图10(b)所示，从而形成作为记录媒体10的一个软盘。当将记录媒体10安装在通过一条缆线连接到公知公用的计算机系统30的软盘驱动器20中时，如图10(c)所示，可以很容易地从记录媒体10中读出图9所示的视频处理程序11，并将其传送给计算机系统30。
记录媒体10并不必需限制于软盘，还可以是任意形式的，只要能够在其中记录程序；例如可以是硬盘、IC(集成电路)卡、ROM(只读存储器)、等等。
根据如此描述的本发明，显然可以以多种形式来修改本发明的实施例。这些改变将不被视为脱离本发明的精神和范围，对于本领域的技术人员来说显而易见的所有修改都将包含在权利要求的保护范围之内。