进行跳帧处理的图像压缩设备和方法 本申请基于并要求2002年10月18日提交的日本专利申请No.2002-303895的优先权，其全部内容在此引入作为参考资料。
【技术领域】
本发明涉及在执行数字信号处理的记录、再生或显示设备中使用的图像压缩技术。更具体地，本发明涉及一种图像压缩设备和方法，其在通过MPEG1或MPEG2算法对输入流进行图像压缩时执行跳帧(frameskipping)处理，从而使用少量的代码高效地执行图像编码并减少所存储信息的量。
背景技术
近年来，在执行数字信号处理的监控系统中，使用诸如MPEG或MOTION_JPEG之类的压缩技术压缩所捕获的音频/视频信号、并将压缩后的数字数据存储到诸如硬盘驱动器(HDD)之类的记录介质中的记录和存储设备已投入实际使用。
在此情况下，要求提供能够使用具有给定存储容量的硬盘驱动器记录并再生尽可能长时间的图像地系统。
通常情况下，对于具有相同级别图像质量的图像而言，利用MPEG1或MPEG2视频技术生成的压缩数据的数量小于MOTION_JPEG技术生成的压缩数据的数量。为此，从减少信息量的角度来看，MPEG技术更具优势。
在另一方面，MOTION_JPEG技术生成的压缩数据包含独立于各个帧的信息，通过跳过(skip)压缩数据中包含的一些帧，可以很容易地实现信息量的减少。
然而，在使用MPEG1/2技术时，压缩数据包含必须参考其它帧进行解码的帧。存在这样的问题，即无法简单地通过跳过由MPEG1/2视频技术生成的压缩数据中包含的一些帧而实现信息量的减少。
在运动图像的编码和解码中，预测运动图像编码是一项基本技术，这保证了运动图像的高度压缩，对于运动图像的编码很重要。
然而，必须在预测编码图像信号的解码之前先对预测编码中使用的参考帧进行解码。因此，为了实现获得任意图像帧的随机访问功能并且获得单个的解码图像信号，必须对运动图像中一定数量的帧进行解码。为此，MPEG技术的处理开销变大并且操作很不方便。
在使用MPEG算法的情况下，为了满足高压缩比和随机访问功能的要求，将视频序列中包含的图像划分为下列三种类型而进行编码：
(1)帧内编码图像(intra-coded picture)
下文中，为描述的方便起见，将该类型的图像称为I图像。I图像并不使用其它图像的信息，而是类似于JPEG技术仅为它自身图像的信息进行编码。
(2)预测编码图像(predictive-coded picture)
下文中，为描述的方便起见，将该类型的图像称为P图像。P图像利用先前的I图像或先前的P图像作为参考帧在时间轴上进行前向预测运动图像编码。
(3)双向预测编码图像(bidirectionally predictive-codedpicture)
在下文，为描述的方便起见，将该类型的图像称为B图像。B图像利用先前或将来的I图像或者先前或将来的P图像作为参考帧在时间轴上进行前向和后向预测运动图像编码。
I图像具有低的压缩率，并且它们可以独立于其它图像解码，并在随机访问时用作访问点。
P图像具有较I图像更高的压缩率。然而，P图像的解码需要使用时间轴上先前的I图像的信息。
B图像具有三种类型中最高的压缩率。然而，B图像的解码要求使用时间轴上前面和将来的I图像或P图像的信息。
此外，在B图像的解码之前必须先对将来P图像进行解码，并且在显示解码的B图像时会出现延迟。
在MPEG标准中，图像编码/解码中的这三种图像类型的合成方法是编码器的事情。因此，用户可以根据应用选择压缩率、随机访问功能和延迟时间作为优先。
输入到MPEG解码器中的输入视频序列(输入视频信号)被分成单个图像，其中每个图像是I图像、P图像和B图像这三种图像类型中特定的一种类型。在这些类型中，使用P图像和B图像的视频信号来计算与由参考图像中得到的运动预测信号的差别。下文中将输入视频信号与运动预测信号之间的差别称为预测残差信号。
为了利用最初的空间冗余性，执行预测残差信号的DCT变换。接下来，通过执行量化这一不可逆过程去除不太重要的信息。对量化后的DCT系数进行交错扫描(zigzag scan)，并且使用附加信息(例如运动矢量，等等)进行可变长度编码，而且将其存储在比特流的合适位置中。虽然编码参数略有不同，但MPEG算法从DCT变换到可变长度编码的编码处理在本质上和JPEG方法相同。
图2解释了进行传统的跳帧处理的图像压缩方法。例如，日本专利申请公开No.11-177986揭示了一种类似的图像压缩方法。
在图2的传统跳帧处理中考虑了这种情形：通过MPEG2编码器以IBBPBB格式对输入视频信号(视频序列)进行编码，并且进行复用处理。
在图2的情形中，MPEG2编码器进行跳帧处理从而保留了第一个图像A(I图像)和第四个图像D(P图像)而抛弃了第二个图像B、第三个图像C、第五个图像E和第六个图像F。可以利用第一个图像A(I图像)作为参考帧对第四个图像D(P图像)进行预测编码。
对应于各个图像变化时刻的第一、第四和第七个图像A、D和G在对应于各个图像的PTS(picture time stamp，图像时间标记)的时间上进行解码，并且显示解码后的图像数据。例如，假设以30帧/秒的等间隔对图2示例中的视频信号进行解码。在此情形中，作为跳帧处理结果而保留的第一、第四和第七个图像A、D和G的各个编码数据以10帧/秒的等间隔进行解码，并且显示解码后的图像数据。
输入到MPEG编码器中的输入视频信号包含必须参照其它帧(I图像、P图像)进行预测编码的帧(P图像、B图像)。因此，通过MPEG1/2视频技术进行数字信号的图像压缩的传统系统存在不能对输入视频信号简单地进行跳帧处理的问题。
因此，在传统系统的情况下，通过图像压缩创建的信息的数量巨大，并且传统的系统很难使用具有预定存储容量的硬盘驱动器进行长时间的记录和再生。
【发明内容】
本发明的一个目的是提供消除上述问题的改进的图像压缩设备及方法。
本发明的另一个目的是提供一种图像压缩设备，它可以在视频序列的图像压缩之前在MPEG1/2视频格式的输入视频序列中跳过预定的帧，从而将数字信号高效地编码为更少量的代码，并且可以减少存储信息的数量，而无需对传统的编码方法进行大的改动。
本发明的另一个目的是提供一种图像压缩方法，它可以在视频序列的图像压缩之前在MPEG1/2视频格式的输入视频序列中跳过预定的帧，从而将数字信号高效地编码为更少量的代码，并且可以减少存储信息的数量，而无需对传统的编码方法进行大的改动。
通过一种图像压缩设备实现了本发明的上述目的，该设备包括：编码单元，它对具有多个帧的输入视频序列进行预测编码；第一单元，其在输入视频序列中以预定的间隔保留第一帧，使编码单元进行第一帧的预测编码；第二单元，其抛弃位于输入视频序列中两个第一帧之间的第二帧，使编码单元跳过各个第二帧并且对紧接在第二帧之前的相应的一个第一帧进行预测编码；输出单元，仅输出与第一单元相关的编码单元生成的第一帧的编码数据，作为整个输入视频序列的预测编码结果。
通过一种图像压缩方法实现了本发明的上述目的，该方法包括以下的步骤：在具有多个帧的输入视频序列中以预定的间隔保留第一帧，使编码单元进行第一帧的预测编码，该编码单元进行输入视频序列的预测编码；抛弃位于输入视频序列中两个第一帧之间的第二单元帧，使编码单元跳过各个第二帧，并且对紧接在第二帧之前的相应的一个第一帧进行预测编码；仅输出与所述跳过步骤相关的编码单元生成的第一帧的编码数据，作为整个输入视频序列的预测编码结果。
根据本发明的图像压缩设备和方法，可以跳过MPEG1/2视频格式的输入视频序列中预定的帧，而无需对传统的编码方法进行大的改动。本发明的图像压缩设备和方法可以低成本地减少存储信息的数量。因此，如果本发明的图像压缩设备和方法应用于图像编码/解码系统，当把压缩视频信号存储于具有预定存储容量的硬盘驱动器中时，可以低成本地减少压缩视频信号的数量。
【附图说明】
由以下的详细说明，结合附图，可以更清楚地理解本发明的其它目的、特征和优点。
图1是用于解释根据本发明的图像压缩方法的原理的图；
图2是用于解释传统图像压缩技术的原理的图；
图3是用于解释MPEG1/2视频格式的视频序列的数据结构的图；
图4是应用了本发明的图像压缩设备的一个实施例的图像编码/解码系统的框图；
图5是用于解释图4的图像编码/解码系统中视频信号流的框图；
图6是用于解释本发明的一个实施例进行的跳帧处理的流程图。
优选实施例说明
现在将参照附图描述本发明的优选实施例。
图4显示了应用了本发明的图像压缩设备的一个实施例的图像编码/解码系统。
如图4所示，图像编码/解码系统1包括NTSC(National TelevisionSystem Committee，国家电视系统委员会)解码器2、音频ADC(模数转换器)4、MPEG2编码器10、系统总线11、HDD(硬盘驱动器)15、IDE(Integrated Device Electronics，集成设备电路)接口16、视频放大器22、音频DAC(数模转换器)24、MPEG2解码器20、CPU 30、RAM 32和ROM 34。
图4的图像编码/解码系统1具有两个主要功能。一个主要功能是记录功能，即利用MPEG2编码器10对输入模拟AV(音频/视频)信号进行编码并将压缩数据记录在硬盘驱动器15中。另一个功能是再生功能，即从硬盘驱动器15中读出压缩数据，利用MPEG2解码器20对压缩数据进行解码并输出重新构建的模拟AV信号。
在图4的图像编码/解码系统1中，进行MPEG2视频格式的编码/解码处理，并且压缩数据的格式为MPEG2_PS。然而，本发明并不局限于该实施例，并且本发明可以应用于采用MPEG1视频格式或其它格式的图像编码/解码系统。
下面将给出图4中图像编码/解码系统1的信号处理流程。
首先将描述在进行记录功能时的信号处理流程。
输入模拟视频信号(NTSC_S_VIDEO)被传送至NTSC解码器2。所接收到的输入信号由NTSC解码器2转换为ITU-R656格式的数字信号。转换后的视频信号由NTSC解码器2传送至MPEG2编码器10。
输入模拟音频信号(AUDIO_LR)被传送至音频ADC 4。所接收到的输入信号由音频ADC 4转换为I2S格式的数字信号。转换后的音频信号由音频ADC传送至MPEG2编码器10。
在MPEG2编码器10中，视频信号被编码为MPEG2视频MP@ML格式，并且音频信号被编码为MPEG1音频层2格式。
此外，在MPEG2_PS格式的编码数据中，复用处理单元(下面将对该单元进行描述)进行视频信号和音频信号两者的编码数据的复用处理。
MPEG2_PS格式的编码数据(流)由MPEG2编码器10的8位输出端口传送至IDE接口16。此外，通过IDE接口16将MPEG2_PS格式的编码数据传送至硬盘驱动器(HDD)15，从而存储于硬盘驱动器15中。
接下来将描述图4中图像编码/解码系统1进行再生功能时的信号处理流程。
MPEG2解码器20通过IDE接口16读出存储在硬盘驱动器15中的编码数据(流)。在MPEG2解码器20中，进行读出编码数据(MPEG2_PS格式)的分离处理，并且将读出的编码数据分离为MPEG2视频MP@ML格式的编码数据和MPEG1音频层2格式的编码数据。
此外，在MPEG2解码器20中，编码数据(MPEG2视频MP@ML格式)被解码为MPEG2视频信号，并且进一步转换为NTSC格式的视频信号。MPEG2解码器20将该视频信号输出到视频放大器(AMP)22。
此外，在MPEG2解码器20中，MPEG1音频层2格式的编码数据被解码为I2S格式的音频信号。MPEG2解码器20将该音频信号输出至音频DA转换器(DAC)24。
视频放大器22放大NTSC格式的输入视频信号，并输出模拟视频信号(NTSC_S_VIDEO)。音频DA转换器24转换I2S格式的输入音频信号，并输出模拟音频信号(AUDIO_LR)。输出AV信号被传送至外部再生系统(未显示)并由外部再生系统进行再生。
对图4的图像编码/解码系统1进行配置，使得MPEG2编码器10、IDE接口16和MPEG2解码器20通过16位系统总线11相互连接，并且通过系统总线11实现CPU 30、RAM 32和ROM 34之间的16位数据的传输。
接下来描述图4的图像编码/解码系统1中IDE接口16的功能。
IDE接口16具有由MPEG2编码器10的8位输出端口向硬盘驱动器15进行MPEG2 PS格式的编码数据(流)的DMA(直接存储器访问)传输的功能。IDE接口16的DMA传输功能的起动、停止和寻址是利用CPU 30的寄存器设置实现的。
IDE接口16具有把存储在硬盘驱动器15中的编码数据(流)向MPEG2解码器20进行DMA传输的功能。该DMA传输功能的起动、停止和寻址也是利用CPU 30的寄存器设置实现的。
CPU 30和IDE接口16是由系统总线11相互连接的，这使CPU 30可以通过IDE接口16访问硬盘驱动器15的预定地址。
图5显示了图4的图像编码/解码系统的MPEG2编码器10中的视频信号流。
如图5所示，图4的图像编码/解码系统还包括均连接至系统总线11上的SDRAM(同步动态随机访问存储器)12和快速ROM(flash ROM)13。MPEG2编码器10包括视频控制单元5、视频编码器6、音频编码器7、复用处理单元8、SDRAM接口17、CPU 18、DMAC(直接存储器访问控制器)19和内部总线21。
通过视频控制单元5将MPEG2编码器10的输入视频信号写入SDRAM 12中。8DRAM 12可以如图5所示位于MPEG2编码器10之外。或者，SDRAM 12可以在MPEG2编码器10之中。视频信号由SDRAM 12中读出，并且通过视频控制单元5传送至视频编码器6。在视频编码器6中，接收到的视频信号被编码为MPEG2视频MP@ML格式。
MPEG2编码器10的输入音频信号被传送至音频编码器7。在音频编码器7中，接收到的音频信号被编码为MPEG1音频层2格式。
复用处理单元8对来自视频编码器6的MPEG2视频MP@ML格式的编码数据和来自音频编码器7的MPEG1音频层2格式的编码数据进行复用处理，并生成MPEG2_PS格式的编码数据(流)。
MPEG2_PS格式的编码数据由MPEG2编码器10的8位输出端口输出至IDE接口16。
如图5所示，SDRAM接口17、CPU 18和DMA控制器19位于MPEG2编码器10中，并且这些单元通过内部总线21相互连接。此外，SDRAM接口17连接至16位系统总线11。因此，CPU 18可以通过SDRAM接口17访问SDRAM 12的预定地址。
DMA控制器19控制DMA传输处理，其中数据直接在HDD 15和SDRAM 12之间传输而无需由CPU 18进行控制。
此外，快速ROM 13连接至系统总线11并用于存储使CPU 18执行本发明的跳帧处理(下文将对此进行描述)的程序。或者，可以在ROM 34中存储使CPU 18执行本发明的跳帧处理的程序。
图1解释了执行根据本发明的跳帧处理的图像压缩方法的原理。
在图1的跳帧处理中，假设输入视频信号(视频序列)由MPEG2编码器10编码为IPPP格式，并且MPEG2编码器10进行复用处理。
在图1的跳帧处理中，MPEG2编码器10进行跳帧处理，保留第一个图像A(I图像)和第四个图像B(P图像)而抛弃第二、三个图像和第五、六个图像。本来，不参考第四个图像B之前的第三个图像就无法对第四个图像B的编码数据进行解码。但先前的所有图像(第一到第三个图像)是由同一个图像A编码的。因此，可以将第一个图像A(I图像)用作参考帧而对第四个图像B(P图像)进行预测编码。
在对应于各个图像的PTS(图像时间标记)的时间上对与各个图像变化时刻相应的第一、第四和第七个图像A、B和C进行解码，并且显示解码的图像数据。例如，假设图1的示例中视频信号以30帧/秒的等间隔进行编码。在此情况下，作为跳帧处理的结果而保留下来的第一、第四和第七个图像A、B和C的编码数据以10帧/秒的等间隔进行解码，并且显示解码后的图像数据。
图3显示了MPEG1/2视频格式的视频序列中各个图像帧的数据结构。
基于MPEG1/2视频格式，输入MPEG2编码器的视频序列在开始处包含序列头并且在其末尾包含序列尾。
序列头包含与整个视频序列相关的信息，其中包括指示图像大小的尺寸信息、指示每秒编码的帧数目的帧数信息，以及指示传输速度的速率信息。
此外，视频序列由一个或多个GOP(group of picture，图像组)构成。一个GOP包括一个GOP头和一个或多个图像。多个GOP中每一个内的图像包括I图像(帧内编码图像)、在解码过程中需要使用时间轴上先前的I图像的信息的P图像(预测编码图像)，和在解码过程中需要使用前面和后面的I或P图像的信息的B图像(双向预测编码图像)。I图像总是作为多个GOP中每一个的头端图像而插入。在GOP头中包含用于在图像解压缩时实现与音频数据的时间匹配的图像时间标记(PTS)信息。
在MPEG编码器中，输入视频序列被编码为两个或更多个具有图3所示数据结构的视频包(video pack)。在本发明的跳帧处理中，对每个视频包进行编码数据(流)的跳过，并且跳过包含由跳帧确定的图像的视频包。
输入视频流中包含的多个GOP中每一个的图像数量设置为一个任意值。
如图3所示，各个视频包都包含2048字节的信息，并且由包头和编码数据或视频PES(packetized elementary stream，打包基本流)组成。
起始视频PES位于输入视频序列的各个图像的头端的视频包中。填充PES插入在输入视频序列的各个图像的尾端的视频包中。
此外，一个图像相当于运动图像信号的一个帧的一屏画面，并且由I、P和B这三种类型图像中任何一种构成。
图像标题中包含用于识别I、P和B图像中特定图像类型的信息，以及用于指定各个图像的显示顺序的信息。
如上所述，在本发明的跳帧处理中，对每个视频包进行编码数据(流)的跳过，并且跳过包含由跳帧处理确定的图像的视频包。视频流内被连续跳过的图像数量是变化的。这意味着本发明的跳帧处理还包含跳过0个图像的情况。不对跳过的图像进行编码，而是对紧接在被跳过的图像之前的相应的一个保留图像进行编码。
MPEG2编码器10可以进行本发明的跳帧处理。或者，后级系统可以进行本发明的跳帧处理。此外，还可以使用下列两种方法之一配置对紧接在被跳过的图像之前的相应的一个保留图像进行编码的设备。一种方法是根据输入视频信号的各个图像的图像类型(I、P、B)的顺序，MPEG2编码器10为每个被跳过的图像执行同一图像的编码。另一种方法是MPEG2编码器10在对输入视频信号进行编码之前抛弃不必要的图像，然后进行同一图像的编码。
图6是用于解释由本发明的图像压缩设备的一个实施例进行的跳帧处理的流程图。
本实施例中的跳帧处理是由图5的MPEG2编码器10中的CPU 18进行的。CPU 18根据快速ROM 13中存储的程序进行图6的跳帧处理。
或者，也可以配置本发明的图像压缩设备，使得CPU 30(它控制MPEG2编码器10)根据ROM 34中存储的程序进行图6的跳帧处理。
在图6所示的跳帧处理中，以IPPP格式对MPEG2编码器10的输入视频信号进行编码。此外，基于图3的数据结构对输入视频信号进行编码，并且对各个视频包进行跳帧处理。
在图6中的跳帧处理中，“A”(一个正整数)指示输入视频信号的各个GOP中的图像数目，“B”(一个正整数)指示保留图像的间隔，“C”(一个由1开始的整数)指示从头端图像到目标图像的计数。图6的跳帧处理中这些参数A、B和C的处理是利用CPU 18的寄存器设置实现的。
此外，在本实施例中，参数B(指示保留图像的间隔)被设置为一个预定值(一个正整数)。
在以下的说明中，术语“帧”与图像(或视频包)具有相同的含义。
如图6所示，当视频编码器6的编码开始时，CPU 18从SDRAM 12中读出输入视频序列的一个帧。CPU 18根据所读取的帧中包含的视频包的标题信息判断当前视频包是否为输入视频序列的头端视频包(步骤S1)。
当步骤S1的判断结果为“是”时，CPU 18对计数C加1(步骤S2)。在对计数C加1后，CPU 18进行下面的步骤S3。如前面所述，计数C的初始值被设置为-1。
当步骤S1的判断结果为“否”时，CPU 18计算计数C与参数B(保留图像的间隔)的值的除法并求出除法的余数，而不对计数C加1。CPU 18判断计算的结果是否等于零(步骤S3)。
即，如果目标帧位于输入视频序列中预定的间隔处，则CPU 18进行保留目标帧的处理。否则，CPU 18如同图1的示例中那样进行跳过目标帧的处理。
当步骤S3的判断结果为“否”时，CPU 18执行跳过目标帧的当前视频包并取得目标帧的下一个视频包的处理(步骤S4)。
当步骤S3的判断结果为“是”时，CPU 18执行保留目标帧的当前视频包并取得目标帧的下一个视频包的处理(步骤S5)。
在步骤S4或步骤S5完成之后，CPU 18判断目标帧是否变成了下一个GOP的头端图像并且当前GOP的图像数目“A”变化(步骤S6)。
当步骤S6的判断结果为“是”时，CPU 18将计数“C”复位为-1(初始值)(步骤S7)。在执行步骤S7之后，CPU 18执行后继的步骤S8。
当步骤S6的判断结果为“否”时，CPU 18判断目标帧是否包含指示输入视频序列结束的标题信息(步骤S8)。
当步骤S8的判断结果为“是”时，CPU 18终止图6的跳帧处理。此时，CPU 18使视频编码器6对处理过的视频序列执行编码，然后使复用处理单元8执行复用处理。从而，在执行上述的跳帧处理之后，MPEG2编码器10把编码数据从MPEG2编码器10的8位输出口输出到IDE接口16。
当步骤S8的判断结果为“否”时，CPU 18重复上述步骤S1-S8的处理，直至检测到输入视频信号的结束。
在本实施例的跳帧处理中，通过控制视频编码器6，CPU 18抛弃位于输入视频序列中保留的两个帧之间的帧，并对紧接在跳过的帧之前保留的相应的一个帧进行预测编码。然后，CPU 18使视频编码器6向复用处理单元8输出编码数据。对于输入视频序列中预定间隔(B)处的帧，CPU 18将编码数据输出到复用处理单元8而不跳过它们。
通过控制复用处理单元8，CPU 18抛弃所跳过的帧的编码数据，并且只对保留下来的帧的编码数据与来自音频编码器7的音频信号的编码数据进行复用处理。
如上所述，根据本发明的图像压缩设备和方法，无需对传统的编码方法进行大的改动即能够跳过MPEG1/2视频格式的输入视频序列中预定的帧。本发明的图像压缩设备和方法允许以低成本减少存储信息的数量。因此，如果将本发明的图像压缩设备和方法应用于编码/解码系统，就能够以低的成本减少存储在具有给定存储容量的硬盘驱动中的压缩视频信号的数量。
本发明并不限于上述的实施例，可以不脱离本发明的范围而进行多种变化和改进。