信息处理装置及方法、程序和记录介质 【技术领域】
本发明涉及一种用于记录与主音频和视频数据同步再现的子数据的信息处理装置和方法，并且涉及一种用于该信息处理装置的程序以及一种在其上记录该信息处理装置所用程序的记录介质。
背景技术
例如，在专利文献1(日本专利特开平出版物2002-158972)中描述一种用于在记录介质如光盘上记录已经根据MPEG2(运动图象专家组第二版)编码的视频数据传输流。
图1示出根据MPEG编码的视频信号的帧结构的图象格式。在图1中，暗条纹代表前场(top_field)中的行，而白条纹代表后场(bottom_field)中的行。在具有(4∶3)长宽比(aspect ratio)的NTSC传输图象信号格式中，一个帧总共有480行，其中，前场240行和后场240行。水平方向上象素的数量为704个象素。图象层的头部信息中的一位标记top_field_first代表在时间上前场和后场中哪一个先显示。当top_field_first＝1时，在时间上前场先显示。
图2示出MPEG解码图象的格式和传输图象的格式之间的空间关系。传输图象的格式是具有4∶3长宽比地NTSC制式。一帧的有效象素区(MPEG解码图象的象素区)由780象素×480行组成。传输图象格式包括水平消隐区和垂直消隐区的无效区。
除了前面的标记top_field_first以外，还传送另一标记repeat_first_field。标记repeat_first_field是表示有重复场的标记。诸如电影的胶片资料是由每秒24帧组成的数据。相反，诸如NTSC制式视频信号的视频信号具有每秒30帧的格式。因而，当胶片资料转换为视频信号时，需要用24帧产生30帧的处理。此处理包括根据预定的转换方案把两个场转换为三个场的处理。因而，此处理一般称作2∶3下拉。换句话说，每五帧就自动地重复产生两次第一场。结果，24帧就转换为30帧。
当通过前面的2∶3下拉处理得到的视频信号根据MPEG压缩时，由于为了增加帧数而被插入的场(重复场)的信息是冗余的，因此，对视频信号进行编码，以便除去重复场并且提高压缩效率。以下处理称作逆向2∶3下拉处理：检测每秒24帧通过2∶3下拉处理而转换为每秒30帧的视频数据的重复场；除去重复场；并且把帧数减少到每秒24帧。
下面结合图3描述把每秒24帧的胶片资料转换为每秒30帧的NTSC制式电视资料的处理，即2∶3下拉处理。胶片资料由每秒两帧组成。相同图象的两个场(第一和第二场)由胶片资料的每个场组成。结果，产生每秒48场的图象信号。随后，胶片资料的4个帧(8个场)转换为视频信号如NTSC制式视频信号的5个帧(10个场)。
在图3中，被梯形包围的三个场中在时间上最后的一个场是被重复以增加场数的场，即重复第一场。重复第一场每5帧出现两次。已被执行2∶3下拉处理的视频信号附有两个标记top_field_first和repeat_first_field。在帧第一结构中，标记top_field_first是表示第一场是前场或后场的标记。标记repeat_first_field是表示有重复场的标记。
如上所述，当视频信号根据MPEG2编码并且NTSC制式的帧频率为29.97Hz时，为每幅图象设置两个标记top_field_first和repeat_first_field的值。另外，序列头的frame_rate设定为29.97Hz。
对于另一种电视制式，PAL制式和NTSC制式一样是众所周知的。长宽比(4∶3)的PAL制式具有25Hz的帧频，并具有一帧由720(象素)×576(行)组成的结构。在PAL制式中，基本上，设定top_field_first＝1、repeat_first_field＝0、序列头的frame_rate＝25Hz。换句话说，前场和后场由电影的一帧制成。获得的视频信号记录在记录介质上。因而，在PAL制式中，视频信号的再现速度比原始电影的快25/24倍。
如上所述，在标准分辨率格式中，NTSC制式和PAL制式在图象尺寸和帧频上是不同的。然而，例如在高分辨率(HD：高清晰度)格式中，NTSC制式的图象尺寸与PAL制式的相同。因而，当电影源被转换为每一种格式的视频信号时，只需要转换帧频。这两种帧频不同而图象尺寸相同的制式称作NTSC范围和PAL范围。
通常，转换为NTSC视频信号的原始视频信号的格式与转换为PAL视频信号的原始视频信号的格式不同。因而，为了编辑其上例如记录电影源的记录介质，应该准备可适当地转换为所述两种制式的视频信号。因而，处理两种制式中的视频信号是费力的。
近年来，已经使用逐行格式显示监视器。到目前为止，在NTSC制式中，难以把29.97Hz的隔行运动图象转换为59.94(＝2×30×(1000/1001))Hz的逐行运动图象并显示转换图象。由于被执行2∶3下拉处理的视频信号已被不规则编码，因此，不容易从MPEG2视频流的解码运动图象中检测逐行帧。
另外，在PAL制式中，每秒24帧的电影源以25Hz的帧频快速再现。因而，视频信号的再现速度比原始电影的快25/24倍。结果，音频的音调变高。
【发明内容】
因而，本发明的目的是提供一种允许在NTSC范围和PAL范围内执行相同编码的信息处理装置以及方法、程序和记录介质，其中，NTSC范围的电影图象容易转换为59.94Hz的逐行运动图象，并且防止PAL范围的再现速度比原始电影增加25/24倍。
为了解决以上问题，本发明的权利要求1是一种用于在记录介质上记录视频信号的信息处理装置，所述视频信号能以29.97Hz、59.94Hz、25Hz和50Hz中的所有帧频显示，该装置包括：
压缩编码部件，该部件用于产生编码视频位流，所述编码视频位流具有NTSC范围和PAL范围所共用的尺寸、24Hz或23.976Hz的帧频以及逐行格式；以及
记录部件，该部件用于在记录介质上记录编码视频位流。
本发明的权利要求2是一种用于在记录介质上记录视频信号的信息处理方法，所述视频信号能以29.97Hz、59.94Hz、25Hz和50Hz中的所有帧频显示，该方法包括以下步骤：
产生编码视频位流，所述编码视频位流具有NTSC范围和PAL范围所共用的尺寸、24Hz或23.976Hz的帧频以及逐行格式；以及
在记录介质上记录编码视频位流。
本发明的权利要求3是一种用于在记录介质上记录视频信号的信息处理程序，所述视频信号能以29.97Hz、59.94Hz、25Hz和50Hz中的所有帧频显示，该程序包括以下步骤：
产生编码视频位流，所述编码视频位流具有24Hz或23.976Hz的帧频以及逐行格式；以及
在记录介质上记录编码视频位流。
本发明的权利要求4是一种其上记录用于信息处理装置的计算机可读程序的记录介质，所述信息处理装置用于记录能以帧频29.97Hz、59.94Hz、25Hz或50Hz显示的视频信号，该程序包括以下步骤：
产生编码视频位流，所述编码视频位流具有NTSC范围和PAL范围所共用的尺寸、24Hz或23.976Hz的帧频以及逐行格式；以及
在记录介质上记录编码视频位流。
本发明的权利要求5是一种其上视频信号记录为压缩编码位流的记录介质，所述视频信号能以29.97Hz、59.94Hz、25Hz和50Hz中的所有帧频显示，所述压缩编码视频位流具有NTSC范围和PAL范围所共用的尺寸、24Hz或23.976Hz的帧频以及逐行格式。
本发明的权利要求6是一种用于从记录介质再现压缩编码视频位流的信息处理装置，所述压缩编码视频位流具有NTSC范围和PAL范围所共用的尺寸、24Hz或23.976Hz的帧频以及逐行格式，该信息处理装置包括：
用于从记录介质再现编码视频位流的部件；
解压缩解码部件，该部件用于对再现的编码视频位流进行解码，并且产生具有23.976Hz或24Hz帧频和逐行格式的视频信号；以及
视频转换部件，该部件用于把解压缩解码部件的输出转换为具有29.97Hz、59.94Hz、25Hz或50Hz帧频的视频信号。
本发明的权利要求15是一种用于信息处理装置的程序，该装置从记录介质再现压缩编码视频位流，所述压缩编码视频位流具有NTSC范围和PAL范围所共用的图象尺寸、24Hz或23.976Hz的帧频以及逐行格式，该程序包括以下步骤：
从记录介质再现编码视频位流；
对再现的编码视频位流进行解码，并且产生具有23.976Hz或24Hz帧频和逐行格式的视频信号；以及
把在解压缩解码步骤中获得的视频信号转换为具有29.97Hz、59.94Hz、25Hz或50Hz帧频的视频信号。
本发明的权利要求16是一种其上记录用于信息处理装置的计算机可读程序的记录介质，该装置从记录介质再现压缩编码视频位流，所述压缩编码视频位流具有NTSC范围和PAL范围所共用的图象尺寸、24Hz或23.976Hz的帧频以及逐行格式，该程序包括以下步骤：
从记录介质再现编码视频位流；
对再现的编码视频位流进行解码，并且产生具有23.976Hz或24Hz帧频和逐行格式的视频信号；以及
把在解压缩解码步骤中获得的视频信号转换为具有29.97Hz、59.94Hz、25Hz或50Hz帧频的视频信号。
【附图说明】
图1为描述MPEG解码图象格式的示意图。
图2为描述MPEG解码图象格式和传输图象格式之间关系的示意图。
图3为描述常规2∶3下拉处理的示意图。
图4A和图4B为描述根据本发明实施例的盘上格式的示意图。
图5为示出根据本发明实施例的编码器系统的框图。
图6为示出根据本发明实施例的解码器系统的框图。
图7为描述根据本发明实施例的视频信号显示格式转换处理的示意图。
图8为描述从24p到30i的转换处理和从24p到60p的转换处理的示意图。
图9为描述从23.976p到29.97i的转换处理和从23.976p到59.94p的转换处理的示意图。
图10A和图10B为描述从24p到29.97i的转换处理和从24p到59.94p的转换处理的示意图。
图11为描述从24p到25i的转换处理和从24p到50p的转换处理的示意图。
图12A和图12B为示出从23.976p到25i的转换处理和从23.976p到50p的转换处理的示意图。
图13为示出根据本发明的应用于NTSC范围的再现方法的处理流程的流程图。
图14为示出根据本发明的应用于PAL范围的再现方法的处理流程的流程图。
【具体实施方式】
以下结合附图描述本发明的实施例。根据本发明，假设记录介质的视频格式(如MPEG2格式)为24Hz(或23.976Hz(＝24×(1000/1001)Hz))逐行格式。另一方面，如图4A所示，对于有效图象区H×V(1920×1080)的HD视频电视格式，已经对NTSC范围的29.97i(帧频29.97Hz的隔行视频信号)和PAL范围的25i(帧频25Hz的隔行视频信号)进行标准化。
根据本发明，如图4B所示，对于NTSC范围和PAL范围，MPEG2视频位流例如以24p或23.976p(帧频24Hz或23.976Hz的逐行视频信号)视频格式记录在记录介质上。本发明也可应用到HD视频信号的其它图象尺寸(1440×1080)。
通常，如图4A所示，对于有效图象区H×V(1280×720)，59.94p(帧频59.94Hz的逐行视频信号)和50p(帧频50Hz的逐行视频信号)已被分别标准化为用于NTSC范围和PAL范围的HD视频电视格式。
在此情况下，根据本发明，如图4B所示，对于NTSC范围和PAL范围，例如，MPEG2视频位流以24p或23.976p视频格式记录在记录介质上。用于记录介质的视频格式的24Hz帧频与原始电影源的每秒24帧相对应。帧频23.976Hz是监视器的显示信号容易转换为监视器的帧频29.97Hz显示信号的频率。换句话说，存在(23.976Hz×(5/4)＝29.97Hz)的关系。因而，实际上使用把24Hz帧频转换为30Hz帧频的2∶3下拉处理。
在从记录介质再现电影源的播放器一侧上，再现的视频数据根据第一判断和第二判断而转换为视频格式，其中，所述电影源的帧频已被转换并且已执行诸如MPEG2编码处理的编码处理，第一判断表示记录介质的视频格式是24p或23.976p，而第二判断表示显示监视器的显示视频格式是29.97i或59.94p(对于NTSC范围)或者是25i或50p(对于PAL范围)。
下面，描述本发明的实施例。在图5中，参考号10代表MPEG2视频编码器。对于输入信号，准备从电影源胶片产生的24Hz(或23.976Hz)数字逐行视频信号。按以下两种方法产生输入的视频信号。
对于第一方法，每秒24帧的电影源转换为24Hz(或23.976Hz)逐行视频信号。对于第二方法，电影源通过2∶3下拉处理而转换为30Hz(或29.97Hz)隔行视频信号。随后，隔行视频信号通过逆向2∶3下拉处理而进行逆向转换。结果，复原24Hz(或23.976Hz)的逐行视频信号。当比较第一和第二方法时，第一方法是优选的，因为处理量较小。由于存在23.976Hz(＝24×(1000/1001)Hz)的关系，因此，当从每1001帧稀疏(thin out)一帧而使24Hz的逐行视频信号变稀疏时，可产生23.976Hz的逐行视频信号。
MPEG2视频编码器10对输入的视频信号进行编码，并输出具有以下参数的MPEG2视频位流。
frame_rate＝24Hz(或23.976Hz)
progressive_sequence＝1
top_field_first＝0，repeat_first_field＝0
frame_rate的值与输入视频信号的帧频(24Hz或23.976Hz)相同。
如图5所示，多路复用器11对MPEG2视频位流(V)与音频流(A)和系统信息(S)进行多路复用。结果，多路复用器11输出传输流。ECC(纠错码)编码部分12对传输流执行纠错码编码处理。调制部分13对ECC编码部分12的输出执行数字调制处理。调制部分13的输出提供给写部分14。写部分14把调制部分13的输出记录到记录介质如光盘15上。
图6示出解码器系统实例的结构，该系统对从记录介质如光盘15再现的MPEG2视频位流进行解码，其中，在所述记录介质上已经记录前面视频编码器10的输出。读取部分20从光盘15再现的数据由解调部分21进行数字解调。ECC解码部分22对解调部分21的输出执行纠错码解码处理。ECC解码部分22的输出提供给多路分离器23。多路分离器23把解调部分21的输出多路分离成视频位流(V)、音频流(A)和系统信息(S)。视频位流(V)输入到由参考号24表示的MPEG2视频解码器。解码器24向视频转换部分25输出24Hz(或23.976Hz)的逐行运动图象。帧频的值与MPEG2视频位流的frame_rate相同。
从视频转换部分25输出的视频信号提供给监视器26。监视器26显示视频信号。指定显示监视器显示格式的控制信号提供给视频转换部分25。视频转换部分25把24Hz(或23.976Hz)的逐行运动图象转换为具有指定显示格式的视频信号。
图7示出视频转换部分25所执行的转换处理的列表。以下描述每一种转换方法。
对于视频转换部分25所执行的转换处理，执行从24p到30i的转换处理和从24p到60p的转换处理。结果，产生30i和60p的中间信号。从盘再现的信号是由每秒24个编码帧组成的逐行信号(24p)。从24p到30i的转换处理与结合图3描述的2∶3下拉转换处理相同，不同的是图象尺寸为HD格式。换句话说，执行根据预定转换方案的把两个场转换为三个场的处理。每五个显示帧就重复产生两次第一场。结果，24p转换为30i。当24p转换为60p时，对于24p编码帧中的每两个帧，第一帧和下一帧分别重复两次和三次。结果，获得60p视频信号。
图9示出在显示格式为NTSC范围并且盘格式为23.976p的情况下的转换处理。从23.976p到29.97i的转换处理是用于把帧频23.976Hz的逐行视频信号转换为帧频29.97Hz的隔行视频信号的处理。从23.976p到59.94p的转换处理是用于把帧频23.976Hz的逐行视频信号转换为帧频59.94Hz的逐行视频信号的处理。
当23.976p转换为29.97i时，与图8中所示从24p到30i的转换处理相似地，23.976p编码帧通过2∶3下拉处理而转换为隔行视频信号。当23.976p转换为59.94p时，与图8中所示从24p到60p的转换处理相似地，对于23.976p编码帧中的每两个帧，第一帧和下一帧分别重复两次和三次。结果，获得59.94Hz的逐行视频信号。
图10示出在显示格式为NTSC范围并且盘格式为24p的情况下的转换处理。从24p到29.97i的转换处理是用于把帧频24Hz的逐行视频信号转换为帧频29.97Hz的隔行视频信号的处理。从24p到59.94p的转换处理是用于把帧频24Hz的逐行视频信号转换为帧频59.94Hz的逐行视频信号的处理。
对于NTSC范围，可通过增加另一从24p产生30i的处理和作为60p中间信号的视频信号，而执行从24p到29.97i的转换处理和从24p到59.94i的转换处理。由于存在29.97Hz＝(30×(1000/1001)Hz)的关系，通过从30i信号的每1001个显示帧中稀疏一个显示帧，可产生29.97i信号。另外，由于存在(1/60)×1001×(1/1000)＝(1/59.94)的关系，通过从60p信号的每1001个显示帧中稀疏一个显示帧，可产生59.94p信号。
下面描述稀疏处理的实用实例。一分钟的30i信号由1800个显示帧组成。因而，除0、10、20、30、40和50分钟以外，通过每分钟稀疏两个帧，基本上可从每1001个显示帧稀疏一个显示帧。结果，可产生29.97i信号。另外，一分钟的60p信号由3600个帧组成，因而，除0、10、20、30、40和50分钟以外，通过每分钟稀疏四个帧，基本上可从每1001个显示帧稀疏一个显示帧。结果，可产生59.94p信号。不稀疏显示帧的处理通常称作失帧处理。
图11示出在显示格式为PAL范围并且盘格式为24p的情况下的转换处理。从24p到25i的转换处理是用于把帧频24Hz的逐行视频信号转换为帧频25Hz的隔行视频信号的处理。从24p到50p的转换处理是用于把帧频24Hz的逐行视频信号转换为帧频50Hz的逐行视频信号的处理。
当24p转换为25i时，在每12个编码帧中，前面的11个编码帧和最后的一个编码帧分别重复显示两个场和三个场。结果，产生帧频25Hz的隔行视频信号。当24p转换为50p时，在每12个编码帧中，前面的11个编码帧和最后的一个编码帧分别重复显示两个帧和三个帧。结果，产生帧频50Hz的逐行视频信号。
图12示出在显示格式为PAL范围并且盘格式为23.976p的情况下的转换处理。从23.976p到25i的转换处理是用于把帧频23.976Hz的逐行视频信号转换为帧频25Hz的隔行视频信号的处理。从23.976p到50p的转换处理是用于把帧频23.976Hz的逐行视频信号转换为帧频50Hz的逐行视频信号的处理。
当23.976p转换为25i时，在每12个编码帧中，前面的11个编码帧和最后的一个编码帧分别重复显示两个场和三个场。另外，每1000个显示帧插入一个显示帧。结果，产生帧频25Hz的隔行视频信号。当23.976p转换为50p时，在每12个编码帧中，前面的11个编码帧和最后的一个编码帧分别重复显示两个帧和三个帧。另外，每2000个显示帧插入两个显示帧。结果，产生帧频50Hz的逐行视频信号。
图13为在显示格式为NTSC范围并且盘格式为24p或23.976p的情况下的再现方法所用的流程图。在第一步骤S101中，根据从盘再现的MPEG2视频位流的序列层的信息而判断盘格式的帧频为24Hz或23.976Hz。当帧频为24Hz时，过程前进到步骤S102。当帧频为23.976Hz时，过程前进到步骤S105。
在步骤S102中，判断监视器的显示格式是29.97i或54.94p。当显示格式为29.97i时，过程前进到步骤S103。当显示格式为54.94p时，过程前进到步骤S104。
在步骤S103中，执行从24p到29.97i的转换处理。换句话说，如结合图8所描述的，每两个编码帧就重复显示两个场和三个场。结果，产生30i视频信号。另外，如结合图10所描述的，执行从30i视频信号的每1000个显示帧稀疏一个显示帧的处理。结果，产生帧频29.97Hz的隔行视频信号。
在步骤S104中，执行从24p到59.94p的转换处理。换句话说，如结合图8所描述的，每两个编码帧就重复显示两个帧和三个帧。结果，产生60p视频信号。另外，如结合图10所描述的，执行从60p视频信号的每1000个显示帧稀疏一个显示帧的处理。结果，产生帧频59.94Hz的逐行视频信号。
当步骤S101中的判断结果表示盘格式为23.976Hz时，在步骤S105中，判断监视器的显示格式是29.97i或54.94p。当显示格式为29.97i时，过程前进到步骤S106。当显示格式为54.94p时，过程前进到步骤S107。
在步骤S106中，执行从23.976p到29.97i的转换处理。换句话说，如结合图9所描述的，执行每两个编码帧就重复显示两个场和三个场的处理。结果产生帧频29.97Hz的隔行视频信号。
在步骤S107中，执行从23.976p到54.94p的转换处理。换句话说，如结合图9所描述的，执行每两个编码帧就重复显示两个帧和三个帧的处理。结果产生帧频54.94Hz的逐行视频信号。
图14为在显示格式为PAL范围并且盘格式为24p或23.976p的情况下的再现方法所用的流程图。在第一步骤S201中，根据序列层的信息而判断盘格式的帧频为24Hz或23.976Hz。当帧频为24Hz时，过程前进到步骤S202。当帧频为23.976Hz时，过程前进到步骤S205。
在步骤S202中，判断监视器的显示格式是25i或50p。当显示格式为25i时，过程前进到步骤S203。当显示格式为50p时，过程前进到步骤S204。
在步骤S203中，执行从24p到25i的转换处理。换句话说，如结合图11所描述的，对于24p的每12个编码帧，前面的11个编码帧和最后一个编码帧分别重复显示两个场和三个场。结果，产生帧频25Hz的隔行视频信号。
在步骤S204中，执行从24p到50p的转换处理。换句话说，如结合图11所描述的，对于每12个编码帧，前面的11个编码帧和最后一个编码帧分别重复显示两个帧和三个帧。结果，产生帧频50Hz的逐行视频信号。
当步骤S201中的判断结果表示盘格式为23.976Hz时，在步骤S205中，判断监视器的显示格式是25i或50p。当显示格式为25i时，过程前进到步骤S206。当显示格式为50p时，过程前进到步骤S207。
在步骤S206中，执行从23.976p到25i的转换处理。换句话说，对于每12个编码帧，前面的11个编码帧和最后一个编码帧分别重复显示两个场和三个场。另外，如结合图12所描述的，每1000个显示帧中插入一个显示帧。结果，产生帧频25Hz的隔行视频信号。
在步骤S207中，执行从23.976p到50p的转换处理。换句话说，对于每12个编码帧，前面的11个编码帧和最后一个编码帧分别重复显示两个帧和三个帧。另外，如结合图12所描述的，每1000个显示帧中插入一个显示帧。结果，产生帧频50Hz的逐行视频信号。
尽管本发明已经结合其最佳模式实施例而示出和描述，但本领域中技术人员应该理解，只要不偏离本发明的精神和范围，就可在此对其形式和细节进行前述的和各种其它的改变、省略和增加。例如，根据本发明，记录在记录介质上的视频信号的帧频可固定为24Hz或23.976Hz中的一个。另外，本发明可应用于电影源转换为除MPEG2之外的视频格式的情形。另外，本发明可应用于位流数据记录在除盘之外的记录介质如半导体存储器中的情形。视频转换部分25可由使用微处理器和存储器的软件以及硬件来实现，其中，在存储器中储存程序。
通常，当对从每秒24帧的胶片资料获得的视频信号(对于NTSC范围为29.97Hz帧频，对于PAL范围为25Hz帧频)编码时，对NTSC范围和PAL范围执行不同的处理。相反，根据本发明，由用于NTSC范围和PAL范围的共用编码器系统来执行共同的编码处理。
对于NTSC范围，难以把帧频29.97Hz的隔行运动图象转换为帧频59.94Hz的逐行运动图象。相反，根据本发明，在记录介质上记录逐行运动图象。因而，根据本发明，对于NTSC范围，帧频24Hz或23.976Hz的逐行运动图象容易转换为帧频29.97Hz的隔行运动图象或帧频59.94Hz的逐行运动图象，并进行显示。另外，根据本发明，对于PAL范围，帧频24Hz或23.976Hz的逐行运动图象容易转换为帧频25Hz的隔行运动图象或帧频50Hz的逐行运动图象，并进行显示。
根据本发明，对于PAL范围，可解决视频信号再现速度比原始电影快(25/24倍)的问题。因而，视频信号的再现速度变得与原始电影的相同。
当用帧频24Hz的HDTV摄像机录制电影时，根据本发明，由于视频资料可直接输入到MPEG视频编码器，因此，可方便地处理视频资料。