信号处理及流处理装置和 方法、记录和/或播放装置 本发明涉及一种信号处理装置及方法、记录装置、播放装置、以及记录和播放装置，在从记录介质以可变速率播放被压缩和编码并经DCT(离散余弦变换)记录的视频数据的时候，即使在从记录介质播放的视频数据有损失的情况下，这些装置和方法也能够利用所能够播放的数据，最有效地执行解码。
近年来，已出现了几种用于在记录介质中记录数字视频信号和经网络传输数字视频信号的格式。通常情况下，由于数字视频信号的数据量很大，所以若要将这些信号记录在记录介质上以长期保存，则需要对它们进行压缩和编码。MPEG(运动图像专家组)方法是一种公知的常用压缩编码方法。
MPEG方法是一种混合型的压缩编码方法，其中结合了运动补偿预测编码和DCT编码。也就是说，首先通过计算视频信号的帧间差异来减少时间轴方向上的冗余，然后利用DCT来减少空间轴方向上的冗余。这样就能够进行有效的编码。
在MPEG方法中，一幅屏幕被分成多个宏块，各宏块由例如16个象素×16行组成，宏块进一步分成多个DCT块，各DCT块由例如8象素×8行组成。例如，若视频信号的格式符合NTSC制式，则根据各信号分量之比形成有一个亮度信号Y的4个DCT块和两个色度信号Cr和Cb各自的两个DCT块。以这些DCT块为单位来执行DCT。然后，按“之”形扫描方式，为每个DCT块从DC分量和低频分量到高频分量来排列通过DCT获得的DCT系数，对组成宏块的每个DCT块都要执行这种排列操作。
此外，磁带是一种用于记录视频信号的常用记录介质。在磁带上记录视频信号要按照所谓地“螺线轨道”来进行，这些螺线轨道本身倾斜于磁带行进方向，它们通过旋转磁鼓上设置的磁头(旋转磁头)来形成。在播放时，旋转磁头要准确地跟踪在记录时形成的螺线轨道。
通过使播放时的磁带行进速度高于记录时的磁带行进速度，可以实现例如2倍速、3倍速的播放或搜索。在此情况下，磁带上旋转磁头的跟踪角会不同于螺线轨道的倾斜轴。因此，就不可能跟踪所有在螺线轨道上记录的信号。也就是说，在高速播放时，例如只是扫描了各个螺线轨道的一部分。
在采用MPEG进行压缩编码并将数据记录在磁带类记录介质上的情况下，在进行如上述搜索的高速播放时，只跟踪了各个螺线轨道的一部分。因此，在例如不能获得上述宏块的后半部分的数据的情况下，只能够使用宏块前半部分的DCT块，这将严重降低图像的质量。于是，在一般情况下，存在的问题是很难有效地利用播放数据来获得高质量的播放图像。
因此，本发明的目的是提供一种信号处理装置及方法、记录装置、播放装置、以及记录和播放装置，当播放通过MPEG压缩编码在螺线轨道上记录有数据的磁带时，即使进行高速播放，这些装置和方法也能够获得高质量的图像。
为了实现上述本发明的目的，按照本发明的第一方面，提供了一种信号处理装置，用于将视频数据中包含的每个帧分成多个宏块，并在所分成的每个宏块中包含的多个DCT块的每一个DCT块上分别进行DCT，以产生DCT系数数据，所述信号处理装置包括：转换设备，用于将为每个DCT块单独编码的DCT系数数据的排列，以跨越一个宏块内多个所述DCT块的方式，重新排列成从具有低空间频率的低次所述系数数据到具有高空间频率的高次所述系数数据的顺序。
按照本发明的第二方面，提供了一种用于处理DCT系数数据的信号处理装置，所述DCT系数数据按下述方式产生，即，将视频数据中包含的每个帧分成多个宏块，并在所分成的每个宏块中包含的多个DCT块的每一个DCT块上分别进行DCT，以产生所述DCT系数数据，所述信号处理装置包括：转换设备，用于将以跨越一个宏块内多个DCT块的方式、按照从低次DCT系数数据开始到高次所述系数数据的顺序排列的所述DCT系数数据的排列，为每个所述DCT块单独重新排列成从低次系数数据到高次系数数据的顺序。
按照本发明的第三方面，提供了一种信号处理方法，用于将视频数据中包含的每个帧分成多个宏块，并在所分成的每个宏块中包含的多个DCT块的每一个DCT块上分别进行DCT，以产生DCT系数数据，所述信号处理方法包括：转换步骤，用于将为每个DCT块单独编码的DCT系数数据的排列，以跨越一个宏块内多个所述DCT块的方式，重新排列成从低次系数数据到高次系数数据的顺序。
按照本发明的第四方面，提供了一种用于处理DCT系数数据的信号处理方法，所述DCT系数数据按下述方式产生，即，将视频数据中包含的每个帧分成多个宏块，并在所分成的每个宏块中包含的多个DCT块的每一个DCT块上分别进行DCT，以产生所述DCT系数数据，所述信号处理方法包括：转换步骤，用于将以跨越一个宏块内多个DCT块的方式、按照从低次DCT系数数据开始到高次系数数据的顺序排列的所述DCT系数数据的排列，单独为每个所述DCT块重新排列成从低次系数数据到高次系数数据的顺序。
按照本发明的第五方面，提供了一种用于记录DCT系数数据的记录装置，所述DCT系数数据按下述方式产生，即，将视频数据中包含的每个帧分成多个宏块，并在所分成的每个宏块中包含的多个DCT块的每一个DCT块上分别进行DCT，以产生所述DCT系数数据，所述记录装置包括：转换设备，用于将为每个DCT块单独编码的DCT系数数据的排列，以跨越一个宏块内多个所述DCT块的方式，重新排列成从低次系数数据到高次系数数据的顺序；分组设备，用于通过为每个所述宏块将所述转换设备重新排列的所述系数数据分配给一个固定长度帧来进行分组，并且依次将超出所述固定长度帧的部分分派到随后的所述固定长度帧中未填充的部分；纠错编码设备，用于对所述分组设备分组的相应于多个所述固定长度帧的数据进行采用乘积码的纠错编码；以及，记录设备，用于将所述纠错编码设备纠错编码的数据记录在记录介质上。
按照本发明的第六方面，提供了一种用于播放在记录介质上记录的数据的播放装置，所述数据以下述方式记录在记录介质上，即，将视频数据中包含的每个帧分成多个宏块，并在所分成的每个宏块中包含的多个DCT块的每一个DCT块上分别进行DCT，以产生DCT系数数据；将DCT系数数据以跨越一个宏块内多个所述DCT块的方式，重新排列成从低次DCT系数数据到高次DCT系数数据的顺序；为每个宏块将重新排列的DCT系数数据分配给一个固定长度帧；依次将超出所述固定长度帧的部分分派到随后的所述固定长度帧中未填充的部分；以及，对分组的相应于多个所述固定长度帧的数据进行采用乘积码的纠错编码；所述播放装置包括：播放设备，用于播放在记录介质上记录的数据；纠错设备，用于通过解码所述播放设备播放的所述数据的采用乘积码的纠错代码来执行纠错；拆组设备，用于通过连接所述纠错设备纠错后的相应各宏块数据来重构一个宏块；以及，转换设备，用于将以跨越所述拆组设备重构的一个宏块内多个所述DCT块的方式、按照从低次DCT系数到所述高次系数的顺序排列的所述DCT系数的排列，为每个所述DCT块单独重新排列成从所述低次系数到所述高次系数的顺序。
按照本发明的第七方面，提供了一种记录和播放装置，在记录介质上记录DCT系数数据并从记录介质中播放DCT系数，所述DCT系数数据按下述方式产生，即，将视频数据中包含的每个帧分成多个宏块，并在所分成的每个宏块中包含的多个DCT块组成的区间上分别进行DCT，以产生所述DCT系数数据，所述记录和播放装置包括：第一转换设备，用于将为每个DCT块单独编码的DCT系数数据的排列，以跨越一个宏块内多个所述DCT块的方式，重新排列成从低次所述系数数据到高次所述系数数据的顺序；分组设备，用于通过为每个所述宏块将所述转换设备重新排列的所述系数数据分配给一个固定长度帧来进行分组，并且依次将超出所述固定长度帧的部分分派到随后的所述固定长度帧中未填充的部分；纠错编码设备，用于对所述分组设备分组的相应于多个所述固定长度帧的数据进行采用乘积码的纠错编码；记录设备，用于将所述纠错编码设备纠错编码的数据记录在记录介质上；播放设备，用于播放在所述记录介质上记录的数据；纠错设备，用于通过解码所述播放设备播放的所述数据的采用乘积码的纠错代码来执行纠错；拆组设备，用于通过连接所述纠错设备纠错后的相应各宏块数据来重构一个宏块；以及，第二转换设备，用于将以跨越所述拆组设备重构的一个宏块内多个DCT块的方式、按照从低次DCT系数到高次系数的顺序排列的所述DCT系数的排列，为每个所述DCT块单独重新排列成从所述低次系数到所述高次系数的顺序。
按照上述的方式，本发明的信号处理装置和方法、记录装置、以及记录和播放装置，将为每个DCT块单独编码的DCT系数数据的排列，以跨越一个宏块内多个所述DCT块的方式，重新排列成从低次系数到高次系数的顺序。这样，即使在播放时不能播放一个宏块内的多个DCT块的所有数据的情况下，也能够为每个DCT块使用从低次系数开始的数据。
此外，按照上述的方式，本发明的信号处理装置和方法、播放装置、以及记录和播放装置，将以跨越一个宏块内多个所述DCT块的方式、按照从低次DCT系数到高次DCT系数的顺序排列的DCT系数排列，为每个DCT块单独重新排列成从低次系数到高次系数的顺序。这样，即使在播放时不能播放一个宏块内的多个DCT块的所有数据的情况下，也能够为每个DCT块使用从低次系数开始的数据。
参阅附图，通过下面的详细说明，将会更清楚地了解本发明的上述和其它目的、方面和新特征。附图中：
图1是表示一例本发明实施例的记录和播放装置结构的方框图；
图2是表示一例轨道格式的示意图；
图3A、3B和3C是表示另一例轨道格式的示意图；
图4A、4B、4C、4D和4E是表示一例同步块的示意图；
图5A、5B和5C是表示一例ID和DID位分配的示意图；
图6是表示一例MPEG编码器结构的方框图；
图7A和7B是表示“之”形扫描和变长码编码的示意图；
图8A和8B是表示在流转换器中再排列DCT系数的示意图；
图9是表示一例流转换器结构的方框图；
图10是简要表示流转换器执行过程的流程图；
图11A、11B、11C和11D是表示流转换器内数据变换的示意图；
图12A和12B是表示等长度宏块的形成的示意图。
下面将说明本发明的一个实施例。在该实施例的记录装置中，数字音频信号通过MPEG2方法进行压缩和编码，并通过螺线扫描方法记录在磁带上。此时，按照MPEG方法规范为每个DCT块以频率分量顺序排列的DCT系数，要在组成一个宏块的多个DCT块中以频率分量顺序来重新排列。而且，在播放时，以这种方式排列的DCT系数要再次以符合MPEG方法规范的顺序重新排列，然后输出。
例如，上述处理的结果是，即使在执行高速播放并且只能播放一个宏块数据的一部分的情况下，也能够在组成一个宏块的所有DCT块上，从DC分量和低频分量开始排列各DCT系数。因此，可以有效地利用所能够播放的数据，并可以获得高质量的图像。
首先，为了便于理解，将根据本发明的实施例来描述本发明的技术。在该实施例的记录和播放装置中，按照统一的方式来处理格式互不相同的各种视频信号。例如，除了按照统一的方式处理NTSC制式的525线/60Hz格式的视频信号和PAL制式的625线/50Hz格式的视频信号之外，也按照统一方式来处理诸如隔行扫描行数为1080(以下称作“1080i制式”)或逐行扫描行数为480、720和1080(以下分别称作“480p、720p和1080p制式”)的数字电视广播格式信号。也就是说，可以采用基本上相同的硬件来记录和播放不同格式的视频信号。
此外，在该实施例中，按照MPEG2(运动图像专家组阶段2)方法来压缩和编码视频信号和音频信号。众所周知的是，在MPEG2中结合了运动补偿预测编码和DCT(离散余弦变换)编码。MPEG2数据结构是分层结构，其中按照从最低开始的次序，形成有块层、宏块层、片层、画面层、GOP层和序列层。
块层由DCT块组成，后者是执行DCT的单位。宏块由多个DCT块组成。片层由首标部和不超过一行的任意数目的宏块组成。画面层由首标部和多个片组成。画面对应于一幅屏幕。GOP(画面组)层由首标部、基于帧内编码的I画面、基于预测编码的P和B画面组成。在一个GOP中要至少包含一个I画面，但可以不包含P和B画面。序列层由首标和多个GOP组成。
在MPEG格式中，片是一个变长码序列。在变长码序列中，如果不解码变长码，就不能检测到数据边界。
而且，按字节单位排列的标识码(称为“起始码”)被分别放置在序列层、GOP层、画面层、片层和宏块层的起始处。上述各层的首标部内集中写入了首标、扩充数据或用户数据。各首标部均是变长码序列。
在序列层的首标中写入有图像(画面)的大小(矩阵中的象素数目)。在GOP层的首标中写入有时间码和组成一个GOP的画面数目。
片层中包含的宏块是多个DCT块的一个集合。通过假定0系数和紧随其后的非0序列(电平)的连续次数(行程)值为一个单位，将量化DCT系数的序列形成变长码，从而构成DCT块的编码序列，这将在下面进行详细描述。按字节单位排列的标识码没有被加列宏块和宏块内的DCT块。即，它们不是变长码序列。
下面将要进行详细描述。这里，宏块是将一幅屏幕(画面)分成16个象素×16行的网格之一。例如，将这些宏块沿水平方向连接就形成片。在连续的两片中前一片的最后宏块与后一片的起始宏块相连。不允许两片之间的出现宏块重叠。
在MPEG2方法中，如果数据不是至少以宏块为单位按次序排列的话，则不能解码图像数据。而且，若确定了屏幕的尺寸，则可单独确定每个屏幕的宏块数。
为了避免因重复进行MPEG解码处理和MPEG编码处理而引起图像质量的劣化，可取的方案是在没有MPEG解码编码流的状态下编辑该编码流。此时，为了解码用于预测编码的P画面和B画面，需要在时间上早于它们的画面或当前和以后的画面。因此，编辑单位不可能是一个帧单位。考虑到这种因素，在本实施例中，一个GOP由一个I画面组成。
而且，记录例如一帧记录数据的记录区域是预定的区域。在MPEG2中，由于采用了变长码编码，所形成的各帧数据量的长度相等，以便能够在预定的记录区域内记录在一帧周期内生成的数据。
此外，在本实施例中，为了便于在磁带上进行记录，一片由一个宏块组成，并为一个宏块分配了预定长度的固定帧。
图1示出了一例本实施例的记录和播放装置100的结构。首先，将简要描述该结构。在记录时，从端口101输入预定制式的数字视频信号。MPEG编码器102将此视频信号编码成变长码，并输出变长码(VLC)数据。此数据是符合MPEG2(运动图像专家组阶段2)的基本流(ES)。该输出被提供给选择器103的一个输入端。
此外，为了兼容各种格式，从端口104输入SDTI(串行数据传输接口)格式的数据，SDTI是ASNI/SMPTE 305M定义的接口。从端口104输入包含MPEG2基本流的信号。SDTI接收电路105同步检测该信号。然后，将该信号暂时保存在缓冲器中，并提取出基本流。所提出的基本流被提供给选择器103的另一个输入端。
将选择器103选择和输出的基本流提供给流转换器106。如下所述，在流转换器106中，按照MPEG2规范为各DCT块排列的系数，将对组成一个宏块的多个DCT块按各频率分量进行重新排列。将被再排列和转换的基本流提供给分组电路107。
由于基本流的视频数据被编码成变长码，所以各宏块的数据长度不是固定的。在分组电路107中，将宏块分配到一个固定帧中。此时，超出该固定帧的部分被依次分组到固定帧大小的未填充的部分。以这种方式分组的数据被提供给ECC(纠错编码)编码器108。
将分组视频信号提供给ECC编码器108，并从例如端口109向其提供数字音频信号。在本实施例中，处理的是未经压缩的数字音频信号。ECC编码器108为每个同步块混洗这些信号。混洗后的结果是，对于磁带上的模式来说，数据是均匀排列的。在这些数据中加入例如内校验码和外校验码，并执行采用一种乘积码的纠错编码。然后，用于检测同步的SYNC模式、用于识别同步块的ID、以及用于指示记录数据内容信息的DID加入到纠错编码的数据中。下面将描述SYNC模式、ID以及DID。
ECC编码器108的输出，例如经记录编码电路(未示出)进行信道编码以转换成适于记录的形式，再由记录放大器110放大后，提供给记录头111。记录头111按螺线扫描方式在磁带120上进行记录。下面将详细说明记录方法和格式的细节。
在播放时，播放头130播放在磁带120上记录的信号，并将其提供给播放放大器131。播放信号要经播放放大器131进行均衡和波形整形，并由一个解码电路(未示出)转换成数字信号。播放放大器131输出的播放数字信号提供给ECC解码器132。
在ECC解码器132中，首先根据在记录时加入的SYNC模式进行同步检测，并提取同步块。然后，按照在记录时加入的纠错码来进行纠错。若出现的差错超出了纠错码的纠错能力，则设置一个差错标记来指示这一情况。然后，对记录时混洗的数据进行逆混洗以恢复原始顺序。
ECC解码器132输出的视频数据提供给拆组电路133。拆组电路133释放在记录时形成的分组。也就是说，为了重构原始变长码，将数据长度的单位恢复成宏块。这里，如果上述ECC解码器132设立了差错标记，则差错没有被校正的数据由一遮盖电路(未示出)来校正。例如，通过用“0”填充所有数据或者替换成前一帧的数据，进行数据校正。在ECC解码器132中，也对音频数据执行纠错。将音频数据输出到例如端口139。
拆组电路133的输出提供给流转换器134。在流转换器134中，执行上述流转换器106处理的逆处理。即，为每个DCT块重新排列在所述多个DCT块下按各频率排列的DCT系数。于是，播放信号就转换成符合MPEG2的基本流。
此基本流提供给SDTI传输电路135，借此转换成SDTI格式并输出给端口136。而且，此基本流还提供给MPEG解码器137，借此执行符合MPEG2规范的解码，以将此基本流解码成数字视频信号，并输出到端口138。
在本实施例中，按螺线扫描方式在磁带上记录信号，其中，由旋转的旋转头上设置的磁头形成倾斜轨道。在旋转磁鼓上相互对立的各位置上设置多个磁头。也就是说，若一个磁带与旋转头之间的绕带角(winding angle)约为180°，则旋转头旋转180°可以同时形成多个轨道。而且，将方位互不相同的两个磁头当作一组。多个磁头的设置位置应使相邻轨道的方位互不相同。
图2示出了一例上述旋转头在磁带上形成的轨道格式。这是一个其中按每帧8个轨道执行记录的例子。在该例子的格式中，记录这样的隔行扫描(480i)的视频信号，例如其帧频率为29.97Hz，速率为50Mbps，有效行数为480，有效水平象素数为720。也可以记录这样的隔行扫描(576i)的视频信号，例如其帧频率为25Hz，速率为50Mbps，有效行数为576，有效水平象素数为720。在本例中，为了能够更可靠地播放数据，将一帧数据记录两次，则整个形成16个轨道。
假定将方位互不相同的两个轨道设为一组，则形成一个段。即，8个轨道形成4个段。将轨道号[0]指定给组成该段的一个轨道，将轨道号[1]指定给另一个轨道。如上所述，在图2所示的例子中，一帧数据记录两次。此时，要更换轨道号，并为每个帧指定不同的轨道顺序。于是，即使方位互不相同的一组磁头之一因例如阻塞而不能读，也能够播放数据。
在各轨道中，设置两端记录视频数据的视频区，并设置记录音频数据的音频区，其中音频区夹在两个视频区之间。下面将要说明的图2和图3A、3B和3C示出了磁带上各区的排列。
在本例中，可以处理8个信道音频数据。A1到A8分别表示音频数据的第1信道至第8信道。所记录的音频数据的排列按段单位变化。而且，在本例中，在所记录的视频数据中，对于一个轨道交织4个纠错块的数据，并且视频数据被分成上侧区和下侧区。在下例的视频区的预定位置上设置有系统区。下面将说明纠错块。
一个轨道由多个块组成，这些块称作“同步块”并且长度相等。图2示意性地示出了一个同步块的结构。如在下面将要说明的，该同步块由用于检测同步的SYNC模式、用于识别各同步块的ID、用于指示随后的数据内容的DID、数据分组、以及用于纠错的内校验码组成。数据以同步块为单位按分组进行处理。也就是说，记录或播放的最小数据单位是一个同步块。排列一些同步块以形成例如一个视频区。
在图2中，SAT1(Tr)和SAT2(Tm)是记录伺服锁定信号的区域。此外，在各记录区之间，设置了预定尺寸的空隙Vg1、Sg1、Ag、Sg2、Sg3和Vg2。
这里，所说明的例子中按每帧8个轨道执行记录，但本实施例不受限于该例子。而且，在该实施例中，可以按每帧4个轨道、6个轨道和其它轨道数执行记录。图3A、3B和3C示出了每6个轨道记录一帧的例子。在例子中，一帧没有被记录两次，轨道序列号只是[0]。本实施例的记录和播放装置均能够处理图2中所示的上述轨道格式和此例子中的轨道格式。
图4A、4B、4C、4D和4E示出了一例同步块，它是每个轨道的记录单位。在该实施例中，在一个同步块中保存一个或两个宏块，按照所处理的视频信号格式，一个同步块的尺寸在长度上是可变的。如图4A所示，一个同步块由开始的2字节SYNC模式、2字节ID、1字节DID、被定义成可在例如112字节到206字节之间变化的数据区、以及12字节校验码(内校验码)组成。数据区也称作“有效负载”。
所形成的用于同步检测的开始的2字节SYNC模式是预定的模式。通过检测一SYNC模式是否与一特有模式匹配，来进行同步检测。
ID由ID0和ID1两部分组成，在它们中保存了用于识别个别同步块的信息。图5A示出一例ID0和ID1的位分配。用于识别一个轨道内每个同步块的识别信息(SYNC ID)保存在ID0中。SYNC ID是例如一个序列号。SYNCID由7位表示。在此实施例中，由于例如每个轨道设置了216个同步块，7位SYNC ID能够表示半个轨道。
同步块轨道信息保存在ID1中。若对于该同步块，位7是MSB，位0是LSB，则位7指示该同步块是轨道的上侧还是下侧(UPPER/LOWER)，位5至2指示该轨道的段(SEG NB)。而且，位1指示该轨道方位所对应的轨道号(TRACK)，位0指示该同步块属于视频数据还是属于音频数据(VIDEO/AUDIO)。
有效负载信息保存在DID中。上述ID1的位0的不同值表示不同的DID内容，位0的值取决于数据是视频还是音频数据。图5B示出了一例视频数据的DID(DID VIDEO)的位分配。位7至4未定义(预留，RESERVED)。位3和2指示有效负载的模式(PAYLOAD MD)，诸如有效负载的类型。位3和2是辅助位。位1指示在有效负载中保存了一个宏块还是两个宏块(2MB/1MB)。位0指示在有效负载中保存的视频数据是否是外校验码(Vouter)。
图5C示出了一例音频数据的DID(DID AUDIO)的位分配。位7至4预留(RESERVED)。位3指示有效负载的数据是音频数据还是普通数据(DATA/AUDIO)。若在有效负载中保存了压缩和编码的音频数据，则位3设置成指示音频数据的值。在NTSC制式中的5场序列信息保存在位2至位0(5F Seg)。即，在NTSC制式中，若采样频率为48kHz，则一场视频信号的音频信号是800样本和801样本之一，并以5个场为间隔按次序排列该序列。位2至位0指示在该序列中该信息所处的位置。
再回头参阅图4A至4E，图4B至4E示出了一例上述有效负载。图4B和4C分别示出了在有效负载中保存一个宏块和两个宏块的视频数据的例子。在保存一个宏块的例子中，长度信息LT指示宏块的长度，该宏块放置在最开始的三字节之后。长度信息LT不包含其自身的长度。而且，在图4C所示的例子中，保存了两个宏块，第一个宏块的长度信息LT最先放置，随后放置第一个宏块。然后，在第一个宏块之后，放置指示第二个宏块长度的长度信息LT，接着放置第二个宏块。
图4D示出了在有效负载中保存视频辅助(AUX)数据的例子。在首先的长度信息LT中写入不包含其自身长度的视频辅助数据长度。在该长度信息LT之后保存的是5字节的系统信息、12字节的PICT信息、以及92字节的用户信息。有效负载长度中未填充的部分被预留。
图4E示出在有效负载中保存音频数据的例子。音频数据可以被分配在有效负载的整个长度上。处理该音频数据的方式是这样，例如，在PCM(脉冲编码调制)格式下不执行压缩处理。此外，也可以处理由预定方式压缩和编码的音频数据。
在此实施例中，按照上述方式，由于同步块的长度是可变的，所以记录有视频数据的同步块长度和记录有音频数据的同步块长度，均可以设定成符合信号格式的最佳长度。于是，就可以按统一方式来处理多种不同的信号格式。
下面，将详细说明该记录和播放装置100的各个部分。首先介绍在记录时的处理。例如，符合NTSC制式的亮度信号Y和色度信号Cr和Cb之比为4∶2∶2的数字视频信号，输入到输入端101。该信号提供给MPEG编码器102。
图6示出了一例MPEG编码器102的结构。分块电路151将端口150输出的信号分成例如16个象素×16行的宏块。这些宏块提供到减法器154的一个输入端以及运动检测电路160。此外，输入图像数据也提供给统计处理电路152。在统计处理电路152中，按照预定统计处理计算输入图像数据的复杂度。计算结果输出到比特率控制电路153。
在运动检测电路160中，分块电路151输出的宏块与前一帧(或前一场)的宏块相比较，后者经由如下述的逆量化电路163和逆DCT电路162提供，并且例如通过块匹配而获得运动信息(运动向量)。在运动补偿电路161中，按照此运动信息进行运动补偿，运动补偿结果提供给减法器154的另一个输入端。
减法器154确定在输入图像数据和运动补偿结果之间的差异，并将其提供给DCT电路155。DCT电路155进一步将此差异宏块分成8个象素×8行组成的DCT块，并对每个DCT块执行DCT。DCT电路155输出的DCT系数由量化电路156来量化。在量化过程中，按照比特率控制电路153输出的控制信息来控制比特率。量化的DCT系数提供给逆量化电路163和“之”形扫描电路157。
在“之”形扫描电路157中，“之”形扫描并输出DCT系数，并按照DC分量和低频分量到高频分量的顺序，排列每个DCT块的DCT系数。VLC电路158将此DCT系数形成变长码并作为符合MPEG2的基本流输出到输出端159。输出基本流是以宏块为单位的变长码编码数据。
图7A和7B示意性地示出“之”形扫描电路157和VLC编码158的处理过程。如图7A中所示，假定在DCT块中，例如左上角表示DC分量，水平空间频率和垂直空间频率分别向右和向下方向升高。在“之”形扫描电路157中，DCT块的每个DCT系数从左上角的DC分量开始沿水平和垂直空间频率增大的方向进行“之”形扫描。
于是，在图7B中所示的例子中，得到总共64个(8个象素×8行)DCT系数，它们按频率分量的顺序排列。这些DCT系数提供给VLC电路158，借此形成变长码。即，这些系数中的第一个系数固定为DC分量，从下一个分量(AC分量)开始，各系数组合成一个连续行程和接续的电平，并且被指定了一个代码，从而实现变长码编码。从低(低次)频分量系数到高(高次)频分量系数指定代码AC1、AC2、AC3…，并如此排列。在本说明书中，具有低空间频率的DCT系数由低次DCT系数来表示，具有高空间频率的DCT系数由高次DCT系数来表示。
在VLC电路158变长码编码期间的编码信息提供给比特率控制电路153。比特率控制电路153向量化电路156提供比特率控制信息，以便根据该代码信息和上述统计处理电路152输出的宏块复杂度计算结果，获得适于输出的比特率。按照比特率控制信息，形成固定长度的GOP。
另外，提供给逆量化电路163的DCT系数被逆量化，并由逆DCT电路162解码成图像数据，然后提供给运动检测电路160和运动补偿电路161。
在此实施例中，仅采用了I画面，并没有使用P画面和B画面。因此，在上述MPEG编码器102的结构中，可以省略用于执行帧间或场间运动补偿的结构，即，逆量化电路163、逆DCT电路162、运动补偿电路161和运动检测电路160。
MPEG编码器102和SDTI接收电路105输出的基本流由选择器103选择，并提供到流转换器106。在流转换器106中，重新排列所提供信号的DCT系数。也就是说，在每个宏块内，按照MPEG2规范以每个DCT块频率分量的顺序排列的DCT系数，将以组成该宏块的所有DCT块的频率分量的顺序重新排列。
图8A和8B示意性地示出了在流转换器106中DCT系数的排列。例如，在NTSC制式的视频信号的情况下，由于亮度信号Y和色度信号Cb和Cr之比为4∶2∶2，所以一个宏块由亮度信号Y的4个DCT块(DCT块Y1、Y2、Y3和Y4)和色度信号Cb和Cr各自的2个DCT块(DCT块Cb1、Cb2、Cr1和Cr2)组成。
如上所述，在MPEG2编码器102中，按照MPEG2规范执行“之”形扫描。如图8A所示，每个DCT块的DCT系数是按照从DC分量和低频分量到高频分量的频率分量顺序排列的。在一个DCT块的扫描结束后，按相同的方式，进行下一个DCT块的扫描，并排列DCT系数。
具体地说，在该宏块内，按照从DC分量和低频分量到高频分量的频率分量顺序，排列每个DCT块Y1、Y2、Y3和Y4和每个DCT块Cb1、Cb2、Cr1和Cr2的DCT系数。然后，如上所述，为一个连续行程和接续电平构成的一个集合指定一个代码DC、AC1、AC2、AC3，…，以形成一个变长码。
在流转换器106中，通过解码一次变长码和检测每个系数的界限，在组成宏块的所有DCT块上，按照频率分量的顺序对变长码编码和排列的DCT系数进行重新排列。图8B示出了这种情形。以跨越每个DCT块的方式，按照从DC分量和低频分量到高频分量的频率分量顺序，即从低次系数到高次系数的顺序，排列DCT系数。
具体地说，在该宏块内，以跨越每个DCT块如DC(Y1)、DC(Y2)、DC(Y3)、DC(Y4)、DC(Cb1)、DC(Cb2)、DC(Cr1)、DC(Cr2)，AC1(Y1)、AC1(Y2)、AC1(Y3)、AC1(Y4)、AC1(Cb1)、AC1(Cb2)、AC1(Cr1)、AC1(Cr2)，…的方式，按照包含DC分量的各频率分量的顺序，排列DCT系数。在实际中，为一个连续行程和接续电平构成的一个集合指定的一个代码，按照各频率分量的频率进行排列。
下面将参照图9、10和11A至11D，说明流转换器106的处理过程。图9示出了一例流转换器106的结构。图10简要示出图9所示结构的处理过程的流程图。图11A、11B、11C和11D示出流转换器106内的数据变换。
在图9中，从端口50输入的基本流提供给分离电路51。分离电路51将基本流分离成在宏块层中包含的DCT系数部分和宏块层或更高层的首标部分，即序列首标、GOP首标、画面首标等(图10的步骤S10)。宏块层或更高层的首标部经延迟电路52提供给多工器(MUX)53。
分离电路51分离出的DCT系数部提供给VLD(变长码解码器)电路54。然后，解码变长码，检测DCT系数的界限，并提取相应于各DCT系数的部分(图10的步骤S11)。各DCT系数部分提供给转换电路55。
在转换电路55，执行DCT系数的再排列。在图11B所示的例子中，首标部与基本流是分置的(图11A)，从低次系数到高次系数将提供给转换电路55的DCT系数排列成DC、AC1、AC2、…。对各DCT块以相同的方式重复这种排列。转换电路55以跨越该宏块内每个DCT块的方式，从低次系数到高次系数进行上述排列(图10的步骤S12)。
具体地说，在图11C所示的例子中，首先，提取各DCT块中的DC分量，并按DCT块的顺序排列这些分量。接着，提取各DCT块的初始低频分量AC1，并按DCT块的顺序排列这些分量。这样，在转换电路55中，按照从DC分量和低频分量开始的顺序，从各DCT块中提取对应于频率分量的DCT系数。如上所述，此DCT系数由为一个连续行程和接续电平构成的一个集合指定的一个代码组成。然后，按照各DCT块的顺序重新排列这些代码的相应次序。
具体地说，在转换之前，按照排列成DC、AC1、AC2、…AC63的方式形成每个DCT块的DCT系数(图11B)。然而，如果按照此顺序将DCT系数记录在磁带上，在诸如进行高速播放并且只得到中间块数据的情况下，根本不能播放后半部的各DCT块。因此，在本发明中，以跨越每个DCT块如DC、DC、…、AC1、AC1、…、AC1、AC2、AC2、…、AC63、AC63、…、AC63的方式，从低次系数到高次系数重新排列DCT系数的顺序(图11C)。有了以这种方式再排列的流，即使在诸如只获得中间块数据的情况下，也能够获得每个DCT块的低次系数即DC分量和低频分量。因此，可以从丢失部分流的数据中获得具有最高质量的图像。
以这种方式再排列的DCT系数提供给分组电路56，从中将单独的DCT系数组合成一组。分组电路56中的分组处理与随后的分组电路107的分组处理不同。
分组电路56的输出提供给多工器53。然后，分组的DCT系数和宏块层或更高层的首标部进行多路复合(图11D)，后者经延迟电路52延迟预定时间量后才提供给多工器53。转换后的基本流中再排列的DCT系数和首标部相复合，该基本流输出到端口57。
为了以最短的时间执行流转换，需要按照象素数据的时钟速率来排列DCT系数，以使将当前信号与其前和后的信号相交换的总线得到足够的传输速率。例如，假定象素速率为27MHz/bps(比特每秒)，一个象素长度为8个比特。由于变长码编码结果是使一个象素的最大长度是原来的3倍即24比特，所以带宽要求是27MHz×24比特。这里，通过在81MHz×8比特或54MHz×16比特下执行输入和输出，能够降低此比特宽度，这就不必对宏块的最大长度进行限制。
而且，若限制宏块的最大长度，则得到的带宽应能够使相应量的数据在一个宏块的传输时间内被传送。例如，如果宏块的最大长度被限制为512字节，则应在27MHz×8比特的带宽下执行接口操作。
此外，在流转换器106中，若从外部提供非一个宏块/片的基本流，则流转换器106能够将此基本流转换成一个宏块/片(未示出)。例如，若从端口104输入的基本流是一个带/片，则流转换器106将其转换成一个宏块/片。
此外，流转换器106可以防止从外部提供的基本流超出本装置的记录比特率时出现上溢现象，所述记录比特率即上述GOP单元(未示出)中的固定长度。例如，在流转换器106中，可以将DCT系数的高次系数替换成零，并中断该处理。
这里，在流转换器106中，通过解码DCT系数的变长码来进行DCT系数的再排列，但本发明不受限于该例子。也就是说，可以重新排列已解码变长码的DCT系数。
这样，流转换器106就重新排列了输入的基本流，并将转换后的基本流提供给分组电路107。
基本流转换前后宏块的长度是一样的。而且，在MPEG2编码器102中，即使比特率控制使各GOP单元为固定长度，但从宏块单位的角度上看，该长度也是可变的。在分组电路107中，将该宏块分配给一个固定帧。
图12A和12B示意性地示出分组电路107中一个宏块的分组处理过程。将该宏块分配给具有预定数据长度的一个固定帧，并纳入该帧。若此时采用的该固定帧的数据长度等于同步块长度，后者是在记录和播放时的最小数据单位，这会有利于随后的ECC编码器108进行混洗和纠错编码。例如，以8个宏块的间隔进行处理，并将号码#1、#2、…、#8指定给每个宏块。
图12A示出一例变长码编码结果，其中8个宏块的长度互不相同。在该例子中，宏块#1的数据、宏块#3的数据和宏块#6的数据比一个作为固定帧的同步块的长度要长，而宏块#2的数据、宏块#5的数据、宏块#7的数据和宏块#8的数据与之相比则短。而且，宏块#4的数据长度近似等于一个同步块的长度。
分组处理使宏块纳入一个同步块长度的固定帧，并且在一个帧周期形成的整个数据为固定长度的数据。在图12B示出的例子中，比一个同步块长度长的宏块在相应于该同步块长度的位置上被分割。将被分割宏块的超出该同步块长度的部分，从起始位置开始依次填充到随后的未填充区域中。所述未填充区域是长度小于该同步块长度的宏块之后的部分。
在图12B的例子中，宏块#1的超出同步块长度的部分被首先填充到宏块#2之后的部分，若宏块#2超过同步块长度，则将超出的部分填充到宏块#5之后的部分。接下来，宏块#3的超出同步块长度的部分被填充到宏块#7之后的部分。此外，宏块#6的超出同步块长度的部分被填充列宏块#7之后的部分，并且将仍超出同步块长度的部分填充到宏块#8之后的部分。这样，就按照该同步块的固定帧来填充每个宏块。
流转换器106能够预先检查各宏块的长度。于是，在分组电路107中，不需要解码VLC数据来检查内容，就能确定宏块的结尾。
而且，当在磁带上记录分组数据时，指示宏块长度的长度信息LT设置在固定帧的宏块的开始处。在播放时，将按照此长度信息LT分组的数据相互连接以重构宏块数据。这称作“拆组”。
分组电路107的输出提供给ECC编码器108。在ECC编码器108中，当收集完一个GOP的数据时，就按照预定规则对固定帧长度的各块进行混洗和再排列。然后，对于再排列后的各块，将其在屏幕上的位置与在磁带上记录的位置相关联。混洗处理提高了对于诸如磁带的连续位置上出现的突发差错的容限。上述的分组电路107可以具有混洗功能。
在执行混洗处理时，将外校验码和内校验码加入预定的数据单位(符号)中，并执行采用乘积码的纠错编码。首先，在预定数目的各块中加入外校验码。接着，在包含外校验码的各块中加入内校验码。在加入内校验码时利用了由与分组时的固定帧单位相同的数据序列组成的内码块。然后，将DID、ID以及SYNC模式加入到各内码块的开始处，以形成一个同步块。
由内校验码和外校验码所构成的数据块称作“纠错块”。
加扰电路(未示出)加扰经纠错编码的数据，并平均频率分量。然后，将该数据提供给记录放大器110，从而将其记录并编码，并转换成适于在磁带120上记录的形式。在此实施例中，在记录和编码时采用了部分响应预编码器。记录头111将被记录和编码的数据记录到磁带120上。
下面将说明播放时的处理过程。在播放头130播放磁带120上记录的信号。播放信号提供给播放放大器131，均衡器将放大后的数据重构成数字数据，并执行部分响应解码。此时，利用维特比解码方法可以降低误码率。
播放放大器131输出的播放数字数据提供给ECC解码器132。在ECC解码器132中，首先检测SYNC模式，并提取一同步块。利用内校验码内码校正该同步块内的内码块，并按照ID将其写入存储器(未示出)的预定地址上。当出现的差错超过了纠错码的纠错能力时，就假定不能校正该差错，并为该符号设立一个差错标记。这样，当结束一个GOP数据的内码校正时，就利用写入存储器的数据进行外码校正。
按相同的方式，当出现的差错超过了纠错码的纠错能力时，就设立一个差错标记。由外码校正的该差错标记提供给下述的流转换器134。
按此方式对已纠错的数据进行逆混洗，并重构数据的地址，也就是说，在记录时，由于在纠错编码之前按照预定规则进行了混洗操作，所以这里要进行其逆过程，以便按正确的顺序重新排列数据。然后，逆混洗的数据提供给拆组电路133。
拆组电路133重构在记录时由上述分组电路107分组的宏块。即，连接对应于宏块的同步块和宏块的相应数据，以便按照在诸如有效负载开始处记录的长度信息LT，重构原始宏块。
当执行磁带120播放速度大于记录速度的高速播放时，或者，当执行播放带速不同于记录速度的变速播放时，在旋转头的跟踪角和螺线轨道之间的关系会变化，因而不能够准确跟踪某个轨道。因此，由于不能获得一个GOP的所有信号，所以不能执行拆组处理。因此，要以同步块为单位进行播放。此时，按照长度信息LT填充到短于该同步块长度的宏块之后部分的数据被置成例如0。此外，可以执行内校验码的纠错处理，也可以按照ID进行逆混洗处理。
拆组电路133输出的转换后的基本流提供给流转换器134。在流转换器134中，执行流转换器106处理的逆处理。即，在流转换器134中，将按频率分量顺序排列的DCT系数按照每个DCT块的频率分量的顺序重新排列。于是，转换后的基本流被反转成符合MPEG2的基本流。
在播放侧的流转换处理中，在转换之前，要按照ECC解码器132获得的外码校正的差错标记，执行差错处理。即，当确定出在转换前宏块中间数据中有差错时，就不能重构在该差错位置后的频率分量的DCT系数。因此，例如，可将该差错位置上的数据替换为块结尾(EOB)代码，并将此后的频率分量的DCT系数置成0。按相同的方式，在高速播放时，也只重构同步块长度范围内的DCT系数，并将该长度范围之外的系数替换成0数据。
由于在全部DCT块上从DC分量和低频分量到高频分量排列各DCT系数，所以即使以这种方式忽略了在特定位置之后的DCT系数，也能够在所有组成该宏块的各个DCT块上，从DC分量和低频分量开始排列各DCT系数。
而且，按照记录侧的宏块最大长度，预先获得足够的流转换器输入和输出的传输速率(带宽)。若没有限制宏块长度，则最好获得三倍象素速率的带宽。
流转换器134输出的基本流提供给例如SDTI传输电路135，借此将基本流形成为加入有同步信号等的预定信号格式，并作为符合SDTI和MPEG2的基本流输出到输出端136。
此外，流转换器134输出的基本流还提供给MPEG2解码器137。虽然图中未示出，但MPEG2解码器137具有普通MPEG2解码器的结构。MPEG2解码器137解码基本流，将其作为数字视频信号输出到输出端138。
播放侧的流转换器134可以具有与记录侧流转换器106相同的结构。而且，由于播放时其处理与流转换器106的处理相同，所以为了简化起见省略了其详细说明。
在播放侧的流转换处理中，需要按照ECC解码器132获得的外校验码的差错标记，在转换之前执行差错处理。也就是说，当确定出在转换前宏块中间数据中有差错时，就不能重构在该差错位置后的频率分量的DCT系数。因此，例如，可将该差错位置上的数据替换为块结尾(EOB)代码，并将此后的频率分量的DCT系数置成0。按相同的方式，在高速播放时，也只重构同步块长度范围内的DCT系数，并将该长度范围之外的系数替换成0数据。
由于在全部DCT块上从DC分量和低频分量到高频分量排列各DCT系数，所以即使以这种方式忽略了在特定位置之后的DCT系数，也能够在所有组成该宏块的各个DCT块上，排列各DCT系数。
而且，按照记录侧的宏块最大长度，预先获得足够的流转换器输入和输出的传输速率(带宽)。若没有限制宏块长度，则最好获得三倍象素速率的带宽。
流转换器134输出的基本流提供给例如SDTI传输电路135，借此将基本流形成为加入有同步信号的预定信号格式，并作为符合MPEG2的基本流输出到输出端136。
此外，流转换器134输出的基本流还提供给MPEG2解码器137。虽然图中未示出，但MPEG2解码器137具有普通MPEG2解码器的结构。MPEG2解码器137解码基本流，将其作为数字视频信号输出到输出端138。
在上面的说明中，虽然描述的是将本发明应用于对每个DCT块“之”形扫描各DCT系数的情况，但本发明不受限于此例子。本发明还可以应用于对每个DCT块的DCT系数进行其它扫描的情况。
此外，在上述的说明中，虽然描述的是从亮度信号Y的DCT块开始重新排列DCT系数的情况，但本发明不受限于此例子，并且重新排列的起始DCT块是任意的。
如到此为止所述的，按照本发明，当按照MPEG方式压缩和编码视频数据并记录在磁带的螺线磁道上时，宏块中按照每个DCT块的频率分量顺序排列的DCT系数，重新排列成跨越各DCT块的频率顺序。因此，即使在播放时进行播放带速高于记录带速的高速播放且只播放了各螺线轨道的部分数据的情况下，从DC分量开始向宏块内的每个DCT块提供DCT系数。因此，其优点在于，能够有效利用播放数据获得高质量的播放图像。
在不脱离本发明实质和范围的情况下，可以构建不同的本发明实施例。应明白，本发明不受限于在此说明书中描述的实施例。相反，本发明应覆盖本发明实质和范围内包含的各种修改和等效形式。应广义地理解权利要求书所限定的范围，它包含所有的这些修改、等效结构和功能。