音频编码.pdf

公开一种音频编码方案或编码音频和视频数据的一种数据流。该方案在数字电视广播的夹层编码中具有特别的应用。通过在编码时在一个限定序列中提供长度F可变的音频帧，其中长度=F(j)，该方案具有一个平均有效音频帧长度F，该长度F等于在整数M个图像帧之上图像帧长度1/fv。通过根据在M帧的一个序列之后重复的一个算法改变在相邻帧之间的重叠长度，可以改变音频帧的长度。还公开了用于这种方案的编码器和解码器。

1.  用于传送音频和视频数据的数据流的一种音频编码方案，通过在编码时在限定的一个序列F(j)中提供长度F可变的音频帧，该方案具有等于在整数M个图像帧之上图像帧长度1/f_V的一个平均有效音频帧长度F。

2.  根据权利要求1的编码方案，其中通过改变在连续的音频帧之间的重叠O来调整帧长度F。

3.  根据权利要求1或2的编码方案，其中该值F(j)根据j、限定一个帧序列的F(j)的周期性来循环地重复。

4.  根据权利要求3的编码方案，每一序列具有M个图像帧和N个音频帧，每一音频帧包括k个块，每一个块具有t个取样。

5.  根据权利要求4的编码方案，其中在该序列中帧之间的总重叠O_T等于O_T＝p×O+q×(O+1)，其中O是块中的一个重叠长度，其中：


6.  根据权利要求5的编码方案，其中仅重叠对应于一个具体图像帧的音频帧。

7.  根据权利要求6的编码方案，其中p＝(N-M)×(O+1)-O_T，和q＝(N-M)-p。

8.  根据权利要求5的编码方案，其中仅量叠对应于一个具体视频序列的音频帧。

9.  根据权利要求8的编码方案，其中p＝(N-1)×(O+1)-O_T，和q＝(N-1)-p。

10.  根据权利要求5的编码方案，其中重叠任何相邻的音频帧。

11.  根据权利要求10的编码方案，其中p＝N×(O+1)-O_T，和q＝N-P。

12.  根据权利要求4-11之一的编码方案，其中：


13.  用于编码音频和视频数据的数据流的一种音频编码方案，在该方案中N个准视频匹配帧的音频取样被利用半可变重叠在帧中进行编码，从而音频帧的有效长度与一个M图像帧的序列的长度一致，其中M和N是正整数。

14.  利用根据任何一项在前权利要求的方案编码的一种数据流。

15.  根据权利要求14的数据流，包括音频帧，每一个音频帧都被标记，以指示该音频帧的大小。

16.  根据权利要求14或15的数据流，包括音频帧，这些音频帧的每一块都被标记，以指示该块是否为冗余块。

17.  一种音频编码器，用于对传送音频和视频数据的数据流的音频进行编码，其中通过提供音频帧可变量叠，以便在编码时在限定的序列F(j)中具有一个有效长度F，该编码器产生可变长度的音频帧，从而一个平均有效音频帧长度F等于在整数M个图像帧和N个音频帧之上图像帧长度1/f_V。

18.  根据权利要求17的音频编码器，用于编码在一个序列中具有长度O的一个短重叠和总数为q的长重叠的一个数据流，该编码器使用在N帧之后重复的一种算法来计算首部重叠。

19.  一种音频解码器，用于解码一个数据流，该数据流编码音频和视频数据，该解码器计算一个输入帧的一个预期有效帧长度，调整该输入帧的实际长度，以使之等于该预期的帧长度，确定在一个接收帧内的任何块是冗余块还是非冗余块，将非冗余块映射到子带取样。

20.  根据权利要求19的音频解码器，通过把一组块运算符之中的一个或者多个运算符应用到每一个块，修改该数据流中块的重叠状态。

21.  根据权利要求20的音频解码器，其中该组运算符包括以下的一个或多个：NOP，不改变块状态的运算符；DROP，将第一非冗余块从首部重叠改变成冗余块的运算符；APPEND，将第一冗余块从尾部重叠改变成非冗余块的运算符；和SHIFT，这是DROP和APPEND两个运算符的一个组合的运算符。

音频编码
发明背景
技术领域
本发明涉及把音频信号编码成数据流，以使得其能够在与另一数据流的同步的点上被编辑。本发明尤其但不限定地应用于一个数字电视传输方案，要求在相关的图像帧边界上在压缩域中音频的非破坏性接合(splice)。
数字电视(DTV)系统允许经过一个具有有限带宽的信道广播几个节目。每一节目都具有视频和音频内容。一些节目可以包含高质量的多路音频(例如，可由家庭影院系统再生的5路音频)。DTV制作站点、网络和联播台通常使用磁带录像机和传输线来传送所有的音频内容。大部分的这种基础结构具有的能力仅用于两个未压缩的音频通道，所以多个通道在记录或传输之前通常被稍作压缩和格式化。在发射(即广播到最终用户)之前，节目数据流被强压缩。
在DTV产品的采集(contribution)和分配阶段，原始数据流必须被接合，用于节目编辑或节目切换(例如，用于将本地信息内容插入到实况广播网络馈送中)。在内容数据流中的图像帧边界上执行这种接合。
广播数据流的音频内容必须满足几个要求。DTV观众可以预期接收的节目具有高感知音频质量，尤其当这些节目将被使用例如家庭影院系统中的高质量再生设备再生时。例如，应该没有任何可听到的由于多个编码和解码级的级联引起的假象(artefact)，并且在节目切换期间应该没有可察觉到的声音中断。最重要地，再生的节目必须口型同步(lip sync)；即，音频数据流必须与对应的视频数据流同步。为了以合理的成本实现这些目的，即，利用现有的(两路)基础结构来实现这些目的，必须在压缩域中接合该音频节目。
背景技术
一种现有的夹层(mazzanine)编码方案包括在Dolby DigitalBroadcast Implementation Guidelines Part(杜比数字广播实施准则部分)No.91549(杜比实验室的1998年版本2)中限定的杜比E(r.t.m.)，用于通过AES-3对分配多达8个信道的编码音频和复用的元数据。很快将要被引入的(NAB 1999)DP571杜比E编码器和DP572杜比E解码器将允许以最小的静噪或低频干扰来编辑和切换编码的音频信号。而且，它们将实现级联而没有可听到的劣变。杜比E使用20比特取样大小并且提供比特率的在2∶1和5∶1之间的一个降低。
英国广播公司和其它机构通过ACTS ATLANTIC项目正在建议一种用于切换和编辑MPEG-2视频比特流的灵活方法。这种无缝级联方案使用具有补充信息的解码和再编码来避免级联劣变。但是，该方案局限于具有MPEG-2层II和AES/EBU接口的应用。而且，该音频数据被允许相对于引入时间偏移的编辑点滑动。因此，连续的编辑能够导致在音频和视频信息之间一个大的时间偏移。
贯穿该广播链，视频和音频流必须被保持在口型同步中。即，音频必须与对应的视频保持同步。在发射之前，分配站点可以接合(例如交换、编辑或混合)音频和视频流(例如，用于包含本地内容)。在接合之后，如果图像帧和音频帧边界不重合，对于大多数的音频编码方案来说是这种情况，由于该音频相对于该视频的滑动而不可能自动地保证口型同步。在极端情况下，当不采用特殊措施时，这将导致音频假象，例如静噪或低频干扰。低频干扰可能是尝试解码一个非适应音频流的结果，而静噪则可被用于避免这些低频干扰。本发明的一个目标是提供一种用于音频流的编码方案，该音频流能够被接合而不引入例如静音、低频干扰或滑动的音频假象。
本发明的另一目标是提供一种编码方案，能够以最低的音质损耗来进行级联压缩和解压缩。
发明内容
根据第一方面，本发明提供用于一个数据流的音频编码方案，编码音频和视频数据，通过在编码中在限定的一个序列F(j)中提供长度F可变的音频帧，该方案具有等于在整数M个图像帧上图像帧长度1/f_v的一个平均有效音频帧长度F。
该方案保证至少在每一个图像帧上编辑该数据流而不劣变音频信息。该帧长度F最好可通过改变在连续音频帧之间的重叠O来调整。
在实现本发明的方案中，值F(j)可根据j、限定一个帧序列的F(j)的周期性循环地重复。每一序列通常有M个图像帧和N个音频帧，每一音频帧包括k个块。在该序列中的帧之间的全部重叠O_T例如可以等于O_T＝p×O+q×(O+1)，其中O是块中的重叠长度。
在本发明范围之内的一方案中，仅量叠对应于一个特定图像帧的音频帧。在这样的一个方案中，p和q的值可以满足下列等式：
p＝(N-M)×(O+1)-O_T和q＝(N-M)-p。
在一个可选方案中，仅重叠对应于一个特定视频序列的音频帧。在这样的一个方案中，p和q的值可以满足下列等式：
p＝(N-1)×(O+1)-O_T和q＝(N-1)-p。
在一个进一步的可选方案中，任何相邻的音频帧被重叠。在这样的一个首选方案中，p和q的值可以满足下列等式：
p＝N×(O+1)-O_T和q＝N-p。
该后一方案可以提供针对图像帧M序列的最佳重叠值，以使得
∃ n ∈ ℵ + : n × t = M ( f A f V ) . ]]>
把一个视频序列定义为f_V图像帧/秒速率上一个(并且可能是有限的)整数(即，M)的图像帧，每一图像帧包括相等整数N的(压缩的)音频帧，每一个音频帧包括整数k地块，每一个块表示每秒f_A取样的取样速率的一个整数t的音频取样。通过使得图像帧数之间除法的余数乘以音频和视频频率之间的商数，并且使得每一(压缩)音频块的音频取样的数量等于零，保证M是一个整数。因此，N也是一个整数。结果，重叠块的总数也是一个整数，并且每个单一量叠也是如此。在大多数情况下，要求重叠块的数量是一个整数。取样的块是由基础编解码器处理的最小的信息单元。
根据第二方面，本发明提供用于传送编码音频和视频数据的数据流的音频编码方案，在该方案中N个准视频匹配帧的音频取样在具有半可变重叠的帧中被编码，从而音频帧的有效长度与一个M图像帧序列的长度一致，其中M和N是正整数。
本发明提供利用根据任何一个在前的本发明方面的方案编码的数据流。这样的数据流可以包括音频帧，每一音频帧都被标记，以指示该音频帧的大小。可以类似地标记块来指示该块是否为冗余块。
根据另一方面，本发明提供一个音频编码器(这可以例如实现为一个软件成分或硬件电路)，用于根据本发明第一方面编码音频流；并且进一步提供一个音频解码器，用于根据本发明第一方面解码音频流。
根据本发明此方面的一个音频解码器通过对每一块应用一组块运算符(operator)的一个或者多个来改变数据流中块的冗余状态而操作。这可以利用包括下列一个或多个运算符的一组运算符来实现：NOP，不改变块状态的运算符；DROP(丢弃)，把第一非冗余块从首部重叠改变成冗余块的运算符；APPEND(附加)，把第一冗余块从尾部重叠改变成非冗余块的运算符；以及SHIFT(移位)，这是DROP和APPEND两个运算符的组合的运算符。
具体地说，本发明提供一种音频编码器，用于编码数据流的音频，编码音频数据和视频数据，其中该编码器产生可变长度的音频帧，通过使得音频帧可变量叠在编码时在一个限定序列F(j)中具有长度F，使得一个平均有效音频帧长度F等于在整数M图像帧之上图像帧长度的1/f_V。
这样一个音频编码器可以把一个数据流编码成在一个序列中具有长度O的一个短重叠和总数为q的长量叠，该编码器使用在N个音频帧之后重复的一种算法来计算首部重叠。
根据更进一步的方面，本发明提供一个音频解码器(这可以实现为例如一个软件成分或一个硬件电路)，用于解码传送已编码音频和视频数据的数据流，该解码器计算在一个可能循环移位的序列F(j)中的一个输入帧F的预期帧长度，调整该输入帧的实际长度以使得其等于该预期帧长度，确定在一个接收帧之内的任何块是否为冗余块或非冗余数据块，把非冗余块映射到子带音频取样上。
在实现本发明的系统中，通常没有例如取样速率变换的额外的音频操作。而且，正确解码已接收数据流所需的全部信息通常都在编码器上被添加，并且不需要在编辑期间修改此信息。因此，可以使用现存的基础结构来完成编辑而不作任何修改。而且，为了使得解码有可能，需要添加非常少的额外信息到该数据流。最后，但不是最少，当使用MPEG作为发射格式时，也可以方便地使用一个MPEG类似的格式来传输。
附图说明
现将仅以实例的方式并且参照附图来详细描述本发明的实施例，其中：
图1是在DTV广播中牵涉的一个典型链的示意图；
图2是表示一个典型DTV制作站点的主要组成部分的示意图；
图3是表示一个典型DTV网络站点的主要组成部分的示意图；
图4是表示在根据本发明一个实施例的第一方案编码的一个数据流中的音频和图像帧的排列的示意图；
图5是表示在根据本发明一个实施例的第二方案编码的一个数据流中的音频和图像帧的排列的示意图；
图6是表示在根据本发明一个实施例的第三方案编码的一个数据流中的音频和图像帧的排列的示意图；
图7示出根据MPEG-2层II的实施本发明的一个数据流的比特分配，用于IEC61937中的NTSC和48kHz音频；和
图8是利用本发明的一个实施例编码的数据流中的块的排列的示意图。
具体实施方式
在下面的描述中，贯穿使用以下符号：
f_A，f_V         音频采样频率，图像帧速率
t_A，t_v         音频，图像帧持续时间长度
s                 每一音频帧的取样
k                 每一音频帧的取样的块
t                 每一块的取样
O，O_T，O       短的、总的和平均重叠
M，N              每一序列的视频、音频帧的数量
p                 每一序列的短重叠的数量
q                 每一序列的长重叠的数量
j                 帧索引
F(j)，G(j)        帧的有效长度
H(j)，T(j)        帧的首部、尾部重叠
X(j)，X(j)      累积的有效长度，累积的平均有效长度
F                平均有效长度
b                 短帧的长度
B                 视频序列中块的总数
                相位
               {1，2，3，...，∞}
Q                   零填充
A(j)                附加操作转换
OP(j)               运算符
ε(j)               同步差错
δ                                      总的同步差错
u，v                辅助变量
首先参考图1，典型的DTV广播系统是牵涉采集(contribution)级10、分配级12和发射级14的一个链。
在采集级中，在一个或者多个制作站点20上产生内容，并且通过分配网络22传输到一个广播网站点24。广播网24制作包括该内容的节目流，并且经过一个分配网络30把该节目流分配到联播台，例如，直达户的卫星广播器32、地面广播器34或有线电视供应商36。用户40随后能从联播台之一的输出接收该节目流。
在制作站点中，几个类型的内容可以被产生并被存储在不同的媒体上。例如，第一演播室50可以产生实况内容，而第二演播室52可以产生记录的内容(例如商业广告)。在每种情况下，该内容包括视频和音频成分。来自每一个演播室50的输出由分别的编码器54类似地进行处理，并且产生编码该音频和视频内容的基本数据流。来自第一演播室50的将要被实况广播的内容随后被利用一个无线电链路(在适当的处理之后)发送到分配网络22。对于第二演播室的内容来说，时间不是关键的，所以这可以被记录在磁带56上并且以一个适当的方式被发送到分配网络22。编码器54及其产生的基本数据流是本发明方面的
实施例。
如图3所示，在网络站点24内，来自各种信源的内容通过一个接合器60被接合，以构成一个节目输出。从类似类型的基本数据流中获得至接合器60的输入，诸如通过无线电链路从制作单元20、磁带56或本地演播室64的各种信源获得基本数据流。接合器60的输出同样是一个基本数据流，这是在任何给定时间选择的一个输入数据流。接合器60能够被操作以便在输入数据流之间切换，其切换方式保证输出数据流的音频和视频成分能够被无缝地再生。接合器60的输出随后由打包器62处理，以形成一个传输流。随后，调制该传输数据流，以便利用一个无线电链路发送到联播台，从而分配到用户。
在实施本发明的一个基本数据流之内编码的视频内容通常将包括扫描图像帧的序列。这样的帧可以是逐行扫描图像帧，其中每一帧都是一个完全的静止画面。在这种情况下，图像帧具有帧速率f_V并且具有持续时间t_v＝1/f_V。另外，这些帧可以是隔行扫描帧，其中每一个帧都由两个连续的隔行扫描场建立，以上述介绍的表示法，该场频是2f_V。帧速率和扫描类型由该数据流计划用于的电视制式所定义。基本电视标准PAL和NTSC从使用这些标准的国家的主频率中得到帧速率。由于彩色的引入，NTSC被利用系数1000/1001修改。另外，影片使用24Hz，其可以利用相同的系数进行修改。而且，计算机监视器能够运行在高达96Hz的帧速率上。在下表1中给出f_V的典型值。
图像帧速率[Hz]         t_v[ms]             应用
23.976                 41.71               3-2下拉NTSC
24                     41.67               影片
25                     40                  PAL，SECAM
29.97                  33.37               NTSC，PAL-M，SECAM-M
30                     33.33               弃帧NTSC
50                     20                  倍速率PAL
59.94                  16.68               倍速率NTSC
60                     16.67               倍速率，弃帧NTSC
                            表1
音频信号是在频率f_A，例如48kHz上取样的一个时间连续的脉码调制(PCM)信号。f_A的实例值在下表2中给出。
音频采样频率[kHz]                  应用
24                                 DAB
32                                 DAT，DBS
44.1                               CD，DA-88，DAT
48                                 专业音频，DA-88，
                                   DVD
96                                 DVD
                        表2
除这些频率之外，还有可能找到利用系数1000/1001修改的44.1和48kHz(例如44.056、44.144、47.952和48.048kHz)，用于在上拉和下拉影片到NTSC转换中使音频一致。另外，对于影片到PAL的变换来说，可以应用24/25系数(例如42.336、45.937、46.08和50kHz)。而且，DAB可以使用24和48kHz；DVD音频可以使用44.1、88.2、176.4、48、96和192kHz；DVD视频可以使用48和96kHz。DAT被指定用于32、44.1和48kHz；特殊版本也可以使用96kHz。最后，以非常低比特率压缩的音频可以要求较低的采样频率(例如，16、22.05和24kHz)。
取样宽度通常是16、20或24比特。
在压缩之前，音频数据流被分割成持续时间t_A＝s/f_A的音频帧，其中s是每一音频帧的取样的数量(例如，在MPEG-2层II中，s＝1152取样；在AC-3中，s＝1536采样)。在各种编码方案中使用的帧速率的实例在下表3中示出。
编码方案         使用               帧长度     t_A[ms]@
                                    [取样]     48kHz
MPEG-1层I        DCC                384        8
MPEG-1层II       DAB，DVB，DVD-V    1,152      24
MPEG-1层III      ISDN，MP3          1,152      24
MPEG-2层II       DVB，DVD           1,152      24
MPEG-2AAC                           1,024      21.33
Dolby AC-3       DVD                1,536      32
Sony ATRAC       MiniDisc           512        n.a.
                                表3
在音频编码器内，音频帧被进一步分成t取样的k个块(例如在MPEG-2层II中，有36个块，每个块具有32个采样)。这些块是将要被处理的最小音频单元。这可被表示成s＝k×t。下面的表4提供了在各种编码方案中使用的帧细分的实例。
编码方案                k×t[块×取样]
MPEG层I                 12×32
MPEG层II                36×32
MPEG层III               2×576
杜比AC-3                6×256
                    表4
贯穿该广播链，视频和音频流必须保持在口型同步中。即，音频必须与对应的视频保持同步。在发射之前，分配站点可以接合(例如，切换、编辑或混合)音频和视频流(例如，用于包含本地内容)。
在接合之后，如果图像和音频帧边界不重合，对于大部分的音频编码方案来说是这种情况，则不可能自动地保证口型同步。在极端情况下，当不采用特殊措施时，这将导致音频假象，例如静噪或滑动。
虽然本发明的各种实施例能够执行涉及现存标准(例如，MPEG-1和MPEG-2)的编码，但是本发明的实施例不一定与这些现存标准后向兼容。
实施例的基础
在本实施例的编码方案中，在N个准视频匹配帧中的音频取样具有与M个图像帧序列一致的半可变重叠。当根据本发明一个实施例进行编码时，每一个图像帧都包括相等整数数目的音频帧。因此，可以在图像帧边界上实现编辑。当解码时，可以丢弃冗余的取样。
设定一个音频帧被划分成k个具有t个取样的块，则在块中的总重叠O_T可以由下式来计算：
O T = ( k × N ) - ( M t × f A f V ) ]]>           公式1
公式1中M、N、k和t是正整数，而f_A和f_V以Hz为单位表示频率，使得f_A/f_V是一个有理数。
为了提供在解码器重建滤波器中在编辑的音频数据流之间的交叉衰落，选择总重叠O_T与整数块一致，如由下式给定：
O_T＝p×O+q×(O+1)                        公式2
其中p、q和O是非负整数。
在本发明的各个实施例中，各种方案都能够用来通过音频帧扩展总重叠。即，通过强加不同的限制，可以给出用于这些实施例的不同的实施方案。在此处涉及到三个这样的方案，如：
方案1-在图像帧内的重叠；
方案2-在图像帧序列内的重叠；和
方案3-贯穿整个视频流的重叠。
能够显示出，方案3总是提供在两个相邻音频帧之间最小可能的重叠，常常每一序列具有最小数量的图像帧。因此，对于许多应用来说，此方案将比其它方案优选。但是，根据具体应用，可能不总是这种情况。
方案1
当重叠仅存在于一个图像帧之内时，如图4那样，在数据块中的平均重叠O由下式给出：
O ‾ = O T N - M ]]>                                           公式3
其可以实现为
p＝(N-M)×(O+1)-O_T                    公式4
长度O块的重叠，以及
q＝(N-M)-p                             公式5长度(O+1)块的重叠。
方案2
当重叠仅存在于一个序列之内时，如图5那样，块中的平均重叠O由下式给出：
O ‾ = O T N - 1 ]]>                                         公式6
其可以实现为：
p＝(N-1)×(O+1)-O_T                  公式7长度O块的重叠，和
q＝(N-1)-p                           公式8长度(O+1)块的重叠。
方案3
当重叠仅存在于序列之内时，如图6那样，块中的平均重叠O由下式给出：
O ‾ = O T N ]]>                                       公式9其可以实现为：
p＝N×(O+1)-O_T                    公式10长度O块的量叠，和
q＝N-p                             公式11长度(O+1)块的重叠。重叠长度O可以表示成：
               公式12
针对最后方案，其能够被写为：
       公式13
M的选择要满足：
∃ n ∈ ℵ + : n × t = M × ( f A f V ) ]]>                                公式14
并且每一图像帧的音频帧的速率N/M可被写成：
             公式15
交叉衰落
按照ISO/IEC 11172″Coding of moving pictures andassociated audio for digital storage media at up to about 1.5Mbit/s(用于高达大约1.5M比特/秒的数字存储媒体的运动图像和相关音频的编码)″部分3中定义MPEG-1解码器中的重建滤波器：音频(1993-08)是一个重叠滤波器组。如果在子带域(即，块)中完成接合，则导致在解码时大约512音频取样的交叉衰落。
根据常用编码标准的实施方案
各种编码方案都已被认为是用于本发明实施例的基础。具体地说，已经考虑了MPEG-1和MPEG-2、层I和II，但这决不是可能方案的专门列举。在此必须说明，实现本发明的方案使用类似于现存标准的编码方案，但由于重叠，本发明使用的编码方案与这些标准出现偏离。
如精通本技术领域的人士所熟悉的那样，MPEG-2是用于编码与MPEG-1反向兼容的多信道音频的一个标准方案。另一方面，对多信道的一个非反向兼容的MPEG-1标准的扩展可以提供实施方案简易。而且，层II比层I更效率。另一方面，由于层I具有较少块数目，它提供较少的编码冗余度。在本发明的实施例中，根据MPEG-1层I的一个方案可以提供低冗余度和实施方案简易的最佳组合。
MPEG-2层II
当使用MPEG-2层II作为该编码方案的基础时，k＝36和t＝32。
表5示出当该实施例是根据如上所述的方案1时用于音频采样频率和图像帧速率的各种组合的重叠序列的某些实例。