利用联合比特率控制的数字 视频信号编码器的缓冲存储 本发明涉及视频信号编码装置，它可操作来编码在各自的输入通道上接收的供传输的两个或以上信号，该装置包括为每一通道设计的编码器级，它们可按照预定的编码方案把接收到的视频信号编码为每一编码视频帧指定数目的数据位，并将该信号作为具有由指定数字确定地比特率的数据流而输出；连接在编码器级上的目标设定装置，它配置为各编码器级每一视频帧或帧组设定指定的数目，使得各自的编码器级输出比特率的总和基本保持恒定；以及连接成从各编码器级接收所述可变比特率数据流的各缓冲器装置，它配置为以各指定的输出比特率输出缓冲存储的数据信号。
不管单个通道比特率中的变化而保持恒定的整体编码器输出比特率的技术称作联合比特率控制并已发现它用于多节目视频信号编码是有利的，尤其是按照MPEG(动画专家组)标准编码的视频信号。用于联合比特率控制的系统需要对付两个问题的技术措施，即位分配与缓冲器管理。为了处理位分配，测定节目(通道信号)的位需求并相应地在节目上分布可利用的位。然而在本案中我们特别关心缓冲器管理问题，它本身又包含若干子问题。某些子问题在阿米·雷布曼(AmyReibman)与巴锐·哈斯科尔(Barry Haskell)的“ATM网络的可变比特率视频上的约束”中有所描述：IEEE视频技术电路与系统学报，卷2，第4号，1992年12月，361～372页。雷布曼与哈斯科尔的论文检验从异步传输模式(ATM)网络中的编码器与解码器缓冲存储中得出的约束，尤其是在一条可变比特率数据通道链接编码器与解码器时防止解码器缓冲器上溢或下溢所需的附加约束。他们描述了一种方法，在其中各视频帧的编码位数目及在可变比特率通道上传输的位数是联合选择的；虽然这减少了可利用的选择项，但建议将它作为不同约束所强加的必要措施由编码器及特别是解码器缓冲器强加在传输比特率上。
本发明的一个目的是为提供改善了效率的解码器缓冲器操作。
本发明的另一目的为提供更高效率的编码器缓冲器管理。
按照本发明提供了第一段中所陈述的类型的视频信号编码装置，其中各缓冲存储器装置包括位于单一的存储器中的各自的存储区及存储器管理装置。其配置成从各自通道的缓冲存储输入与输出比特率之间的差中确定各通道的缓冲存储需求及以各自的缓冲存储需求确定的比率分配存储器给各通道。
采用单一管理的缓冲存储器能显著节省所需要的缓冲存储量，这一优点可从联合比特率控制所强加的限制中获得，这将在下面对于本发明的较佳实施例更详细地描述。总的缓冲存储区最好与编码器输出比特率之和相关而低于一个通道的最大瞬时缓冲存储需求与通道数之积：如能理解的，在采用分离的通道缓冲器时，这种节省是不可能的。
为了为缓冲存储的通道导出适当的输出比特率，可以设置从对应的编码器级输出比特率中导出一个通道速率的装置。在我们的共同未决美国专利申请号08/366,339(PHB33946)中详细地描述了一种适当的推导技术，其中缓冲器输出为编码器级输出速率的一个百分比且该百分比与编码器级输出速率成反比，其公开结合在此作为参考文献。
提供联合比特率控制的目标设定装置可包含比较器装置，它导出与在各自的通道上接收的视频图象帧的各信息内容有关的比率。然后，可以通过按照这一比值率在通道之间分配总的可利用的位数而设定每一通道每帧的指定位数。
本发明可通过设置用于将各缓冲器输出信号组合成一个单一的数据流供随后用接收机分离与解码的设备，而用来提供多通道到单通道视频信号编码装置。用于组合缓冲器输出的装置可以是适当的多路复用器。
本发明还提供与上述编码器装置一起使用的接收机装置，包括可操作来接收所述单一数据流并将其分离成对应于编码的分离通道的数据流的装置。在通道选择装置后面，最好设置一个耦合成接收通道数据流及输出另一个数据流的解码器缓冲器及一个耦合成接收缓冲器输出数据流及按照所述预定的编码方案解码它的解码器级。
进一步按照本发明，提供了供传输在各自的分离通道上接收的两个或两个以上视频信号的编码方法，包括下述步骤：按照预定的编码方案将各接收的视频信号分开编码成每一编码视频帧具有指定的数据位数，并作为具有用该指定的数目确定的比特率的数据流输出该信号；为编码每一通道的各视频帧或帧群设定指定的位数，使得各编码信号比特率之和保持基本不变；及缓冲存储各编码的可变比特率数据流并以各自的指定输出比特率输出缓冲存储的数据信号；其特征在于各编码可变比特率数据流是缓冲存储在一个单一存储器中的各自的存储区中的，各通道的缓冲存储需求是从各通道缓冲存储的输入与输出比特率之间的差确定的，并按各自的缓冲存储需求确定的比值将存储区分配给各通道。
该方法可进一步包括下述步骤：确定编码信号的比特率；计算作为其百分比的另一个比特率，该百分比与编码信号输出比特率成反比；以及将各通道缓冲存储的输出比特率控制在该另一比特率上，并且所指定的数目可以是按照关于在各自的通道上接收的视频图象帧的各自的信息内容的一个比值的预定的总位数的适当的百分数。
如下面要说明的，本发明在各通道信号按照MPEG标准编码时具有特殊的优点。
现在只用示例方式并参照附图描述本发明的较佳实施例，附图中：
图1为编码与解码系统的示意方框图；
图2表示图1的系统的一个通道的编码器与解码器缓冲器的使用；
图3表示用联合比特率控制编码的三个节目的比特率；
图4与5分别表示为图3的编码节目用的三个解码器缓冲器与三个编码器缓冲器的内容。
下面的描述用示例方式涉及MPEG编码的视频信号的管理，虽然熟练的技术人员容易理解本发明不限于这一编码标准。MPEG标准约束位流使它们不能上溢或下溢假想的缓冲器、这一假想的缓冲器可以与出现在信号编码器与解码器级中的物理缓冲器相关。
在联合比特率控制的情况中我们希望使用较大的编码器缓冲器，下面要详细说明。作为一个例子，如果我们有5个节目，各有3.5Mbit/S的平均比特率，此外最大比特率为12Mbit/S(由MPEG主轮廓设定)最小比特率为1.5Mbit/S，需要总数为45.6Mbit的缓冲存储器。问题在于这一需要的存储器量。
为了减少编码器缓冲器所需的存储器量，我们建议为所有节目通道采用一个联合缓冲器。这是做得到的，因为各节目通道的分开的比特率相加成一个恒定的比特率，而我们已理解这提供各编码器通道缓冲器的内容之间的一种关系。这便是说，如果一个缓冲器是满的，所有其它缓冲器将是相对地空的。下面更详细地说明与利用这一观察。
图1中以示意方式示出体现本发明的编码器与解码器系统。在图1的左边，编码部分示出为用一对输入通道A与B提供信号给各自的编码器10、12。虽然在本例中只示出两个通道，从下面的描述中容易理解本发明可应用于编码三个或三个以上通道的系统。
各编码器输入还提供给目标设定单元14，该单元分配全局目标给单个的视频帧，规定在压缩该帧时编码器必须使用的位数。用利用画面的全局复杂度的技术计算这些目标，将各编码器上的帧的相对信息密度与诸如所采用的编码方案等因素相关联：例如，对于按照MPEG标准的编码，全局复杂度将计入一帧是否要作为一个I、P或B画面编码。该技术的效果是，虽然两个编码器10、12的输出是可变比特率流，但是如上所述这些比特率之和仍在时间上保持恒定。
在存储器管理单元18的控制下将编码器10、12的输出写入缓冲存储器16的各自的区中，存储器管理单元18在通道之间按需求分配存储器。编码器输出还传送给计算级20，它实际上可以与存储器管理单元18组合进一个单一的计算单元。计算单元20从缓冲器16中导出各通道输出比特率的值，使得这些比特率之和保持恒定，并将这些值提供给以选择的速率从缓冲器中读出各信号的标题插入级24、26。最后，用诸如多路复用器28等同时接收来自计算单元20的通道比特率信号的适当装置将来自标题级24、26的这些缓冲存储的通道信号组合成一个单一的位流。在这些比特率的基础上，多路复用器28确定来自通道的分组的选择(根据时间与分组的数目)，使得节目按照MPEG标准ISO13818-1组合在一起。
在传输(在卫星电视的情况中)与/或分配(在有线电视的情况中)了多路复用的信号之后，将信号传送给信号分离器30，在其上分离通道A与B。通常在接收机端上任一时间只需要一个单一的通道，而相应地在外部选择32的控制下，将信号分离器30设置成禁止输出分离出的通道中除选择的通道以外的所有通道。然后在34缓冲存储并在36解码信号分离器输出以提供用于显示的视频信号。
从上文中可以看出，对于各节目通道，我们有输出可变比特率的编码器缓冲器及一个解码器缓冲器的一部分。为了进一步说明本发明的缓冲器管理技术，我们利用图2中所示的模型，其中示出了用于一个通道及任意时间n上的编码器缓冲器40及解码器缓冲器42的一部分。编码器缓冲器部分40具有物理大小BE，但在下面的模型中使用限制在用Emax及Emin定界的有效大小EB上(示出为加阴影的)。对应地，解码器缓冲器42具有物理大小BD及用Dmax及Dmin定界的有效大小。为叙述清楚起见，从图中省略了介入的多路复用、传输及信号分离级。
假定编码器以规则的时间间隔(例如每40ms)把一个压缩的画面写入到编码器缓冲器中，各时间间隔对应于时间n，在这一模型中我们使用下列变量：
·P(n)为时间n上的画面中的位数
·R(n)为时间n上的当前比特传输率
·编码器缓冲器E(n)的内容具有极限Emax及Emin
·解码器缓冲器D(n)的内容具有极限Dmax及Dmin
Dmax及Dmin的极大值受使用中的MPEG轮廓的限制。虽然通常假定Dmin＝Emin＝0(如在上述雷布曼与哈斯科尔论文中考虑ATM网络分析的情况)，但我们发现这是限制性太强的一种选择，如下面要说明的。
我们假定这些缓冲器运转如下：
E(n)＝E(n-1)-R(n)+p(n) (式1)
D(n)＝D(n-1)+R(n)-p(n-d)
这意味着每隔时间n我们在编码器缓冲器中写入一个新画面，并在d个样本之后从解码器缓冲器中抽取该画面，其中d为整个编码器/解码器系统的系统延迟。
为了简化符号，我们将自己限制在“伪静态运转”上。这意味着假定在d+1或更长的时段上比特率是恒定的。我们能导出缓冲器限制之间的关系为
Emax＝(d+1)·R-Dmin (式2)
Emin＝(d+1)·R-Dmax
探索式1的某些结果并为了进一步展示现有技术的问题，我们选用普遍的选择Dmin＝Emin＝0。利用式1的代入形式可找出迟延的关系如下：0＝(d+1)·R-Dmax (式3)
理解改变整个系统的延迟是不适当的是重要的，因为这会在显示中导致不连续性。相应地，对于所有可能的比特率，我们有相同的系统延延d。可以看出在比特率最大时给出最大的有效解码器缓冲器大小。由于最大的缓冲器大小受到MPEG轮廓的限制，便可从最大有效解码器缓冲器大小与最大比特率中计算出延迟。从而延迟可从下列式4中计算出。d=(max(Dmax)Rmax-1)]]> (式4)
对于这一实例及d＝7的延迟，我们找出作为比特率的函数的缓冲器限制值，如表1中所示。
表1 比特率 Emax Dmax 1.5Mb/s 0.24Mb 0.24Mb 3.5Mb/s 0.56Mb 0.56Mb 7Mb/s 1.12Mb 1.12Mb
注意到对于低比特率，可利用的有效缓冲器空间受到极大的限制。由于它蕴含可导致较低的图象质量的视频压缩上的约束，这是不希望的。
为了防止上述问题我们建议选择Dmin＝0及Dmax＝1.12Mb用于解码器缓冲器，使得我们永远有相同的有效解码器缓冲器。将其代入式1中得出
Emin＝(d+1)·R-Dmax (式5)
在这一特定情况中编码器缓冲器Emin的下限是变化的且不等于0，这意味着一部分编码器缓冲器是空闲的。概念上这一空闲的编码器缓冲器部分可解释如下。我们需要一定的缓冲器空间来缓冲存储比特率变化。在第一实例(Dmin＝Emin＝0)中，用于通道比特率变化的缓冲存储容量分开在编码器与解码器缓冲器上。在后一实例中，这一缓冲存储容量全部分配在编码器缓冲器上。从而，现在可以从下式中计算出整个系统的延迟d=(DmaxRmin-1)]]> (式6)
式6是基于在最小的比特率上，值Emin必须仍大于或等于零的这一认识的，然而式5对最大编码器缓冲器大小没有限制。
以Dmax＝1.12Mb及Dmin＝0，对于这一特定实例我们找出比特率与缓冲器极限之间的关系如表2中所示。
表2 比特率 Emin Emin 1.5Mb/s 0.02Mb 1.14Mb 3.5Mb/s 1.54Mb 2.66Mb 7Mb/s 3.44Mb 4.56Mb
可以注意到虽然与前面的实例相比需要较大的编码器缓冲器，但现在的编码器缓冲器的下限为非零。
现在参照模拟结果进一步说明后一实例。图3中示出在若干个帧时段n上用联合比特率控制编码的三个节目A、B与C的比特率，最低的迹线表示A的比特率，中间迹线表示A与B的比特率之和，而最上方(平的)迹线表示全部三个通道的比特率之和。各节目具有3.5Mbit/S的平均可利用比特率，从而三个比特率之和为10.5Mbit/s，如上方迹线所示。
利用图3的比特率轮廓来得出分别在图4与5中所示的各节目通道A、B与C的解码器与编码器缓冲器内容。为三个通道示出的解码器缓冲器内容可认为是选择对象，如上所述，只缓冲存储一个通道供解码。可以注意到图5中的编码器缓冲器部分的内容具有由视频位流(即I、P与B画面)中的比特率变化引起的变化及由通道比特率引起的变化。最后的分量为全局性变化。还可注意到在全局(即总体)编码器缓冲器填充与单个编码器缓冲器填充之间存在着关系，如上所述。
采用上面第二实例中建议的缓冲存储技术(这是用联合比特率控制建议的)则这些缓冲器需要下述存储器量：
N·max(Emax)＝N·(d+1)·Rmax＝45.6Mbit (式7)其中N表示编码中组合的节目数。对于12Mbit/S的最大比特率及5个节目，我们需要45.6Mbit的总存储器。这可以理解是可观的存储器量。然而，如前面所讨论的，通过利用所选择的比特率加在一起达到一个恒定的比特率使得在同一时间上不需要这一存储器的全部这一事实，我们能给出
ΣEmax＝(d+1)·N·R＝12.6Mbit (式8)
式8示出全体编码器缓冲器部分的上限加在一起达到一个表示所需要的编码器缓冲存储器量的常数值。从这一点上能清楚地看出采用联合缓冲器可得到明显的节省。
从阅读本公开中，其它修正对于熟悉本技术的人员将是显而易见的。例如，在图1的编码器级中，其中缓冲器16本身包含以受控的速率将存储的数据放置在其输出上的能力，可用到达多路复用器28的直达路径来取代标题插入级24、26，而将来自计算单元20的通道速率信号提交给缓冲器16来设定读出速率。
其它的这种修正可涉及数字信号编码与解码系统、设备及它们的组成部件的设计、制造与使用中已知的其它特征，并且用来代替或增加在这里已经描述的特征。虽然在本申请中对特征的特定组合正式提出了权利要求，应该理解本发明的公开的范围还包括这里明显地或蕴含地公开的任何新颖特征或特征的组合，不论它是否涉及在权利要求中当前要求的同一发明，也不论它是否象本发明那样缓和任何或全部相同的技术问题。申请人中明在本申请或从其中导出的任何进一步申请的依法进行期间对这些特征与/或这些特征的组合可提出新的权利要求。