从发射机向接收机传输数字化运动图像的方法和系统 以及相应的解码器 本发明涉及用于从发射机向接收机传输数字化运动图像的方法和系统。另外，本发明还涉及一种相应的(图像-)解码器。
用于处理数字化图像数据的方法、尤其是图像压缩方法对本领域技术人员是已知的(譬如参见图像压缩标准MPEG-2，MPEG-4或H.26x)。
在这方面，还已知把含有数字化运动图像序列的图像数据流如此地从发射机传输给接收机，使得首先传输具有重要信息内容的信息。这优选地通过使用所谓的优先级来实现，借助该优先级来对运动图像序列的信息内容进行分类。由此，根据其优先级传输图像数据，可以在图像数据流中首先把具有重要信息内容的数据传输给接收机。详情可以查阅文献[1]、[2]或[3]。
另外还已知所谓的实时-传输-协议(RTP)。RTP协议是用于诸如音频和/或视频等实时应用的应用专用协议，并为数据类型识别、分组编号及时标监视等提供功能。这些协议是由因特网工程任务组(IETF)进行标准化的，在[4]或[5]中包含有MPEG-1、MPEG-2和H.263的例子。
在图像处理中，另外还已知把各个图像块组合成宏块，尤其把多个有关的宏块称为所谓的“片段”。譬如在[6]中，可以把多个宏块行或一个与图像物体有关的图像段组合成一个片段。
目前现有技术地一个问题是，在有差错的信道上传输时解码器首先不会注意到传输差错，而该被解码的差错在显示运动图像序列时会被传播。这在被显示的视频图像中将导致明显的质量损失。
本发明的任务在于，几乎完全地阻止视频图像中的差错传播。
该任务通过独立权利要求的特征来解决。本发明的改进方案由从属权利要求给出。
为解决所述的任务，首先提供了一种用于从发射机向接收机传输数字化运动图像的方法，其中在发射机中以图像数据流的形式提供所述的数字化运动图像。把所述的图像数据流划分成优先级。借助适配层在发射机中利用预定的协议把所述被划分成优先级的图像数据流传输到接收机。在接收机设有适配层的情况下确定传输差错。针对所确定的传输差错在接收机内执行差错处理。(在接收机中)把经差错处理后的图像数据流输入到图像解码器中。因此可以在接收机中形式被传输的数字化运动图像序列。
该方法具有以下优点，即对标准化图像解码器透明地提供业务“差错处理”，以便阻止传输信道中的差错在显示数字化运动图像时被传播和因此导致上述的质量损失。具体地说，上述方法的差错处理确保了识别和相应地处理这种差错，以便不导致上述差错在运动图像内的传播。
通过把划分为优先级和借助适配层进行传输组合起来，可以得到非常的有益效果。因此确保图像数据内的数据按照优先级从发射机被传送给接收机，使得在接收机中首先只输入具有最重要信息内容的数据。由此确保了在接收机内以某个最低质量首先显示该运动图像。接下来需传输的数据尤其被用于连续地改善质量，以便在出现传输差错的情况下在该时间点确保至少可以使用以前传输的图像数据，并使该传输差错不影响接下来传输的图像。
在此需指出的是，优选地从出现差错开始，可以放弃属于该运动图像序列内的图像的、图像数据流的所有图像数据。相应地，如果该(被放弃的)图像数据需要被用来重构一个内部图像，则可以统一地不利用明显出错的数据来进行重构。差错处理的一种可能性在于，从出现出错开始，每个同步的图像都要放弃用于该图像的接下来的数据。譬如，尚未出错的分区数据直到被识别出的差错可以被考虑用来进行差错处理和解码。所述的差错处理也可以是放弃所述的出错数据。
如果包含有优先级或其一部分的分组在经网络传输时被丢失，则这可以通过适配层检测到。随后引入相应的差错处理。分组的损失譬如通过采用RTP协议来检测；通过放弃数据来进行差错处理。
在此尤其以分组损失为出发点；于是到达一个分组或在(网络中)传输时丢失该分组。由此不存在该分组的信息。一种可能的差错处理譬如在于，为运动估测而在最后一个可无差错地解码的运动矢量类和下一个可无差错地解码的运动矢量类之间进行运动矢量的内插。在损失具有重要信息内容的分组的情况下，也可以放弃一个完全的图像。
一种改进方案在于，将多个接收机设为所述图像数据流的接收者。
通过用同步标记或分区表来分离所述的分区，在传输差错之后应该确保解码器在检测到序列差错之后再次与图像数据流同步。这是H.263和MPEG-4-标准的组成部分。
数据在差错情况下尤其被放弃，直到下一个被识别出的分区界限。通过相应地优先化各个信息内容，应该确保重要的信息内容要以比具有不重要信息内容的数据(分组)要低的概率被丢失。由此确保可以显示图像或运动图像序列的某个最低质量。
另一种改进方案在于，借助优先级把所述运动图像的数据进行如此地分类，使得具有最重要信息内容的数据首先在图像数据流中被发射机传输给接收机。由此象上文所述的那样确保了具有最重要信息内容的数据(针对运动图像序列的每个图像，也即针对每个可同步的单元)首先被传输。随后(分级地)分别传输较不重要的、用于确保连续地改善图像质量的数据。如果在这种数据内发生差错，那么，虽然能以足够的质量识别视频图像，也放弃当前可同步的单元内的随后信息。可同步的单元由此被理解为位于两个同步点之间的区域，从该同步点起可以再次-即便出现差错-重新考虑图像数据流的数据。
另一扩展方案在于，由所述的适配层采用不同的协议以用于从发射机到接收机的传输。所述的适配层尤其可以使用分组交换的业务或面向连接的业务。优选地，所述的适配层使用各个传输协议的业务品质特征。
尤其有利的是，适配层可以同时使用多个协议，或者适配层可以同时使用一个协议或不同协议的多个信道。
一种改进方案在于，通过由所述的适配层采用一种对差错敏感的协议来确定传输差错。所述对差错敏感的协议特别是RTP协议。如果每个分组可借助顺序号进行标识，则此处便被认为是对差错敏感的，也就是说，若丢失一个分组，则也会丢失相应的分组号。于是，到达的分组具有比原本期望的要大的号。由此可以检测到差错(此处是：分组损失)。
但原则上也可以采用各种其它的协议，其至少可以确保检测出传输差错。
还有一种改进方案是，分组交换地和/或面向连接地执行所述的传输。
另一种改进在于，由所述的图像解码器显示所获得的运动图像。
上述方法的优点尤其在于可以使用标准的图像解码器，业务“差错处理”对于该解码器是透明地被提供的。由此可以这样扩展所述标准解码器的功能性，使得它无论如何也不显示所述被传播的传输差错。这是通过上述适配层来确保的。
还有一种改进方案在于，通过优先级中的头部信息来寻址一组相关联的宏块(片段)。这尤其具有以下优点，即：多个(相继的)宏块(片段)的组合可以作为一部分图像数据流而按照优先级进行划分。在该情形下，也在图像数据于图像数据流内的传输顺序中考虑该片段的逻辑结构。这可以按不同的方式和方法来实现。一种可能性在于，在所述片段所含的块的宏块类型信息之前设置所述的片段信息。另一种可能性在于设立一个片段表格，由它给出宏块类型或宏块至不同片段的分配关系。第三种可能性在于，直接给下一级的优先级分配所述的片段信息，该优先级譬如是表征所述片段所含的宏块的DCT系数。
尤其还有一种改进方案，所述的图像解码器是按照MPEG标准或H.26x标准工作的标准化图像解码器。
另外，为解决上述任务还给出了一种用于在接收机内解码数字化运动图像的方法。在此，以图像数据流的形式提供所述的数字化运动图像。把所述的图像数据流划分成优先级。借助接收机的适配层确定传输差错。针对所述的传输差错在接收机内执行差错处理。把所传输的、经差错处理后的图像数据流输入到图像解码器中。
为解决上述任务还提供了一种图像解码器，其具有一个处理器单元，该处理器单元被如此实施，使得
a)以图像数据流的形式提供数字化运动图像；
b)把所述的图像数据流划分成优先级；
c)可借助接收机的适配层确定传输差错；
d)可针对所述的传输差错在接收机内执行差错处理；以及
e)可把所传输的、经差错处理后的图像数据流输入到图像解码器中。
为解决上述任务还给出了一种用于传输数字化运动图像的系统，其具有一个发射机和一个接收机，其中在发射机中以图像数据流的形式提供所述的数字化运动图像。发射机把所述的图像数据流划分成优先级。发射机借助适配层并利用预定的协议把所述被划分成优先级的图像数据流传输到接收机。接收机借助适配层确定传输差错，并针对所述的传输差错执行差错处理。在接收机中把所传输的、经差错处理后的图像数据流输入到图像解码器中。
所述用于解码数字化运动图像的方法尤其适用于执行上述改进方案之一。
所述的图像解码器和所述用于传输数字化运动图像的系统尤其适用于执行上述的方法和所述的改进方案之一。
下面借助附图来示出和说明本发明的实施例。其中：
图1示出了用于从发射机向接收机传输数字化运动图像的系统简图。
在图1中给出了用于传输数字化运动图像的系统，其具有一个发射机和一个接收机。接下来讲述该系统、图像解码器、从发射机向接收机传输数字化运动图像的方法、或用于解码的方法。
图1示出了用于编码运动图像的编码器101。被编码的运动图像应该(尽可能压缩地、也即资源节省地)被传输给解码器110，其中解码器110优选地按照诸如MPEG-4或H.263等编码标准进行工作。为此在协议结构中设立了一种扩展，其在编码器方包括块102～104，在解码器方包括块107～109。该协议结构的扩展的目的在于，给解码器110透明地提供一种附加业务，也即提供一个容错的和经差错处理的图像数据流。在该情形下，一方面可以有利地通过考虑优先级来经传输信道(105或106)进行传输，也即首先传输具有重要信息内容的信息，另一方面，可以识别和处理信道差错，使得解码器110不会收到在运动图像序列上传播的、并由此导致视频质量大大受损的比特差错。
据此，在块102内在编码器101方以优先级进行分区，也即按照优先级逐元素地对图像数据流进行整理。从一个譬如来自H.26L图像编码器并含有以下内容
PSYNC|PTYPE|MB_TYPE1|MVD1|CBP1|LUM1|CHR_AC1|
CHR_DC1|MB_TYPE2|MVD2|CBP2|LUM2|CHR_AC2|CHR_DC2
…
的图像数据流出发，按照以下优先级来执行分区：
1：PSYNC(“图像同步”)
PTYPE(“图像类型”)
2：MB_TYPE1...MB_TYPEn(出现在一个帧/片段内的所有元素的“宏块-类型”)
3：CBP1...CBP1(“编码块样式”)
4：MVD1...MVDn(“运动矢量差”)
5：LUM1...LUMn(“亮度系数”)
6：CHR_DC1...CHR_DCn(“DC色度系数”)
7：CHR_AC1...CHR_ACn(“AC色度系数”)
所述的优先级1-7是示例性的，其中优先级1是具有最高优先级的类。在把图像数据流分区成优先级(参见块102)之后，在适配层(块103和104)内触发经(由差错的)传输信道进行传输。在图1中，在块103内示出了用于UMTS网络的适配层，在块104内示出了用于IP网络(因特网协议)的适配层。此处的较大优点在于，根据每次使用的网络可以使用该网络的特殊业务品质特征。所述的业务品质特征由网络通知给所述的适配层。另外，在解码器110方可以通知编码器101存在哪些适配层，以便相应地利用可供使用的网络(参见反向信道112和114)。由适配层把按照优先级整理的图像数据打包成RTP分组，并将其(用不同的方法，譬如面向分组地)传输给解码器110方的各个适配层(参见块107和108)。所述的图像数据流用参考符号111和113表示。
如此地从适配层传输的分组譬如具有以下结构：
1：PSYNC，PTYPE，MB_TYPE1...MB_TYPEn，CBP1...CBPn，MVD1...MVDn(优先级1～4)
2：LUM1...LUMn(优先级5)
3：CHR_DC1...CHR_DCn(优先级6)
4：CHR_AC1...CHR_ACn(优先级7)
在此再次表明，对运动图像序列的各图像最重要的信息被组合成优先级1-4，如上所述。亮度值(灰度值，流明值)被组合在优先级5中，并且仍然在色度值(优先级6和7)之前传输。如果解码器收到这种分组，该解码器便识别出：一个图像已开始；该图像为哪种类型；在图像中是否存在物体，如果存在，是位于何处；以及编码方式(在块中是否有DCT)和运动矢量信息。此后立即传输亮度值，也即有效的图像信息。颜色信息被放在亮度信息之后传输；必要时没有颜色信息也可以分辨所述的图像。
经网络的传输是通过使用网络特有的特征来实现的，在图1中举例示出了因特网协议网络和UMTS网络。每个这种网络都可能经受干扰，其中可能出现分组损失。由解码器方的适配层(参见块107和108)检测这些分组损失。块109负责进行解分区，也即通过划分优先级而重新生成图像数据流，并对损失的信息执行差错处理。最后把结果输入到解码器110中。由此，解码器110可以是标准化的图像解码器，按照优先级分区和解分区的业务以及上述的差错处理对于标准化解码器110是透明地被提供的。
每个低的优先级尤其具有对高的优先级的依赖性。如果较高优先级的数据丢失，则位于其之下的优先级的、依赖于所述被丢失的类中的元素的数据再也不能被分析，除非丢失的信息可以从以前的图像中估测出来(“差错掩蔽”)。各个图像信息越相关联(但编码效率越低)，则这种估测越成功。
有一种特点在于，也可以考虑把多个相继的宏块(片段)组合成一个被分区的图像数据流。在该情形下，优选地随后规定怎样在上述分区方法中寻址所述的片段和怎样对这种寻址需要尽可能少的存储器位置。
在图像数据流(没有被分区)中，片段头部的常用布置如下：
|PSYNC|PTYPE|
|SLICE|MBTYPE1|DCT-Coeff1|MBTYPE2|DCT-Coeff2|
|SLICE|MBTYPE1|...
其中，SLICE＝片段头部，SLICETABLE＝表格形式的片段寻址，DCT-Coeff＝在宏块中的所有DCT系数。
在分区的过程中，一次性地产生如此给出片段头部的可能性，使得其后跟随了所有包含在该片段中的宏块类型：
|PSYNC|PTYPE|
|SLICE|MBTYPE1|MBTYPE2|
|SLICE|MBTYPE3|MBTYPE4|...＝＞
＝＞DCT-Coeff1|DCT-Coeff2|DCT-Coeff3|DCT-Coeff4|...
在该情形下，按照以上例子的优先级2(宏块类型)编入所述的片段-头部-信息。
作为选择方案，可以以表格的形式实现片段头部的寻址，其中，该表格中的元素指示了哪些宏块属于哪个片段(列/行分配)。这种片段的寻址如下：
|PSYNC|PTYPE|
|SLICETABLE|MBTYPE1|MBTYPE2|MBTYPE3|MBTYPE4|...
另一种选择方案在于，在原来的图像数据内、也即在DCT系数内实现片段头部的寻址。在该情形下，譬如把所述的片段信息分配给所述的色度值、也即上述方案的优先级5。
为此在下面示出了一个例子：
|PSYNC|PTYPE|
|MBTYPE1|MBTYPE2|MBTYPE3|MBTYPE4...|＝＞
＝＞|SLICE|DCT-Coeff1|DCT-Coeff2|
|SLICE|DCT-Coeff3|DCT-Coeff4|...|
在通过表格或在宏块-类型-分区内应用片段寻址的情况下，可以节省大量的存储位置。另外，在接收机的适配层中，在统一到某个寻址方式的情况下，可以为解码器110之下透明而有效的转换。
参考文献：
[1]J.D.Villasenor：“Proposed Draft Text for the H.263Annex V Data Partitioned Slice Mode”，ITU，研究组16，视频专家组，文件：Q15-I-14，Red Bank会议，1999.10.18-21
[2]H.-D.Cho，Y.-S.Saw，“A New Error Resiliant CodingMethod using Data Partitioning with Reed-SolomonProtection”，ITU，研究组16，视频专家组，文件：Q15-H-25，柏林会议，1999.8.3-6
[3]M.Lutrell，“Simulatin Results for Modified ErrorResilient Syntax with Data Partitioning and RVLC”ITU，研究组16，视频专家组，文件：Q15-F-29，Seoul会议，1998.11.2-6
[4]D.Hofmann，G.Fernande：“RTP Payload Format forMPEG1/MPEG2 Videe”，IETF-Doc.RFC 2250，http：//www.ietf.org/rfc.html.
[5]C.Zhu：“RTP Payload Format for H.263 Video Streams”IETF-Doc.RFC 2190，http：//www.ietf.org/rfc.html.
[6]ITU推荐H.263附录K。