用于编码多媒体内容的方法.pdf

本发明涉及用于编码多媒体内容的方法，该方法包括以下步骤：－编码多媒体内容为分层基本流，－解析基本流为数据分组，以通过网络向解码单元进行进一步传输，－接收请求，由此解码单元请求至少一个所需基本流的传送，根据本发明的方法还包括以下步骤：－在数据分组中，在组成至少一个所需基本流的第一数据分组和不组成该基本流的第二数据分组之间进行区分，－分配一个第一网络优先级给第一数据分组，并且分配低于一个第一网络优先级的至少一个第二网络优先级给第二数据分组，－向解码单元传送第一数据分组和第二数据分组。本发明还涉及实现根据本发明的方法的编码单元。

1.  一种用于编码多媒体内容(1)的方法，该方法包括下列步骤：
-编码(201)所述多媒体内容为分层基本流(S0到S4)，所述基本流包括基层流(S0)和至少一个增强层流(S1到S4)，
-解析(202)所述分层基本流为数据分组(11到15)，以通过网络(103)向解码单元(102)进行进一步传输；
-接收(203)请求，由此所述解码单元请求传送至少一个所需基本流(S0到S2)，所述至少一个所需基本流构成子集，该子集是层次连续的并且包括所述基层流，
其特征在于，所述方法还包括以下步骤：
-在所述数据分组中，在组成所述至少一个所需基本流的第一数据分组(11、13、15)和不组成该基本流的第二数据分组(12、14)之间进行区分(204)，
-分配(205)一个第一网络优先级(P0)给所述第一数据分组，并且分配低于所述一个第一网络优先级的至少一个第二网络优先级(P1、P2)给第二数据分组，
-通过所述网络向所述解码单元传送(206)所述第一数据分组和所述第二数据分组。

2.  根据权利要求1的方法，其特征在于，所述方法还包括以下步骤：
-在所述第二数据分组中，在组成层次邻近于所需基本流的基本流的第三数据分组(12)和没有组成该基本流的第四数据分组(14)之间进行区分，
-分配低于所述一个第一网络优先级的一个第三网络优先级(P1)给所述第三数据分组，并且分配低于所述一个第三网络优先级的至少一个第四网络优先级(P2)给所述第四数据分组。

3.  根据权利要求1的方法，其特征在于，所述分配所述一个第一网络优先级给所述第一数据分组的步骤，包括对所述第一数据分组标记以一个第一网络优先级代码的步骤，并且其特征还在于，所述分配所述至少一个第二网络优先级给所述第二数据分组的步骤，包括对所述第二数据分组标记以至少一个第二网络优先级代码的步骤。

4.  根据权利要求1的方法，其特征在于，所述分配所述一个第一网络优先级给所述第一数据分组的步骤，包括分配一个第一虚连接给所述第一数据分组的步骤，所述第一虚连接建立在所述网络上并实现所述一个第一网络优先级，
其特征还在于，所述向所述解码单元传送所述第一数据分组的步骤，包括通过所述一个第一虚连接向所述解码单元传送所述第一数据分组的步骤，
其特征还在于，所述分配所述至少一个第二网络优先级给所述第二数据分组的步骤，包括分配至少一个第二虚连接给所述第二数据分组的步骤，所述第二虚连接建立在所述网络上并实现所述至少一个第二网络优先级中的各个优先级，
其特征还在于，所述向所述解码单元传送所述第二数据分组的步骤，包括通过所述至少一个第二虚连接向所述解码单元传送所述第二数据分组的步骤。

5.  一种适于编码多媒体内容(1)的编码单元(101)，其包括：
-编码装置(111)，其适于将所述多媒体内容编码为包括基层流(S0)和至少一个增强层流(S1到S4)的分层基本流(S0到S4)，
-流处理装置(112)，其耦合到所述编码装置并适于将所述分层基本流解析为数据分组(11到15)，以通过网络(103)向解码单元(102)进行进一步传输，
-协商装置(113)，其适于接收请求，由此所述解码单元请求至少一个所需基本流(S0到S2)的传送，所述至少一个所需基本流构成子集，该子集是层次连续的并且包括所述基层流，
其特征在于，所述流处理装置(112)还耦合到所述协商装置，并且还适于：
-在所述数据分组中，在组成所述至少一个所需基本流的第一数据分组(11、13、15)和不包括该基本流的第二数据分组(12、14)之间进行区分，
-分配一个第一网络优先级(P0)给所述第一数据分组，并且分配低于所述一个第一网络优先级的至少一个第二网络优先级(P1、P2)给所述第二数据分组，
-通过所述网络向所述解码单元传送所述第一数据分组和所述第二数据分组。

用于编码多媒体内容的方法
技术领域
本发明涉及用于编码多媒体内容的方法，并且该方法包括以下步骤：
-将所述多媒体内容编码为分层基本(elementary)流，所述分层基本流包括基层(base layer)流和至少一个增强层(enhancement layer)流，
-将所述分层基本流解析为数据分组，以通过网络向解码单元进一步传输，
-接收请求，由此所述解码单元请求至少一个所需基本流的传送，所述至少一个所需基本流形成子集，该子集是层次连续的(hierarchically-continuous)并且包括所述基层流。
背景技术
例如，根据标题为“MPEG4 Systems：Elementary StreamManagement”的文献，已经从现有技术获知了这种方法，所述文献由Elsevier于2000年1月发表在期刊“Signal Processing：ImageCommunication”vol.14，no.4-5，p.299-320上。
可扩缩的(或分层的)编码允许多媒体内容(音频和/或视频对象)被解析为不同比特速率的若干基本流，以使整个比特流的子集仍然可以被解码为有意义的信号。重建的质量通常涉及被用于解码和重建的基本流(或层)的数量。
例如，视频流可以被解析为基层和其它增强层，这在时域(时间可扩缩性)和/或空间域(空间可扩缩性)中提供了改善。
比特流解析可以发生在传输期间或发生在解码单元中。典型地，基于例如可用解码资源和/或可用网络资源和/或服务级协议(SLA)，解码单元请求传送所有可用基本流的子集。
在已知方法的另一个步骤中，每个基本流被解析为数据分组，以通过网络向解码单元进一步传输。
数据分组例如是因特网协议(IP)数据报，或以太网帧，或异步传输模式(ATM)信元，或多协议标记交换(MPLS)分组。
基本流在网络上被传输时还可能需要特定的服务质量(QoS)。所述特定QoS转换为网络优先级(或调度优先级)，网络单元使用所述优先级遍及网络地调度和转发数据分组。用户将体验的质量不仅是网络负载及可用解码资源的因素，也很大程度上取决于所分配的网络优先级。
这里公开的方法的缺点在于，为了适应每个QoS需求，需要多个网络优先级以及多个调度和网络资源。
发明内容
本发明的目的是简化网络实现并改善用户体验。
根据本发明，由于所述方法还包括以下步骤这一事实而实现了所述目的：
-在所述数据分组中，在组成所述至少一个所需基本流的第一数据分组和不组成该基本流的第二数据分组之间进行区分，
-分配一个第一网络优先级给所述第一数据分组，并分配低于所述一个第一网络优先级的至少一个第二网络优先级给第二数据分组，
-通过所述网络向所述解码单元传送所述第一数据分组和所述第二数据分组。
组成需要的(或请求的，或同意的，或命令的)基本流的称作第一数据分组的数据分组，接收相同的并且最高的网络优先级，而组成其它(或可选)增强层流的称作第二数据分组的数据分组被分配以较低的网络优先级，由此减小了网络应当实现的网络优先级的数量。
此外，通过传送具有较低优先级的其它增强层，解码单元具有改善所提供的用户体验的能力(例如，通过改善空间分辨率)，其中规定网络负载和/或解码资源和/或SLA考虑所述情况。
网络优先级不再是静态分配的(例如质量越高，所分配的网络优先级越低)，而是基于确实需要什么来进行动态调整。因而可以为用户传送他所请求的基本质量。
各种QoS需求映射到简单但有效的网络优先级分配方案中，这使得所述解决方案特别具有吸引力。
本发明可以应用于任何类型的网络技术，所述技术将数据流解析为被单独发送或转发的数据分组(或数据帧)，并当基于优先级信息调度业务时支持优先，所述优先级信息被嵌入或附加于数据分组，或连同该数据分组一起被发送。
根据本发明的实施例的特征在于，所述方法还包括以下步骤：
-在所述第二数据分组中，在组成层次邻近(hierarchically-contiguous)于所需基本流的基本流的第三数据分组和不组成该基本流的第四数据分组之间进行区分，
-分配低于所述一个第一网络优先级的一个第三网络优先级给所述第三数据分组，并且分配低于所述一个第三网络优先级的至少一个第四网络优先级给所述第四数据分组。
通过这样做，在层次邻近所需基本流的子集的增强流和其它增强流之间执行进一步区分。前者优先于后者，由此如果网络条件恶化，则为其给出了到达其目的地的较高可能性。
所述实施例是基于这样一种观点：如果解码单元仅请求例如较低或中等的质量显示，则最高质量标度(scale)是没有用的，并且应当强调这样一种质量标度：邻近于所请求的质量并且可以将用户体验改善至合理的程度。
根据本发明的另一个实施例的特征在于，分配所述一个第一网络优先级给所述第一数据分组的步骤，包括对所述第一数据分组标记以一个第一网络优先级代码的步骤，其特征还在于，分配所述至少一个第二网络优先级给所述第二数据分组的步骤，包括对所述第二数据分组标记以至少一个第二网络优先级代码的步骤。
在所述实施例中，特定网络优先级转换为特定网络优先级代码，利用该代码来标记(或贴标签)数据分组。
网络优先级代码的例子是IP数据报中的区分服务代码点(DSCP，Differentiated Service Code Point)，或用于以太网帧的802.1Q VLAN标签中地用户优先级信息。
根据本发明的另一个实施例的特征在于，分配所述一个第一网络优先级给所述第一数据分组的步骤，包括分配一个第一虚连接给所述第一数据分组的步骤，所述虚连接建立在所述网络上并实现所述一个第一网络优先级，其特征还在于，向所述解码单元传送所述第一数据分组的步骤，包括通过所述一个第一虚连接向所述解码单元传送所述第一数据分组的步骤，其特征还在于，分配所述至少一个第二网络优先级给所述第二数据分组的步骤，包括分配至少一个第二虚连接给所述第二数据分组的步骤，所述虚连接建立在所述网络上并实现所述至少一个第二网络优先级中的各个优先级，其特征还在于，向所述解码单元传送所述第二数据分组的步骤，包括通过所述至少一个第二虚连接向所述解码单元传送所述第二数据分组的步骤。
在所述实施例中，特定网络优先级转换为实现特定QoS的特定虚连接，并且数据分组通过所述虚连接而被传送。
然后，可以仅利用几个虚连接来支持增加质量(incremental-quality)策略，由此进一步简化网络设计。
虚连接的例子是ATM虚电路(VC)或虚路径(VP)，或MPLS标记交换路径(LSP)，所述虚连接可能建立在全部或部分网络上。例如，可以在一个单个ATM VP上聚集一组用户专用的ATM VC。
本发明还涉及一种适于编码多媒体内容的编码单元，并且该编码单元包括：
-编码装置，其适于将所述多媒体内容编码为包括基层流和至少一个增强层流的分层基本流，
-流处理装置，其耦合到所述编码装置，并适于将所述分层基本流解析为数据分组，以通过网络向解码单元进行进一步传输，
-协商装置，其适于接收请求，由此所述解码单元请求至少一个所需基本流的传输，所述至少一个所需基本流构成子集，该子集是层次连续的并且包括所述基层流。
根据本发明的编码单元的特征在于，所述流处理装置还耦合到所述协商装置，并且还适于：
-在所述数据分组中，在组成所述至少一个所需基本流的第一数据分组和不组成该基本流的第二数据分组之间进行区分，
-分配一个第一网络优先级给所述第一数据分组，并分配低于所述一个第一网络优先级的至少一个第二网络优先级给所述第二数据分组，
-通过所述网络向所述解码单元传送所述第一数据分组和所述第二数据分组。
根据本发明的编码单元的实施例对应于根据本发明的方法的实施例。
应当指出，也用在权利要求中的术语“包括”不应当被解释为受限于其后所列的装置。因此，“包括装置A和B的设备”这一表述的范围不应当被限制为仅由部件A和B组成的设备。这意味着所述设备关于本发明的相关部件是A和B。
类似地，应当指出，也用在权利要求中的术语“耦合”不应当被解释为受限于仅直接连接。因此，“耦合到设备B的设备A”这一表述的范围不应当限制为这样的设备或系统：其中，设备A的输出直接连接到设备B的输入，和/或反之亦然。这意味着A的输出和B的输入之间存在路径，和/或反之亦然，所述路径可以是包括其它设备或装置的路径。
附图说明
通过参考下面结合附图的实施例描述，本发明的上述和其它目的和特征将变得更加明显，并且本发明本身将被很好的理解，其中：
图1示出了包括根据本发明的编码单元的数据通信系统；
图2示出了根据本发明的方法；
图3示出了基本流之间的相互关系的例子。
具体实施方式
在图1中可以看到一个数据通信系统，其包括：
-编码单元101，
-解码单元102，
-数据通信网络103。
编码单元101和解码单元102都被耦合到网络103。
在本发明的优选实施例中，网络103是基于IP的并且包括例如IP路由器、网桥、中继器等的网络单元(未示出)，所述网络单元提供到编码单元101和解码单元102的数据交换/转发服务。网络单元基于DSCP还支持被区分的转发。
所述编码单元101包括以下功能块：
-编码装置111，
-流处理装置112，
-协商装置113。
编码装置111耦合到流处理装置112。流处理装置112还耦合到协商装置113。流处理装置112和协商装置113都例如经由通信端口(未示出)耦合到网络103。
在本发明的优选实施例中，编码单元101利用MPEG4来将表示特定音频/视频内容1的模拟或数字音频/视频信号编码为数据流。然而，本发明不依赖于特定的编解码器(codec)，而是可应用于任何类型的可扩缩编解码器。
信号被馈送到编码装置111。编码装置111适于通过对组成内容1的音频/视频对象进行编码来产生基本流。编码装置111还产生场景描述流(scene description stream)和对象描述符流，所述场景描述流说明了如何将单独的音频/视频对象组合到一起以呈现在用户的屏幕和扬声器上，所述对象描述符流供给关于基本流的信息，所述信息例如是数据的格式和位置、定时信息、解码配置文件(profile)、针对可扩缩编码的相互关系等。图1中没有示出所述两个控制流。
例如，编码装置111产生五个基本流S0到S4，所述基本流共同包括内容1的压缩表示。
图3a和3b描述了基本流S0到S4之间的两种可能的相互关系。在图3a中，基本流S0到S4具有直接的相互关系，其中S0是基层。这可能例如对应于连续的空间分辨率的改进。在图3b中，基层S0涉及S1和S2二者，这提供了例如在时域和空域二者中的质量改善。S3和S4因而可以对应于其它空间或时间的增强。
本发明不依赖于被用于编码内容1的基本流的数量，也不依赖于所述两个特定的相互依赖的方案。
基本流S0到S4被打包为访问单元(视频或音频数据的帧)，并且可用于流处理装置112。
流处理装置112适于将基本流S0到S4解析为数据分组，以在网络1上进行传送。
假设MPEG4的有效负载依次在下列协议上被封装：实时协议(RTP)、用户数据协议(UDP)、IP以及最终的媒体接入层，以在物理媒介上进行进一步传输。
出于说明的目的，在图1中可以看到，在流处理装置112的输出的五个数据分组11到15分别涉及基本流S0、S3、S2、S4和S1。通过网络103将数据分组11到15到传送到解码单元102。
流处理装置112还适于设置数据分组的IP报头中的DSCP域。
通过考虑RTP有效负载，或通过由编码装置11直接供给的带外信息，流处理装置112确定特定数据分组涉及哪个特定基本流。
其次，流处理装置112确定基本流是否形成所需基本流的子集的一部分，并且如果不是，则确定所述基本流是否层次邻近于所述子集。
流处理装置112相应地设置所述分组的DSCP域，并通过网络103传送所述分组。
协商装置113适于确定是否应该或可以向解码单元102传送特定基本流。
更具体地，协商装置113适于接收第一指示，由此解码单元102请求传输基本流S0到S4的子集，并接收第二指示，由此解码单元102通知编码单元101还可以传送其它增强流，所述第二通知是可选的。应当或可以被传送的基本流由解码单元102例如通过统一资源定位器(URL)或某些逻辑标识符来明确地识别，或者例如通过最终指向所有可用流的初始对象描述符以及解码配置文件来被全局地(含蓄地)识别。
所述优选实施例的操作如下。
解码单元102发送请求给编码单元101，并且进一步发送给协商装置113，由此请求基本流S0到S2的传送(如图1中方括号所表示的)。基本流S3和S4进一步构成潜在的增强层，所述增强层也可以被传送，并且如果被传送，则可以通过解码单元102对其进行适当的处理。这使得所述信息可用于流处理装置112。
假设流处理装置112使用三个网络优先级P1、P2和P3，P1优先于P2，P2优先于P3。如何将所述网络优先级映射到特定的DSCP代码将留给技术人员来解决。
流处理装置112对于涉及任何基本流S0、S1或S2的数据分组标记以网络优先级P0，将涉及层次邻近于基本流S2的基本流S3的数据分组标记以网络优先级P1，并且将涉及不是层次邻近于任何基本流S0、S1或S2的基本流S4的数据分组标记以网络优先级P2。
目前，流处理装置112将数据分组11、13和15标记以网络优先级P0(如图1中双实线矩形所示)，将数据分组12标记以网络优先级P1(如图1中单实线矩形所示)，并将数据分组14标记以网络优先级P2(如图1中虚线矩形所示)。
然后通过网络103向解码单元102传送数据分组11到15。
给定最高网络优先级的、组成所需基本流的子集的数据分组，以高于利用固定分配规则的可能性到达其目的地。在规定没有先占网络资源的更高优先级业务的情况下，组成其它增强流的数据分组到达其目的地。如果是上述情况，并且规定用户的SLA允许该情况，则所述其它增强流将改善用户体验。
在本发明的可选实施例中，内容1被预编码为例如MPEG4文件的文件，该文件被存储在例如硬盘的非易失性(non-volatile)存储器中。编码装置111然后减小到最小，即从所述文件中读取数据记录并从中重建视频帧，该视频帧被馈送给流处理装置112。
在本发明的可选实施例中，流处理装置112利用两个网络优先级，一个用于所需基本流，另一个用于其它增强流。因此不需要确定特定基本流是否层次邻近于所述子集，所述特定基本流没有构成所需基本流的子集的一部分。
也可以考虑其它利用其它网络优先级的实施例。
在本发明的另一个可选实施例中，所述网络是基于ATM的。
流处理装置112将基本流S0到S4解析为ATM信元，并基于该ATM信元所涉及的质量标度，来针对每个ATM信元确定VP标识符(VPI)和/或VC标识符(VCI)。
例如，通过网络103在编码单元101和解码单元102之间提供多个VC。具有最严格的QoS的VC传送组成所需基本流的子集的ATM信元，而剩余具有较不严格的QoS的VC传送组成其它增强流的ATM信元。
在图2中可以看到根据本发明的方法，其包括：
-编码步骤201，其中，将内容1编码为基本流，当前为基本流S0到S4，
-解析步骤202，其中，所述基本流被解析为数据分组，当前为数据分组11到15，
-协商步骤203，其中，请求所有可用基本流的子集，当前为基本流S0到S2，
-分组分类步骤204，其中，确定数据分组是否涉及所述子集，
-优先级分配步骤205，其中，将网络优先级分配给数据分组，当前数据分组11、13和15被分配以网络优先级P0，数据分组12被分配以网络优先级P1，数据分组14被分配以网络优先级P2，
-分组传送步骤206，其中，通过网络向解码单元传送数据分组，当前通过网络103向解码单元102传送数据分组11到15。
最后应当注意，上面关于功能块描述了本发明的实施例。根据上面给出的所述块的功能描述，如何利用已知电子部件来制造所述块的实施例对于设计电子设备领域的技术人员来说是显而易见的。因此没有给出功能块的内容的详细结构。
虽然上面已经结合指定装置描述了本发明的原理，然而应当清楚地理解，所述描述仅作为例子，而不作为对如附加的权利要求中所定义的本发明范围的限制。