多媒体管理.pdf

多媒体提供器(100)多播包括内部帧(12)和中间帧(14，16，18)的混合的主要多媒体流(10)，并且多播包括内部帧(22，24)的关联辅助流(20)。辅助流(20)中的内部帧(24)的至少一部分根据与主要多媒体流(10)的中间帧(14)的至少一部分相同的多媒体数据来生成。提供器(100)还传送包含描述主要流(10)和辅助流(20)中的内部帧(12；22，24)的时间实例的信息(32，34)的流信息频道(30)。这个信息(32，34)允许机顶盒(200)与会话建立和频道转换结合有选择地与主要流(10)或辅助流(20)连接，以便以尽可能低的延迟来接收内部帧(12；22，24)。

1.  一种多媒体提供单元，包括：
-发射器，设置用于i)多播包括内部帧和中间帧的混合的主要多媒体流，以及ii)多播包括内部帧的关联辅助流，其中，所述辅助流的所述内部帧的至少一部分根据与所述主要多媒体流的所述中间帧的至少一部分相同的多媒体数据来生成；以及
-频道提供器，设置用于提供包含描述所述主要多媒体流和所述辅助流中的内部帧的时间实例的信息的流信息频道。

2.  如权利要求1所述的多媒体提供单元，其中，所述频道提供器设置用于多播所述流信息频道。

3.  如权利要求1或2所述的多媒体提供单元，还包括：
-主要流生成器，设置用于通过将输入多媒体数据编码成所述内部帧和所述中间帧来生成所述主要多媒体流；以及
-辅助流生成器，设置用于通过将所述输入多媒体数据的所选部分编码成所述内部帧来生成所述辅助流。

4.  如权利要求3所述的多媒体提供单元，其中，所述辅助流生成器设置用于通过把由所述主要流生成器编码成所述主要多媒体流的P中间帧的所述输入多媒体数据的部分编码成内部帧来生成所述辅助流。

5.  如权利要求3或4所述的多媒体提供单元，其中，所述主要流生成器设置用于通过以第一质量等级将输入数据编码成所述内部帧和所述中间帧来生成所述主要多媒体流，以及所述辅助流生成器设置用于通过以第二质量等级将所述输入多媒体数据的所述所选部分编码成所述内部帧来生成所述辅助流，其中，所述第二质量等级低于所述第一质量等级。

6.  如权利要求5所述的多媒体提供单元，还包括：
-带宽测量器，设置用于测量可用于多播所述主要多媒体流和所述辅助流的带宽等级；以及
-质量调整器，设置用于根据所述带宽测量器所测量的所述带宽等级来调整所述第二质量等级。

7.  如权利要求3至6中任一项所述的多媒体提供单元，还包括：
-画面组长度估计器，设置用于估计所述主要多媒体流的画面组长度；以及
-数据选择器，设置用于根据所述画面组长度估计器所估计的所述画面组长度来选择所述输入多媒体数据的部分，其中，所述辅助流生成器设置用于通过将所述数据选择器所选择的所述输入多媒体数据的所述部分编码成所述内部帧来生成所述辅助流。

8.  如权利要求1或2所述的多媒体提供单元，还包括：
-解码器，设置用于对所述主要多媒体流的所选部分进行解码，以便形成多媒体数据；以及
-内部帧编码器，设置用于通过将所述多媒体数据编码成所述内部帧来生成所述辅助流。

9.  如权利要求8所述的多媒体提供单元，其中，所述解码器设置用于对所述主要多媒体流的所选P中间帧进行解码，以便形成所述多媒体数据。

10.  如权利要求8或9所述的多媒体提供单元，还包括：
-画面组长度估计器，设置用于估计所述主要多媒体流的画面组长度；以及
-数据选择器，设置用于根据所述画面组长度估计器所估计的所述画面组长度来选择所述主要多媒体流的部分，其中，所述解码器设置用于对所述数据选择器所选择的所述主要多媒体流的所述部分进行解码。

11.  如权利要求1至10中任一项所述的多媒体提供单元，其中，所述发射器设置用于以相对于所述辅助流的所定义延时来多播所述主要多媒体流。

12.  如权利要求11所述的多媒体提供单元，还包括：延迟定义器，设置用于定义所述延时使得所述主要多媒体流的P中间帧由机顶盒在接收到所述辅助流的内部帧之后接收，其中，所述P中间帧和所述内部帧根据相同的多媒体数据来生成。

13.  一种机顶盒，包括：
-信息频道连接器，设置用于与包含描述包括内部帧和中间帧的混合的多播主要多媒体流以及包括内部帧的关联多播辅助流中的内部帧传输的时间实例的信息的流信息频道连接，其中，所述辅助流的所述内部帧的至少一部分根据与所述主要多媒体流的所述中间帧的至少一部分相同的多媒体数据来生成；以及
-流连接器，设置用于根据描述内部帧传输时间实例的所述信息有选择地与所述主要多媒体流或所述辅助流连接。

14.  如权利要求13所述的机顶盒，还包括：流标识器，设置用于根据描述内部帧传输时间实例的所述信息来标识其中的下一内部帧到达所述机顶盒的所述主要多媒体流和所述辅助流的流，以及所述流连接器设置用于与所述主要多媒体流和所述辅助流中由所述流标识符所标识的所述流连接。

15.  如权利要求13或14所述的机顶盒，其中，所述流连接器设置用于与根据描述内部帧传输时间实例的所述信息所确定的所述辅助流连接，所述机顶盒还包括发射器，所述发射器设置用于i)一旦接收到所述辅助流的完整内部帧就传送与所述辅助流有关的流离开请求，以及ii)一旦接收到所述辅助流的所述完整内部帧就传送与所述主要多媒体流有关的流加入请求。

16.  一种多媒体提供方法，包括以下步骤：
a)多播包括内部帧和中间帧的混合的主要多媒体流；
b)多播包括内部帧的关联辅助流，其中，所述辅助流的所述内部帧的至少一部分根据与所述主要多媒体流的所述中间帧的至少一部分相同的多媒体数据来生成；以及
c)提供包含描述所述主要多媒体流和所述辅助流中的内部帧的时间实例的信息的流信息频道。

17.  如权利要求16所述的方法，其中，所述提供步骤包括多播所述流信息频道。

18.  如权利要求16或17所述的方法，还包括以下步骤：
d)通过将输入多媒体数据编码成所述内部帧和所述中间帧来生成所述主要多媒体流；以及
e)通过将所述输入多媒体数据的所选部分编码成所述内部帧来生成所述辅助流。

19.  如权利要求18所述的方法，其中，所述生成步骤e)包括通过将编码成所述主要多媒体流的P中间帧的所述输入多媒体数据的部分编码成内部帧来生成所述辅助流。

20.  如权利要求18或19所述的方法，其中，所述生成步骤d)包括通过以第一质量等级将输入数据编码成所述内部帧和所述中间帧来生成所述主要多媒体流，以及所述生成步骤e)包括通过以第二质量等级将所述输入多媒体数据的所述所选部分编码成所述内部帧来生成所述辅助流，其中，所述第二质量等级低于所述第一质量等级。

21.  如权利要求20所述的方法，还包括以下步骤：
-测量可用于多播所述主要多媒体流和所述辅助流的带宽等级；以及
-根据所述所测量带宽等级来调整所述第二质量等级。

22.  如权利要求18至21中任一项所述的方法，其中，所述生成步骤e)包括以下步骤：
-估计所述主要多媒体流的画面组长度；
-根据所述所估计画面组长度来选择所述输入多媒体数据的部分；以及
-通过将所述输入多媒体数据的所述所选部分编码成所述内部帧来生成所述辅助流。

23.  如权利要求16或17所述的方法，还包括以下步骤：
-对所述主要多媒体流的所选部分进行解码，以便形成多媒体数据；以及
-通过将所述多媒体数据编码成所述内部帧来生成所述第一帧流。

24.  如权利要求23所述的方法，其中，所述解码步骤包括对所述主要多媒体流的所选P中间帧进行解码，以便形成多媒体数据。

25.  如权利要求23或24所述的方法，其中，所述解码步骤包括以下步骤：
-估计所述主要多媒体流的画面组长度；
-根据所述所估计画面组长度来选择所述主要多媒体流的部分；以及
-对所述主要多媒体流的所述所选部分进行解码，以便形成所述多媒体数据。

26.  如权利要求16至25中任一项所述的方法，其中，所述多播步骤a)包括以相对所述辅助流的所定义延时来多播所述主要多媒体流。

27.  如权利要求26所述的方法，还包括：定义所述延时，使得所述主要多媒体流的P中间帧由机顶盒在接收到所述辅助流的内部帧之后接收，其中，所述P中间帧和所述内部帧根据相同的多媒体数据来生成。

28.  一种多媒体会话管理方法，包括以下步骤：
-与包含描述包括内部帧和中间帧的混合的多播主要多媒体流以及包括内部帧的关联多播辅助流中的内部帧传输的时间实例的信息的流信息频道连接，其中，所述辅助流的所述内部帧的至少一部分根据与所述主要多媒体流的所述中间帧的至少一部分相同的多媒体数据来生成；以及
-根据描述内部帧传输时间实例的所述信息有选择地与所述主要多媒体流或所述辅助流连接。

29.  如权利要求28所述的方法，其中，所述选择性连接步骤包括以下步骤：
-根据描述内部帧传输时间实例的所述信息来标识其中的下一内部帧到达与所述流信息频道连接的机顶盒的所述主要多媒体流和所述辅助流的流；以及
-与所述主要多媒体流和所述辅助流的所述已标识流连接。

30.  如权利要求28或29所述的方法，其中，所述选择性连接步骤包括与根据描述内部帧传输时间实例的所述信息所确定的所述辅助流连接，所述方法还包括以下步骤：
-一旦接收到所述辅助流的完整内部帧就传送与所述辅助流有关的流离开请求；以及
-一旦接收到所述辅助流的所述完整内部帧就传送与所述主要多媒体流有关的流加入请求。

多媒体管理
技术领域
一般来说，本发明涉及多媒体管理，具体来说，涉及在与新的多播多媒体频道连接或者在多播多媒体频道之间切换时减少用户感知时间的技术。
背景技术
IPTV是通过因特网协议(IP)网络、通常为宽带接入网传递广播TV服务时所使用的术语。主流IPTV服务是广播TV，其中常规非IPTV频道以及具有低渗透的附加频道通过宽带网络从超级头端(head-end)传送到终端用户的机顶盒(STB)。为了使这些传输所需的带宽为最小，建议通过网络使用多播技术。当用户切换频道时，STB发出因特网组管理协议(Internet Group Management Protocol：IGMP)消息，以便离开(leave)当前频道并加入新的频道。
STB加入的多播组包含具有运动图像专家组(MPEG)(通常为2或4部分10)帧的流。MPEG中存在不同的帧，所谓包含全画面的内部(I)帧以及中间(inter)帧、即包含递增外插信息的P帧和包含内插信息的B帧。由于中间帧取决于相邻帧，所以STB在可显示新频道之前接收全部内部帧是必要的。这意味着，频道之间进行切换的平均时间将取决于多媒体流中的内部帧之间的时间间隔。通常，对于MPEG-2，该间隔大约为0.5秒，而对于MPEG-4部分10会高达数秒。
为了缓解频道切换延迟的问题，已经提供各种解决方案。
Omicron[1]描述如何进行MPEG流之间的快速频道切换。在其解决方案中，存储器单元设置在超级头端与用户的STB之间的连接链路中。这个存储器单元包括一组移位寄存器，它们连续存储不同可用多媒体频道的多媒体数据的短序列。设置移位寄存器的长度使得各寄存器始终包含至少一个内部帧。当用户切换多媒体频道时，他/她的STB向存储器单元发送对预期新频道的单播请求，且存储器单元取出其移位寄存器之一中存储的那个频道的内部帧。将取出的内部帧向STB单播。
这种类型的解决方案的一个主要问题在于，从其中出来的流将被单播。这意味着，切换必须靠近接入节点或者在其内部。否则，接入网中将存在实质的带宽增加，尤其是在若干STB用户想要在相同短时间间隔内切换频道时。
若干文档[2-5]提出一种解决方案，其中多媒体流输入到用于生成常规多媒体流的常规解码器以及输出到用于生成包含较低质量内部帧的频道转变流的较低质量编码器。与频道切换结合促使STB与常规多媒体流和频道转变流连接。并行处理两种流，以便标识作为常规多媒体流的常规内部帧或者频道转变流的较低质量内部帧的第一内部帧。在前一种情况下，STB只离开(leave)频道转变流并且连续接收常规流。但是，在后一种情况下，STB在接收到完整的较低质量内部帧时离开频道转变流，然后连续接收常规流的数据。这将引起解码漂移，它与较低质量内部帧的使用结合产生所显示多媒体降低的用户感知质量。另外，由于并行接收和处理常规及频道转变流，STB必须执行广泛的数据管理。
发明内容
本发明解决了现有技术布置的这些及其它缺点。
本发明的一般目的是在基于多播/广播的网络中提供多媒体提供。
本发明的另一个目的是提供能够减少会话建立或频道切换过程之后的内部帧的到达时间的多媒体提供。
如所附专利权利要求书所定义的本发明满足这些目的及其它目的。
简言之，本发明包括设置用于多播包含内部帧和中间帧的混合的主要多媒体流的多媒体提供器。该提供器还生成主要流的至少一个关联辅助流。与主要流鲜明对照，这个辅助流包括内部帧，其中至少一部分根据与主要多媒体流的中间帧、优选地为P中间帧的至少一部分相同的多媒体数据来生成。辅助流的其它内部帧可具有与主要流中的内部帧的对应性。因此，辅助流是主要流的补充流，并且仅携带编码为内部帧的多媒体数据。向预订用户多播主要流和辅助流。
多媒体提供器还生成包含描述主要多媒体流和辅助流中的内部帧的时间实例(time instance)的信息的流信息频道。还向预订用户传送、优选地多播这个信息频道。
用户终端、如机顶盒至少与会话建立和/或频道切换过程结合来接收流信息频道上传送的信息。这种信息由终端用于有选择地与主要多媒体流或辅助流连接。因此，信息使用户终端能够确定预计哪个流携带下一内部帧。终端与那个已标识流连接，并且接收完整的内部帧。如果已标识流是辅助流，则用户终端此后编译并传送与辅助流有关的离开请求及与主要流有关的加入请求。然后，用户终端继续接收主要流的中间和内部帧。
基于来自流信息频道的时间实例信息的本发明的选择性流连接允许用户终端与预计首先提供完整内部帧的流连接，而没有要求终端同时接收和处理多个多媒体流的数据。
本发明还涉及机顶盒、多媒体提供方法和多媒体会话管理方法。
附图说明
通过以下参照附图进行的描述，可以透彻地理解本发明以及其它目的和优点，附图包括：
图1是示出根据本发明的多媒体提供方法的流程图；
图2示意示出根据本发明的一个实施例的主要和辅助多媒体流以及流信息频道的并行多播；
图3是示出图1的多媒体提供方法的附加步骤的流程图；
图4是示出图1的多媒体提供方法的附加步骤的流程图；
图5是示出图3或图4的多媒体提供方法的附加步骤的流程图；
图6示意示出根据本发明的另一个实施例的主要和辅助多媒体流以及流信息频道的并行多播；
图7示意示出根据本发明的又一个实施例的主要和辅助多媒体流以及流信息频道的并行多播；
图8是示出根据本发明的多媒体会话管理方法的流程图；
图9是根据本发明的一个实施例、更详细地示出图8的选择性连接步骤的流程图；
图10是本发明的教导可适用的通信系统的示意概览；
图11是根据本发明的多媒体提供器的示意框图；
图12是根据本发明的一个实施例的图11的辅助流提供器的示意框图；以及
图13是根据本发明的机顶盒的示意框图。
具体实施方式
在所有附图中，相同的参考标号将用于对应或相似单元。
一般来说，本发明涉及基于多播或广播的传输网络中的多媒体提供和多媒体会话管理。具体来说，本发明将与建立多媒体会话和/或不同多播媒体频道之间的切换结合来实现用户感知延迟时间的减少。
根据本发明的媒体或多媒体数据包括可在用户终端呈现和显示的任何形式和类型的媒体。这包括但不限于能够在呈现期间被用户感知的图像、视频、音频和其它媒体类型。根据本发明的媒体频道是多播频道，它例如可携带“实况(live)”媒体或者由包括一个或多个剪辑的预先录制内容组成。
图1是示出根据本发明的多媒体提供方法的流程图。该方法在步骤S1开始，其中向所连接客户机多播表示一个或多个媒体频道的一个或多个主要多媒体流。本领域中众所周知，这种多媒体流包括内部帧(I帧)以及本领域中通常表示为P和B中间帧的不同形式的中间帧的混合。内部帧构成流中的入口点，因为它们各表示完整画面。形成鲜明对照，P和B帧只携带与一个或多个完整画面或者其它中间帧相关的外插或内插信息。因此，用户终端或客户机的解码器只能在这种内部帧开始对所接收多媒体流进行解码。在内部帧的使用中存在折衷(trade-off)。一方面，从用户观点来看，希望在流中包含许多规则分布的I帧，以便减少用于在会话建立和频道切换过程开始流解码的延时。但是，另一方面，网络运营商和服务提供商一直推动降低比特率，它意味着使用更少且更稀疏分布的I帧，因为与中间帧相比I帧的大小大许多。
根据本发明，采用包含内部帧的至少一个关联辅助流来补充在步骤S1多播的主要多媒体流。然后，在步骤S2，向相关的所连接客户机多播携带辅助流的这个内部帧。这个辅助流中的内部帧的至少一部分根据与关联主要多媒体流的中间帧的至少一部分相同的多媒体数据来生成。因此，还将编码成主要流的中间帧的多媒体(原始)数据的一部分编码为内部帧，以便用于辅助流。在本发明的一个优选实施例中，将表示主要流的P中间帧的所选媒体部分编码或重新编码成辅助流的I帧。
除了对于与主要多媒体流的(P)中间帧相同的多媒体数据生成的这些内部帧之外，辅助流还可包含主要流的内部帧的至少一部分。在这种情况下，辅助流中的内部帧的一些将在主要流中具有直接对应的内部帧，而辅助流中的其余内部帧携带编码为主要流中的中间帧的多媒体数据。
因此，对于在步骤S1多播的每个多媒体流，同样在步骤S2多播携带内部帧(但优选地没有中间帧)的一个或多个辅助流。这意味着，单个多媒体频道将与主要多媒体流和至少一个辅助媒体流关联。
媒体提供方法的下一步骤S3提供与主要多媒体流和至少一个辅助流关联的所谓流信息频道。这个信息频道包含描述主要流及其关联辅助流中的内部帧的预计时间实例的信息。因此，信息频道用作由客户机用于确定主要多媒体流和关联辅助流的哪一个中的下一内部帧将到达客户机的信息源。因此，信息频道可携带表示主要流或辅助流的流标识符序列。
每个多媒体频道可具有一个关联信息频道。在这种情况下，信息频道中发信号通知的频道标识符可以非常简单且简短。例如，在只有主要多媒体流的一个关联辅助流的情况下，流标识符可能简单地对于主要流为0_bin，而对于辅助流为1_bin，反过来也是一样。如果主要流具有一个以上关联辅助流，则可使用更长但仍然非常简单的流标识符。
在备选实施例中，多个多媒体频道共享单个流信息频道。在这种情况下，必须选择标识符使得用户终端可区分不同的主要多媒体流，并且还能够确定辅助流与哪个主要流关联。
与主要流和辅助流相比，流信息频道因在其上传送的少量信息而不会构成传输带宽的大增加。步骤S3的信息频道提供可采取向相应用户终端的单播传输的形式。但是，为了降低网络中的带宽利用，优选地将信息频道进行多播，并且更优选地对于媒体提供器处可用的许多不同多媒体流使用和多播单个信息频道。
然后，该方法结束。
图2示意示出根据本发明的一个实施例的主要多媒体流10、辅助流20和流信息频道30的并行多播。在图中看到，主要流在图中包括内部帧12以及由P帧14、16和B帧18所表示的中间帧14、16、18的混合。流10中的I帧12以及I帧12之后直到下一I帧的中间帧14、16、18构成所谓的画面组(Group of Picture)或GOP。
附图清楚地示出，主要流10的内部帧12的一部分、优选地所有内部帧12作为辅助流的内部帧22被再使用和包含。但是，为了以比关联主要流10更短、优选地明显更短的内部帧22、24之间的时间间隔来在辅助流中形成内部帧22、24的至少接近的规则分布，将主要流10的P帧14的至少一部分重新编码成辅助流20的内部帧24，或者将这种P帧14的媒体数据编码为内部帧24。
本发明预期，辅助流20对于主要流10的各P帧14、16可包括一个内部帧24。但是，那通常引起过大的额外带宽利用。因此，优选地，只有P帧14或者其多媒体数据的所选部分才用于生成辅助流20的内部帧24。这则意味着，主要流的P帧16的一些在辅助流20中没有任何对应的内部帧。
用作内部帧生成的基础的媒体数据部分或P帧14的选择可以例如每N个P帧14、例如图2中每两个P帧14来预先定义。但是，根据本发明，可使用至少部分基于可用带宽等级或GOP长度的更精细的选择方法，本文中进一步进行描述。
除了主要多媒体流10和关联辅助流20之外，附图还示出携带指明两个流10、20中的内部帧12、22、24的时间实例的流标识符32、34的流信息频道30(M＝主要流10，而A＝辅助流20)。
会话建立过程所涉及的或者想要切换多媒体频道的用户终端与流信息频道连接(除非已经与其连接)并且对它进行调查，以便确定预计主要流10和辅助流20的哪一个中的第一内部帧12、22、24到达该终端。这意味着，用户终端不必同时与主要流10和辅助流20连接并且并行地处理两个流10、20的媒体分组。
图3是示出图1的多媒体提供方法的附加步骤的流程图。在这些步骤中，在媒体提供器以未编码媒体数据的形式来提供媒体频道的多媒体数据。第一步骤S10将输入媒体数据编码成内部和中间帧，以便形成具有内部和中间帧的所选分布以及所定义GOP长度的主要多媒体流。这种多媒体流的生成和内部/中间帧分布的选择是本领域众所周知的，本文不作进一步描述。
可在步骤S10之前、之后或者与其并行进行的下一个步骤S11将输入多媒体数据的所选部分编码成辅助流的内部帧。这些所选部分优选地包括在步骤S10编码成主要多媒体流的P帧的媒体部分。这两个媒体流在这时可用，并且该方法继续进行到图1的步骤S1。
图4示出图1所示的多媒体提供方法的附加步骤的流程图。在这个实施例中，媒体提供器从媒体源接收具有内部和中间帧的给定分布的主要多媒体流。第一步骤S20对多媒体流的所选部分进行解码，以便形成多媒体数据。这些所选部分优选为主要流的P中间帧。下一步骤S21把来自步骤S20的多媒体数据编码成用于辅助流的内部帧。用于将P帧重新编码成I帧的技术是本领域众所周知的。然后，该方法继续进行到图1的步骤S1。
图5是示出图3或图4所示的多媒体提供方法的附加步骤的流程图。该方法从图3的步骤S10或者图4的步骤S20继续进行。在下一步骤S30，估计多媒体流的GOP长度。主要流的这个GOP长度可以是固定的，并且对于在内容提供商(provider)处可用的所有主要多媒体流都是相同的。在这种情况下，步骤S30只需要执行一次。但是，在实际实现中，不同的GOP长度可用于不同的主要多媒体流。在这种情况下，优选地对每个这种多媒体流执行步骤S30的长度估计。在更高级的媒体提供系统中，可使用主要多媒体流的可变编码，由此动态调整内部/中间帧分布并因此调整GOP长度。例如可根据当前无线电质量情况、当前可用带宽等级、同时连接的用户终端的当前数量等来使用这种估计。
在下一步骤S31，所估计GOP长度用于选择输入多媒体数据中要编码为辅助流的内部帧的部分或者选择主要流中要重新编码成辅助流的内部帧的(P)中间帧。一般来说，步骤S30中所估计的GOP长度越长，则在辅助流中应当生成的内部帧越多。步骤S31的选择可基于GOP长度来进行，以便给辅助流提供实现最大解码器延迟目标所分布的内部帧。例如，因接入媒体频道时等待主要或辅助流中的第一内部帧而引起的在用户终端进行解码的最大延迟可设置为t秒或毫秒。给定这种目标和GOP长度，可定义辅助流中的内部帧的必要分布，由此可标识要在步骤S31中进行选择的媒体部分或中间帧。
在备选方法中，步骤S31的选择通过选择主要流中要重新编码成辅助流的内部帧的P帧来执行。在这种情况下，在步骤S31可选择每N个P帧，其中这个数量N是GOP长度的函数，即N＝f(length_GOP)。
本发明预期，在选择作为内部帧生成的基础的媒体部分或中间帧时，与GOP长度不同的输入参数可用于替代GOP长度或对其的补充。这类其它可能的参数可能是可用带宽等级、同时多播的媒体频道的数量等。
可以与主要频道的内部帧相同的质量等级来对辅助频道的内部帧进行编码。在这种情况下，对辅助流中的一个内部帧所消耗的位数一般实质上与对主要多媒体流中的内部帧所消耗的位数相同。
但是，为了进一步降低实现本发明的辅助流和流信息频道的带宽需求，用于辅助流的内部帧编码的质量等级可以与主要流中的内部帧的对应质量等级不同、优选为更低。
在又一实施例中，辅助流的内部帧编码的质量等级可根据当前可用带宽等级动态调整。在这种情况下，本发明的提供方法利用图5的两个过程步骤S32和S33。在步骤S32中，测量可用带宽等级，优选地连续或定期测量或者在所选测量时间点进行测量。这个可用带宽等级是可用于多播主要多媒体流及其关联辅助流的带宽等级。
下一步骤S33根据所测量带宽等级来调整辅助流的内部帧的编码质量。一般来说，对于大的可用带宽等级，可使用更高的编码质量，甚至可能使用与主要多媒体流的内部帧相同的编码质量。但是，随着带宽等级降低，编码质量优选地也降低，使得在辅助流中每个内部帧消耗更少位，由此在随后呈现该帧时降低画面质量。
用于动态调整编码质量的技术是本领域众所周知的，因此本文不作详细描述。
本发明预期，本发明的提供方法可利用图5的过程步骤S30-S31、图5的过程步骤S32-S33或者图5的过程步骤S30-S33。
本领域已知，内部帧分组远大于中间帧，甚至在对辅助流的内部帧编码使用适当的质量等级降低时。如果主要多媒体流和辅助流如图2所示同步传送，则很可能的是，紧随辅助流中的所接收内部帧的主要流中的P帧在加入主要流时将已经通过。本发明通过使主要流相对辅助流延迟，来解决这个问题。
图6示意示出这种情况。与图2相比，现在以相对辅助流20所定义的延时来多播主要多媒体流10。这个相对延时优选地选择成使得主要多媒体频道10的P帧14可由用户终端在接收到辅助流20的内部帧24之后来接收，其中P帧14和内部帧24基于相同的多媒体数据。因此，就能够使用户终端在图中由箭头60所表示的时刻按照根据流信息频道30进行的选择首先与辅助流20连接。然后，用户终端接收辅助流的第一内部帧24，并且由于两个流10、20之间所提供的延时而能够及时加入主要流10以便接收主要流10的下一P帧14。因此，延迟优选地选择成使得主要流10的下一P帧14在辅助流20的前一对应I帧24的结尾之后被接收。
如上所述，内部帧的大小比B和P帧大许多。这意味着，通常在不具有超过主要流的带宽的辅助流的带宽的情况下，在辅助流中不可能具有与主要流的每一P帧对应的内部帧。这则引入额外频道(channel)延迟。即使通过将较低的编码质量用于辅助流中的内部帧，一般也无法在辅助流中的内部帧与主要流中的P帧之间具有1∶1对应性。
为了在没有额外延迟条件下增加具有内部帧对应性的P帧的数量，能够将多个、即至少两个辅助流用于给定主要多媒体流。图7示出两个辅助流20、40的情况下的这种解决方案。第一辅助流20具有内部帧22、24的第一时间分布，其中这些内部帧22的一些可对应于主要流10的内部帧12，而其它内部帧24根据与主要流10的(P)中间帧14的第一部分相同的多媒体数据来生成。对应地，第二辅助流40具有内部帧44的第二不同时间分布，内部帧44的至少一部分根据与主要流10的(P)中间帧16的第二部分相同的多媒体数据来生成。在图中，第一辅助流20包括主要流10的内部帧22和主要流20的每两个P帧14的内部帧24。第二辅助流40则包括与主要流10中的其余P帧16对应的内部帧44。但是本发明预计，即使通过使用多个辅助流20、40，主要流10中并非所有P帧都必须在辅助流20、40之一事具有对应的内部帧。
流信息频道30携带描述主要流10和多个辅助流20、40中的内部帧12、22、24、44的时间实例的信息、即流标识符32、34、36。然后，用户终端可将这种信息用于选择可用流10、20、40的哪一个中的下一内部帧12、22、24、44将到达，由此首先与会话建立或频道切换过程结合来与那个流10、20、40连接，以便在可呈现多媒体之前减少延迟。
图7还示出前面所述的辅助流20、40与主要多媒体流10之间的延时的优选使用。在这种情况下，不同流10、20、40之间的相对延时选择成使得能够接收辅助流20、40的完整内部帧24、44，并且切换到主要流10以便接收对应的P帧14、16。
以上结合图7所述的教导经必要的变更当然可适用于其中两个以上辅助流20、40与给定主要多媒体流10关联的情况。
如前面所述，本发明可适用于有权访问多个不同媒体频道的内容提供商。在这种情况下，对于每个这种主要多媒体流，与主要流并行地多播包括根据与相应的主要多媒体流中的中间帧的至少一部分相同的多媒体数据所生成的内部帧的至少一个关联辅助流。流信息频道则优选地包含描述所有主要流及其关联辅助流的内部帧的时间实例的信息。在一种备选方法中，向用户终端多播各服务于主要流的一个或多个的若干独立信息频道。
图8是示出根据本发明、与用户终端的操作相关的多媒体会话管理方法的流程图。该方法在步骤S40开始，其中包括与根据本发明的流信息频道连接，以便接收描述多播主要多媒体流和至少一个关联多播辅助流中的内部帧传输的时间实例的信息。可在包括在接收到频道切换请求时的此类多媒体会话期间、例如在正进行会话期间的任何时刻或者在特定时间实例，与建立基于多播的这种多媒体会话结合来执行这种频道连接。
因此，在本发明的第一实施例中，用户终端仅与选择多媒体频道或者频道之间进行切换结合来连接到并监听流信息频道。在那些实例尽可能快地接收频道的第一内部帧，以便减少终端解码器在处理所接收媒体流时的延迟较为重要。一旦用户终端使用了在信息频道所接收的信息，则它将离开该频道。如果信息频道仅包括与终端将要与其连接的多媒体频道相关的内部定时信息，则这个实施例会是有用的。
在第二备选实施例中，用户终端在整个多媒体会话中均与信息频道连接。但是，终端仅与频道切换和建立结合来使用该频道上提供的信息。信息频道上传送的数据、信道标识符和如同步数据的其它可能数据的量极低，在终端不需要任何广泛的缓冲或处理。如果信息频道包括与在给定内容提供商可用的多个多媒体频道或者来自不同这类提供商的事件相关联的内部定时信息，则这个实施例极为有利。
在任一种情况下，在下一步骤S41，终端根据描述在步骤S40在信息频道所接收的内部帧传输时间实例的信息有选择地与预期主要多媒体流或者其关联辅助流(之一)连接。然后，该方法结束。
图9是更详细地示出图8的选择性连接步骤的一个实施例的流程图。该方法从步骤S40继续进行。在下一步骤S50，根据从流信息频道所检索的信息来标识预期其中的下一内部帧到达用户终端的主要流及其辅助流的流。因此，时间实例描述信息允许标识将携带下一内部帧的流。
然后，用户终端连接到并监听在步骤S50所标识的流，由此从其中接收内部帧，并且开始对多媒体数据进行解码和呈现。
因此，在本发明的这个实施例中，用户终端标识并连接到将会首先向该终端提供完整内部帧的主要和辅助流的流。但是，在一个备选实施例中，用户终端不一定需要与携带根据流信息频道中的信息所确定的第一内部帧的多媒体流连接。例如，假定下一个内部帧将首先从根据时间实例信息所确定的辅助流可得到。但是，主要多媒体流还将在辅助流之后极短时间、例如辅助流之后数毫秒携带内部帧。在这种情况下，可能最有利的是与主要流置连接，即使那会引起数毫秒的额外延迟。其原因在于，用户终端则无需首先加入辅助流，然后再离开辅助流并加入主要流。
因此，用户终端不一定需要但是优选地与携带第一内部帧的多媒体流连接。但是，不管终端首先加入哪个流，至少部分根据流信息频道所提供的信息来进行选择。
如果用户终端根据来自流信息频道的信息确定它应当加入主要多媒体流，则它编译并传送对那个主要多媒体流的加入请求、如IGMP加入。如果终端目前正监听另一媒体频道，则它同时或者通过单独的消息传送对那个另一媒体频道的(IGMP)离开请求。
但是，如果用户终端根据来自流信息频道的信息确定它而是应当首先加入与携带预期频道的媒体数据的主要流关联的辅助流，则它编译并传送对辅助流的(IGMP)加入请求。另外，如果终端已经在监听另一媒体频道，则如前面所述可传送(IGMP)离开请求。紧接接收到辅助流的内部帧之后或者在其后不久，用户终端从辅助流切换到主要多媒体流。这种情况如图9示意表示。在步骤S51，用户终端生成并传送与辅助流相关、即优选地包含辅助流的标识符的(IGMP)离开请求。同时，在步骤S51的离开请求的生成和传送之前或之后，在步骤S52，终端编译并传送关联主要多媒体流的(IGMP)加入请求。然后，终端继续监听主要流S52，并且对那个流的中间和内部帧进行接收和解码。当终端在辅助至主要流切换之前成功地接收到内部帧时，它这时可能在某种缓冲之后可直接继续对主要流的中间帧进行解码和呈现，而无需等待主要多媒体流中的内部帧。
在一个特定实施例中，流信息频道以及在该频道上传送的信息可以是电子编程指南的一部分。这个指南向通常以表格形式向用户提供程序信息。当今，众所周知的是，程序指南能以非侵入方式定期加载到用户终端。这意味着，根据本发明描述主要及关联辅助流中的内部帧的时间实例的信息则可形成程序指南的一部分。但是，在这种情况下，指南必须经常更新，使得用户终端可在任何时间检索内部帧时间实例的信息。能够单独地并且比指南中包含的其它信息更频繁地更新电子编程指南的这种定时信息。
图10是实现本发明的通信网络或系统50的示意概览。网络50优选地能够通过因特网协议网络、通常为宽带接入网来提供如TV服务的多媒体服务。备选地，网络50可以是用于提供移动TV的多媒体广播/多播传递方法的网络。这类标准化工作的示例是3GPP多媒体广播/多播服务(MBMS)和欧洲电信标准协会(ETSI)手持式数字视频广播(DVB-H)。这些在其广播分发方式方面将与传统TV相似。
下面结合提供广播TV的IP网络更详细地描述和说明本发明。但是，本发明并不局限于此，而是可适用于以向用户终端的多播/广播传输的形式来提供多媒体数据的任何网络。
网络50包括向包含根据本发明的多媒体提供器100的超级或IPTV头端52提供多媒体数据的多媒体(广播)馈送或源51。IPTV头端52与分发路由器53连接。这个分发路由器53是核心路由器或交换机，它一般位于头端站点，并且用于向服务云传递所有后端业务，包括本发明的所有预订的主要多媒体流、其关联辅助流和流信息频道。
分发路由器53与一个或者往往多个汇聚路由器54连接。汇聚路由器53将数字用户线(DSL)接入复用器(DSLAM)55与分发路由器连接。DSLAM 55通过DSL线路将内容从网络云传递给家中的订户。DSLAM 56是作为运营商的网络50中的最后一个节点的接入节点。可选家庭网关56提供家庭中并且具有网络50的边缘的多个机顶盒200、即用户终端之间的连接品脱(pint)。机顶盒(STB)200可能通过家庭网关56与DSLAM 55连接。这个STB 200是到用户的直接接口。STB 200包括在其上将显示和回放所呈现的多媒体的显示屏幕56、如TV或者与其连接。STB 200具有关联控件58、如遥控器58，它由用户用于按照本文所述切换多媒体频道。
图11是根据本发明的多媒体提供器100的示意框图。提供器100包括用于提供包括携带多媒体数据的内部和中间帧的至少一个多媒体流的主要多媒体流提供器120，如前面所述。这个流提供器120可采取实际记录和/或生成媒体内容的内容引擎或源的形式。但是，在一个典型实现中，流提供器120适合于接收来自外部源51的多媒体数据，并且可以可选地在传送给预订用户之前对它进行处理。
辅助流提供器130设置在多媒体提供器100中，用于优选地对于主要多媒体流提供器120所提供的各主要流生成至少一个关联辅助流。该至少一个辅助流包括内部帧，内部帧的至少一部分由流提供器130根据与关联多媒体流的中间帧的至少一部分相同的多媒体数据来生成。
多媒体提供器100还包括设置用于提供包含描述来自主要流提供器120的主要流中以及来自辅助流提供器130的辅助流中的内部帧的时间实例的信息的流信息频道的信息频道提供器140。
把来自主要流提供器120和辅助流提供器130的多媒体数据转发给示意表示为包括本领域众所周知的、例如调制器/解调器、编码器/解码器等的一般与发射器链以及优选地还与接收器链关联的功能性的发射器/接收器单元110。发射器110通常通过采用如图10示意所示的一组路由器或网络节点向预订用户多播或广播所接收的多媒体数据。发射器还向预订用户传送优选地作为多播频道的流信息频道的信息。
在一个实施例中，主要多媒体流提供器120从所连接媒体源51接收作为未编码数据的给定多媒体频道的多媒体数据。在这种情况下，流提供器120设置用于通过将输入多媒体数据编码成内部帧和中间帧来生成主要多媒体流。内部和中间帧的实际分布对于该流可预先定义并且是固定的。备选地，流提供器120接收描述当前可用带宽等级的输入数据。这个数据可由接收器110接收，由此由网络中的另外某个单元进行估计。备选地，多媒体提供器100可包括专用带宽测量器160，该测量器可用于得出可用于多媒体频道的带宽等级的估计。在这种情况下，流提供器120将这些带宽等级估计用于进行编码，以便根据估计动态调整GOP长度。
还将输入多媒体数据转发给辅助流提供器130。流提供器130通过将多媒体数据的所选部分编码成内部帧来生成辅助流。这些所选部分的至少一部分对应于由主要流提供器120编码成P中间帧的多媒体数据。可选的其余部分可对应于由主要流提供器120编码成内部帧的多媒体数据。
辅助流提供器130可采用与主要流提供器120一样的对应编码质量。但是，为了降低带宽利用，辅助流提供器130可使用较低的编码质量等级将多媒体数据编码成内部帧。实际(降低的)编码质量可能是固定的，但是优选地经过动态调整，以便应对可用带宽等级的变化。为此，带宽测量器160可用于至少估计可用于给定多媒体频道的带宽等级。作为替代或补充，这类估计可由其它一些单元来确定，并且发送给接收器110。将带宽估计转发给质量调整器170，它对输入数据进行处理以便根据输入带宽估计来选择适合的编码质量。这个所选编码质量等级由辅助流提供器130在生成内部帧时使用。
多媒体提供器100还可包括与主要多媒体流提供器120连接的GOP长度估计器150。这个估计器150设置用于估计由主要多媒体流提供器120生成主要流时所使用的当前GOP长度。将所确定长度估计转发给辅助流提供器130。
图12更详细地示出辅助流提供器130的一个实施例。提供器130包括数据选择器，该选择器优选地使用GOP长度估计作为选择要由关联的内部编码器136优选地以质量调整器所选择的编码质量编码成内部帧的多媒体数据的部分的基础。
在一个备选实施例中，主要多媒体流提供器120接收作为内部和中间帧、即已经是已编码形式的多媒体数据。在这种情况下，辅助流提供器包括解码器134，该解码器设置用于对数据选择器132所选择的主要多媒体流的部分进行解码以便形成多媒体数据。将这个已解码数据送到内部编码器136，它可能以质量调整器所选择的编码质量将其重新编码成内部帧。数据选择器132所选的部分优选地包含主要多媒体流的P中间帧的至少一些。选择还可至少部分根据主要多媒体流的GOP长度来进行，如前面所述。
辅助流提供器130的单元132至136可作为软件、硬件或者它们的组合来实现或提供。单元132至136均可在辅助流提供器130中实现。备选地，分布实现也是可能的且处于本发明的范围之内。在这种情况下，辅助流提供器130的不同单元132至136可设置在多媒体提供器中。
图11的多媒体提供器100优选地还包括延迟定义器180，该定义器设置用于选择主要多媒体流相对其关联辅助流的适当延时。延迟优选地选择成使得主要流的P帧由用户终端在接收到辅助流的内部帧之后来接收，其中P帧和内部帧根据相同的多媒体数据来生成。因此，发射器110设置用于采用来自延迟定义器180的相对多播关联辅助流的延时来多播主要多媒体流。
本发明预计，辅助流提供器130可生成与相同的主要多媒体流关联的多个辅助流，如前面所述。另外，主要多媒体流提供器120可管理若干主要流。辅助流提供器130则优选地对于每个主要流生成至少一个辅助流。频道提供器140优选地包括与来自两个流提供器120、130的所有主要流和辅助流有关的内部帧定时。
多媒体提供器100的单元110至180可作为软件、硬件或者它们的组合来实现或提供。单元110至180均可在单个网络节点中实现。备选地，分布实现也是可能的并处于本发明的范围之内。在这种情况下，多媒体提供器100的不同单元110至180可设置在不同的网络节点中。在一个优选实现中，多媒体提供器优选地如图10所示设置在头端节点或者至少靠近头端。但是，多媒体提供器100实际上可设置在从头端一直到接入节点的任何网络节点中。但是，如果提供器100位于或靠近头端，则本发明的有益效果是最大的。
图13是由根据本发明的机顶盒200表示的用户终端的一个实施例的示意框图。机顶盒200包括一般发射器/接收器单元210。单元210的接收器部分具体适合于接收从根据本发明的多媒体提供器始发的主要多媒体流或辅助流的多媒体数据。接收器210还设置用于接收信息流频道的数据。
机顶盒200包括信息频道连接器220，该连接器设置用于与流信息频道连接以便允许接收器210接收描述所选多播多媒体主要流频道和至少一个关联多播辅助频道中的内部帧传输的时间实例的信息。频道连接器220优选地在多媒体会话的建立期间将机顶盒与信息流频道连接。然后，机顶盒200可在会话期间连续监听该信息频道。在一种备选方法中，信息频道连接器220仅与会话建立结合并且在接收到来自一般输入和输出(I/O)单元260的频道切换请求时才与信息频道连接。在这些情况下，机顶盒200在从其中接收到必要信息之后与信息频道断开连接。
优选流标识器270设置用于处理在信息流频道上接收的信息。流标识器270将时间实例描述信息用于确定主要多媒体流及其关联辅助流的哪一个中的下一内部帧将要到达。将这种信息提供给流连接器230，它设置用于根据流信息频道所携带的信息有选择地连接到主要流或者其关联辅助流之一。更具体来说，流连接器230把来自流标识器270的数据用于选择在建立之后或者在频道切换请求之后要首先与其连接的流。
如果流连接器230根据来自流标识器270的信息选择首先与辅助流连接，则接收器210接收那个流的至少一个内部帧。此后，发射器210传送与辅助流有关的离开请求以及与关联主要多媒体流有关的加入请求。对于连续会话(直到会话断开或者另一频道切换为止)，接收器210接收主要多媒体流的中间帧和内部帧的数据分组。
机顶盒200还包括数据缓冲器240，它用于暂时存储所接收的多媒体数据，以便防止网络施加的抖动(jitter)。一旦缓冲的数据量达到预定义阈值，则解码器250对缓冲器中的多媒体数据进行解码，以便形成由I/O单元260传送以便向用户呈现、例如在所连接屏幕上显示和/或在喇叭播出的多媒体数据。
I/O单元260优选地还接收例如来自遥控器或其它所连接用户输入的频道请求。这个请求由机顶盒进行处理，且由发射器210生成和传送新多媒体频道的加入请求。
机顶盒200的单元210、220、230、250、260和270可作为软件、硬件或者它们的组合来实现或提供。
如上所述以及如图13所公开的本发明的理论还可适用于适合在多播/广播网络中接收并可能呈现多媒体数据的其它类型的用户终端和客户机。这类用户终端的其它非限制性示例包括移动终端，例如移动电话、个人数字助理、具有通信功能的膝上型电脑、计算机等。
本领域技术人员会理解，在没有背离所附权利要求书定义的本发明的范围的条件下，可对本发明进行各种修改和变更。
参考文献
[1]WO 00/70876
[2]US 2006/0140276
[3]WO 2006/057938
[4]J.M.Boyce and A.M.Tourapis，“Fast Efficient Channel Change”，Consumer Electronics，ICCE，2005 Digest of Technical Papers
[5]US 2006/0020995