《已编码视频流的混合.pdf》由会员分享，可在线阅读，更多相关《已编码视频流的混合.pdf（19页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104160694A43申请公布日20141119CN104160694A21申请号201280071124822申请日20120313H04N5/265200601H04N7/15200601H04N19/17201401H04N19/40201401H04N19/46201401H04N19/55201401H04N21/236520110171申请人瑞典爱立信有限公司地址瑞典斯德哥尔摩72发明人尤西耶尔维宁阿托马孔恩迪特马尔菲德勒74专利代理机构中科专利商标代理有限责任公司11021代理人赵伟54发明名称已编码视频流的混合57摘要本公开描述了一种根据已编码主视频流和至少。
2、一个已编码从视频流来生成已混合编码视频流的视频流混合器，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。混合器包括以下组件视频流分割器20，被配置为将已编码主视频流分割为已编码非混合子流和已编码补充子流，已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充子流与主窗口中形成对其他子窗口的补充的子窗口相关联并涉及混合；视频流解码器22，被配置为解码补充子流和每个从视频流；视频信号混合器24，被配置为混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号；视频编码器26，被配置为将已混合视频信号编码为已编码混合子流；视频流组合器28，被配置为组合已。
3、编码非混合子流与已编码混合子流。85PCT国际申请进入国家阶段日2014090386PCT国际申请的申请数据PCT/SE2012/0502782012031387PCT国际申请的公布数据WO2013/137784EN2013091951INTCL权利要求书2页说明书6页附图10页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书6页附图10页10申请公布号CN104160694ACN104160694A1/2页21一种根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流的方法，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联，所述方法。
4、包括以下步骤将已编码主视频流A分割S1为已编码非混合子流，与主窗口中的子窗口16相关联且不涉及混合，和已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口18相关联并涉及混合；解码S2补充子流和每个从视频流B，C；混合S3已解码补充子流和每个已解码从视频流，以形成已混合视频信号；将已混合视频信号编码S4为已编码混合子流；组合S5已编码非混合子流与已编码混合子流。2根据权利要求1所述的方法，包括步骤确定涉及混合的宏块和不涉及混合的宏块；将已编码主视频流A分为不涉及混合的宏块的至少一个非混合切片、和涉及混合的宏块的至少一个补充切片。3根据权利要求2所述的方法，包括步骤在解码前，对每个补充切片的。
5、宏块重新编号；在混合和编码后，重置已重新编号的宏块的编号。4一种视频流混合器，用于根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联，所述视频流混合器包括视频流分割器20，被配置为将已编码主视频流A分割为已编码非混合子流，与主窗口中的子窗口16相关联且不涉及混合，和已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口18相关联并涉及混合；视频流解码器22，被配置为解码补充子流和每个从视频流B，C；视频信号混合器24，被配置为混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号；视频编码器2。
6、6，被配置为将已混合视频信号编码为已编码混合子流；视频流组合器28，被配置为组合已编码非混合子流与已编码混合子流。5根据权利要求4所述的视频流混合器，包括混合区域检测器32，被配置为确定涉及混合的宏块和不涉及混合的宏块；切片分离器34，被配置为将已编码主视频流A分为不涉及混合的宏块的至少一个非混合切片、和涉及混合的宏块的至少一个补充切片。6根据权利要求5所述的视频流混合器，其中所述切片分离器34包括宏块重编号单元36，被配置为在解码前，对每个补充切片的宏块重新编号。7根据权利要求6所述的视频流混合器，其中所述视频流组合器28包括宏块编号重置单元38，被配置为在混合和编码后，重置已重新编号的宏块。
7、的编号；切片组合器40，被配置为组合非混合切片和已混合切片。权利要求书CN104160694A2/2页38一种媒体资源功能处理器MRFP，包括根据权利要求47任一项所述的视频流混合器60。9一种媒体资源功能MRF，包括根据权利要求8所述的媒体资源功能处理器MRFP。10一种视频会议系统，包括根据权利要求9所述的媒体资源功能MRF。11一种视频会议系统，包括根据权利要求47任一项所述的视频流混合器60。权利要求书CN104160694A1/6页4已编码视频流的混合技术领域0001本公开涉及已编码视频流的混合。背景技术0002在对已编码视频流进行混合的现有方案中，所有的流均被完全解码。之后，对已解。
8、码视频流进行混合，最后，将已混合帧编码为已混合编码视频流。即使在与整个帧相比，要混合的区域相对较小的情况下，也使用相同的过程。发明内容0003本公开的目的在于更有效地混合已编码视频流。0004这一目的可根据所附的权利要求来实现。0005本公开的第一方案涉及一种根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流的方法，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。该方法包括以下步骤0006将已编码主视频流分割为已编码非混合子流和已编码补充子流，其中已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充子流与主窗口中形成对其他子窗口的补充的。
9、子窗口相关联并涉及混合。0007解码补充子流和每个从视频流。0008混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号。0009将已混合视频信号编码S4为已编码混合子流。0010组合已编码非混合子流与已编码混合子流。0011本公开的第二方案涉及一种视频流混合器，用于根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。该视频流混合器包括以下组件0012视频流分割器，被配置为将已编码主视频流分割为已编码非混合子流和已编码补充子流，其中已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补。
10、充子流与主窗口中形成对其他子窗口的补充的子窗口相关联并涉及混合；0013视频流解码器，被配置为解码补充子流和每个从视频流；0014视频信号混合器，被配置为混合已解码补充子流和每个已解码从视频流，形成已混合视频信号；0015视频编码器，被配置为将已混合视频信号编码为已编码混合子流；0016视频流组合器，被配置为组合已编码非混合子流与已编码混合子流。0017本公开的第三方案涉及一种媒体资源功能处理器，其包括根据第二方案所述的视频流混合器。0018本公开的第四方案涉及一种媒体资源功能，其包括根据第三方案所述的媒体资源功能处理器。说明书CN104160694A2/6页50019本公开的第五方案涉及一种。
11、视频会议系统，其包括根据第四方案所述的媒体资源功能。0020本公开的第六方案涉及一种视频会议系统，其包括根据第二方案所述的视频流混合器。0021本公开的优点在于，与现有技术方案相比，需要较少的处理功率。尤其是诸如视频会议等应用的情形，其中，将相同的已编码主视频流与多个已编码从视频流以不同的组合方式进行混合。附图说明0022参考以下结合附图的描述，可以更好地理解本公开及其目的和优点，其中0023图1是示出了基于IP互联网协议网络的视频会议系统的示意图。0024图2是示出了视频会议系统中的相互连接的方框图。0025图3示出了现有技术视频会议系统中对已编码视频流的混合。0026图4示出了基于本公开的。
12、视频会议系统中对已编码视频流的混合的示例。0027图5示出了根据本公开对已编码视频流的混合的示例。0028图6是根据本公开生成已混合编码视频流的方法的流程图。0029图7示出了已编码视频流的示例的结构。0030图8AC示出了多种视频帧配置。0031图9是根据本公开的视频流混合器的实施例的方框图。0032图10是根据本公开的视频流混合器的实施例的方框图。0033图11是视频流分割器的实施例的方框图。0034图12是视频流组合器的实施例的方框图。0035图13是根据本公开的视频流混合器的实施例的方框图。0036图14是示出了基于本公开的视频会议系统的示意图。具体实施方式0037以下的说明描述了在视。
13、频会议上下文中对已编码视频流的混合。然而，可以理解，相同的原理可用于需要对已编码视频流进行混合的其他应用中。一个例子是广告，其中与不同的小的个性化的广告对不同用户是不同的一起提供公共视频。0038此外，以下说明基于ITUT标准H264。然而，可以理解，相同的原理可用于但不限于其他标准，诸如H263、MPEG4、VP8等。0039将参考IMSIP多媒体子系统网络的媒体资源功能MRF描述本公开。然而，应当理解，相同的原理可应用于针对视频会议的其他视频混合器。0040图1是示出了基于IP网络的视频会议系统的示意图。该示例中，使用视频会议设备的两个参会者A和B通过IP网络与使用计算机的参会者C和使用移。
14、动电话的参会者D相连。视频会议由媒体资源功能MRF管理，MRF包括由媒体资源功能控制器MRFC控制的媒体资源功能处理器MRFP。0041图2是更详细地示出了视频会议系统中的相互连接的方框图。在该示例中，假设参会方A是当前活跃的发言人。这意味着对应的已编码视频流A将与来自其他参会者的已说明书CN104160694A3/6页6编码视频流B、C、D以多种组合方式进行混合。该混合由媒体资源功能处理器MRFP执行，使得其他参会者接收活跃发言人A占据大部分而其他参会者以小窗口显示的视频。例如，参会者D接收活跃发言人A占据大部分而参会者B和C以小窗口显示的视频。参会者不会在接收到的视频中看到自己。当前活跃的。
15、发言人参会者A接收其他参会者之一典型地，第二活跃的发言人，示例中为参会者B占据大部分的视频。可以使用发言权控制协议来协调其他参会者所看到的人选。0042图3示出了现有技术视频会议系统中对已编码视频流的混合。已编码主视频流A用作放置已编码从视频流的背景CANVAS。现有技术的方法从解码所有视频流AD开始。然后，按照ABC、ABD、ACD的组合方式混合已解码视频。参考图2的示例，虽然图3未示出，也生成了BCD的组合。混合后，将已混合视频编码为已编码混合视频流10、12、14。0043图4示出了基于本公开的视频会议系统中对已编码视频流的混合的示例。在图3示出的现有技术方法中，可以看到视频流A的绝大部。
16、分在混合后并未改变。然而，对于每次混合，仍必须解码和重编码整个视频流。在图4中，将已编码主视频流分割为不涉及混合的已编码部分16和涉及混合的已编码部分18。后一部分18被解码并与已解码从视频流B、C、D混合。对不同的混合进行编码，并与已编码部分16组合。0044图5示出了根据本公开对已编码视频流的混合不必是来自视频会议系统的示例。将已编码主视频流分割为不涉及混合的已编码部分16和涉及混合的已编码部分18。后一部分18被解码并与已解码从视频流B、C混合。对混合进行编码，并与已编码部分16组合。0045图6是根据本公开生成已混合编码视频流的方法的流程图。该方法根据已编码主视频流和至少一个已编码从视。
17、频流生成已混合编码视频流，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。步骤S1将已编码主视频流例如，图5中的流A分割为0046已编码非混合子流，与主窗口中的子窗口例如，图5中的窗口16相关联且不涉及混合，以及0047已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口例如，图5中的窗口18相关联并涉及混合。0048步骤S2解码补充子流和每个从视频流，例如，图5中的B和C。步骤S3混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号。步骤S4将已混合视频信号编码为已编码混合子流。步骤S5组合已编码非混合子流与已编码混合子流。从解码器的角度看，已组合。
18、视频与现有技术相同。0049至此，说明书并未明确地参照任何编码标准。现在，将参考ITUT标准H264来描述示例实施例。0050图7示出了根据H264进行编码的视频流的结构。该示例中，视频帧被编码为以IP分组发送的切片。每个分组除了包括有效载荷包含实际切片信息外还包括IP、UDP用户数据报文协议、RTP实时传输协议报头。其他配置也是可行的，但该示例足以用来解释本公开的构思。切片包括切片报头和实际数据。切片报头包括参数集合，其中一个参数为“RST_MB_IN_SLICE”切片中的第一个宏块。这里“MB”指代宏块，其典型地表示为1616像素。在参考文献1中可以找到更为详细的内容。说明书CN10416。
19、0694A4/6页70051在本公开的一个实施例中，确定涉及混合的宏块和不涉及混合的宏块。之后，将已编码主视频流例如，图5中的A分为不涉及混合的宏块的至少一个非混合切片、以及涉及混合的宏块的至少一个补充切片。0052在本公开的一个实施例中，在解码前对每个补充切片的宏块重新编号。在混合和编码后，重置已重新编号的宏块的编号。0053当按这里所描述的方式分割主视频流时，非混合子流和补充子流应当相互“绝缘”。这意味着一个子流中的任何部分不参照另一子流中的任何部分。例如，必须限制编码期间的运动矢量搜索，使其不会参照分界线另一侧的宏块。换句话说，属于部分18中的宏块的运动向量不应当参照属于部分16的帧区域。
20、反之亦然。一种实现这种不同部分之间相互“绝缘”的方法是将边界线的位置告知创建主视频流的创始编码器，例如，通过信号发送底部部分18的第一个宏块的索引。然后，创始编码器对主视频流编码，使宏块不会参照边界线另一侧的区域。然后，视频流分割器20可将主视频流分为两个独立的流。如果创始编码器没有收到该告知信息，将改为对流进行转码解码和编码，以包括相互“绝缘”的两部分。这仅需要执行一次，因而如果要产生多个混合，该实施例仍比现有技术有效。0054图8AC示出了多种视频帧配置。在所有情形中，假设顶部和底部如上所描述那样相互“绝缘”，或者是通过在创始编码器以分界线编码，或者是通过在视频流分割器之前进行转码。005。
21、5图8A的示例包括以直线边界虚线分隔的顶部切片和底部切片。这种情况下，可以简单地通过设置底部切片的RSTMB_IN_SLICE参数来“骗”过解码器，让其认为该帧仅包括底部切片，而对底部切片进行解码。例如，如果底部切片的第一个宏块的编号为66，将其设置为1假定解码器认为该编号为第一个宏块。在混合和编码后，将第一个宏块重置为66，从而可将已编码混合作为底部切片添加至已编码顶部切片并未被解码。所有其他参数与原始主流相同。0056图8B的示例包括以非直线分界线分隔的顶部切片和底部切片。然而，由于宏块的大小以及整个视频帧的高度、宽度是已知的，这种情况下也可唯一地确定边界。因而，如图8A那样执行解码、混合。
22、、编码。0057图8C的示例包括一个顶部切片和两个底部切片。顶部切片和底部切片以非直线分界线分隔。这种情况下，在解码前，在两个底部切片中，RST_MB_IN_SLICE参数必须分别设置为1以及1上方底部切片中的宏块数。类似地，混合和编码后，重置两个底部切片的编号。0058图9是根据本公开的视频流混合器60的实施例的方框图。接收已编码主视频流例如，图5中的流A的视频流分割器20被配置为将已编码主视频流分割为0059已编码非混合子流，与主窗口中的子窗口16相关联且不涉及混合，以及0060已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口18相关联并涉及混合。0061视频流解码器22被配置为解。
23、码补充子流和每个从视频流例如，图5中的流B、C。视频信号混合器24被配置为混合已解码补充子流和每个已解码从视频流，形成已混合视频信号。假设已解码从视频流混合前已被缩放为“小”窗口。视频编码器26被配置为将已混合视频信号编码为已编码混合子流。视频流组合器28被配置为组合已编码非混说明书CN104160694A5/6页8合子流与已编码混合子流。0062图10是根据本公开的视频流混合器60的实施例的方框图。混合区域检测器32被配置为确定涉及混合的宏块和不涉及混合的宏块。切片分离器34被配置为将主视频流例如，图5中的流A分为不涉及混合的宏块的至少一个非混合切片和涉及混合的宏块的至少一个补充切片。006。
24、3图11是视频流分割器20的实施例的方框图。在该实施例中，切片分离器34包括被配置为在解码前对每个补充切片的宏块重新编号的宏块重编号单元36。开关SW将涉及混合的切片引导至宏块重编号单元36，将不涉及混合的切片引导至视频流组合器28。0064图12是视频流组合器28的实施例的方框图。宏块编号重置单元38被配置为在混合和编码后重置已重新编号的宏块的编号，切片组合器40被配置为组合非混合切片和已混合切片。0065这里所描述的步骤、功能、程序和/或模块可使用任何常规技术在硬件中实现，诸如，分立的电路或集成电路技术，包括通用电子电路和专用电路。0066替代地，这里所描述的步骤、功能、程序和/或模块中的。
25、至少一部分可由通过合适的处理装置执行的软件来实现。例如，处理装置可包括一个或多个微处理器、一个或多个数字信号处理器DSP、一个或多个应用专用集成电路ASIC、视频加速硬件或一个或多个合适的可编程逻辑器件，例如，现场可编程门阵列FPGA。这些处理元件的组合也是可行的。0067同样，可以理解，可以重用媒体资源功能中已有的通用处理能力。例如，可通过重新编程已有软件或增加新的软件组件来实现。0068图13是根据本公开的视频流混合器60的实施例的方框图。该实施例基于处理器110例如，微处理器，其执行用于分割已编码主视频流的软件120，用于解码补充子流和每个从视频流的软件130，用于混合已解码流的软件14。
26、0，用于编码已混合视频信号的软件150，以及用于组合已编码非混合子流和已编码混合子流的软件160。软件存储在存储器170中。处理器110通过系统总线与存储器通信。通过与处理器110和存储器130相连的控制输入输出I/O总线的I/O控制器180接收输入的主视频流和从视频流。在该实施例中，将I/O控制器180所接收的切片存储在存储器170中，并在此由软件120160处理。软件120可实现视频流分割器20的功能。软件130可实现视频流解码器22的功能。软件140可实现视频信号混合器24的功能。软件150可实现视频编码器26的功能。软件160可实现视频流组合器28的功能。从软件160获得的已组合编码视。
27、频流由I/O控制器180从存储器170通过I/O总线输出。0069图14是示出了基于本公开的视频会议系统的示意图。其包括具有媒体资源功能处理器MRFP的媒体资源功能MRF，MRFP包括根据本公开的视频流混合器60。0070本公开对于处理功率和存储资源有限的的情形是有益的，如大多数DSP平台。本公开提出了一种将系统所需要的总处理功率降低为现有技术暴力方式所需处理功率的一部分的方法。特别是对于生成多个混合的视频会议的情形。确切的处理增益取决于视频帧中不涉及混合的那部分的大小以及要生成的混合的数量。0071本公开对在相同处理器中没有足够功率来完全解码所有帧、创建多个混合以及编码较大混合的情形特别有利。
28、。在现有技术中，如果一个处理器只能执行一次编码且不是所说明书CN104160694A6/6页9有处理器都能访问相同的存储器，则需要执行多次解码。0072本公开的另一个优点在于其环境友好的，因为较少的处理和存储需求直接对应于较少的能耗。0073可以理解，本领域技术人员可以在不脱离随附权利要求定义的本公开的范围的前提下，对本公开进行多种修改和改变。0074参考文献00751ITUTH264“SLICEHEADERSEMANTICS”SECTION7430076缩略语0077ASIC应用专用集成电路；0078DSP数字信号处理器；0079FPGA现场可编程门阵列；0080IMSIP多媒体子系统；00。
29、81IP互联网协议；0082MRF媒体资源功能；0083RTP实时传输协议；0084UDP用户数据报文协议。说明书CN104160694A1/10页10图1图2说明书附图CN104160694A102/10页11图3现有技术说明书附图CN104160694A113/10页12图4说明书附图CN104160694A124/10页13图5说明书附图CN104160694A135/10页14图6说明书附图CN104160694A146/10页15图7图8A图8B图8C说明书附图CN104160694A157/10页16图9图10说明书附图CN104160694A168/10页17图11图12说明书附图CN104160694A179/10页18图13说明书附图CN104160694A1810/10页19图14说明书附图CN104160694A19。