《一种实时传输高分辨率多视点立体视频的方法.pdf》由会员分享，可在线阅读，更多相关《一种实时传输高分辨率多视点立体视频的方法.pdf（7页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102625125 A (43)申请公布日 2012.08.01 C N 1 0 2 6 2 5 1 2 5 A *CN102625125A* (21)申请号 201210068595.5 (22)申请日 2012.03.15 H04N 13/00(2006.01) H04N 7/26(2006.01) (71)申请人天津大学 地址 300072 天津市南开区卫津路92号 (72)发明人周圆 张凌寒 侯春萍 (74)专利代理机构天津市北洋有限责任专利代 理事务所 12201 代理人程毓英 (54) 发明名称 一种实时传输高分辨率多视点立体视频的方 法 (57) 摘要 。
2、本发明属于视频传输领域，涉及一种实时传 输高分辨率多视点立体视频的方法：对多视点立 体视频的每个视点的视频流进行独立编码；将编 码后的多视点立体视频按照视点的不同，分成两 组进行分组处理；对于组内的每个视点，读取视 频流里的每个NAL单元，根据NAL单元的头部信息 判断是否包含具体图像数据，分离出包含具体图 像数据的NAL单元，从而得到包含组内一个仅包 含具体图像数据的新的视频数据流；对新的视频 数据流进行数据包合成处理，将在不同视点的同 一位置包含具体图像数据的NAL单元处理成一个 混合包；将经过数据包合成处理的各组视频，通 过不同信道进行传输。本班反计算复杂度低，有 效增强了多视点立体视频。
3、的鲁棒性和误码掩盖效 率。 (51)Int.Cl. 权利要求书1页 说明书3页 附图2页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 3 页 附图 2 页 1/1页 2 1.一种实时传输高分辨率多视点立体视频的方法，用于IP网络视频传输中，包括下列 步骤： (1)对多视点立体视频的每个视点的视频流进行独立编码； (2)将编码后的多视点立体视频按照视点的不同，分成两组进行分组处理，对每组视频 进行如下的步骤(3)-(4)的数据包合成处理； (3)对于组内的每个视点，读取视频流里的每个NAL单元，根据NAL单元的头部信息判 断是否包含具体图像数据，分离出。
4、包含具体图像数据的NAL单元，从而得到包含组内一个 仅包含具体图像数据的新的视频数据流； (4)对新的视频数据流进行数据包合成处理，将在不同视点的同一位置包含具体图像 数据的NAL单元处理成一个混合包，新的混合包的头部采用和不同视点的NAL单元头部完 全相同的参数，而主体部分由同一位置处的各个NAL单元的主体按照编号顺序组成； (5)将经过数据包合成处理的各组视频，分别通过不同IP信道进行传输； (6)将经过步骤(3)分离出的不包含具体图像数据的NAL单元采用单独的信道进行传 输。 2.根据权利要求1所述的实时传输高分辨率多视点立体视频的方法，其特征在于，步 骤(1)可采用H.264/AVS格。
5、式独立编码。 权 利 要 求 书CN 102625125 A 1/3页 3 一种实时传输高分辨率多视点立体视频的方法 技术领域 0001 本发明涉及视频传输领域，更具体的是一种的多视点、高分辨率立体视频的传输 方法。 背景技术 0002 多视点立体视频技术在当前的图像和视频研究领域是最重要的发展趋势之一。多 视点视频系统同时从多个角度获取同一场景的视频序列，并远程传输这些视频数据流。场 景可以交互显示，用户可以从多个角度旋转检视，体验身临其境的感觉。 0003 然而，多视点立体视频与基于平面显示的业务不同，由于含有多个视点的视频信 息，其数据量更为庞大。由于巨大的数据量和复杂的处理要求，目前包。
6、括IPv6在内的网络 环境和通信信道对传输立体视频的能力十分有限，还远不能满足要求。因此，基于多视点 立体显示的业务给观众带来更大的冲击感和震撼感的同时，也对传输技术提出了更高的要 求。高比特率的多视点视频处理对于内容提供商和最终用户来说是一个重要的挑战。即使 经过先进的压缩技术处理后，多视点视频的仍然有很高的数据量。最近在学术文献中提出 了多种视频传输方案：在最终用户方面，已经有学者从事选择性数据流这方面的工作，根据 观看者的头部位置，将必要的部分多视点视频编码成数据流。目前已经提出的方法有使用 不等重要片组以适应FMO到MVC的转换，率失真算法，以为每个质量层确定来源和通道。其 他方案，如。
7、数据分割系统使用Turbo码来实现通道保护。但是由于RS码和Turbo码较高的 计算成本，不适合在实时系统中应用。 0004 在3DTV流通过IP网络传输的研究中，目前已经提出的方法有：利用NUEPMuT协 议通过多树点对点(P2P)网络来传输多视点视频流；使用一个有效应用于可扩展的立体视 频编码的层提取方法，以实现在任何给定的视频数据包之间有效地分配比特率预算；面向 IP网络的多视点视频失真估计模型，以递归公式的形式在帧水平(frame-level)上建立 了以MSE为指标的、任意丢包模式下的多视点视频失真估计模型，进而扩展到GGoP水平的 失真估计模型。一些学术机构和企业也展示了应用在IP。
8、网络上的多视点立体视频服务的 原型系统。微软亚洲研究院提出了一个可提供实时、互动和可靠的多视点视频服务系统架 构。MERL(三菱电子研究实验室)提出了多视点3DTV原型系统与实时采集、传输和自动立 体显示。GIST(Gwanangu Instituteof Science&Technology)利用多对高清摄像机和基于 软件的视频接收机，提出了一个符合成本效益的多视点高清视频传输系统。多视点视频编 码(MVC模式)虽然提供了较高的压缩比，但其编解码的复杂度太高，因此尚未应用于实时 传输系统。一般来说，这些实用系统同时传输和播放被分别进行独立编码的多视点视频。 0005 高分辨率多视点立体视频涉。
9、及庞大的数据量并且在实时传输上具有更高的要求， 本发明就此提出了一种在IP网络上实时传输高分辨率多视点立体视频的有效方法。 发明内容 0006 本发明的目的是，克服现有技术的上述不足，提出一种在现有有限资源的基础上， 说 明 书CN 102625125 A 2/3页 4 能够实现高清多视点视频的可靠和实时传输的方法。本发明的技术方案如下： 0007 一种实时传输高分辨率多视点立体视频的方法，用于IP网络视频传输中，包括下 列步骤： 0008 (1)对多视点立体视频的每个视点的视频流进行独立编码； 0009 (2)将编码后的多视点立体视频按照视点的不同，分成两组进行分组处理，对每组 视频进行如下。
10、的步骤(3)-(4)的数据包合成处理； 0010 (3)对于组内的每个视点，读取视频流里的每个NAL单元，根据NAL单元的头部信 息判断是否包含具体图像数据，分离出包含具体图像数据的NAL单元，从而得到包含组内 一个仅包含具体图像数据的新的视频数据流； 0011 (4)对新的视频数据流进行数据包合成处理，将在不同视点的同一位置包含具体 图像数据的NAL单元处理成一个混合包，新的混合包的头部采用和不同视点的NAL单元头 部完全相同的参数，而主体部分由同一位置处的各个NAL单元的主体按照编号顺序组成； 0012 (5)将经过数据包合成处理的各组视频，分别通过不同IP信道进行传输； 0013 (6)。
11、将经过步骤3)分离出的不包含具体图像数据的NAL单元采用单独的信道进行传输。 0014 上述实时传输高分辨率多视点立体视频的方法，步骤(1)可采用H.264/AVS格式 独立编码。 0015 本发明在面向多视点立体视频网络传输的基础上，针对八视点自有立体视频，提 出分流传输，并在每个视频分流中应用多路复用技术，提高了码流的鲁棒性，降低了对数 据量和高带宽的要求，为实时传输创造了条件。另一方面，摒弃了编码复杂度高，且不支 持实时服务的MVC，利用H.264/AVS分别对八个视点进行独立编码，同时传输，实现了多 视点立体视频在IP网络中的实时传输。本发明通过在编码端利用目前已有技术对“混合 包”(。
12、MixP)的巧妙合成提高了多视点立体视频的实时性，而这种操作的计算复杂度极低，基 本不会带来额外的代价。此外，由于本发明提出将相邻视点投入不同信道，有效增强了多视 点立体视频的鲁棒性和误码掩盖效率。 附图说明 0016 图1 多视点立体视频实时传输系统(a)为发送系统(b)为接收系统。 0017 图2 数据包合成处理示意图。 0018 图3 MixP格式。 具体实施方式 0019 由于立体视频庞大的数据量和对高带宽的要求，为了保证立体视频流的流畅传输 和播放，同时最大限度节省系统的资源，就必须对编码后的媒体信号进行多路复用的处理。 一方面，为了实现立体视频播放的实时性，多视点立体视频必须同时传。
13、输多个视点的编码 内容。另一方面，由于多视点立体视频具有很大的数据量，多视点立体视频以一个流进行传 输在现有的网络带宽下很难实现。为解决这一问题，我们将多视点视频分成两个单独的视 频流，分别在不同的IP网络信道中进行传输。每个新组成的视频流由若干路原多视点视频 流应用一定的多路复用技术生成。图1为多视点立体视频在IP网络中实时传输系统的结 构图。下面从几个方面对本发明实施例进行说明。 说 明 书CN 102625125 A 3/3页 5 0020 一、多视点立体视频的编码 0021 本发明采用Lotus多视点序列验证所提出的传输系统的性能。Lotus序列有八个 视点，每个视点有500帧，分辨率。
14、是720*480。对每个视点的视频流采用H.264/AVS格式独 立编码。将八个视点分为两组：视点1、视点3、视点5、视点7的视频流分为一组，视点2、视 点4、视点6、视点8的视频流分为另一组。 0022 二、数据包合成和拆分技术 0023 由H.264编码完成的视频流由NAL单元(NALU)组成。具体实现时，利用配置文件、 参数设置完全相同的编码器，如H.264，在不使用片数据分割的限制下对不同的视点进行编 码，并产生视频数据流。以AnnexB数据流为例： 0024 步骤一在编码完成后，读取属于同一组的不同视点的视频流； 0025 步骤二对于第i个视点的视频流，每次都通过对视频流中NAL单元。
15、起始码 0x00000001的检验，分离出一个NAL单元(NALU)。读取当前NAL单元的头部(NALU header) 数据：首先提取指明当前NAL单元类型的参数nal unit type，并进行判断。当nal unit type取1到5时，认为这个NAL单元表示的是图像采样数据。当nal unit type取其它值 时，则该NAL单元不是VCL-NAL单元，即不包含具体图像数据，而包含序列参数集、图像参数 集、补充增强信息单元(S EI)等其它重要信息。由于这些NAL单元并不需要采用本发明提 出的数据包合成处理方法，直接从第i个视点的视频数据流中分离，并投入信道传输。此 外，由于该类信息多。
16、数较为重要，可以投放到单独的信道中进行传输。 0026 步骤三重复步骤二，直到视点i的视频数据流处理结束，得到一个完全由图像采 样数据而构成的视频数据流。 0027 步骤四对每一个视点都重复步骤二和步骤三。直到获取同一组四个视点的四个仅 含图像采样数据的新的视频数据流。 0028 步骤五同步处理步骤四中得到的一组中的四个视频数据流，由于未使用片数据分 割，且编码器配置文件和参数设置完全一致。同一组中的不同视点在视频数据码流同一位 置的NAL单元具有相同的nal unit type和NAL优先等级(用参数nal ref idc表示)。 分别在四个视频数据流的同一位置读出4个不同的NAL单元进行数。
17、据包合成处理，参见图 2。经过数据包合成处理的一个混合包中包含了同一组的4个彼此不相邻视点的NAL单元， 其结构如图3所示。这个新的混合包的头部采用和4个NAL单元头部完全相同的参数，而 主体部分由4个NAL单元的主体按照编号顺序组成，并在传输服务器中打包生成。相应的， 在“数据包拆分处理”模块中，利用以上步骤的逆过程，将NALUs从MixPs中分离出来，按照 视点编号，重新形成视点问独立的视频流。 0029 三、传输 0030 所传输的多视点视频有八个视点，从左到右为视点1到视点8。在多视点立体视频 中，当前已解码的帧和与相邻视点的帧之间具有相关性。为了利用这种相关性，我们把相邻 视点放置在不同的传输信道。其中视点1、视点3、视点5、视点7的视频流分为一组，视点 2、视点4、视点6、视点8的视频流分为另一组。将每一组内的各个视点流利用如上所提的 数据包合成技术复用在一起并在不同的IP信道中进行传输。如果在其中一个信道中发生 了丢包，丢失的数据可以利用在另外一个IP信道中传输的具有相关性的包而得到恢复。这 样就增强了数据的可恢复性。 说 明 书CN 102625125 A 1/2页 6 图1 说 明 书 附 图CN 102625125 A 2/2页 7 图2 图3 说 明 书 附 图CN 102625125 A 。