《一种面向无线传感器网络的分布式视频编解码方法.pdf》由会员分享，可在线阅读，更多相关《一种面向无线传感器网络的分布式视频编解码方法.pdf（13页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102833536 A (43)申请公布日 2012.12.19 C N 1 0 2 8 3 3 5 3 6 A *CN102833536A* (21)申请号 201210256604.3 (22)申请日 2012.07.24 H04N 7/26(2006.01) H04N 7/50(2006.01) (71)申请人南京邮电大学 地址 210003 江苏省南京市新模范马路66 号 (72)发明人孙力娟 林兆晓 肖甫 王汝传 郭剑 沙超 黄海平 蒋凌云 徐佳 (74)专利代理机构南京经纬专利商标代理有限 公司 32200 代理人叶连生 (54) 发明名称 一种面向无线传。
2、感器网络的分布式视频编解 码方法 (57) 摘要 一种面向无线传感器网络的分布式视频编解 码方法，整体框架基于像素域的残差编解码方案， 它采用在W帧编码端增加基于像素域区分的感兴 趣区域模块并将预测残差编码应用到非感兴趣区 域中，避免了残差编码应用的局限性，进一步获得 了更好的率失真性能。同时针对基于像素域的编 解码方案未能充分挖掘原始信息的空间相关性以 至于其性能低于基于DCT域的方案这一问题，将 原始图像看成符合MRF模型的信息源，在解码端 采取LDPC算法和Baum-Welch算法交替迭代解码 的方案。主要用于满足无线传感器节点对图像传 输的要求：低复杂度的信息源端，较低的传输码 率，较。
3、好的率失真特性，降低传感器节点能耗，实 现面向无线传感器网络的应用。 (51)Int.Cl. 权利要求书1页 说明书6页 附图5页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 6 页 附图 5 页 1/1页 2 1.一种面向无线传感器网络分布式视频编解码方法，其特征在于该方法对基于像素域 的残差编码方案，采用在Wyner-Ziv帧-W帧编码端增加基于像素域的感兴趣区域模块并将 预测残差编码应用到非感兴趣区域中，同时将原始图像看成符合马尔科夫随机场MRF模型 的信息源，在解码端采取低密度奇偶校验码LDPC算法和鲍姆-韦尔奇Baum-Welch算法交 替。
4、迭代解码的方案；主要用于满足无线传感器节点对图像传输的要求：低复杂度的信息源 端，较低的传输码率，较好的率失真特性，降低传感器节点能耗，实现面向无线传感器网络 的应用，具体方法为： 步骤1）. 划分出视频序列的关键帧-K帧和Wyner-Ziv帧-W 帧； 步骤2）. 对关键帧进行基于H.264标准的帧内编解码； 步骤3）. 选择一种基于像素域的感兴趣区域提取算法区分出W帧中的感兴趣区域ROI 宏块和非ROI宏块，记为； 步骤4）. 对感兴趣区域ROI宏块采用熵编解码； 步骤5）. 对非感兴趣区域ROI宏块采取残差编解码； 步骤6）. 根据解码出的K帧和W帧，恢复视频序列，完成分布式编解码。 2。
5、. 根据权利要求1所述的面向无线传感器网络分布式视频编解码方法，其特征在于 所述的步骤5）中，将Baum-Welch解码算法应用到残差块的解码当中，具体步骤为： 步骤1）. 计算W帧中非感兴趣区域ROI宏块和关键帧中相同位置宏块的差值； 步骤2）. 对上一步的差值进行LDPC编码； 步骤3）. 通过对K帧和重构出的W帧进行运动估计，插值操作获得LDPC解码的边信 息Y；LDPC解码器和Baum-Welch解码器利用边信息Y和相互交替的信息迭代解码，直到恢 复原始信息； 步骤4）. 根据差值边信息Y及恢复的残差块的信息，重构出残差块； 步骤5）. 将重构的残差块加上参考块，即得到重构的非ROI宏。
6、块。 权 利 要 求 书CN 102833536 A 1/6页 3 一种面向无线传感器网络的分布式视频编解码方法 技术领域 0001 本发明是一种面向无线传感器网络的分布式视频编解码的改进方案，具体是一 种基于像素域的联合LDPC（Low Density Parity Check Code，低密度奇偶校验码）和 Baum-Welch（鲍姆-韦尔奇）迭代算法的残差视频编解码方法，属于无线多媒体传感器网络 领域。 背景技术 0002 近年来，伴随着无线多媒体通信技术的迅速发展，一些新的视频应用需求开始出 现，如：无线PC（Personal Computer，个人计算机）摄像机、移动可视电话、无线视。
7、频监控、无 线多媒体传感器网络等。在这些新的视频应用中，由于受限于电源电量、存储容量、计算能 力、通信能力，无线视频终端不仅需要较低复杂度的编码，而且需要视频信号实时编码和传 输。传统的视频编码标准（如MPEG（Moving Pictures Experts Group，动态图像专家组）、 H.26X）都采用了混合编码框架，编码采用运动估计，充分挖掘视频序列的时间和空间相关 性信息，一般情况下，编码复杂度是解码复杂度的510倍，不再适用于这些新的视频应用 场合中，必须寻找新的编码压缩方法。 0003 为了解决传统视频编码复杂度高、和容错能力差等问题，一种以Slepian和 Wolf提出的Sle。
8、pian-Wolf无损信源编码，以及Wyner-Ziv提出的在解码端获得边信息 （Side Information，SI）的Wyner-Ziv有损信源编码为理论基础的全新分布式视频编码 （Distributed Video Coding）方法被引入，用于解决无线多媒体传感器网络中的视频编码 问题。 0004 分布式视频编码具有编码简单、解码复杂的特点，与传统的视频编码标准复杂编 码、简单解码具有良好的互补性。发送方采用分布式视频编码并将编码的视频流发送至基 站或网络中心节点，在基站或网络中心结点设置码流转换器，将分布式码率转换为H.26X/ MPEG码流，然后由基站或网络中心结点将转换后的视频。
9、流传送给客户端。该编码方案将分 布式复杂的解码和传统视频的复杂编码转移到了基站或网络中心，利用了基站或网络中心 较强的计算和存储能力，这样对于发送方和接收终端而言，仅需要进行较低复杂度的编码 和解码，从而适用于电源电量、存储能力、运算能力和通信能力都受限的无线多媒体传感器 网络。 0005 斯坦福大学A.Aaron等人提出了基于RCPT（Rate Compatible Punctured Turbo Code）分布式视频编码系统，UC伯克利分校的R.Puri和K.Ramchandran设计了PRISM （Power-efficient Robust high-compression Syndr。
10、ome-base Multimedia）分布式视频编 码系统。分布式编码对多个相关信源独立编码，在解码端进行联合解码，仅在解码时使用到 了多个信源的信息，因此将计算的负担从编码端转移到解码端，编码端的复杂度可以很低， 这符合了无线多媒体传感器网络节点计算能力有限的特点。在Wyner-Ziv视频编码中，解 码端的运动估计技术是根据帧间的相关性进行运动矢量预测实现的。当解码端边信息和 Wyner-Ziv帧（W帧）之间的相关性较弱时，就不能准确的进行运动估计，进而影响解码的效 说 明 书CN 102833536 A 2/6页 4 果。 0006 基于像素域的分布式编码系统是将Wyner-Ziv帧帧的。
11、每个像素值采用 级别的统一尺度量化，2,4,8,16，将每帧图像量化后的符号流进行位平面提取， 然后对每个位平面独立编码。在解码端，关键帧（K 帧）采用传统的帧内解码方法解码。解 码时，Wyner-Ziv帧优先解码最重要的位平面，已经解码的位平面可以用来解码未解码的位 平面，直到位平面全部解码。但是对整个图像的像素进行编码处理，数据量较大。 0007 基于离散余弦变化（DCT）编码的分布式视频编码方案，可以实现图像信息量很大 程度上的压缩。降低了码率，提高了整体性能，适用于无线传感器网络。DCT变换是一种数 字处理方法，经常用于数据处理。它把空间域图像变换到频率域进行分析。在空间域看来， 图像。
12、内容千差万别，但在频率域，经过大量图像的统计分析发现，图像经过DCT变换，其频 率系数的主要成分集中于比较小的范围，且主要位于低频部分。可以采取一些措施把频谱 中能量较小的部分丢弃，尽量保留传输频谱中主要的频率分量，就能够达到图像数据压缩 目的。 0008 虽然DCT变换可以实现编码端较低的码率，但是在编码端进行DCT变换本身就带 了了编码端复杂度的提升。同时由于对DCT系数进行量化时，如果量化步长选取不当，也会 造成解码图像出现块效应。 0009 引进数字图像处理中的Markov（马尔科夫）模型理论。 0010 一维Markov随机过程：设有随机过程，若对于任意整数和任 意的，满足就称 为马。
13、尔科夫（Markov）过程，该随机过程的统计特性完全由条件概率所决定。一 维Markov随机场很好的描述了随机过程中某点的状态只与该点之前的一个点的状态有关 系。二维Markov的平面网格结构可以较好的表现图像中像素之间的空间相关性。对于定义 在二维空间的图像，可以将它看成是一个二维随机场，自然也存在二维Markov随机场。马 尔科夫随机场（MRF）理论可以根据图像中像素之间的相关模式确定先验概率。MRF理论在 实际应用中常常与统计决策和估计理论(常使用Baum-Welch（鲍姆-韦尔奇）算法)相结 合，根据一定的最优化准则来确定目标函数。 0011 对于含有冗余的信源，可以用Markov模型。
14、来描述。模型中的状态转移概率可以用 Baum-Welch算法估计实现。在解码端交替使用LDPC（Low Density Parity Check Code， 低密度奇偶校验码）和Baum-Welch迭代算法，充分利用原始图像的像素之间的空间相关性。 实现了将去空间相关性的工作转移到解码端，降低了编码端的复杂度，整体性能较好。 0012 Aaron和Girod等在编码端对W帧进行残差预测，再对预测残差进行LDPC编码； 在解码端，通过运动估计可以生成更好的边信息，以用于重构解码帧。利用视频序列的时域 相关性进行编码，虽增加了编码端帧的存储和帧间相减的计算量，却提高了率失真性能。 0013 残差编。
15、码的优点：利用帧间宏块的相关性，去除时间冗余度。缺点：在视频流有较 大变化的时候，即对应图形的运动剧烈区域。对此区域进行残差编码反而会使得图像压缩 效果变差。基于感兴趣区域提取方法即将运动剧烈和运动对象边缘区域，作为ROI（Region Of Interest，感兴趣区域）提取出来，采用熵编码方式，对非ROI区域采取残差编码，可以避 免残差编码应用的局限性，从而提高编码端的效率和解码图像的质量。 说 明 书CN 102833536 A 3/6页 5 0014 我们综合考虑了基于像素域编码残差编码及DCT变化编码的优缺点，提出一种充 分利用像素域编码的优点的残差编解码方案，使之充分利用残差编码的。
16、优势，降低编码端 复杂度，同时获得整体性能的提升。 发明内容 0015 技术问题：本发明的目的是提供一种面向无线传感器网络分布式视频编解码方 法，传统的基于像素域的残差编码性能相较于仅仅基于像素域的编码，性能有所提升，但是 总体上还是逊于DCT变换编解码方案，然而基于DCT域的残差编码方案，编码端复杂度较 高，且解码图像易出现块效应。依据以上所述，我们提出一种基于像素域的联合LDPC和 Baum-Welch迭代算法的残差视频编解码方法，将DCT方案在编码端进行空间相关性挖掘的 工作转移到解码端，以解决以上问题。 0016 技术方案：基于像素域的联合LDPC和Baum-Welch迭代算法的残差编。
17、解码的视频 编解码的具体算法框架：将待编码的视频流分为关键帧（K 帧）和Wyner-Ziv帧（W 帧），K帧 采用传统的编码方案，W帧采用基于像素域的ROI判断准则将宏块区分为ROI宏块和非ROI 宏块，对ROI宏块采取熵编解码，对非ROI宏块采取LDPC编码、LDPC+Baum-Welch算法交替 迭代解码。 0017 将Baum-Welch算法应用到该编码框架中，为了避免残差编码在运动剧烈区域应 用的局限性，我们采用ROI块提取方案。当非ROI宏块和前一关键帧相同位置的宏块 相减得残差块，对所产生残差块进行LDPC编码。解码端通过运动估计插值生成X的 边信息块Y，使复制到解码端，得残差边信。
18、息块。利用LDPC和Baum-Welch算法 交替迭代解码出残差块，最后在重建非ROI宏块的时候加上参考块。 0018 一、体系结构 本发明所用到的分布式视频编码的体系结构的主体是基于像素域Wyner-Ziv残 差视频编码体系，编码端对运动剧烈区域进行提取，进行LDPC编码，解码端使用的是 LDPC+Baum-Welch交替迭代算法。 0019 二、方法流程 本发明的面向无线传感器网络分布式视频编解码方法对基于像素域的残差编码方案， 采用在Wyner-Ziv帧-W帧编码端增加基于像素域的感兴趣区域模块并将预测残差编码 应用到非感兴趣区域中，同时将原始图像看成符合马尔科夫随机场MRF（Marko。
19、v Random Field，）模型的信息源，在解码端采取低密度奇偶校验码LDPC（Low Density Parity Check Code，）算法和鲍姆-韦尔奇Baum-Welch算法交替迭代解码的方案；主要用于满足无线传 感器节点对图像传输的要求：低复杂度的信息源端，较低的传输码率，较好的率失真特性， 降低传感器节点能耗，实现面向无线传感器网络的应用，具体方法为： 步骤1）. 划分出视频序列的关键帧-K帧和Wyner-Ziv帧-W 帧； 步骤2）. 对关键帧进行基于H.264标准的帧内编解码； 步骤3）. 选择一种基于像素域的感兴趣区域提取算法区分出W帧中的感兴趣区域ROI （Regio。
20、n Of Interest，）宏块和非ROI宏块，记为； 步骤4）. 对感兴趣区域ROI宏块采用熵编解码； 说 明 书CN 102833536 A 4/6页 6 步骤5）. 对非感兴趣区域ROI宏块采取残差编解码； 步骤6）. 根据解码出的K帧和W帧，恢复视频序列，完成分布式编解码。 0020 所述的步骤5）中，将Baum-Welch解码算法应用到残差块的解码当中，具体步骤 为： 步骤1）. 计算W帧中非感兴趣区域ROI宏块和关键帧中相同位置宏块的差值 ； 步骤2）. 对上一步的差值进行LDPC编码； 步骤3）. 通过对K帧和重构出的W帧进行运动估计，插值操作获得LDPC解码的边信 息Y；LD。
21、PC解码器和Baum-Welch解码器利用边信息Y和相互交替的信息迭代解码，直到恢 复原始信息； 步骤4）. 根据差值边信息Y及恢复的残差块的信息，重构出残差块； 步骤5）. 将重构的残差块加上参考块，即得到重构的非ROI宏块。 有益效果：本发明提出了一种面向无线传感器网络的分布式残差视频编解码方法，主 要用于提升分布式编解码体系的率失真特性，最终实现降低传感器节点的能耗。 0021 基于turbo或LDPC对Wyner-Ziv帧的所有区域不加区别的编码处理，对于运动比 较剧烈的区域和运动对象的边缘区域，运动估计技术不能够准确预测，解码时需要向编码 端请求较多的反馈信息，这样不仅增加了码率，而。
22、且解码的部分图像仍不够精确。而通过 ROI判定准则提取运动剧烈区域并基于熵编码压缩，其余区域则基于LDPC分布式编解码， 可以增强运动剧烈区域和运动对象的边缘区域编码的效率，从而在降低码率的同时提高解 码图像质量，最终降低传感器节点能耗。 0022 残差编码可以充分利用帧间宏块的相关性，去除时间冗余度。但是在视频流有较 大的内容变化时，进行残差编码操作反而会是的编码图像更为复杂，压缩效果受到很大损 失。 0023 基于像素域的残差编码框架，虽然性能较基于像素域的编解码方案有所提升，但 是仍然逊于基于DCT域的编解码方案，原因在于基于像素域的采用LDPC编码、解码方案未 能充分利用编码端图像的空。
23、间相关性信息。 0024 考虑基于像素域残差编解码方案的优点：基于像素域方案使得编码端简单、基于 残差编码方案降低了编码端码率，并可以获得较好的率失真特性；同时考虑其缺点：编码 端放弃了对信源空间相关性的挖掘且对图像所有区域不加区别的残差编码可能导致运动 剧烈区域解码图像失真严重。本发明提了一种创新的残差编解码方案：这种方案实现了保 存原始方案的优点，并克服其缺点的功能。具体框架体系将Wyner-Ziv帧划分成块，提取其 中的感兴趣区域宏块即运动激烈区域宏块进行熵编码，宏块的提取也是基于像素域的，较 基于DCT变换方案简单。而非感兴趣区域正是图像视频序列中运动不激烈的区域，所以对 这部分宏块采。
24、取残差编码方案进行LDPC编码。解码端利用Baum-Welch算法挖掘原始图像 的空间相关性，与LDPC算法交替迭代解码，达到充分发挥残差编码体系的优越性。 0025 因此，本发明的有益效果主要包括降低编码端复杂度，降低码率，提升整体率失真 特性，提升图像质量，最终降低传感器节点的能耗。 说 明 书CN 102833536 A 5/6页 7 附图说明 0026 图1是基于像素域的分布式残差视频编解码的体系框图。 0027 图2是基于像素域的宏块区分分布式视频编解码体系框图。 0028 图3是基于像素域联合ROI宏块区分算法的分布式残差视频编解码体系框图。 0029 图4 是本发明的分布式残差编。
25、解码体系框图。 0030 图5是基于像素域的残差编解码算法流程图。 0031 图6是基于像素域联合ROI区分模块的算法流程图。 0032 图7是本发明的算法流程图。 具体实施方式 0033 本发明的基本框架是基于像素域的分布式残差编码体系，改进的地方在于，使用 MRF（Markov Random Field，马尔科夫随机场）模型，将编码端图像看成符合Markov随机过 程的信源，具体实现是在解码端使用Baum-Welch估计算法，该方案使在编码端去除空间相 关性的工作转移到解码端，同时联合感兴趣区域提取方案，进一步提升系统性能。该体系的 具体运行步骤如下： 步骤1. 将待编码的视频图像序列分为。
26、关键帧（K）和Wyner-Ziv帧（W）。关键帧采用传 统的H.264帧内编解方案。W帧在编码端配置ROI（感兴趣区域）宏块提取模块。 0034 步骤2. Wyner-Ziv帧根据基于像素域的ROI区分算法，采用简单有效的ROI判断 准则将图像分成感兴趣区域块和非感兴趣区域块。 0035 步骤3. 对感兴趣区域宏块采取熵编解码。 0036 步骤4. 取参考块：当前ROI宏块和前一关键帧相同位置的宏块。 0037 步骤5. 当前感兴趣区域宏块和前一关键帧相同位置的宏块相减得残差块 。 0038 步骤6. 编码端对所产生的残差块进行LDPC编码器进行编码。 0039 步骤7. 在解码端，ROI宏块。
27、采取熵编解码的方式，对由非ROI宏块与前一关键帧 相同位置宏块作差所得残差块进行LDPC+Baum-Welch交替迭代解码。 0040 步骤8. 最后将重构的非感兴趣区域块加上残差块就可以得到重构的非感兴 趣区域宏块，融合通过熵解码的感兴趣区域块，最后重构出原始Wyner-Ziv帧。 0041 为了方便描述，我们假定有如下应用实例，如图4所示：系统包括关键帧帧内编解码， Wyner-Ziv帧图像宏块区分模块，运动剧烈宏块熵编解码模块，对非运动剧烈宏块进行残差 编码，使用LDPC编码器，使用LDPC+Baum-Welch算法交替迭代解码。 0042 编码端，传感器节点传输一系列视频图像序列，系统。
28、运行后的具体步骤为： 步骤1. 按一定的关键帧（K）帧和Wyner-Ziv(W)帧的区分规则，划分出视频序列的K 帧和W帧。 0043 步骤2. 对关键帧采用传统的H.264标准进行帧内编解码。 0044 步骤3. 对W帧图像运动剧烈和非剧烈宏块区分模块的操作包括：首先选择采用 基于像素域的区分准则进行ROI宏块区分，得到ROI宏块和非ROI宏块。设当前帧为 说 明 书CN 102833536 A 6/6页 8 ，前一参考帧为，采取的区分准则为：，为每一个 宏块, (i , j)为像素点位置。为当前帧当前位置的像素值，对应的为参考 帧相应点的像素值。根据计算得到的SAD（ROI宏块的像素差值和。
29、），将SAD值和阈值T相 比较。如果SADT,则为ROI宏块，否则为非ROI宏块。 0045 步骤4. 对ROI宏块采用熵编解码。 0046 步骤5. 计算W帧中非ROI宏块和关键帧中相同位置宏块的像素差值和。 0047 步骤6. 对该差值进行LDPC编码。 0048 步骤7. 通过对K帧和重构出的W帧进行运动估计，插值等操作获得LDPC解码的 边信息Y。首先使用LDPC解码器进行解码，接下来使用Baum-Welch解码器接收LDPC解码 的关于信息源的某个比特平面的内部信息，加上边信息Y进行解码，之后LDPC解码器接受 由Baum-Welch解码器输出的信息，结合边信息Y和传输过来的综合信息。
30、流，迭代产生原始 图像的外部信息。如此反复，LDPC解码器和Baum-Welch解码器交替解码，并相互交换信息， 直到恢复原始信息。 0049 步骤8. 根据差值边信息Y及恢复的残差块的信息，重构出残差非ROI块。 0050 步骤9. 将重构的残差块加上参考块，即得到非ROI宏块的重构图。 0051 步骤10. 将恢复的非ROI块与熵解码得到的ROI块融合，即重构出当前 Wyner-Ziv帧。 0052 步骤11. 根据解码出的关键帧和Wyner-Ziv帧，恢复出原始视频图像序列，完成 分布式编解码。 说 明 书CN 102833536 A 1/5页 9 图1 图2 说 明 书 附 图CN 102833536 A 2/5页 10 图3 图4 说 明 书 附 图CN 102833536 A 10 3/5页 11 图5 说 明 书 附 图CN 102833536 A 11 4/5页 12 图6 说 明 书 附 图CN 102833536 A 12 5/5页 13 图7 说 明 书 附 图CN 102833536 A 13 。