《基于双重稀疏模型解码的压缩感知视频传输方法及系统.pdf》由会员分享,可在线阅读,更多相关《基于双重稀疏模型解码的压缩感知视频传输方法及系统.pdf(24页珍藏版)》请在专利查询网上搜索。
1、10申请公布号CN104159112A43申请公布日20141119CN104159112A21申请号201410389840122申请日20140808H04N19/177201401H04N19/577201401H04N19/6320140171申请人哈尔滨工业大学深圳研究生院地址518000广东省深圳市南山区西丽镇深圳大学城哈工大校区72发明人吴绍华赵睿思王海旭焦健张钦宇74专利代理机构深圳市科吉华烽知识产权事务所普通合伙44248代理人于标54发明名称基于双重稀疏模型解码的压缩感知视频传输方法及系统57摘要本发明提供了一种基于双重稀疏模型解码的压缩感知视频传输方法及系统,该压缩感知视。
2、频传输方法包括编码步骤和解码步骤。其中编码步骤包括视频帧图像分组步骤、压缩编码步骤;解码步骤包括关键帧重构步骤、边信息生成步骤、冗余字典构造步骤、非关键帧重构步骤和视频帧图像重组步骤。本发明的有益效果是本发明的方法及系统由于更全面地挖掘视频帧图像的特征信息,由估计信息生成的训练集通过构造新型的字典,结合GPSR(GRADIENTPURSUITFORSPARSERECONSTRUCTION)算法,能够提高非关键帧的重构质量,从而提升了系统的整体性能。51INTCL权利要求书5页说明书12页附图6页19中华人民共和国国家知识产权局12发明专利申请权利要求书5页说明书12页附图6页10申请公布号CN。
3、104159112ACN104159112A1/5页21一种基于双重稀疏模型解码的压缩感知视频传输方法,其特征在于,包括如下编码步骤和解码步骤,所述编码步骤包括视频帧图像分组步骤提取视频序列帧图像,形成视频图像帧组;压缩编码步骤分别对关键帧与非关键帧进行基于压缩感知的线性压缩,获取相应的压缩结果并传输给解码单元,所述关键帧用K帧表示,所述非关键帧用CS帧表示;在所述解码步骤中包括关键帧重构步骤关键帧压缩结果到达解码单元后,由GPSR算法进行重构;边信息生成步骤由相邻的前后两个关键帧的重构结果,采用运动估计补偿算法生成边信息;冗余字典构造步骤字典训练过程将利用到前后相邻已重构关键帧与边信息帧,模。
4、块的输入为待训练图像集KT1帧、KT1帧、SI帧及以下参数小波变换滤波器系数,分解级数S,各子字典原子大小DB,以下为字典训练步骤A将训练集图像输入字典构造模块,所述训练集图像包括已重构关键帧、边信息,模对每个训练图像做S级小波变换,提取各自的系数子带;B生成训练样本集对各子带方向小波系数提取不重叠的块并排成向量,构成该子带训练样本集,初始化所有子字典DB,初始化过程同时利用OMP算法获得初始的稀疏表示矩阵A;C通过KSVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系数矩阵AB;D利用训练集与稀疏表示系数,得到重组形成的完整字典并输出;非关键帧重构步骤利用非关键帧压缩结果。
5、,以及上述字典训练步骤D中输出的字典,通过融入冗余字典的GPSR算法,完成非关键帧的重构;视频帧图像重组步骤由已解码的帧组图像重组形成解码后的视频序列。2根据权利要求1所述的压缩感知视频传输方法,其特征在于,在所述视频分组步骤中,从输入的视频序列中提取出视频帧图像并形成GOP帧组,帧组中第一帧图像为关键帧,其余若干帧图像为非关键帧;各组内帧图像将按关键帧、非关键帧的顺序进行传输;在所述压缩编码步骤中,首先将像素点个数为N的二维图像帧信号按列输出为N1的一维信号XT,然后分别对帧组中K帧与CS帧通过压缩感知YTXT压缩过程,获取相应帧图像的压缩结果YT,YT是MT1维的向量,是MTN维的压缩矩阵。
6、,这里K帧的压缩率MRK大于或等于CS帧的压缩率MRCS,用以为CS帧提供估计信息,其中XT的压缩率MR被定义为MRTMT/N;其中压缩矩阵QMWPN,WB表示BB的哈德玛矩阵,PN表示对W的列向量进行随机排序,QM表示随机抽取WPN中的M行。权利要求书CN104159112A2/5页33根据权利要求1所述的压缩感知视频传输方法,其特征在于,在所述关键帧重构步骤中,获取K帧压缩结果后,将其结合GPSR梯度投影凸优化算法解决算式完成重构;其中YT是MT1维的压缩结果,YTXT,A是大小为MN的矩阵,ST是待优化的估计系数,表示求该式的二范数的平方,|1表示求该式的一范数;求解该问题最优解估计值后。
7、,原关键帧信号重构估计值为在所述边信息生成步骤中,CS帧相邻前后的两个K帧,将采用MCI双向运动估计补偿算法,以GOP2为例,将视频帧图像分成若干个块,MN为CS帧中的某一像块,MN1和MN1分别为KT1帧和KT1帧的同位置像块;首先以KT1为参考帧,搜索与MN1最佳匹配的像块,得到了运动矢量I,J;然后以I/2,J/2作为MN的运动矢量,对MN进行前向运动估计补偿,得到预测结果XN;同理,再以KT1帧为参考帧,搜索与MN1最佳匹配的像块,得到运动矢量I,J,然后以I/2,J/2作为MN的运动矢量,以KT1帧为参考帧,对MN进行后向运动补偿,得到YN,最后,再将XN和YN进行平均,即可得到MN。
8、的运动补偿内插值,遍历所有的像块后,获得两个双向的预测结果XT与YT,对他们进行求均值的操作,即生成了当前帧的边信息SIT。4根据权利要求1所述的压缩感知视频传输方法,其特征在于,在所述步骤A中依据双稀疏字典表示模型,字典训练问题可描述为其中,Y表示待训练集,A表示稀疏表示系数,K为稀疏度,EZ表示字典的每个原子可由核心字典E稀疏表示,即DEZ,Z为稀疏表示矩阵,表示矩阵的F范数,将上式变形等价为其中EA代表小波变换基,表示对训练集图像做S级的离散小波变换,通过若干次离散低通和离散高通迭代分解,能够得到B3S1个系数子带,它们分别代表了不同方向尺度的分量,提取这B3S1个子带,每个不同子带的集。
9、合将形成字典训练样本集;在所述步骤B中从步骤A得到的各系数子带中提取QB个块,每个子带集合被分成若干不重叠的块,将它们展开成列向量并依次排列最终形成各自的训练集EAYB;初始化所有子字典DB,B1,2,3S1,同时对各子带训练集通过OMP算法求稀疏系数矩阵AB;在所述步骤C中对每个子带训练集使用KSVD算法训练字典,解决算式经过不断的迭代得到优化解,每一次迭代更新字典的某项原子,直到满足迭代终止条件迭代结束,最终获得各自子带方向的其中结合了OMP算法得到相应的稀疏表示系数AB;OMP算法过程为初始化残差赋值REAYB,索引值集合赋值IKAB,迭代次数T1,残差小于阈值M时,寻找最大内积所对应的。
10、索引值I;扩充索引值集合IKIKI;更新残差和迭代次数权利要求书CN104159112A3/5页4TT1;当残差大过阈值,迭代终止,输出稀疏表示系数AB与各子带字典在所述步骤D中各子带字典依据小波变换的原始系数矩阵排布结构,将各子带字典通过重新排列形成训练后的系数字典DS,再利用初始训练集Y与重组后的稀疏表示系数AS,通过解决算式得到重组形成的完整小波域多尺度字典输出该字典。5根据权利要求4所述的压缩感知视频传输方法,其特征在于,在所述非关键帧重构步骤中,接收到非关键帧压缩结果,结合步骤D中训练的冗余字典通过融入冗余字典的GPSR算法完成对CS帧的重构,主要解决算式其中S是当前CS帧的压缩结果。
11、。6一种基于双重稀疏模型解码的压缩感知视频传输系统,其特征在于,包括如下编码模块和解码模块,所述编码模块包括视频帧图像分组模块用于提取视频序列帧图像,形成视频图像帧组;压缩编码模块用于分别对关键帧与非关键帧进行基于压缩感知的线性压缩,获取相应的压缩结果并传输给解码单元,所述关键帧用K帧表示,所述非关键帧用CS帧表示;所述解码模块中包括关键帧重构模块用于关键帧压缩结果到达解码单元后,由GPSR算法进行重构;边信息生成模块用于由相邻的前后两个关键帧的重构结果,采用运动估计补偿算法生成边信息;冗余字典构造模块用于字典训练过程将利用到前后相邻已重构关键帧与边信息帧,模块的输入为待训练图像集KT1帧、K。
12、T1帧、SI帧及以下参数小波变换滤波器系数,分解级数S,各子字典原子大小DB,以下为字典训练步骤A将训练集图像输入字典构造模块,所述训练集图像包括已重构关键帧、边信息,对每个训练图像做S级小波变换,提取各自的系数子带;B生成训练样本集对各子带方向小波系数提取不重叠的块并排成向量,构成该子带训练样本集,初始化所有子字典DB,初始化过程同时利用OMP算法获得初始的稀疏表示矩阵A;C通过KSVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系数矩阵AB;D利用训练集与稀疏表示系数,得到重组形成的完整字典并输出;非关键帧重构模块利用非关键帧压缩结果,以及上述字典训练步骤D中输出的字典。
13、,通过融入冗余字典的GPSR算法,完成非关键帧的重构;权利要求书CN104159112A4/5页5视频帧图像重组模块由已解码的帧组图像重组形成解码后的视频序列。7根据权利要求6所述的压缩感知视频传输系统,其特征在于,在所述视频分组步模块中,从输入的视频序列中提取出视频帧图像并形成GOP帧组,帧组中第一帧图像为关键帧,其余若干帧图像为非关键帧;各组内帧图像将按关键帧、非关键帧的顺序进行传输;在所述压缩编码步骤中,首先将像素点个数为N的二维图像帧信号按列输出为N1的一维信号XT,然后分别对帧组中K帧与CS帧通过压缩感知YTXT压缩过程,获取相应帧图像的压缩结果YT,YT是MT1维的向量,是MTN维。
14、的压缩矩阵,这里K帧的压缩率MRK大于或等于CS帧的压缩率MRCS,用以为CS帧提供估计信息,其中XT的压缩率MR被定义为MRTMT/N;其中压缩矩阵QMWPN,WB表示BB的哈德玛矩阵,PN表示对W的列向量进行随机排序,QM表示随机抽取WPN中的M行。8根据权利要求6所述的压缩感知视频传输系统,其特征在于,在所述关键帧重构模块中,获取K帧压缩结果后,将其结合GPSR梯度投影凸优化算法解决算式完成重构;其中YT是MT1维的压缩结果,YTXT,A是大小为MN的矩阵,ST是待优化的估计系数,表示求该式的二范数的平方,|1表示求该式的一范数;求解该问题最优解估计值后,原关键帧信号重构估计值为在所述边。
15、信息生成模块中,CS帧相邻前后的两个K帧,将采用MCI双向运动估计补偿算法,以GOP2为例,将视频帧图像分成若干个块,MN为CS帧中的某一像块,MN1和MN1分别为KT1帧和KT1帧的同位置像块;首先以KT1为参考帧,搜索与MN1最佳匹配的像块,得到了运动矢量I,J;然后以I/2,J/2作为MN的运动矢量,对MN进行前向运动估计补偿,得到预测结果XN;同理,再以KT1帧为参考帧,搜索与MN1最佳匹配的像块,得到运动矢量I,J,然后以I/2,J/2作为MN的运动矢量,以KT1帧为参考帧,对MN进行后向运动补偿,得到YN,最后,再将XN和YN进行平均,即可得到MN的运动补偿内插值,遍历所有的像块后。
16、,获得两个双向的预测结果XT与YT,对他们进行求均值的操作,即生成了当前帧的边信息SIT。9根据权利要求6所述的压缩感知视频传输系统,其特征在于,在所述步骤A中依据双稀疏字典表示模型,字典训练问题可描述为其中,Y表示待训练集,A表示稀疏表示系数,K为稀疏度,EZ表示字典的每个原子可由核心字典E稀疏表示,即DEZ,Z为稀疏表示矩阵,权利要求书CN104159112A5/5页6表示矩阵的F范数,将上式变形等价为其中EA代表小波变换基,表示对训练集图像做S级的离散小波变换,通过若干次离散低通和离散高通迭代分解,能够得到B3S1个系数子带,它们分别代表了不同方向尺度的分量,提取这B3S1个子带,每个不。
17、同子带的集合将形成字典训练样本集;在所述步骤B中从步骤A得到的各系数子带中提取QB个块,每个子带集合被分成若干不重叠的块,将它们展开成列向量并依次排列最终形成各自的训练集EAYB;初始化所有子字典DB,B1,2,3S1,同时对各子带训练集通过OMP算法求稀疏系数矩阵AB;在所述步骤C中对每个子带训练集使用KSVD算法训练字典,解决算式经过不断的迭代得到优化解,每一次迭代更新字典的某项原子,直到满足迭代终止条件迭代结束,最终获得各自子带方向的其中结合了OMP算法得到相应的稀疏表示系数AB;OMP算法过程为初始化残差赋值REAYB,索引值集合赋值IKAB,迭代次数T1,残差小于阈值M时,寻找最大内。
18、积所对应的索引值I;扩充索引值集合IKIKI;更新残差和迭代次数TT1;当残差大过阈值,迭代终止,输出稀疏表示系数AB与各子带字典在所述步骤D中各子带字典依据小波变换的原始系数矩阵排布结构,将各子带字典通过重新排列形成训练后的系数字典DS,再利用初始训练集Y与重组后的稀疏表示系数AS,通过解决算式得到重组形成的完整小波域多尺度字典输出该字典。10根据权利要求9所述的压缩感知视频传输系统,其特征在于,在所述非关键帧重构模块中,接收到非关键帧压缩结果,结合步骤D中训练的冗余字典通过融入冗余字典的GPSR算法完成对CS帧的重构,主要解决算式其中S是当前CS帧的压缩结果。权利要求书CN10415911。
19、2A1/12页7基于双重稀疏模型解码的压缩感知视频传输方法及系统技术领域0001本发明涉及数字图像及信号处理领域,尤其涉及基于双重稀疏模型解码的压缩感知视频传输方法及系统。背景技术0002压缩感知理论通过利用信号的稀疏特性,在远小于NYQUIST采样率的条件下,随机采样获取信号的离散样本,然后通过非线性算法重建信号。其核心思想是若信号在某个变换基上是稀疏的,编码端用一个与不相关的测量矩阵将信号投影到一个低维空间,解码端通过求解最优化问题即可从少量投影中精确重构原始信号。0003分布式视频编码系统,可使视频序列的帧间相关性用于解码端,实现用边信息结合解码算法解码,而编码端仅需实现分布式帧内编码,。
20、从而使编码端复杂度大大降低。它与传统视频编码技术的差别在于传统技术通常都会在编码端充分挖掘视频序列的冗余信息,编码端复杂度一般较高;而分布式视频编码具有编码器复杂度低、容错性好、编码端耗电量低等特点。0004传统视频压缩通常是非线性编码、线性解码,这使得编码复杂度非常高,系统编码端压力大,通过结合压缩感知理论与分布式视频编码的思想,可以把系统复杂度转移至解码端,而在解码端寻找高效高性能的解码算法,这非常适用于系统资源分配不对称的场景。0005北京邮电大学的专利“基于压缩感知的分布式信源编码的方法”申请号2009102426224,公布号101742313,其方法利用压缩感知技术并结合到分布式视。
21、频信源编码中。在编码过程中利用压缩感知技术对视频数据进行压缩,同时在解码时进行相应的重构操作。但该方法存在一定的不足在解码端视频帧图像重构时,采用了固定的稀疏变换基,虽然大多情况下信号在这种基下是稀疏的,但这种稀疏基由于独立于原始的测量信号,因此它的信号表示系数并不具备最优的稀疏性,对重构质量也造成了影响。0006西安电子科技大学的专利“利用稀疏表示与字典学习进行图像分割的方法”申请号2011100591968,公布号102096819,提出了一种结合稀疏表示与字典训练而实现图像分割的方法。它的主要重构思想是利用图像本身特征,通过KSVD算法训练出适应于图像的稀疏字典,并应用于最终的图像重构当。
22、中。这种方法虽然利用了信号自身特征,但字典训练计算量较大,自由度过高,字典规模也将被限制;并且由于它并没有充分的挖掘信号的特征,因此利用此方法构建视频编解码传输系统,性能也不够完美。发明内容0007为了解决现有技术中的问题,本发明提供了一种基于双重稀疏模型解码的压缩感知视频传输方法。0008本发明提供了一种基于双重稀疏模型解码的压缩感知视频传输方法,包括如下编码步骤和解码步骤,所述编码步骤包括0009视频帧图像分组步骤提取视频序列帧图像,形成视频图像帧组;说明书CN104159112A2/12页80010压缩编码步骤分别对关键帧与非关键帧进行基于压缩感知的线性压缩,获取相应的压缩结果并传输给解。
23、码单元,所述关键帧用K帧表示,所述非关键帧用CS帧表示;0011在所述解码步骤中包括0012关键帧重构步骤关键帧压缩结果到达解码单元后,由GPSR算法进行重构;0013边信息生成步骤由相邻的前后两个关键帧的重构结果,采用运动估计补偿算法生成边信息;0014冗余字典构造步骤字典训练过程将利用到前后相邻已重构关键帧与边信息帧,模块的输入为待训练图像集KT1帧、KT1帧、SI帧及以下参数小波变换滤波器系数,分解级数S,各子字典原子大小DB子字典列向量尺寸,以下为字典训练步骤0015A将训练集图像输入字典构造模块,所述训练集图像包括已重构关键帧、边信息,对每个训练图像做S级小波变换,提取各自的系数子带。
24、;0016B生成训练样本集对各子带方向小波系数提取不重叠的块并排成向量,构成该子带训练样本集,初始化所有子字典DB,初始化过程同时利用OMP算法获得初始的稀疏表示矩阵A;0017C通过KSVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系数矩阵AB;0018D利用训练集与稀疏表示系数,得到重组形成的完整字典并输出;0019非关键帧重构步骤利用非关键帧压缩结果,以及上述字典训练步骤D中输出的字典,通过融入冗余字典的GPSR算法,完成非关键帧的重构;0020视频帧图像重组步骤由已解码的帧组图像重组形成解码后的视频序列。0021作为本发明的进一步改进,在所述视频分组步骤中,从输入。
25、的视频序列中提取出视频帧图像并形成GOP帧组,帧组中第一帧图像为关键帧,其余若干帧图像为非关键帧;各组内帧图像将按关键帧、非关键帧的顺序进行传输;0022在所述压缩编码步骤中,首先将像素点个数为N的二维图像帧信号按列输出为N1的一维信号XT,然后分别对帧组中K帧与CS帧通过压缩感知YTXT压缩过程,获取相应帧图像的压缩结果YT,YT是MT1维的向量,是MTN维的压缩矩阵,这里K帧的压缩率MRK大于或等于CS帧的压缩率MRCS,用以为CS帧提供估计信息,其中XT的压缩率MR被定义为MRTMT/N;其中压缩矩阵QMWPN,00230024WB表示BB的哈德玛矩阵,PN表示对W的列向量进行随机排序,。
26、QM表示随机抽取WPN中的M行。0025作为本发明的进一步改进,在所述关键帧重构步骤中,获取K帧压缩结果后,将其结合GPSR梯度投影凸优化算法解决算式完成重构;其中YT是说明书CN104159112A3/12页9MT1维的压缩结果,YTXT,A是大小为MN的矩阵,ST是待优化的估计系数,表示求该式的二范数的平方,|1表示求该式的一范数;求解该问题最优解估计值后,原关键帧信号重构估计值为0026在所述边信息生成步骤中,CS帧相邻前后的两个K帧,将采用MCI双向运动估计补偿算法,以GOP2为例,将视频帧图像分成若干个块,MN为CS帧中的某一像块,MN1和MN1分别为KT1帧和KT1帧的同位置像块;。
27、首先以KT1为参考帧,搜索与MN1最佳匹配的像块,得到了运动矢量I,J;然后以I/2,J/2作为MN的运动矢量,对MN进行前向运动估计补偿,得到预测结果XN;同理,再以KT1帧为参考帧,搜索与MN1最佳匹配的像块,得到运动矢量I,J,然后以I/2,J/2作为MN的运动矢量,以KT1帧为参考帧,对MN进行后向运动补偿,得到YN,最后,再将XN和YN进行平均,即可得到MN的运动补偿内插值。遍历所有的像块后,获得两个双向的预测结果XT与YT,对他们进行求均值的操作,即生成了当前帧的边信息SIT。0027作为本发明的进一步改进,在所述步骤A中依据双稀疏字典表示模型,字典训练问题可描述为其中,Y表示待训。
28、练集,A表示稀疏表示系数,K为稀疏度。EZ表示字典的每个原子可由核心字典E稀疏表示,即DEZ,Z为稀疏表示矩阵,表示矩阵的F范数,将上式变形等价为其中EA代表小波变换基,表示对训练集图像做S级的离散小波变换,通过若干次离散低通和离散高通迭代分解,能够得到B3S1个系数子带,它们分别代表了不同方向尺度的分量,提取这B3S1个子带,每个不同子带的集合将形成字典训练样本集;0028在所述步骤B中从步骤A得到的各系数子带中提取QB个块,每个子带集合被分成若干不重叠的块,将它们展开成列向量并依次排列最终形成各自的训练集EAYB;初始化所有子字典DB,B1,2,3S1,同时对各子带训练集通过OMP算法求稀。
29、疏系数矩阵AB;0029在所述步骤C中对每个子带训练集使用KSVD算法训练字典,解决算式经过不断的迭代得到优化解,每一次迭代更新字典的某项原子,直到满足迭代终止条件迭代结束,最终获得各自子带方向的其中结合了OMP算法得到相应的稀疏表示系数AB;OMP算法过程为初始化残差赋值REAYB,索引值集合赋值IKAB,迭代次数T1,残差小于阈值M时,寻找最大内积所对应的索引值I;扩充索引值集合IKIKI;更新残差和迭代次数TT1;当残差大过阈值,迭代终止,输出稀疏表示系数AB与各子带字典0030在所述步骤D中各子带字典依据小波变换的原始系数矩阵排布结构,将各子带字典通过重新排列形成训练后的系数字典DS,。
30、再利用初始训练集Y与重组后的稀疏说明书CN104159112A4/12页10表示系数AS,通过解决算式得到重组形成的完整小波域多尺度字典输出该字典。0031作为本发明的进一步改进,在所述非关键帧重构步骤中,接收到非关键帧压缩结果,结合步骤D中训练的冗余字典通过融入冗余字典的GPSR算法完成对CS帧的重构,主要解决算式00320033其中S是当前CS帧的压缩结果。0034本发明还提供了一种基于双重稀疏模型解码的压缩感知视频传输系统,包括如下编码模块和解码模块,所述编码模块包括0035视频帧图像分组模块用于提取视频序列帧图像,形成视频图像帧组;0036压缩编码模块用于分别对关键帧与非关键帧进行基于。
31、压缩感知的线性压缩,获取相应的压缩结果并传输给解码单元,所述关键帧用K帧表示,所述非关键帧用CS帧表示;0037所述解码模块中包括0038关键帧重构模块用于关键帧压缩结果到达解码单元后,由GPSR算法进行重构;0039边信息生成模块用于由相邻的前后两个关键帧的重构结果,采用运动估计补偿算法生成边信息;0040冗余字典构造模块用于字典训练过程将利用到前后相邻已重构关键帧与边信息帧。模块的输入为待训练图像集KT1帧、KT1帧、SI帧及以下参数小波变换滤波器系数,分解级数S,各子字典原子大小DB,以下为字典训练步骤0041A将训练集图像输入字典构造模块,所述训练集图像包括已重构关键帧、边信息,对每个。
32、训练图像做S级小波变换,提取各自的系数子带;0042B生成训练样本集对各子带方向小波系数提取不重叠的块并排成向量,构成该子带训练样本集,初始化所有子字典DB,初始化过程同时利用OMP算法获得初始的稀疏表示矩阵A;0043C通过KSVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系数矩阵AB;0044D利用训练集与稀疏表示系数,得到重组形成的完整字典并输出;0045非关键帧重构模块利用非关键帧压缩结果,以及上述字典训练步骤D中输出的字典,通过融入冗余字典的GPSR算法,完成非关键帧的重构;0046视频帧图像重组模块由已解码的帧组图像重组形成解码后的视频序列。0047作为本发明。
33、的进一步改进,在所述视频分组模块中,从输入的视频序列中提取出视频帧图像并形成GOP帧组,帧组中第一帧图像为关键帧,其余若干帧图像为非关键帧;各组内帧图像将按关键帧、非关键帧的顺序进行传输;说明书CN104159112A105/12页110048在所述压缩编码模块中,首先将像素点个数为N的二维图像帧信号按列输出为N1的一维信号XT,然后分别对帧组中K帧与CS帧通过压缩感知YTXT压缩过程,获取相应帧图像的压缩结果YT,YT是MT1维的向量,是MTN维的压缩矩阵。这里K帧的压缩率MRK大于或等于CS帧的压缩率MRCS,用以为CS帧提供估计信息。其中XT的压缩率MR被定义为MRTMT/N;其中压缩矩。
34、阵QMWPN,00490050WB表示BB的哈德玛矩阵,PN表示对W的列向量进行随机排序,QM表示随机抽取WPN中的M行。0051作为本发明的进一步改进,在所述关键帧重构模块中,获取K帧压缩结果后,将其结合GPSR梯度投影凸优化算法解决算式完成重构;其中YT是MT1维的压缩结果,YTXT,A是大小为MN的矩阵,ST是待优化的估计系数,表示求该式的二范数的平方,|1表示求该式的一范数;求解该问题最优解估计值后,原关键帧信号重构估计值为0052在所述边信息生成模块中,CS帧相邻前后的两个K帧,将采用MCI双向运动估计补偿算法,以GOP2为例,将视频帧图像分成若干个块,MN为CS帧中的某一像块,MN。
35、1和MN1分别为KT1帧和KT1帧的同位置像块;首先以KT1为参考帧,搜索与MN1最佳匹配的像块,得到了运动矢量I,J;然后以I/2,J/2作为MN的运动矢量,对MN进行前向运动估计补偿,得到预测结果XN;同理,再以KT1帧为参考帧,搜索与MN1最佳匹配的像块,得到运动矢量I,J,然后以I/2,J/2作为MN的运动矢量,以KT1帧为参考帧,对MN进行后向运动补偿,得到YN,最后,再将XN和YN进行平均,即可得到MN的运动补偿内插值,遍历所有的像块后,获得两个双向的预测结果XT与YT,对他们进行求均值的操作,即生成了当前帧的边信息SIT。0053作为本发明的进一步改进,在所述步骤A中依据双稀疏字。
36、典表示模型,字典训练问题可描述为其中,Y表示待训练集,A表示稀疏表示系数,K为稀疏度,EZ表示字典的每个原子可由核心字典E稀疏表示,即DEZ,Z为稀疏表示矩阵,表示矩阵的F范数,将上式变形等价为其中EA代表小波变换基,表示对训练集图像做S级的离散小波变换,通过若干次离散低通和离散高通迭代分解,能够得到B3S1个系数子带,它们分别代表了不同方向尺度的分量,提取这B3S1个子带,每个不同子带的集合将形成字典训练样本集;0054在所述步骤B中从步骤A得到的各系数子带中提取QB个块,每个子带集合被分成若干不重叠的块,将它们展开成列向量并依次排列最终形成各自的训练集EAYB;初始化说明书CN104159。
37、112A116/12页12所有子字典DB,B1,2,3S1,同时对各子带训练集通过OMP算法求稀疏系数矩阵AB;0055在所述步骤C中对每个子带训练集使用KSVD算法训练字典,解决算式经过不断的迭代得到优化解,每一次迭代更新字典的某项原子,直到满足迭代终止条件迭代结束,最终获得各自子带方向的其中结合了OMP算法得到相应的稀疏表示系数AB;OMP算法过程为初始化残差赋值REAYB,索引值集合赋值IKAB,迭代次数T1,残差小于阈值M时,寻找最大内积所对应的索引值I;扩充索引值集合IKIKI;更新残差和迭代次数TT1;当残差大过阈值,迭代终止,输出稀疏表示系数AB与各子带字典0056在所述步骤D中。
38、各子带字典依据小波变换的原始系数矩阵排布结构,将各子带字典通过重新排列形成训练后的系数字典DS,再利用初始训练集Y与重组后的稀疏表示系数AS,通过解决算式得到重组形成的完整小波域多尺度字典输出该字典。0057作为本发明的进一步改进,在所述非关键帧重构模块中,接收到非关键帧压缩结果,结合步骤D中训练的冗余字典通过融入冗余字典的GPSR算法完成对CS帧的重构,主要解决算式00580059其中S是当前CS帧的压缩结果。0060本发明的有益效果是本发明的方法及系统由于更全面地挖掘视频帧图像的特征信息,由估计信息生成的训练集通过构造新型的字典,结合GPSR算法,能够提高非关键帧的重构质量,从而提升了系统。
39、的整体性能。本发明提出的方法及系统无论从客观评价指标还是主观视觉效果上都较传统方法有一定的优势。附图说明0061图1是本发明基于双重稀疏模型解码的压缩感知视频传输系统原理图;0062图2是本发明的编码模块原理图;0063图3是基于双重稀疏模型的小波域多尺度字典训练算法原理图;0064图4是分布式视频编码方法示意图;0065图5是双向运动估计补偿算法原理图;0066图6包括两幅图,其中图6A是FOREMAN序列重构性能仿真对比图,图6B是COASTGUARD序列重构性能仿真对比图;说明书CN104159112A127/12页130067图7包括两幅图,其中图7A是COASTGUARD序列传统方法。
40、与本发明的重构图像对比,图7B是FOREMAN序列传统方法与本发明的重构图像对比。具体实施方式0068视频帧图像分组步骤提取视频序列帧图像,形成视频图像帧组;0069压缩编码步骤分别对关键帧与非关键帧进行基于压缩感知的线性压缩,获取相应的压缩结果并传输给解码单元,所述关键帧用K帧表示,所述非关键帧用CS帧表示;0070在所述解码步骤中包括0071关键帧重构步骤关键帧压缩结果到达解码单元后,由GPSR算法进行重构;0072边信息生成步骤由相邻的前后两个关键帧的重构结果,采用运动估计补偿算法生成边信息SI,SIDEINFORMATION;0073冗余字典构造步骤字典训练过程将利用到前后相邻已重构关。
41、键帧与边信息帧。模块的输入为待训练图像集KT1帧、KT1帧、SI帧及以下参数小波变换滤波器系数,分解级数S,各子字典原子大小DB子字典列向量尺寸,以下为字典训练步骤0074A将训练集图像输入字典构造模块,所述训练集图像包括已重构关键帧、边信息。对每个训练图像做S级小波变换,提取各自的系数子带;0075B生成训练样本集对各子带方向小波系数提取不重叠的块并排成向量,构成该子带训练样本集。初始化所有子字典DB,初始化过程同时利用OMPORTHOGONALMATCHINGPURSUIT算法获得初始的稀疏表示矩阵A;0076C通过KSVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系。
42、数矩阵AB;0077D利用训练集与稀疏表示系数,得到重组形成的完整字典并输出;0078非关键帧重构步骤利用非关键帧压缩结果,以及上述字典训练步骤D中输出的字典,通过融入冗余字典的GPSR算法,完成非关键帧的重构;0079视频帧图像重组步骤由已解码的帧组图像重组形成解码后的视频序列。0080本发明还公开了一种与所述基于双重稀疏模型解码的压缩感知视频传输方法相对应的基于双重稀疏模型解码的压缩感知视频传输系统,如图1所示,视频分组模块图1中编码模块首先将视频序列输入到视频分解模块中,提取出视频帧图像并形成GOPGROUPOFPICTURES帧组,帧组中第一帧图像为关键帧K帧,其余若干帧图像为非关键帧。
43、CS帧;各组内帧图像将按K帧、CS帧的顺序进行传输。0081压缩编码模块编码过程为图1中左侧虚线内部分,具体操作如图2所示,首先将像素点个数为N的二维图像帧信号按列输出为N1的一维信号XT,然后分别对帧组中K帧与CS帧通过压缩感知YTXT压缩过程,获取相应帧图像的压缩结果YT,YT是MT1维的向量,是MTN维的压缩矩阵。这里K帧的压缩率MRK大于或等于CS帧的压缩率MRCS,用以为CS帧提供估计信息。其中XT的压缩率MRMEASUREMENTRATE被定义为MRTMT/N;其中压缩矩阵QMWPN,说明书CN104159112A138/12页1400820083WB表示BB的哈德玛HADAMAR。
44、D矩阵,PN表示对W的列向量进行随机排序,QM表示随机抽取WPN中的M行。0084在压缩编码模块中,压缩感知压缩帧图像方法原理为设有N维信号XRN1,在某个变换基RNN上有KKN稀疏的表达形式,其中SN表示第N个被抽取的基向量对应的系数。该式的矩阵形式为XS,其中S是N1的向量有K个非零元素。将X在MNKMN的测量矩阵上投影,得到由M个压缩值组成的M1向量YYXS,那么该信号可由线性压缩精确地重构出来。精确重构通过求解严格的组合优化问题完成STYSAS。最优化稀疏表示理论表明当矩阵A满足A2K即A中2K列都是线性无关的时,以上L0范数优化问题可唯一重构,其中A为矩阵A的最小线性相关组的列数。求。
45、解该问题是一个NP问题,计算复杂度较高。然而研究表明,如果矩阵满足更强的条件,即具有约束等距性质RIP,上述优化问题可以由L0转化为L1约束的凸优化问题来求出唯一解。而若测量矩阵与稀疏基非相干,则矩阵A在很大概率上满足RIP性质。0085关键帧重构模块解码模块由图1中右侧虚线内所示,获取K帧压缩结果后,将其结合GPSR梯度投影凸优化算法解决算式完成重构;其中YT是MT1维的压缩结果,YTXT,A是大小为MN的矩阵,ST是待优化的估计系数,表示求该式的二范数的平方,|1表示求该式的一范数;求解该问题最优解估计值后,原关键帧信号重构估计值为0086在关键帧重构模块中,所述的GPSR算法,是基于最小。
46、L1范数进行求解的算法,将不带约束条件的L1范数问题先转化为边界约束的二次优化问题,那么线性压缩模块中信号恢复过程可转变为如下有约束问题其中R是非负的实数。对上式使用拉格朗日乘法可以将其等价变形为其中YT是MT1维的向量,YTXT,A是大小为MN的矩阵。其主要策略是从可行点出发,沿着梯度下降的可行方向进行搜索,即用凸函数的梯度来约束最优化解的寻找方向,进而快速的找到最优化的方程解。0087边信息生成模块非关键帧相邻前后的两个关键帧,将通过MCIMOTIONCOMPENSATEDINTERPOLATION双向运动估计补偿算法生成边信息,如5示意图所示;以GOP2为例,将视频帧图像分成若干个块,M。
47、N为CS帧中的某一像块,MN1和MN1分别为KT1帧和KT1帧的同位置像块;首先以KT1为参考帧,搜索与MN1最佳匹配的像块,得到说明书CN104159112A149/12页15了运动矢量I,J;然后以I/2,J/2作为MN的运动矢量,对MN进行前向运动估计补偿,得到预测结果XN;同理,再以KT1帧为参考帧,搜索与MN1最佳匹配的像块,得到运动矢量I,J,然后以I/2,J/2作为MN的运动矢量,以KT1帧为参考帧,对MN进行后向运动补偿,得到YN,最后,再将XN和YN进行平均,即可得到MN的运动补偿内插值。遍历所有的像块后,获得两个双向的预测结果XT与YT,对他们进行求均值的操作,即生成了当前。
48、帧的边信息SIT;0088在边信息生成模块中,边信息生成算法中运动矢量的产生方法与传统方法有所不同。传统视频压缩中,运动矢量由编码端计算,直接将被预测帧与参考帧比较即可得到。而在DVC中,运动矢量由解码端计算,由于解码端无法先获取被预测帧,因此需借助于已重构的参考帧进行计算获得。将视频帧分成若干个块,检测当前帧中每块在前后帧中对应的位置,并计算在对应位置上块的偏移量运动矢量。根据计算出的矢量,找到当前帧的像素块从前后帧的哪个位置移过来的,从而得到当前帧像素的预测值。0089冗余字典构造模块冗余字典构造模块详细原理如图3所示,字典训练过程将利用到前后相邻已重构关键帧与边信息帧。模块的输入为待训练。
49、图像集KT1帧、KT1帧、SI帧及下列参数小波变换滤波器系数,分解级数S,字典原子大小DB,以下为字典训练步骤0090步骤A依据双稀疏字典表示模型,字典训练问题可描述为其中,Y表示待训练集,A表示稀疏表示系数,K为稀疏度。EZ表示字典的每个原子可由核心字典E稀疏表示,即DEZ,Z为稀疏表示矩阵,表示矩阵的F范数FROBENIUS范数。将上式变形等价为其中EA代表小波变换基,表示对训练集图像做S级的离散小波变换。通过若干次离散低通和离散高通迭代分解,能够得到B3S1个系数子带,它们分别代表了不同方向尺度的分量,提取这B3S1个子带,每个不同子带的集合将形成字典训练样本集;0091步骤B从步骤A得到的各系数子带中提取QB个块,每个子带集合被分成若干不重叠的块,将它们展开成列向量并依次排列最终形成各自的训练集EAYB;初始化所有子字典DB,B1,2,3S1,同时对各子带训练集通过OMP算法求稀疏系数矩阵AB;。