无损图像和视频压缩.pdf

上传人:00****42 文档编号:470621 上传时间:2018-02-18 格式:PDF 页数:31 大小:2.24MB
返回 下载 相关 举报
摘要
申请专利号:

CN201280053919.6

申请日:

2012.10.30

公开号:

CN104137541A

公开日:

2014.11.05

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):H04N 19/13申请日:20121030|||公开

IPC分类号:

H04N19/13(2014.01)I; H04N19/159(2014.01)I; H04N19/176(2014.01)I; H04N19/463(2014.01)I; H04N19/91(2014.01)I

主分类号:

H04N19/13

申请人:

南洋理工大学

发明人:

顾舟叶; 林维斯; 李武松; 刘树棠

地址:

新加坡新加坡南阳大街50

优先权:

2011.10.31 US 61/553,372

专利代理机构:

北京中博世达专利商标代理有限公司 11274

代理人:

申健

PDF下载: PDF下载
内容摘要

本发明提供了编码在图像或视频压缩中使用的图像的帧内预测残留块的方法。所述帧内预测残留块与帧内预测编码模式有关。所述方法包括产生一组残差块,所述残差块包括残留数据,所述残留数据具有不同于所述帧内预测残留块中残留数据的统计特征。扫描和熵编码每个所述残差块以产生第一组比特流。记录每个所述第一组比特流的长度。所述帧内预测残留块也被扫描和熵编码以产生第二比特流。记录所述第二比特流的长度。从所述第一组比特流和所述第二比特流中选择最小长度的比特流作为所述帧内预测残留块的输出编码比特流。

权利要求书

1.  一种编码在图像或视频压缩中使用的图像的帧内预测残留块的方法,其中所述帧内预测残留块与帧内预测编码模式有关,所述方法包括:
产生多个残差块,所述残差块包括残留数据,所述残留数据具有不同于所述帧内预测残留块中残留数据的统计特征;
扫描和熵编码每个所述残差块以产生第一多个比特流,记录每个所述第一多个比特流的长度;
扫描和熵编码所述帧内预测残留块以产生第二比特流,记录该第二比特流的长度;
从所述第一多个比特流和所述第二比特流选择最小长度的比特流作为所述帧内预测残留块的输出编码比特流。

2.
  根据权利要求1所述的方法,其中所述产生多个残差块的步骤包括从与所述帧内预测编码模式有关的加权的多个预定义的模板块减去帧内预测残留块,其中每个预定义的模板块是与特定扫描顺序有关的二元矩阵。

3.
  根据权利要求1或2所述的方法,其中每个第一多个比特流包括代表与相应的残差块有关的信息的报头数据。

4.
  根据权利要求1-3任一项所述的方法,其中所述产生多个残差块、扫描和熵编码每个所述残差块和记录所述第一多个比特流的长度的步骤包括:
从多个比例因子为每个比例因子ai产生所述第一多个比特流,和从多个与所述帧内预测编码模式有关的预定义的模板块为每个模板块Wk产生所述第一多个比特流;通过:
通过从加权的预定义的模板块ajWk减去帧内预测残留块Xi计算残差块Ri;
以与Wk有关的相应的扫描顺序扫描Ri
熵编码所述已扫描的Ri,输出包括在所述第一组比特流中的编码比特流;和
记录输出编码比特流的长度l(ai,Wk)。

5.
  根据权利要求4所述的方法,其中,每个所述第一比特流包括相应的输出编码比特流和代表与相应的所述第一编码比特流有关的比例因子的报头数据。

6.
  根据权利要求5所述的方法,其中,每个所述第一比特流进一步包括代 表与相应第一编码比特流有关的所述预定义模板块的报头数据。

7.
  根据权利要求1-6任一项所述的方法,其中所述扫描和熵编码所述帧内预测残留块Xi的步骤进一步包括:
以锯齿形扫描顺序扫描Xi
熵编码所述扫描的Xi以输出所述第二编码比特流;和
记录所述第二编码比特流的长度。

8.
  根据权利要求1-7任一项所述的方法,进一步包括从所述第一多个比特流中选择具有最小记录长度的第一编码比特流的步骤。

9.
  根据权利要求8所述的方法,进一步包括:
比较所述第一编码比特流的记录长度和所述第二编码比特流的记录长度;
当所述最小记录长度小于所述第二编码比特流的记录长度时,选择所述第一编码比特流作为所述输出比特流。

10.
  一种解码已编码的在图像或视频压缩中使用的图像的帧内预测残留块的方法,其中所述已编码的帧内预测残留块与所述帧内预测编码模式有关,所述方法包括:
检测与编码残差块有关的报头信息,所述残差块包括残留数据,所述残留数据具有不同于所述帧内预测残留块中残留数据的统计特征;
通过熵解码和去扫描所述已编码的帧内预测残留块产生所述残差块;
将所述报头信息应用到所述残差块以输出所述帧内预测残留块。

11.
  根据权利要求10所述的方法,其中所述报头信息包括比例因子和预定义的模板块的说明,并且所述产生所述残差块的步骤进一步包括:
根据由所述预定义的模板块和相关的帧内预测编码模式定义的特定扫描顺序去扫描所述熵解码的残差块;
通过所述去扫描熵解码的残差块和由比例因子加权的所述预定义的模板块的总和计算所述帧内预测残留块。

12.
  一种产生用于根据权利要求1-9任一项所述的编码方法和根据权利要求10-11任一项所述的解码方法的预定义模板块的方法,所述该方法包括:
通过最小化:
Wopt=argWminΣ||vec(Xi-aiW)||0i]]>
s.t W(r,c)∈{0,1} ,
确定与所述帧内预测编码模式有关的第一模板块,
其中Xi是给定的与所述帧内预测编码模式有关的n×n帧内预测残留块,W是来自模板块的组的n×n模板块,其中每个条目是0或1,ai是具有预定义范围的比例整数,vec()是矢量化运算符,它将所有矩阵元素变成逐行顺序的矢量形式,||.||0是用于计算矢量的非零元素总数的L0范数,其中二元矩阵Wopt是第一模板块,其中对于与所述帧内预测模式有关的一个或多个帧内预测残留块X1…Xi…Xn的给定组,所述非零系数的数目是最小化的。

13.
  根据权利要求12所述的方法,进一步包括通过再次执行所述确定步骤产生第二预定义的模板块,其中所述第一模板块在所述最小化期间从所述模板块的组中被排除,以使所述二元矩阵Wopt是所述第二模板块,其中对于与所述帧内预测模式有关的一个或多个帧内预测残留块X1…Xi…Xn的给定组,所述非零系数的数目是最小化的。

14.
  根据权利要求2-13任一项所述的方法,其中,当所述帧内预测模式是0并且所述残留帧内预测块是4×4块时,所述多个预定义模板块包括以下的组中选出的至少一块:



15.
  根据权利要求14所述的方法,其中对于所述模板块的组的扫描顺序是逐行、从顶到底、从左到右的顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。

16.
  根据权利要求2-15任一项所述的方法,其中,当所述帧内预测模式是1并且所述残留帧内预测块是4×4的块时,所述多个预定义模板块包括选自根据本文图5描述的模板块的组的至少一块。

17.
  根据权利要求16所述的方法,其中所述模板块的组的扫描顺序是逐列、从左到右、从顶到底的顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。

18.
  根据权利要求2-17任一项所述的方法,其中,当所述帧内预测模式是3并且所述残留帧内预测块是4×4的块时,所述多个预定义模板块包括选自根据本文图6描述的模板块的组的至少一块。

19.
  根据权利要求18所述的方法,其中所述模板块的组的扫描顺序是“1”位置被重排的锯齿形的反射顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。

20.
  根据权利要求2-19任一项所述的方法,其中,当所述帧内预测模式是4并且所述残留帧内预测块是4×4的块时,所述多个预定义模板块包括选自根据本文图7描述的模板块的组的至少一块。

21.
  根据权利要求20所述的方法,其中所述模板块的组的扫描顺序是锯齿形顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。

22.
  根据权利要求2-21任一项所述的方法,其中,当所述帧内预测模式是2并且所述残留帧内预测块是4×4的块时,所述多个预定义模板块包括选自根据本文图8描述的模板块的组的至少一块。

23.
  根据权利要求22所述的方法,其中所述模板块的组的扫描顺序:
(a)到(b)是逐行、从顶到底、从左到右的顺序;
(c)到(f)是逐列、从左到右、从顶到底的顺序;
(g)到(k)是锯齿形的反射顺序;和
(l)到(p)是锯齿形顺序;
其中“0”位置首先被扫描并且“1”位置最后被扫描。

24.
  一种编码在图像或视频压缩中使用的图像的帧内预测残留块的装置,其中所述帧内预测残留块与帧内预测编码模式有关,所述装置包括:
产生单元,被配置为产生多个残差块,所述残差块包括残留数据,所述残留数据具有不同于所述帧内预测残留块中的残留数据的统计特征;
扫描单元,被配置为扫描每个所述残差块以产生多个扫描的残差块;和扫描所述帧内预测残留块以产生扫描的帧内预测残留块;
熵编码单元,被配置为熵编码每个扫描的所述残差块以产生第一多个比特流;熵编码已扫描的帧内预测残留块以产生第二比特流;
存储单元,被配置为记录每个所述第一多个比特流的长度和第二比特流的长度;
选择单元,被配置为从所述第一多个比特流和所述第二比特流选择最小长度的比特流作为所述帧内预测残留块的输出编码比特流。

25.
  一种解码已编码的在图像或视频压缩中使用的图像的帧内预测残留块的装置,其中所述已编码的帧内预测残留块与帧内预测编码模式有关,所述装置包括:
检测单元,被配置为检测与编码残差块有关的报头信息,所述残差块包括残留数据,所述残留数据具有不同于所述帧内预测残留块中的残留数据的统计特征;
熵解码和扫描单元,被配置为通过熵解码和去扫描所述已编码的所述帧内 预测残留块来产生所述残差块;
产生单元,被配置为将所述报头信息应用到所述残差块以输出所述帧内预测残留块。

说明书

无损图像和视频压缩
技术领域
本发明涉及一种用于执行无损图像或视频压缩的方法和装置。更具体地,本发明涉及一种方法和装置,该方法和装置通过修改残留数据的统计特征和修改在熵编码之前的扫描顺序来编码图像的残留帧内预测块以及解码所述已编码的残留帧内预测块。
背景技术
对无损视频压缩技术中的越来越大的兴趣在诸如医学图像编码和长期图像/视频归档的领域中被观察到。对于高压缩无损/近无损压缩算法的愿望由经济方面的原因所驱动,以保持用于传输和存储的文件大小尽可能小,同时保持高的图像/视频质量。由于最近高清晰度(HD)视频引入消费市场,目前迫切需要更有效的无损/近无损压缩算法。相较于标准清晰度(SD)视频,更多的细节和纹理有望记录在HD视频中。
由于绝对的分辨率,传输和存储要求构成了实时给予终端用户HD视频流或广播的障碍。但是,这种应用已在电影院中被看到,在那体育赛事或演出的现场直播已成为节目制作界的稳定收入来源。从归档的角度来看,无损视频编码有利于保持最可能的易于管理的包中的内容而不丢弃任何重要信息。
通过基于国际电信联盟-电信(ITU-T)视频编码专家组和国际标准化组织(ISO)/国际电工技术委员会(IEC)动态图像专家组的联合视频组(JVT)开发了最新的视频编码标准—H.264/高级视频编码(AVC)。由于其高压缩性能,H.264/AVC已成为广泛应用的有前景的视频压缩标准。这些应用包括在如下文献中描述的多媒体流和视频会议:例如,ITU-T Rec.H.264|ISO/IEC14496-10高级视频编码的编辑修正草案——为ITU-T SG16AAP一致(Consent)做准备,文件JVT-AD205.doc、2009年2月的ISO/IEC14496-10AVC、ISO/IECJTC1/SC29/WG11和ITU-T Q.6/SG16的联合视频组;A.卢特拉(A.Luthra)、G.J.苏利文(G.J.Sullivan)和T.魏根德(T.Wiegand)“在H.264/AVC视频编码标准上 引进特定问题”(“Introduction to the special issue on the H.264/AVC video codingstandar”),电气与电子工程师协会视频技术电路与系统学报(IEEE Trans.CircuitsSyst.Video Technol.),2003年7月13卷7期557-559页;T.魏根德、G.J.苏利文、G.邦特加德(G.Bjontegaard)和A.卢特拉“H.264/AVC视频编码标准概述”,电气与电子工程师协会视频技术电路与系统学报(IEEE Trans.CircuitsSyst.Video Technol.,),2003年7月13卷7期560-576页;和G.J.苏利文和T.魏根德“视频压缩:从概念到H.264/AVC标准”,电气与电子工程师协会论文集,2005年1月93卷1期18-31页。然而,H.264/AVC标准的发展主要集中在有损编码/压缩技术。
由正在发展的无损编码市场所诱惑,H.264/AVC已发展到为无损视频编码提供改进功能。H.264/AVC标准包括所谓的脉冲编码调制(PCM)的宏模块编码模式,其中原始图像样本的值被直接传送而不预测、转换以及量化。PCM模式通过在位数上施加最小上限值而设计为简易的,该位数可以表示具有足够精度的宏模块。但是,这方面也降低了其编码效率,正如Y.-L.李(Y.-L.Lee)、K.H.韩(K.H.Han)和G.J.苏利文“用于H.264/MPEG-4AVC的改进的无损帧内编码”,电气与电子工程师协会图像处理学报(IEEE Trans.Image Process.),2006年9月15卷9期2610-2615页中描述的。
在完成H.264/AVC标准的第一个版本后,JVT开发了被称为是保真度范围扩展(FRExt)的原标准的扩展,例如如下文献所描述的:关于ITU TRec.H.264的H.264/AVC保真度范围扩展修正的案草拟文本、文件JVT-L047.doc、2004年7月的ISO/IEC14496-10AVC、ISO/IEC JTC1/SC29/WG11和ITU-T Q.6/SG16的联合视频组,并且在G.J.苏利文、P.托皮瓦拉(P.Topiwala)和A.卢特拉“H.264/AVC标准:保真度范围扩展的概述和介绍”,光学学报会议论文集(Proc.SPIE Conf.),关于新的突发事故标准:H.264/AVC的特殊会议(SpecialSession Adv.New Emerg.Standard:H.264/AVC)丹佛(Denver,CO)2004年8月454-474页中被进一步描述。在完善FRExt的修正时,用于满足更苛刻的应用需要的更有效的无损编码的方法被决定了。因此,FRExt还包括转换旁路无损模式,该模式采用两个主编码过程、预测和熵编码,这是在以前的PCM宏模块模式中 没有使用的,如在帧内无损编码和QP范围选择、文件JVTC023.doc、2002年5月的ISO/IEC JTC1/SC29/WG11和ITU-TQ.6/SG16的联合视频组中所描述的。仍需要更高效的用于预测的编码技术,以进一步加强无损编码的编码性能。
在此期间,引入被称为是样本-方式差分脉冲编码调制(DPCM)的新的帧内预测方法用于无损帧内预测,参见例如,在H.264/MPEG-4AVC中用于改进的4:4:4编码的差分脉冲编码调制(DPCM)无损帧内编码、文件JVT-P016.doc、2005年7月的ISO/IECJTC1/SC29/WG11和ITU-T Q.6/SG16的联合视频组;和所推荐的无损帧内的复杂度、文件JVT-Q035r1.doc、2005年10月的ISO/IECJTC1/SC29/WG11和ITU-T Q.6/SG16的联合视频组。DPCM认为紧挨着被预测的样本比几个样本远的相邻块中的样本是更好的预测器。其结果是,样本-方式DPCM可以提供更好的压缩性能,而且不会产生计算复杂性的大幅增加。它随后被采用作为有关ITUT Rec.H.264|ISO/IEC14496-10AVC的H.264/AVC改进4:4:4轮廓修正的草拟文本、文件JVT-Q209.doc、2005年10月的ISO/IECJTC1/SC29/WG11和ITU-T Q.6/SG16的联合视频组中用于H.264/AVC标准的新的修正草案的一部分。
H.264/AVC标准采用两种熵编码器:如在上下文自适应VLC(CVLC)的编码系数、文件JVTC028.doc、2002年5月的ISO/IEC JTC1/SC29/WG11和ITU-TQ6/SG16m的联合视频组中描述的基于上下文自适应的可变长度的编码器(CAVLC);和如D.马普(D.Marpe)、H.施瓦兹(H.Schwarz)、T.魏根德“H.264/AVC视频压缩中基于上下文自适应的二进制算法编码”,电气与电子工程师协会视频技术电路与系统学报(IEEE Trans.Circuits Syst.Video Technol.),13卷(7期)(2003年)620-636页中所描述的基于上下文自适应的二进制算法编码器(CABAC)。然而,熵编码方法均设计为适应残留误差的统计特征,该残留误差是量化的转换系数。但是,在无损编码中,残留误差是原始的和未经转换和量化的预测的像素值之间的差分像素值。用于有损编码和用于无损视频编码的残留数据的统计特征是非常不同的。在H.264/AVC中所用的常规的熵编码方法未提供用于无损视频编码的最佳编码性能。
在H.264/AVC帧内编码中,如图1所示,当给定4×4块时,将9种帧内预 测的模式用于空间冗余简化。这也在Y.W.黄(Y.W.Huang)等人“用于H.264/AVC帧内编码器的分析、快速算法和VLSI(超大规模集成电路)结构设计”,电气与电子工程师协会视频技术电路与系统学报(IEEE Trans.Circuits Syst.VideoTechnol.),2005年3月15卷3期378-401页中被描述。图2(a)示出了用于移动序列的帧内预测误差块的整数离散余弦转换(ICT)和量化的例子,该移动序列在http://media.xiph.org/video/derf/中说明。图2(b)是锯齿形扫描顺序的例子。对于有损编码,整数离散余弦转换(ICT)和量化首先被应用于输入帧内预测残留块,之后是锯齿形扫描,其扫描顺序示于图2(b)。将扫描系数发送给熵编码器用于统计冗余去除。
值得注意的是,在ICT后,高幅度系数倾向集中于该块的左上角。在量化之后,如图2(a)所示,该块的左上部分相较于该块的右下部分具有更高的非零系数的概率。这意味着,在锯齿形扫描后,前期部分相较于后期部分更可能具有非零系数。由于右下角的系数倾向于是小的,所以在量化后,它们更可能被量化为连续的零;量化的步长越长,越会产生更多的零。设计H.264/AVC中的熵编码器以利用这些统计特征。
然而,在无损编码中,发送到熵编码器中的数据是残留误差,该残留误差是原始的和未经ICT(转换)和量化的预测的像素值之间的差分像素值。残留数据在两个方面不同于量化系数:
1)残留数据具有较少的零项;和
2)预测残留块中的所有位置都几乎具有相同的非零项概率。
H.264/AVC中的传统熵编码方法根本无法提供用于无损视频编码的最佳编码性能。这严重限制了实时无损/近无损视频传输和存储的使用。
用于实时无损或近无损的视频传输和存储的应用可以包括,例如,HD流、HD远程呈现(要求至少24Mbps的带宽和50毫秒的延迟)、远程外科手术应用(通常需要10Mbps和1毫秒的延迟)、医疗成像和备份(医院每年存储500000张图像包括备份可能需要120TB的存储)。然而,使用现有的无损视频编码技术大多数的通信网络/存储系统均不能满足这些要求。在当前压缩率中即使纯粹的8%的改善都可以导致用于无损/近无损视频传输和存储在带宽和存储要求上的 相当大的节省。
人们越来越渴望更高的无损视频压缩率。
发明内容
本发明的目的在于提供一种用于修改无损残留误差的统计特征的机理以允许熵编码器实现更高的压缩率。
本发明的第一方面,提供了一种编码在图像或视频压缩中使用的图像的帧内预测残留块的方法。所述帧内预测残留块与帧内预测编码模式有关。所述方法包括产生一组残差块,该残差块包括残留数据,该残留数据具有不同于帧内预测残留块中的残留数据的统计特征。每个所述残差块被扫描和熵编码以产生第一组比特流。记录每个所述第一组比特流的长度。所述帧内预测残留块也被扫描和熵编码以产生第二比特流。记录所述第二比特流的长度。来自所述第一组比特流和所述第二比特流的最小长度的比特流被选择作为帧内预测残留块的输出编码比特流。
作为选项,产生一组残差块包括从与帧内预测编码模式有关的加权的预定义模板块组中减去帧内预测残留块。注意在这里使用的术语“减去”是“找到不同点”的意思,即可适用于不用考虑两个运算对象的哪一个从另一个中被减去。每个预定义模板块是与特定扫描顺序有关的二元矩阵。
可选地,每个所述第一组比特流包括代表与相应的残差块有关的信息的报头数据。
作为选项,产生一组残差块、扫描和熵编码每个所述残差块的步骤进一步包括:
为来自多个比例因子的每个比例因子ai产生所述第一组比特流,以及为来自与所述帧内预测编码模式有关的多个预定义模板块的每个模板块Wk产生所述第一组比特流;通过:
通过从加权的预定义模板块ajWk中减去帧内预测残留块Xi计算残差块Ri,所述加权的预定义模板块包括所述每个预定义的模板块乘以所述每个比例因子;
以与Wk有关的相应的扫描顺序扫描Ri
熵编码所述已扫描的Ri,输出包括在所述第一组比特流中的编码比特流;和
记录输出编码比特流的长度l(ai,Wk)。
可选地,所述方法包括从第一组比特流中选择具有最小记录长度的第一编码比特流的步骤。
作为选项,每个所述第一编码比特流包括代表与相应的第一编码比特流有关的比例因子的报头数据。此外,每个所述第一编码比特流可以包括代表与相应第一编码比特流有关的预定义模板块的报头数据。
作为选项,扫描和熵编码所述帧内预测残留块Xi的步骤进一步包括:
以锯齿形扫描顺序扫描Xi
熵编码所述扫描的Xi以输出所述第二编码比特流;和
记录所述第二编码比特流的长度。
可选地,所述方法包括以下步骤:比较所述第一编码比特流的记录长度和所述第二编码比特流的记录长度;和当所述最小记录长度小于所述第二编码比特流的记录长度时,选择所述第一编码比特流作为所述输出比特流。
根据本发明的第二方面,提供了一种解码已编码的在图像或视频压缩中使用的图像的帧内预测残留块的方法。所述已编码的帧内预测残留块与帧内预测编码模式有关。所述方法包括:检测与编码残差块有关的报头信息,所述残差块包括残留数据,所述残留数据具有不同于帧内预测残留块中的残留数据的统计特征。通过熵解码和去扫描(de-scanning)所述已编码的帧内预测残留块来产生所述残差块。将所述报头信息应用到所述残差块以输出在解码图像中使用的所述帧内预测残留块。
根据本发明的第三方面,提供了一种编码在图像或视频压缩中使用的图像的帧内预测残留块的装置。所述帧内预测残留块与帧内预测编码模式有关。所述装置包括结合在一起的产生单元、扫描单元、熵编码单元和存储。所述产生单元被配置为产生多个残差块,该残差块包括残留数据,所述残留数据具有不同于帧内预测残留块中的残留数据的统计特征。所述扫描单元被配置为扫描每个所述残差块以产生多个扫描的残留块;和扫描帧内预测残留块以产生扫描的 帧内预测残留块。所述熵编码单元被配置为熵编码每个所述扫描的残差块以产生第一多个比特流;熵编码已扫描的帧内预测残留块以产生第二比特流。所述存储单元被配置为记录每个所述第一多个比特流的长度和第二比特流的长度。选择单元被配置为从所述第一多个比特流和所述第二比特流选择最小长度的比特流作为帧内预测残留块的输出编码比特流。
根据本发明的第四方面,提供了一种解码已编码的在图像或视频压缩中使用的图像的帧内预测残留块的装置。所述已编码的帧内预测残留块与帧内预测编码模式有关。所述装置包括结合在一起的检测单元、熵解码和扫描单元和产生单元。所述检测单元被配置为检测与编码残差块有关的报头信息,所述残差块包括残留数据,所述残留数据具有不同于帧内预测残留块中的残留数据的统计特征。所述熵解码和扫描单元被配置为通过熵解码和去扫描所述已编码的帧内预测残留块来产生所述残差块。所述产生单元被配置为将所述报头信息应用到所述残差块以输出所述帧内预测残留块。
根据本发明的另一方面,提供了一种在如本文所描述的用于编码和解码的方法和装置中使用的产生一个或多个预定义模板块的方法。该方法包括通过最
Wopt=argWminΣi||vec(Xi-aiW)||0]]>
小化:s.t W(r,c)∈{0,1} ,
产生一个或多个与帧内预测编码模式有关的预定义模板块,其中Xi是给定的与所述帧内预测编码模式有关的n×n帧内预测残留块,W是来自一组模板块的n×n模板块,其中每个条目是0或1,ai是具有预定义范围的比例整数,vec()是矢量化运算符,它将所有矩阵元素变成逐行顺序的矢量形式,||.||0是用于计算矢量的非零元素总数的L0范数,其中二元矩阵Wopt是第一模板块,其中对于与所述帧内预测模式有关的一个或多个帧内预测残留块X1…Xi…Xn的给定组,非零系数的数目是最小化的。
作为选项,所述方法进一步包括通过再次执行所述确定步骤来产生第二预定义模板块,其中所述第一模板块在所述第二最小化期间从所述模板块组中被排除,这样所述二元矩阵Wopt是所述第二模板块,其中对于与所述帧内预测模 式有关的一个或多个帧内预测残留块X1…Xi…Xn的给定组,所述非零系数的数目是最小化的。
可选地,当所述帧内预测模式是0并且所述残留帧内预测块是4×4块时,所述多个预定义模板块包括至少一块选自如本文参照图4描述的模板块的组。此外,对于所述模板块的组的扫描顺序可以是逐行、从顶到底、从左到右的顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。
作为选项,当所述帧内预测模式是1并且所述残留帧内预测块是4×4块时,所述多个预定义模板块包括至少一块选自如本文参照图5描述的模板块的组。此外,对于所述模板块组的扫描顺序是可以是逐列、从左到右、从顶到底的顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。
可选地,当所述帧内预测模式是3并且所述残留帧内预测块是4×4块时,所述多个预定义模板块包括至少一块选自如本文参照图6描述的模板块的组。此外,对于所述模板块组的扫描顺序可以是“1”位置被重排的锯齿形的反射顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。
作为选项,当所述帧内预测模式是4并且所述残留帧内预测块是4×4块时,所述多个预定义模板块包括至少一块选自如本文参照图7描述的模板块的组。此外,对于所述模板块组的扫描顺序可以是锯齿形顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。
可选地,当所述帧内预测模式是2并且所述残留帧内预测块是4×4块时,所述多个预定义模板块包括至少一块选自如本文参照图8描述的模板块的组。此外,对于所述模板块组的扫描顺序可以是如本文参照图8描述的:
(a)到(b)是逐行、从顶到底、从左到右顺序;
(c)到(f)是逐列、从左到右、从顶到底顺序;
(g)到(k)是锯齿形的反射顺序;和
(l)到(p)是锯齿形顺序;
其中“0”位置首先被扫描并且“1”位置最后被扫描。
本发明实施例提供了用于压缩无损/近无损图像或视频序列的相对简单和有效的机理。本发明的特定应用涉及那些在医学成像中使用的图像。当然,本发 明可被用于其它图像和视频格式和它们的组合。本发明可以表示成方法、用于实施该方法的装置,例如包括处理器和以永久形式存储的有形的数据存储装置,通过处理器的程序指令操作可使所述处理器实施该方法。
附图的简要说明
现将参照附图并仅以举例的方式来描述本发明的一些实施例,其中:
图1简要的示出了在H.264/AVC标准中使用的9种帧内预测模式;
图2a示出了帧内预测误差块的ICT和对于的量化的例子;
图2b示出了锯齿形扫描顺序的例子;
图3示出了从一系列测试图像中导出的残留块的非零系数的绝对值的概率分布;
图4由图4(a)到4(p)组成,示出了与模式0有关的16个模式依赖的模板块的例子;
图5由图5(a)到5(p)组成,示出了与模式1有关的16个模式依赖的模板块的例子;
图6由图6(a)到6(p)组成,示出了与模式3有关的16个模式依赖的模板块的例子;
图7由图7(a)到7(p)组成,示出了与模式4有关的16个模式依赖的模板块的例子;
图8由图8(a)到8(p)组成,示出了与模式2有关的16个模式依赖的模板块的例子;
图9(a)示出了用于模式0的模式依赖的模板块的例子;
图9(b)示出了与图9(a)的模板块有关的相应的扫描顺序;
图9(c)示出了用于模式3的模式依赖的模板块的例子;
图9(d)示出了与图9(c)的模板块有关的相应的扫描顺序;
图10是示出了实施本发明实施例的一组步骤的流程图;
图11示出了在使用测试图像序列的MD模板方法之前和之后非零系数的存在相对于扫描位置的概率分布。
具体实施方式
为了克服上述认定的问题,下面将描述用于执行无损/近无损视频编码以实现更高压缩率的方法和装置。本发明的实施例和例子是基于定制的无损残留误差的统计特性的概念,以允许可以实现更高压缩率的更好的熵编码。分析了帧内预测模式中预测残留误差的统计相关性,并且导出的模板块可从每个帧内预测模式的块中被减去,模板块在本文中也被称为模式依赖的模板(MD模板)。这会产生更多的零项;通过设计每个模板的扫描顺序,扫描的系数序列的前期部分与后期部分相比具有更高的非零系数概率。这样,处理的结果更适合于无损/近无损视频编码的熵编码方法,例如,H.264/AVC或H.265和其他合适的图像/视频编码标准/技术。示出的例子说明相较于其他无损/近无损编码技术(如H.264/AVC的保真度范围扩展高调编码方法),通过根据本发明的基于MD模板的编码/解码方法可以实现在位数方面的相当大的节省。
特别是,为了使用用于修改无损残留误差的统计特征的该模板块,它们需要被定义。模板块(MD模板)可以从每个帧内预测模式中被推导出,如下所示:
Wopt=argWminΣi||vec(Xi-aiW)||0]]>
s.t W(r,c)∈{0,1} (1)
其中Xi是给定的4×4矩阵或块,它表示属于9种帧内预测模式之一的帧内预测残留块;W是4×4的二进制矩阵,其中的每个条目是0或1,这代表了将要被导出的模板块(MD模板);ai为从-255到255的比例整数。请注意,在本发明的范围之内的实施例的变型中,块的大小可以不同,如8×8或16×16的块的大小。在模式确定之后的一些实施例中,一些或所有的16×16宏块可以被划分成16个4×4的块。鉴于大多数视频格式的位深度是8位,所以每个像素的强度范围为0-255这一事实,ai值的范围被选定。因此,减去2个像素强度的结果的值的范围是-255到255。如果使用了另一个位深度,如10位/像素,ai值的范围可能被改变。
运算符vec()是矢量化运算符,它将所有矩阵元素变成逐行顺序的矢量形式。例如,假设B是任一m×m矩阵,矢量化后,我们有公式(2)中的矢量, 其中,每个Brc是B在位置(r,c)的元素。
Vec(B)=[b1,1,b1,2...b1,m,b2,1,b2,2,...b2,m,...bm,1,bm,2...bm,m] (2)
通过使用L0-范数,||.||0(即向量的非零元素的总数),在公式(1)中定义的最小化问题输出了二进制矩阵Wopt,使得对于一个或多个属于某帧内预测模式的帧内预测残留块X1...Xi...Xn的给定组,非零系数的数目被最小化。对于帧内预测残留块,||.||0为输入矢量提供非零系数的数目。然而,公式(1)的L0-范数最小化问题是非完全多项式,所以通过计算所有可能的W所产生的非零系数,可以进行穷举搜索,对于4×4块包括搜索216=65536种情况。
例如,详细的学习过程可以在选定的测试图像上来执行以用于导出适合于每个模式的MD模板W。示例图像可能包括,但不限于,测试图像,如:飞机、狒狒、芭芭拉、船、金岭、霍巴特林娜、辣椒、桥梁、摄像师、小丑、帆船和冠。这些测试图像的大多数可在http://www.hlevkin.com/TestImages/上获得。
此外,9种帧内预测模式之中,如德国H.Q.曾(H.Q.Zeng)、K.K.马(K.K.Ma)、C.H.蔡(C.H.Cai),“用于H.264/AVC的分层帧内模式选择”,电气与电子工程师协会视频技术电路与系统学报(IEEE Trans.Circuits Syst.VideoTechnol.),2010年20卷6期907-912页中所描述的,前5种模式比其余4种模式具有更高的出现概率。从这些测试图像,可以推出选定的帧内预测模式的概率分布,并在以下的表1中示出。

帧内预测模式概率模式00.302模式10.262模式20.182模式30.071模式40.074模式50.024模式60.035模式70.021模式80.029

表1选定的帧内预测模式的概率分布
在这个例子中,如表1所示,模式0到模式4占到帧内预测的预测模式的 89%以上。可以减少这五种模式的MD模板的数量。
图3是示出从这些测试图像中导出的残留块的非零系数的绝对值的概率分布的图解,残留块的前20个非零系数被示出。由此可见,超过73%的非零预测残留值的范围在-4到4之间。这允许进一步简化以将比例整数ai约束在范围[-4,-3,-2,-1]和[1,2,3,4]。然而,本领域技术人员可以理解的是,可以选择或导出比例整数ai的其他合适范围以实现预定义的或合适的压缩率。
一旦选择了65536种情况之外的W块,对于每个Xi,确定了最佳的ai。对于每个帧内预测模式,16个MD模板W1至W16可供选择,它们是就公式(1)的L0-范数最小化而言的排名前16位的二进制矩阵。例如,W1给出最少的非零系数,W2给出第二少的非零系数等以此类推。注意,模板的数量可以是不同的,并且例如实施例可以使用32或甚至更多的模板。但是,使用更多的模板引入了更多的代表这些模板的附加(overhead)。根据实验的结果,32个模板不产生显著的性能提高,所以本实施例中用16个模板,以减少计算需求。
图4示出了用于帧内预测模式0的16个MD模板。图5示出了用于帧内预测模式1的16个MD模板。图6示出了用于帧内预测模式3的16个MD模板。图7示出了用于帧内预测模式4的16个MD模板。但是,对于模式2,没有从上述测试图像中导出的占优势的MD模板,所以在这种情况下,可以采用图8所示的16个MD模板。注意,如果测试图像已不同,有可能将生成一组不同的MD模板。然而,如图4-8所示的MD模板是通过大量的实验测试得到的,并且它们的值从后面讨论的实验中是明确的。
用于帧内预测模式的MD模板现在可被用于编码与帧内预测模式有关的残留帧内预测块。这可以通过以与帧内预测模式有关的16个MD-模板中选定的一个减去残留帧内预测块Xi产生残差块而实现。在我们由16个MD-模板之一减去残留帧内预测块Xi之后,基于所选择的MD模板可以定义新的扫描顺序。
例如,对于模式0,扫描顺序可以被定义为逐行、从顶到底、从左到右的顺序。注意,这仅仅是一个已被证明是有效的选择,在本发明的范围之内其它选择是可能的。设计扫描顺序的标准是使扫描序列在端部具有更多的零系数。如图9(a)和9(b)所示,率先进行扫描MD模板上标记为“0”的位置,然后 是那些标记为“1”的。图9(a)示出模式0的MD模板,图9(b)示出相应于图9(a)的MD模板的扫描顺序。同样,对于模式1的扫描顺序是具有“1”位置被重排的逐列、从左到右、从顶到底的顺序。对于模式4,扫描顺序是具有“1”位置被重排的锯齿形顺序。对于模式3,如图9(c)和(d)所示,扫描顺序是具有“1”位置被重排的锯齿形的反射顺序。图9(c)示出模式3的MD模板,图9(d)示出相应于图9(c)的MD模板的扫描顺序。对于模式2,对于如图8所示的MD模板(a)至(b),扫描与模式0相同。对于如图8所示的MD模板(c)至(f),扫描与模式1相同。对于如图8所示的MD模板(g)至(k),扫描顺序与模式3相同。最后,对于如图8所示的MD模板(l)至(p),扫描顺序与模式4相同。
残差块然后被扫描和熵编码,以输出在视频压缩中使用的图像编码的残留帧内预测块的比特流。用于编码残留帧内预测块的比例因子和MD模板的代表数据可以包括到输出比特流中,以允许所编码的残留帧内预测块的解码。
在另一个实施例中,提供了根据本发明的示例过程,它利用MD模板使用上述的示例性方法执行帧内无损/近无损编码。示例过程可以基于下面描述的伪代码来执行。在这个例子中,假定使用了H.264/AVC无损编码方法。然而,可以理解,基于使用帧内残留预测块的任何其他无损/近无损编码方法是适用的(例如,H.265)。
对于属于某模式的每个帧内预测残留块Xi,例如属于模式0~4,以下算法确定MD模板是否用于编码帧内残留预测块Xi。对于输入:Xi;输出:编码比特流,该示例过程执行下列步骤:
1)对于ai=-4:-1,1:4
对于W=MD模板(a):MD模板(p)
计算Ri=Xi-aiW;
以W的相应扫描顺序扫描Ri
在H.264/AVC中用熵编码器(CAVLC)编码已扫描的Ri并记录导出的比特流的长度l(ai,W)
结束
结束
2)添加相应的附加位H(ai,W)到l(ai,W),并选择最少位的一个,L=min(H(ai,W)+1(ai,W))。
3)在H.264/AVC中以锯齿形扫描,并用熵编码器(CAVLC)编码Xi,并记录导出的比特流的长度lH.264
4)如果L<lH.264
以MD模板方法编码残留块
其他
以传统的H.264/AVC无损方法编码残留块
结束
图10体现了以上的步骤。示出的步骤1具有子步骤1a、1b、1c和1d,以及示出的步骤2具有子步骤2a和2b。
除了编码输出位,一些语法元素也被加入到比特流中以供用于解码所编码的残留帧内预测块Xi。例如,对于比特流中的每个编码块,跟随帧内预测模式信息的语法,其中1比特用于表示该块是否是以MD模板方法编码的。然而,如果块Xi是以标准帧内H.264-LS方法编码,则标准CAVLC代码紧跟而来。如果该块以M<D-模板方法编码,则在CAVLC代码之前,插入用于该块(每模板4比特)的比例整数ai的代码(参照表2)和MD模板的代码。
ai符号位编码位111-1012101-200131001-3000141000-40000

表2系数ai的代码表
虽然表2示出了比例整数ai的各种代码,本领域技术人员可以理解的是,任何其它代码、字段、标记符号可用于表示比例整数ai
图10说明在使用MD模板用于本文背景部分提到的CIF移动序列之前和之后的非零系数的存在相对于扫描位置的概率分布。如观察到的,在使用MD模板之前,每个位置几乎具有相同的非零系数概率(方形实线);而在使用MD模板后,前期部分的位置相较于扫描位置的后期部分(圆形虚线)倾向于更可能具有非零系数。
此外,表3示出了在使用MD模板方法用于9种不同分辨率的图像测试序列之前和之后的零系数的数量。可在http://media.xiph.org/video/derf/测试序列。如观察到的,在应用MD模板方法之后,平均大约产生多于1.53个零系数是显而易见的。

表3零系数的数量比较
在下面的例子中示出了超过现有的无损编码方法、装置或材料的进一步的优点和改进。为了显示根据上述方法和过程的基于MD模板的无损帧内编码的有效性,如下使用了9种不同分辨率的测试序列:
·3QCIF(144×176)序列;
·3CIF(288×352)序列;和
·3720P高清(720×1280)序列,
每个序列具有200YUV4:2:0帧和8比特每像素(bpp)。所有的帧都被无损编码为帧内帧。用上下文自适应的可变长度编码(CAVLC)进行熵编码。在表2中示出了根据代码所编码的选自[-4,-3,-2,-1]到[1,2,3,4]的整数值ai。对于每种模式,16个MD模板均以4位进行编码。
表4示出根据本发明的基于MD模板的方法和过程通过比较a)基于MD模板的方法;b)H.264帧内无损编码;和无损JPEG(JPEG-LS)之间的位节省和压缩比而得来的进一步改进,无损JPEG(JPEG-LS)如M.J.韦因伯格(M.J.Weinberger)、G.瑟罗西(G.Seroussi)、G.萨皮罗(G.Sapiro),“LOCO-无损图像压缩算法:进入JPEG-LS的原则和标准化”,电气与电子工程师协会图像处理学报,2000年9卷8期1309-1324页中所述,也是一种广泛使用的商业无损编码器。
在这个例子中,压缩比=原视频尺寸/编码的视频尺寸;位节省(%)=(编码视频尺寸H.264-编码的视频尺寸MD模板)/编码的视频尺寸H.264×100。在表4中,以粗体显示的数值是三种无损帧内编码方法的最好结果。


表4H.264/AVC帧内无损(用CAVLC)、JPEG无损和MD模板(用CAVLC)的压缩比和位节省比较
根据本发明的方法和过程可以用于其他应用中,如医学图像压缩和存储。这是无损图像或视频压缩的主要应用之一。例如,DICOM(医学数字成像和通信)是用于处理、存储、打印和输送医学成像中的信息的标准。它包括文件格式定义和网络通信协议。该通信协议是在系统之间使用TCP/IP通信的应用协议。DICOM文件可以在两个实体之间交换,该两个实体能够以DICOM格式接收图像和病人数据。
在其最新标准,DICOM包含这些图像压缩格式:
1)JPEG图像压缩
2)运行长度编码压缩
3)JPEG-LS图像压缩
4)JPEG2000图像压缩
5)MPEG2MPML(主规格为中等水平)图像压缩
6)MPEG2MPHL(主规格为高级水平)图像压缩
7)MPEG-4AVC/H.264高规格(High Profile)/4.1级视频压缩
在这些格式中,MPEG-4AVC/H.264高规格(High Profile)是最新加入的版本,因为它的高压缩比和网络的兼容性。然而,对于无损图像编码,被DICOM 专家和放射科医师强烈推荐,DICOM依旧采用JPEG-LS和十年前开发的JPEG2000。图像压缩到较小的文件大小是非常重要的,因为传输必须尽可能有效和快速地传输并且存储需要最小化。
根据本发明的MD模板的方法和过程的实施例可以用于医学图像压缩。比较用于各种医学图像的JPEG2000和基于MD模板方法之间的无损压缩效率。比较的结果总结在表6中。对于这些测试,在比较中使用了3类医学图像。A类图像是人类大脑的医学图像,B类图像是脑血管医学图像,而C类图像是人体的医学图像。这些都是标准的图像,可在http://www.dicom7.com/中获得。表5是这些医学图像的一系列的分辨率(图像尺寸)。

表5测试中使用的医用图像总结
在测试中,比较了JPEG2000无损编码与基于H.264帧内无损编码(H.264-LS)的模式依赖的模板(MD模板)方法的压缩性能。该比较的结果总结在表6中。位节省以公式(3)计算,如下所示:

比特率JPEG2000是采用JPEG2000无损的压缩文件大小,而比特率推荐的是采用基于H.264-LS的MD模板方法的压缩文件大小。整体而言,基于MD模板的方法与JPEG无损相比平均节省了8.6%位。

表6JPEG2000无损和基于H.264–LS的MD模板方法的压缩比较
*在公式(3)中定义的位节省
基于MD模板的方法相较于JPEG2000提供了改进的用于无损/近无损图像编码的编码性能。此外,MD模板方法基于H.264的框架,使得其可以并入DICOM标准。
本领域的技术人员将应理解的是,在不脱离本发明的范围内可以对上述实施例进行各种修改。同时,本发明可被应用于其他采用模式依赖转换的图像/视频压缩标准中,例如H.265标准。同时上述实施例涉及特殊的编码格式,例如H.264/AVC和JPEG无损格式,本领域技术人员将应理解的是,本发明适用于任何图像/视频编码/解码无损格式或标准,例如MPEG、JPEG-2000、H.264/AVC、高效率视频编码(HEVC)/H.265和更早的。
如前所述,尽管本发明已描述了示例方案或优选实施例,但应当理解的是,这些例子或实施例只是说明性的并且权利要求不仅局限于那些例子或实施例。本领域技术人员将能够依据本发明做出修改和替代,这些修改和替代也会考虑落入从属权利要求的范围内。本说明书中公开的或说明的任何特征、步骤或节点可被并入本发明,无论是单独的还是与本文公开或说明的任何其他的特征、步骤或节点的任何合适组合的。

无损图像和视频压缩.pdf_第1页
第1页 / 共31页
无损图像和视频压缩.pdf_第2页
第2页 / 共31页
无损图像和视频压缩.pdf_第3页
第3页 / 共31页
点击查看更多>>
资源描述

《无损图像和视频压缩.pdf》由会员分享,可在线阅读,更多相关《无损图像和视频压缩.pdf(31页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104137541A43申请公布日20141105CN104137541A21申请号201280053919622申请日2012103061/553,37220111031USH04N19/13201401H04N19/159201401H04N19/176201401H04N19/463201401H04N19/9120140171申请人南洋理工大学地址新加坡新加坡南阳大街5072发明人顾舟叶林维斯李武松刘树棠74专利代理机构北京中博世达专利商标代理有限公司11274代理人申健54发明名称无损图像和视频压缩57摘要本发明提供了编码在图像或视频压缩中使用的图像的帧内预测残留块。

2、的方法。所述帧内预测残留块与帧内预测编码模式有关。所述方法包括产生一组残差块,所述残差块包括残留数据,所述残留数据具有不同于所述帧内预测残留块中残留数据的统计特征。扫描和熵编码每个所述残差块以产生第一组比特流。记录每个所述第一组比特流的长度。所述帧内预测残留块也被扫描和熵编码以产生第二比特流。记录所述第二比特流的长度。从所述第一组比特流和所述第二比特流中选择最小长度的比特流作为所述帧内预测残留块的输出编码比特流。30优先权数据85PCT国际申请进入国家阶段日2014043086PCT国际申请的申请数据PCT/SG2012/0004082012103087PCT国际申请的公布数据WO2013/0。

3、66267EN2013051051INTCL权利要求书4页说明书15页附图11页19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书15页附图11页10申请公布号CN104137541ACN104137541A1/4页21一种编码在图像或视频压缩中使用的图像的帧内预测残留块的方法,其中所述帧内预测残留块与帧内预测编码模式有关,所述方法包括产生多个残差块,所述残差块包括残留数据,所述残留数据具有不同于所述帧内预测残留块中残留数据的统计特征;扫描和熵编码每个所述残差块以产生第一多个比特流,记录每个所述第一多个比特流的长度;扫描和熵编码所述帧内预测残留块以产生第二比特流,记录该第二比。

4、特流的长度;从所述第一多个比特流和所述第二比特流选择最小长度的比特流作为所述帧内预测残留块的输出编码比特流。2根据权利要求1所述的方法,其中所述产生多个残差块的步骤包括从与所述帧内预测编码模式有关的加权的多个预定义的模板块减去帧内预测残留块,其中每个预定义的模板块是与特定扫描顺序有关的二元矩阵。3根据权利要求1或2所述的方法,其中每个第一多个比特流包括代表与相应的残差块有关的信息的报头数据。4根据权利要求13任一项所述的方法,其中所述产生多个残差块、扫描和熵编码每个所述残差块和记录所述第一多个比特流的长度的步骤包括从多个比例因子为每个比例因子AI产生所述第一多个比特流,和从多个与所述帧内预测编。

5、码模式有关的预定义的模板块为每个模板块WK产生所述第一多个比特流;通过通过从加权的预定义的模板块AJWK减去帧内预测残留块XI计算残差块RI;以与WK有关的相应的扫描顺序扫描RI;熵编码所述已扫描的RI,输出包括在所述第一组比特流中的编码比特流;和记录输出编码比特流的长度LAI,WK。5根据权利要求4所述的方法,其中,每个所述第一比特流包括相应的输出编码比特流和代表与相应的所述第一编码比特流有关的比例因子的报头数据。6根据权利要求5所述的方法,其中,每个所述第一比特流进一步包括代表与相应第一编码比特流有关的所述预定义模板块的报头数据。7根据权利要求16任一项所述的方法,其中所述扫描和熵编码所述。

6、帧内预测残留块XI的步骤进一步包括以锯齿形扫描顺序扫描XI;熵编码所述扫描的XI以输出所述第二编码比特流;和记录所述第二编码比特流的长度。8根据权利要求17任一项所述的方法,进一步包括从所述第一多个比特流中选择具有最小记录长度的第一编码比特流的步骤。9根据权利要求8所述的方法,进一步包括比较所述第一编码比特流的记录长度和所述第二编码比特流的记录长度;当所述最小记录长度小于所述第二编码比特流的记录长度时,选择所述第一编码比特流作为所述输出比特流。10一种解码已编码的在图像或视频压缩中使用的图像的帧内预测残留块的方法,其中所述已编码的帧内预测残留块与所述帧内预测编码模式有关,所述方法包括权利要求书。

7、CN104137541A2/4页3检测与编码残差块有关的报头信息,所述残差块包括残留数据,所述残留数据具有不同于所述帧内预测残留块中残留数据的统计特征;通过熵解码和去扫描所述已编码的帧内预测残留块产生所述残差块;将所述报头信息应用到所述残差块以输出所述帧内预测残留块。11根据权利要求10所述的方法,其中所述报头信息包括比例因子和预定义的模板块的说明,并且所述产生所述残差块的步骤进一步包括根据由所述预定义的模板块和相关的帧内预测编码模式定义的特定扫描顺序去扫描所述熵解码的残差块;通过所述去扫描熵解码的残差块和由比例因子加权的所述预定义的模板块的总和计算所述帧内预测残留块。12一种产生用于根据权利。

8、要求19任一项所述的编码方法和根据权利要求1011任一项所述的解码方法的预定义模板块的方法,所述该方法包括通过最小化STWR,C0,1,确定与所述帧内预测编码模式有关的第一模板块,其中XI是给定的与所述帧内预测编码模式有关的NN帧内预测残留块,W是来自模板块的组的NN模板块,其中每个条目是0或1,AI是具有预定义范围的比例整数,VEC是矢量化运算符,它将所有矩阵元素变成逐行顺序的矢量形式,|0是用于计算矢量的非零元素总数的L0范数,其中二元矩阵WOPT是第一模板块,其中对于与所述帧内预测模式有关的一个或多个帧内预测残留块X1XIXN的给定组,所述非零系数的数目是最小化的。13根据权利要求12所。

9、述的方法,进一步包括通过再次执行所述确定步骤产生第二预定义的模板块,其中所述第一模板块在所述最小化期间从所述模板块的组中被排除,以使所述二元矩阵WOPT是所述第二模板块,其中对于与所述帧内预测模式有关的一个或多个帧内预测残留块X1XIXN的给定组,所述非零系数的数目是最小化的。14根据权利要求213任一项所述的方法,其中,当所述帧内预测模式是0并且所述残留帧内预测块是44块时,所述多个预定义模板块包括以下的组中选出的至少一块权利要求书CN104137541A3/4页415根据权利要求14所述的方法,其中对于所述模板块的组的扫描顺序是逐行、从顶到底、从左到右的顺序,其中“0”位置首先被扫描并且“。

10、1”位置最后被扫描。16根据权利要求215任一项所述的方法,其中,当所述帧内预测模式是1并且所述残留帧内预测块是44的块时,所述多个预定义模板块包括选自根据本文图5描述的模板块的组的至少一块。17根据权利要求16所述的方法,其中所述模板块的组的扫描顺序是逐列、从左到右、从顶到底的顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。18根据权利要求217任一项所述的方法,其中,当所述帧内预测模式是3并且所述残留帧内预测块是44的块时,所述多个预定义模板块包括选自根据本文图6描述的模板块的组的至少一块。19根据权利要求18所述的方法,其中所述模板块的组的扫描顺序是“1”位置被重排的锯齿形的反射。

11、顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。20根据权利要求219任一项所述的方法,其中,当所述帧内预测模式是4并且所述残留帧内预测块是44的块时,所述多个预定义模板块包括选自根据本文图7描述的模板块的组的至少一块。21根据权利要求20所述的方法,其中所述模板块的组的扫描顺序是锯齿形顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。22根据权利要求221任一项所述的方法,其中,当所述帧内预测模式是2并且所述残留帧内预测块是44的块时,所述多个预定义模板块包括选自根据本文图8描述的模板块的组的至少一块。23根据权利要求22所述的方法,其中所述模板块的组的扫描顺序A到B是逐行、从。

12、顶到底、从左到右的顺序;C到F是逐列、从左到右、从顶到底的顺序;G到K是锯齿形的反射顺序;和L到P是锯齿形顺序;其中“0”位置首先被扫描并且“1”位置最后被扫描。24一种编码在图像或视频压缩中使用的图像的帧内预测残留块的装置,其中所述帧内预测残留块与帧内预测编码模式有关,所述装置包括产生单元,被配置为产生多个残差块,所述残差块包括残留数据,所述残留数据具有不权利要求书CN104137541A4/4页5同于所述帧内预测残留块中的残留数据的统计特征;扫描单元,被配置为扫描每个所述残差块以产生多个扫描的残差块;和扫描所述帧内预测残留块以产生扫描的帧内预测残留块;熵编码单元,被配置为熵编码每个扫描的所。

13、述残差块以产生第一多个比特流;熵编码已扫描的帧内预测残留块以产生第二比特流;存储单元,被配置为记录每个所述第一多个比特流的长度和第二比特流的长度;选择单元,被配置为从所述第一多个比特流和所述第二比特流选择最小长度的比特流作为所述帧内预测残留块的输出编码比特流。25一种解码已编码的在图像或视频压缩中使用的图像的帧内预测残留块的装置,其中所述已编码的帧内预测残留块与帧内预测编码模式有关,所述装置包括检测单元,被配置为检测与编码残差块有关的报头信息,所述残差块包括残留数据,所述残留数据具有不同于所述帧内预测残留块中的残留数据的统计特征;熵解码和扫描单元,被配置为通过熵解码和去扫描所述已编码的所述帧内。

14、预测残留块来产生所述残差块;产生单元,被配置为将所述报头信息应用到所述残差块以输出所述帧内预测残留块。权利要求书CN104137541A1/15页6无损图像和视频压缩技术领域0001本发明涉及一种用于执行无损图像或视频压缩的方法和装置。更具体地,本发明涉及一种方法和装置,该方法和装置通过修改残留数据的统计特征和修改在熵编码之前的扫描顺序来编码图像的残留帧内预测块以及解码所述已编码的残留帧内预测块。背景技术0002对无损视频压缩技术中的越来越大的兴趣在诸如医学图像编码和长期图像/视频归档的领域中被观察到。对于高压缩无损/近无损压缩算法的愿望由经济方面的原因所驱动,以保持用于传输和存储的文件大小尽。

15、可能小,同时保持高的图像/视频质量。由于最近高清晰度HD视频引入消费市场,目前迫切需要更有效的无损/近无损压缩算法。相较于标准清晰度SD视频,更多的细节和纹理有望记录在HD视频中。0003由于绝对的分辨率,传输和存储要求构成了实时给予终端用户HD视频流或广播的障碍。但是,这种应用已在电影院中被看到,在那体育赛事或演出的现场直播已成为节目制作界的稳定收入来源。从归档的角度来看,无损视频编码有利于保持最可能的易于管理的包中的内容而不丢弃任何重要信息。0004通过基于国际电信联盟电信ITUT视频编码专家组和国际标准化组织ISO/国际电工技术委员会IEC动态图像专家组的联合视频组JVT开发了最新的视频。

16、编码标准H264/高级视频编码AVC。由于其高压缩性能,H264/AVC已成为广泛应用的有前景的视频压缩标准。这些应用包括在如下文献中描述的多媒体流和视频会议例如,ITUTRECH264|ISO/IEC1449610高级视频编码的编辑修正草案为ITUTSG16AAP一致CONSENT做准备,文件JVTAD205DOC、2009年2月的ISO/IEC1449610AVC、ISO/IECJTC1/SC29/WG11和ITUTQ6/SG16的联合视频组;A卢特拉ALUTHRA、GJ苏利文GJSULLIVAN和T魏根德TWIEGAND“在H264/AVC视频编码标准上引进特定问题”“INTRODUCT。

17、IONTOTHESPECIALISSUEONTHEH264/AVCVIDEOCODINGSTANDAR”,电气与电子工程师协会视频技术电路与系统学报IEEETRANSCIRCUITSSYSTVIDEOTECHNOL,2003年7月13卷7期557559页;T魏根德、GJ苏利文、G邦特加德GBJONTEGAARD和A卢特拉“H264/AVC视频编码标准概述”,电气与电子工程师协会视频技术电路与系统学报IEEETRANSCIRCUITSSYSTVIDEOTECHNOL,,2003年7月13卷7期560576页;和GJ苏利文和T魏根德“视频压缩从概念到H264/AVC标准”,电气与电子工程师协会论文。

18、集,2005年1月93卷1期1831页。然而,H264/AVC标准的发展主要集中在有损编码/压缩技术。0005由正在发展的无损编码市场所诱惑,H264/AVC已发展到为无损视频编码提供改进功能。H264/AVC标准包括所谓的脉冲编码调制PCM的宏模块编码模式,其中原始图像样本的值被直接传送而不预测、转换以及量化。PCM模式通过在位数上施加最小上限值而设计为简易的,该位数可以表示具有足够精度的宏模块。但是,这方面也降低了其编码效率,正如YL李YLLEE、KH韩KHHAN和GJ苏利文“用于H264/说明书CN104137541A2/15页7MPEG4AVC的改进的无损帧内编码”,电气与电子工程师协。

19、会图像处理学报IEEETRANSIMAGEPROCESS,2006年9月15卷9期26102615页中描述的。0006在完成H264/AVC标准的第一个版本后,JVT开发了被称为是保真度范围扩展FREXT的原标准的扩展,例如如下文献所描述的关于ITUTRECH264的H264/AVC保真度范围扩展修正的案草拟文本、文件JVTL047DOC、2004年7月的ISO/IEC1449610AVC、ISO/IECJTC1/SC29/WG11和ITUTQ6/SG16的联合视频组,并且在GJ苏利文、P托皮瓦拉PTOPIWALA和A卢特拉“H264/AVC标准保真度范围扩展的概述和介绍”,光学学报会议论文集。

20、PROCSPIECONF,关于新的突发事故标准H264/AVC的特殊会议SPECIALSESSIONADVNEWEMERGSTANDARDH264/AVC丹佛DENVER,CO2004年8月454474页中被进一步描述。在完善FREXT的修正时,用于满足更苛刻的应用需要的更有效的无损编码的方法被决定了。因此,FREXT还包括转换旁路无损模式,该模式采用两个主编码过程、预测和熵编码,这是在以前的PCM宏模块模式中没有使用的,如在帧内无损编码和QP范围选择、文件JVTC023DOC、2002年5月的ISO/IECJTC1/SC29/WG11和ITUTQ6/SG16的联合视频组中所描述的。仍需要更高。

21、效的用于预测的编码技术,以进一步加强无损编码的编码性能。0007在此期间,引入被称为是样本方式差分脉冲编码调制DPCM的新的帧内预测方法用于无损帧内预测,参见例如,在H264/MPEG4AVC中用于改进的444编码的差分脉冲编码调制DPCM无损帧内编码、文件JVTP016DOC、2005年7月的ISO/IECJTC1/SC29/WG11和ITUTQ6/SG16的联合视频组;和所推荐的无损帧内的复杂度、文件JVTQ035R1DOC、2005年10月的ISO/IECJTC1/SC29/WG11和ITUTQ6/SG16的联合视频组。DPCM认为紧挨着被预测的样本比几个样本远的相邻块中的样本是更好的预。

22、测器。其结果是,样本方式DPCM可以提供更好的压缩性能,而且不会产生计算复杂性的大幅增加。它随后被采用作为有关ITUTRECH264|ISO/IEC1449610AVC的H264/AVC改进444轮廓修正的草拟文本、文件JVTQ209DOC、2005年10月的ISO/IECJTC1/SC29/WG11和ITUTQ6/SG16的联合视频组中用于H264/AVC标准的新的修正草案的一部分。0008H264/AVC标准采用两种熵编码器如在上下文自适应VLCCVLC的编码系数、文件JVTC028DOC、2002年5月的ISO/IECJTC1/SC29/WG11和ITUTQ6/SG16M的联合视频组中描。

23、述的基于上下文自适应的可变长度的编码器CAVLC;和如D马普DMARPE、H施瓦兹HSCHWARZ、T魏根德“H264/AVC视频压缩中基于上下文自适应的二进制算法编码”,电气与电子工程师协会视频技术电路与系统学报IEEETRANSCIRCUITSSYSTVIDEOTECHNOL,13卷7期2003年620636页中所描述的基于上下文自适应的二进制算法编码器CABAC。然而,熵编码方法均设计为适应残留误差的统计特征,该残留误差是量化的转换系数。但是,在无损编码中,残留误差是原始的和未经转换和量化的预测的像素值之间的差分像素值。用于有损编码和用于无损视频编码的残留数据的统计特征是非常不同的。在H。

24、264/AVC中所用的常规的熵编码方法未提供用于无损视频编码的最佳编码性能。0009在H264/AVC帧内编码中,如图1所示,当给定44块时,将9种帧内预测的模式用于空间冗余简化。这也在YW黄YWHUANG等人“用于H264/AVC帧内编码器的分析、快速算法和VLSI超大规模集成电路结构设计”,电气与电子工程师协会视频技术电路与系统学报IEEETRANSCIRCUITSSYSTVIDEOTECHNOL,2005年3月15卷3期378401说明书CN104137541A3/15页8页中被描述。图2A示出了用于移动序列的帧内预测误差块的整数离散余弦转换ICT和量化的例子,该移动序列在HTTP/ME。

25、DIAXIPHORG/VIDEO/DERF/中说明。图2B是锯齿形扫描顺序的例子。对于有损编码,整数离散余弦转换ICT和量化首先被应用于输入帧内预测残留块,之后是锯齿形扫描,其扫描顺序示于图2B。将扫描系数发送给熵编码器用于统计冗余去除。0010值得注意的是,在ICT后,高幅度系数倾向集中于该块的左上角。在量化之后,如图2A所示,该块的左上部分相较于该块的右下部分具有更高的非零系数的概率。这意味着,在锯齿形扫描后,前期部分相较于后期部分更可能具有非零系数。由于右下角的系数倾向于是小的,所以在量化后,它们更可能被量化为连续的零;量化的步长越长,越会产生更多的零。设计H264/AVC中的熵编码器以。

26、利用这些统计特征。0011然而,在无损编码中,发送到熵编码器中的数据是残留误差,该残留误差是原始的和未经ICT转换和量化的预测的像素值之间的差分像素值。残留数据在两个方面不同于量化系数00121残留数据具有较少的零项;和00132预测残留块中的所有位置都几乎具有相同的非零项概率。0014H264/AVC中的传统熵编码方法根本无法提供用于无损视频编码的最佳编码性能。这严重限制了实时无损/近无损视频传输和存储的使用。0015用于实时无损或近无损的视频传输和存储的应用可以包括,例如,HD流、HD远程呈现要求至少24MBPS的带宽和50毫秒的延迟、远程外科手术应用通常需要10MBPS和1毫秒的延迟、医。

27、疗成像和备份医院每年存储500000张图像包括备份可能需要120TB的存储。然而,使用现有的无损视频编码技术大多数的通信网络/存储系统均不能满足这些要求。在当前压缩率中即使纯粹的8的改善都可以导致用于无损/近无损视频传输和存储在带宽和存储要求上的相当大的节省。0016人们越来越渴望更高的无损视频压缩率。发明内容0017本发明的目的在于提供一种用于修改无损残留误差的统计特征的机理以允许熵编码器实现更高的压缩率。0018本发明的第一方面,提供了一种编码在图像或视频压缩中使用的图像的帧内预测残留块的方法。所述帧内预测残留块与帧内预测编码模式有关。所述方法包括产生一组残差块,该残差块包括残留数据,该残。

28、留数据具有不同于帧内预测残留块中的残留数据的统计特征。每个所述残差块被扫描和熵编码以产生第一组比特流。记录每个所述第一组比特流的长度。所述帧内预测残留块也被扫描和熵编码以产生第二比特流。记录所述第二比特流的长度。来自所述第一组比特流和所述第二比特流的最小长度的比特流被选择作为帧内预测残留块的输出编码比特流。0019作为选项,产生一组残差块包括从与帧内预测编码模式有关的加权的预定义模板块组中减去帧内预测残留块。注意在这里使用的术语“减去”是“找到不同点”的意思,即可适用于不用考虑两个运算对象的哪一个从另一个中被减去。每个预定义模板块是与特定扫描顺序有关的二元矩阵。说明书CN104137541A4。

29、/15页90020可选地,每个所述第一组比特流包括代表与相应的残差块有关的信息的报头数据。0021作为选项,产生一组残差块、扫描和熵编码每个所述残差块的步骤进一步包括0022为来自多个比例因子的每个比例因子AI产生所述第一组比特流,以及为来自与所述帧内预测编码模式有关的多个预定义模板块的每个模板块WK产生所述第一组比特流;通过0023通过从加权的预定义模板块AJWK中减去帧内预测残留块XI计算残差块RI,所述加权的预定义模板块包括所述每个预定义的模板块乘以所述每个比例因子;0024以与WK有关的相应的扫描顺序扫描RI;0025熵编码所述已扫描的RI,输出包括在所述第一组比特流中的编码比特流;和。

30、0026记录输出编码比特流的长度LAI,WK。0027可选地,所述方法包括从第一组比特流中选择具有最小记录长度的第一编码比特流的步骤。0028作为选项,每个所述第一编码比特流包括代表与相应的第一编码比特流有关的比例因子的报头数据。此外,每个所述第一编码比特流可以包括代表与相应第一编码比特流有关的预定义模板块的报头数据。0029作为选项,扫描和熵编码所述帧内预测残留块XI的步骤进一步包括0030以锯齿形扫描顺序扫描XI;0031熵编码所述扫描的XI以输出所述第二编码比特流;和0032记录所述第二编码比特流的长度。0033可选地,所述方法包括以下步骤比较所述第一编码比特流的记录长度和所述第二编码比。

31、特流的记录长度;和当所述最小记录长度小于所述第二编码比特流的记录长度时,选择所述第一编码比特流作为所述输出比特流。0034根据本发明的第二方面,提供了一种解码已编码的在图像或视频压缩中使用的图像的帧内预测残留块的方法。所述已编码的帧内预测残留块与帧内预测编码模式有关。所述方法包括检测与编码残差块有关的报头信息,所述残差块包括残留数据,所述残留数据具有不同于帧内预测残留块中的残留数据的统计特征。通过熵解码和去扫描DESCANNING所述已编码的帧内预测残留块来产生所述残差块。将所述报头信息应用到所述残差块以输出在解码图像中使用的所述帧内预测残留块。0035根据本发明的第三方面,提供了一种编码在图。

32、像或视频压缩中使用的图像的帧内预测残留块的装置。所述帧内预测残留块与帧内预测编码模式有关。所述装置包括结合在一起的产生单元、扫描单元、熵编码单元和存储。所述产生单元被配置为产生多个残差块,该残差块包括残留数据,所述残留数据具有不同于帧内预测残留块中的残留数据的统计特征。所述扫描单元被配置为扫描每个所述残差块以产生多个扫描的残留块;和扫描帧内预测残留块以产生扫描的帧内预测残留块。所述熵编码单元被配置为熵编码每个所述扫描的残差块以产生第一多个比特流;熵编码已扫描的帧内预测残留块以产生第二比特流。所述存储单元被配置为记录每个所述第一多个比特流的长度和第二比特流的长度。选择单元被配置为从所述第一多个比。

33、特流和所述第二比特流选择最小长度的比特流作为帧内预测残留块的输出编码比特流。说明书CN104137541A5/15页100036根据本发明的第四方面,提供了一种解码已编码的在图像或视频压缩中使用的图像的帧内预测残留块的装置。所述已编码的帧内预测残留块与帧内预测编码模式有关。所述装置包括结合在一起的检测单元、熵解码和扫描单元和产生单元。所述检测单元被配置为检测与编码残差块有关的报头信息,所述残差块包括残留数据,所述残留数据具有不同于帧内预测残留块中的残留数据的统计特征。所述熵解码和扫描单元被配置为通过熵解码和去扫描所述已编码的帧内预测残留块来产生所述残差块。所述产生单元被配置为将所述报头信息应用。

34、到所述残差块以输出所述帧内预测残留块。0037根据本发明的另一方面,提供了一种在如本文所描述的用于编码和解码的方法和装置中使用的产生一个或多个预定义模板块的方法。该方法包括通过最00380039小化STWR,C0,1,0040产生一个或多个与帧内预测编码模式有关的预定义模板块,其中XI是给定的与所述帧内预测编码模式有关的NN帧内预测残留块,W是来自一组模板块的NN模板块,其中每个条目是0或1,AI是具有预定义范围的比例整数,VEC是矢量化运算符,它将所有矩阵元素变成逐行顺序的矢量形式,|0是用于计算矢量的非零元素总数的L0范数,其中二元矩阵WOPT是第一模板块,其中对于与所述帧内预测模式有关的。

35、一个或多个帧内预测残留块X1XIXN的给定组,非零系数的数目是最小化的。0041作为选项,所述方法进一步包括通过再次执行所述确定步骤来产生第二预定义模板块,其中所述第一模板块在所述第二最小化期间从所述模板块组中被排除,这样所述二元矩阵WOPT是所述第二模板块,其中对于与所述帧内预测模式有关的一个或多个帧内预测残留块X1XIXN的给定组,所述非零系数的数目是最小化的。0042可选地,当所述帧内预测模式是0并且所述残留帧内预测块是44块时,所述多个预定义模板块包括至少一块选自如本文参照图4描述的模板块的组。此外,对于所述模板块的组的扫描顺序可以是逐行、从顶到底、从左到右的顺序,其中“0”位置首先被。

36、扫描并且“1”位置最后被扫描。0043作为选项,当所述帧内预测模式是1并且所述残留帧内预测块是44块时,所述多个预定义模板块包括至少一块选自如本文参照图5描述的模板块的组。此外,对于所述模板块组的扫描顺序是可以是逐列、从左到右、从顶到底的顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。0044可选地,当所述帧内预测模式是3并且所述残留帧内预测块是44块时,所述多个预定义模板块包括至少一块选自如本文参照图6描述的模板块的组。此外,对于所述模板块组的扫描顺序可以是“1”位置被重排的锯齿形的反射顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。0045作为选项,当所述帧内预测模式是4并。

37、且所述残留帧内预测块是44块时,所述多个预定义模板块包括至少一块选自如本文参照图7描述的模板块的组。此外,对于所述模板块组的扫描顺序可以是锯齿形顺序,其中“0”位置首先被扫描并且“1”位置最后被扫描。0046可选地,当所述帧内预测模式是2并且所述残留帧内预测块是44块时,所述多说明书CN104137541A106/15页11个预定义模板块包括至少一块选自如本文参照图8描述的模板块的组。此外,对于所述模板块组的扫描顺序可以是如本文参照图8描述的0047A到B是逐行、从顶到底、从左到右顺序;0048C到F是逐列、从左到右、从顶到底顺序;0049G到K是锯齿形的反射顺序;和0050L到P是锯齿形顺序。

38、;0051其中“0”位置首先被扫描并且“1”位置最后被扫描。0052本发明实施例提供了用于压缩无损/近无损图像或视频序列的相对简单和有效的机理。本发明的特定应用涉及那些在医学成像中使用的图像。当然,本发明可被用于其它图像和视频格式和它们的组合。本发明可以表示成方法、用于实施该方法的装置,例如包括处理器和以永久形式存储的有形的数据存储装置,通过处理器的程序指令操作可使所述处理器实施该方法。0053附图的简要说明0054现将参照附图并仅以举例的方式来描述本发明的一些实施例,其中0055图1简要的示出了在H264/AVC标准中使用的9种帧内预测模式;0056图2A示出了帧内预测误差块的ICT和对于的。

39、量化的例子;0057图2B示出了锯齿形扫描顺序的例子;0058图3示出了从一系列测试图像中导出的残留块的非零系数的绝对值的概率分布;0059图4由图4A到4P组成,示出了与模式0有关的16个模式依赖的模板块的例子;0060图5由图5A到5P组成,示出了与模式1有关的16个模式依赖的模板块的例子;0061图6由图6A到6P组成,示出了与模式3有关的16个模式依赖的模板块的例子;0062图7由图7A到7P组成,示出了与模式4有关的16个模式依赖的模板块的例子;0063图8由图8A到8P组成,示出了与模式2有关的16个模式依赖的模板块的例子;0064图9A示出了用于模式0的模式依赖的模板块的例子;0。

40、065图9B示出了与图9A的模板块有关的相应的扫描顺序;0066图9C示出了用于模式3的模式依赖的模板块的例子;0067图9D示出了与图9C的模板块有关的相应的扫描顺序;0068图10是示出了实施本发明实施例的一组步骤的流程图;0069图11示出了在使用测试图像序列的MD模板方法之前和之后非零系数的存在相对于扫描位置的概率分布。具体实施方式0070为了克服上述认定的问题,下面将描述用于执行无损/近无损视频编码以实现更高压缩率的方法和装置。本发明的实施例和例子是基于定制的无损残留误差的统计特性的说明书CN104137541A117/15页12概念,以允许可以实现更高压缩率的更好的熵编码。分析了帧。

41、内预测模式中预测残留误差的统计相关性,并且导出的模板块可从每个帧内预测模式的块中被减去,模板块在本文中也被称为模式依赖的模板MD模板。这会产生更多的零项;通过设计每个模板的扫描顺序,扫描的系数序列的前期部分与后期部分相比具有更高的非零系数概率。这样,处理的结果更适合于无损/近无损视频编码的熵编码方法,例如,H264/AVC或H265和其他合适的图像/视频编码标准/技术。示出的例子说明相较于其他无损/近无损编码技术如H264/AVC的保真度范围扩展高调编码方法,通过根据本发明的基于MD模板的编码/解码方法可以实现在位数方面的相当大的节省。0071特别是,为了使用用于修改无损残留误差的统计特征的该。

42、模板块,它们需要被定义。模板块MD模板可以从每个帧内预测模式中被推导出,如下所示00720073STWR,C0,110074其中XI是给定的44矩阵或块,它表示属于9种帧内预测模式之一的帧内预测残留块;W是44的二进制矩阵,其中的每个条目是0或1,这代表了将要被导出的模板块MD模板;AI为从255到255的比例整数。请注意,在本发明的范围之内的实施例的变型中,块的大小可以不同,如88或1616的块的大小。在模式确定之后的一些实施例中,一些或所有的1616宏块可以被划分成16个44的块。鉴于大多数视频格式的位深度是8位,所以每个像素的强度范围为0255这一事实,AI值的范围被选定。因此,减去2个。

43、像素强度的结果的值的范围是255到255。如果使用了另一个位深度,如10位/像素,AI值的范围可能被改变。0075运算符VEC是矢量化运算符,它将所有矩阵元素变成逐行顺序的矢量形式。例如,假设B是任一MM矩阵,矢量化后,我们有公式2中的矢量,其中,每个BR,C是B在位置R,C的元素。0076VECBB1,1,B1,2B1,M,B2,1,B2,2,B2,M,BM,1,BM,2BM,M20077通过使用L0范数,|0即向量的非零元素的总数,在公式1中定义的最小化问题输出了二进制矩阵WOPT,使得对于一个或多个属于某帧内预测模式的帧内预测残留块X1XIXN的给定组,非零系数的数目被最小化。对于帧内预。

44、测残留块,|0为输入矢量提供非零系数的数目。然而,公式1的L0范数最小化问题是非完全多项式,所以通过计算所有可能的W所产生的非零系数,可以进行穷举搜索,对于44块包括搜索21665536种情况。0078例如,详细的学习过程可以在选定的测试图像上来执行以用于导出适合于每个模式的MD模板W。示例图像可能包括,但不限于,测试图像,如飞机、狒狒、芭芭拉、船、金岭、霍巴特林娜、辣椒、桥梁、摄像师、小丑、帆船和冠。这些测试图像的大多数可在HTTP/WWWHLEVKINCOM/TESTIMAGES/上获得。0079此外,9种帧内预测模式之中,如德国HQ曾HQZENG、KK马KKMA、CH蔡CHCAI,“用于。

45、H264/AVC的分层帧内模式选择”,电气与电子工程师协会视频技术电路与系统学报IEEETRANSCIRCUITSSYSTVIDEOTECHNOL,2010年20卷6期907912页中所描述的,前5种模式比其余4种模式具有更高的出现概率。从这些测试图说明书CN104137541A128/15页13像,可以推出选定的帧内预测模式的概率分布,并在以下的表1中示出。0080帧内预测模式概率模式00302模式10262模式20182模式30071模式40074模式50024模式60035模式70021模式800290081表1选定的帧内预测模式的概率分布0082在这个例子中,如表1所示,模式0到模式4。

46、占到帧内预测的预测模式的89以上。可以减少这五种模式的MD模板的数量。0083图3是示出从这些测试图像中导出的残留块的非零系数的绝对值的概率分布的图解,残留块的前20个非零系数被示出。由此可见,超过73的非零预测残留值的范围在4到4之间。这允许进一步简化以将比例整数AI约束在范围4,3,2,1和1,2,3,4。然而,本领域技术人员可以理解的是,可以选择或导出比例整数AI的其他合适范围以实现预定义的或合适的压缩率。0084一旦选择了65536种情况之外的W块,对于每个XI,确定了最佳的AI。对于每个帧内预测模式,16个MD模板W1至W16可供选择,它们是就公式1的L0范数最小化而言的排名前16位。

47、的二进制矩阵。例如,W1给出最少的非零系数,W2给出第二少的非零系数等以此类推。注意,模板的数量可以是不同的,并且例如实施例可以使用32或甚至更多的模板。但是,使用更多的模板引入了更多的代表这些模板的附加OVERHEAD。根据实验的结果,32个模板不产生显著的性能提高,所以本实施例中用16个模板,以减少计算需求。0085图4示出了用于帧内预测模式0的16个MD模板。图5示出了用于帧内预测模式1的16个MD模板。图6示出了用于帧内预测模式3的16个MD模板。图7示出了用于帧内预测模式4的16个MD模板。但是,对于模式2,没有从上述测试图像中导出的占优势的MD模板,所以在这种情况下,可以采用图8所。

48、示的16个MD模板。注意,如果测试图像已不同,有可能将生成一组不同的MD模板。然而,如图48所示的MD模板是通过大量的实验测试得到的,并且它们的值从后面讨论的实验中是明确的。0086用于帧内预测模式的MD模板现在可被用于编码与帧内预测模式有关的残留帧内说明书CN104137541A139/15页14预测块。这可以通过以与帧内预测模式有关的16个MD模板中选定的一个减去残留帧内预测块XI产生残差块而实现。在我们由16个MD模板之一减去残留帧内预测块XI之后,基于所选择的MD模板可以定义新的扫描顺序。0087例如,对于模式0,扫描顺序可以被定义为逐行、从顶到底、从左到右的顺序。注意,这仅仅是一个已。

49、被证明是有效的选择,在本发明的范围之内其它选择是可能的。设计扫描顺序的标准是使扫描序列在端部具有更多的零系数。如图9A和9B所示,率先进行扫描MD模板上标记为“0”的位置,然后是那些标记为“1”的。图9A示出模式0的MD模板,图9B示出相应于图9A的MD模板的扫描顺序。同样,对于模式1的扫描顺序是具有“1”位置被重排的逐列、从左到右、从顶到底的顺序。对于模式4,扫描顺序是具有“1”位置被重排的锯齿形顺序。对于模式3,如图9C和D所示,扫描顺序是具有“1”位置被重排的锯齿形的反射顺序。图9C示出模式3的MD模板,图9D示出相应于图9C的MD模板的扫描顺序。对于模式2,对于如图8所示的MD模板A至B,扫描与模式0相同。对于如图8所示的MD模板C至F,扫描与模式1相同。对于如图8所示的MD模板G至K,扫描顺序与模式3相同。最后,对于如图8所示的MD模板L至P,扫描顺序与模式4相同。0088残差块然后被扫描和熵编码,以输出在视频压缩中使用的图像编码的残留帧内预测块的比特流。用于编码残留帧内预测块的比例因子和MD模板的代表数据可以包括到输出比特流中,以允许所编码的残留帧内预测块的解码。0089在另一个实施例中,提供了根据本发明的示例过程,它利用MD模板使用上述的示例性方法执行帧内无损/近无损编码。示例过程可以基于下面描述的伪代码来执行。。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 >


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1