帧间图像预测编解码方法及视频编解码器.pdf

1、(10)申请公布号 CN 102843554 A (43)申请公布日 2012.12.26 C N 1 0 2 8 4 3 5 5 4 A *CN102843554A* (21)申请号 201110167623.4 (22)申请日 2011.06.21 H04N 7/26(2006.01) H04N 7/36(2006.01) H04N 7/46(2006.01) (71)申请人乐金电子(中国)研究开发中心有限 公司 地址 100022 北京市朝阳区建国门外大街乙 12号双子座大厦西塔18层 (72)发明人贾杰 金文成 赵容浩 (74)专利代理机构北京三友知识产权代理有限 公司 11127 代

2、理人任默闻 (54) 发明名称 帧间图像预测编解码方法及视频编解码器 (57) 摘要 本发明公开了一种帧间图像预测编解码方法 及视频编解码器，其中的帧间图像预测编码方法 包括：获得当前编码帧中当前预测单元的最优运 动数据，所述最优运动数据包括最优运动矢量和 最优参考帧序号；在所述最优运动数据的预测数 据中选择最优预测数据；获得所述最优运动数据 的残差信号，对所述残差信号进行编码；对所述 最优预测数据的编号进行编码。本发明在帧间图 像预测编解码中引入了对参考帧序号基于预测残 差的编解码，提高了帧间图像预测编解码效率。 (51)Int.Cl. 权利要求书2页 说明书6页 附图2页 (19)中华人民

3、共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 6 页 附图 2 页 1/2页 2 1.一种帧间图像预测编码方法，其特征在于，该方法包括： 获得当前编码帧中当前预测单元的最优运动数据，所述最优运动数据包括最优运动矢 量和最优参考帧序号； 在所述最优运动数据的预测数据中选择最优预测数据； 获得所述最优运动数据的残差信号，对所述残差信号进行编码； 对所述最优预测数据的编号进行编码。 2.如权利要求1所述的方法，其特征在于，在所述最优运动数据的预测数据中选择最 优预测数据，包括： 对所述最优运动数据从相邻运动数据中进行预测，选择所述相邻运动数据中代价最小 的运动数据为所述最优

4、预测数据。 3.如权利要求2所述的方法，其特征在于，选择所述相邻运动数据中代价最小的运动 数据为所述最优预测数据，包括： 计算所述最优运动数据与所述相邻运动数据对应项的绝对误差和； 选择最小绝对误差和对应的所述相邻运动数据中的运动数据为所述最优预测数据。 4.如权利要求2所述的方法，其特征在于，选择所述相邻运动数据中代价最小的运动 数据为所述最优预测数据，包括： 计算所述最优运动数据与所述相邻运动数据对应项的均方误差和； 选择最小均方误差和对应的所述相邻运动数据中的运动数据为所述最优预测数据。 5.如权利要求2所述的方法，其特征在于，选择所述相邻运动数据中代价最小的运动 数据为所述最优预测数据

5、，包括： 计算所述最优运动数据与所述相邻运动数据对应项的率失真代价，同时计算编码预测 序号的比特； 选择最小率失真代价对应的所述相邻运动数据中的运动数据为所述最优预测数据。 6.如权利要求5所述的方法，其特征在于，所述计算编码预测序号的比特后，还包括： 存储计算出的编码预测序号的比特； 对所述最优预测数据的编号进行编码，包括：提取存储的编码预测序号的比特，以进行 所述最优预测数据编号的编码。 7.如权利要求1所述的方法，其特征在于，所述获得当前编码帧中当前预测单元的最 优运动数据，包括： 对当前编码帧中当前预测单元进行运动估计和运动补偿，获得所述最优运动数据。 8.一种帧间图像预测解码方法，其

6、特征在于，该方法包括： 解码获得当前解码帧中当前预测单元的运动数据的残差信号和预测数据的编号，所述 运动数据包括运动矢量和参考帧序号； 根据所述预测数据的编号，获得所述预测数据； 根据所述预测数据和所述残差信号，获得所述运动数据。 9.如权利要求8所述的方法，其特征在于，根据所述预测数据和所述残差信号，获得所 述运动数据，包括： 将所述预测数据和所述残差信号相加，获得所述运动数据。 10.一种视频编码器，其特征在于，包括： 权 利 要 求 书CN 102843554 A 2/2页 3 获得模块，用于获得当前编码帧中当前预测单元的最优运动数据，所述最优运动数据 包括最优运动矢量和最优参考帧序号；

7、 选择模块，用于在所述最优运动数据的预测数据中选择最优预测数据； 第一编码模块，用于获得所述最优运动数据的残差信号，对所述残差信号进行编码； 第二编码模块，用于对所述最优预测数据的编号进行编码。 11.如权利要求10所述的视频编码器，其特征在于，所述选择模块具体用于： 对所述最优运动数据从相邻运动数据中进行预测，选择所述相邻运动数据中代价最小 的运动数据为所述最优预测数据。 12.如权利要求11所述的视频编码器，其特征在于，所述选择模块具体用于： 计算所述最优运动数据与所述相邻运动数据对应项的绝对误差和； 选择最小绝对误差和对应的所述相邻运动数据中的运动数据为所述最优预测数据。 13.如权利要

8、求11所述的视频编码器，其特征在于，所述选择模块具体用于： 计算所述最优运动数据与所述相邻运动数据对应项的均方误差和； 选择最小均方误差和对应的所述相邻运动数据中的运动数据为所述最优预测数据。 14.如权利要求11所述的视频编码器，其特征在于，所述选择模块具体用于： 计算所述最优运动数据与所述相邻运动数据对应项的率失真代价，同时计算编码预测 序号的比特； 选择最小率失真代价对应的所述相邻运动数据中的运动数据为所述最优预测数据。 15.如权利要求14所述的视频编码器，其特征在于，还包括： 存储模块，用于存储计算出的编码预测序号的比特； 所述第二编码模块具体用于：提取存储的编码预测序号的比特，以进

9、行所述最优预测 数据编号的编码。 16.如权利要求10所述的视频编码器，其特征在于，所述获得模块具体用于： 对当前编码帧中当前预测单元进行运动估计和运动补偿，获得所述最优运动数据。 17.一种视频解码器，其特征在于，包括： 解码模块，用于解码获得当前解码帧中当前预测单元的运动数据的残差信号和预测数 据的编号，所述运动数据包括运动矢量和参考帧序号； 预测数据获得模块，用于根据所述预测数据的编号，获得所述预测数据； 运动数据获得模块，用于根据所述预测数据和所述残差信号，获得所述运动数据。 18.如权利要求17所述的视频解码器，其特征在于，所述运动数据获得模块具体用于： 将所述预测数据和所述残差信号

10、相加，获得所述运动数据。 权 利 要 求 书CN 102843554 A 1/6页 4 帧间图像预测编解码方法及视频编解码器 技术领域 0001 本发明涉及图像视频编解码和帧间图像预测技术领域，尤其涉及帧间图像预测编 解码方法及视频编解码器。 背景技术 0002 图像视频压缩编解码总体上分为帧间图像编解码和帧内图像编解码两种预测编 解码技术。帧内图像编/解码利用来自当前帧已经编/解码图像单元的信息对当前编/解 码图像单元进行预测编/解码。帧间图像编/解码利用已经完成编/解码的图像帧信息对 当前编/解码图像进行预测编/解码。 0003 现有的帧间图像编/解码方法中对运动矢量进行预测，对运动矢量的

11、残差信号进 行编码，帧间图像预测编解码的效率并不高。 发明内容 0004 本发明实施例提供一种帧间图像预测编码方法，用以提高帧间图像预测编码效 率，该方法包括： 0005 获得当前编码帧中当前预测单元的最优运动数据，所述最优运动数据包括最优运 动矢量和最优参考帧序号； 0006 在所述最优运动数据的预测数据中选择最优预测数据； 0007 获得所述最优运动数据的残差信号，对所述残差信号进行编码； 0008 对所述最优预测数据的编号进行编码。 0009 本发明实施例还提供一种帧间图像预测解码方法，用以提高帧间图像预测解码效 率，该方法包括： 0010 解码获得当前解码帧中当前预测单元的运动数据的残

12、差信号和预测数据的编号， 所述运动数据包括运动矢量和参考帧序号； 0011 根据所述预测数据的编号，获得所述预测数据； 0012 根据所述预测数据和所述残差信号，获得所述运动数据。 0013 本发明实施例还提供一种视频编码器，用以提高帧间图像预测编码效率，该视频 编码器包括： 0014 获得模块，用于获得当前编码帧中当前预测单元的最优运动数据，所述最优运动 数据包括最优运动矢量和最优参考帧序号； 0015 选择模块，用于在所述最优运动数据的预测数据中选择最优预测数据； 0016 第一编码模块，用于获得所述最优运动数据的残差信号，对所述残差信号进行编 码； 0017 第二编码模块，用于对所述最优

13、预测数据的编号进行编码。 0018 本发明实施例还提供一种视频解码器，用以提高帧间图像预测解码效率，该视频 解码器包括： 说 明 书CN 102843554 A 2/6页 5 0019 解码模块，用于解码获得当前解码帧中当前预测单元的运动数据的残差信号和预 测数据的编号，所述运动数据包括运动矢量和参考帧序号； 0020 预测数据获得模块，用于根据所述预测数据的编号，获得所述预测数据； 0021 运动数据获得模块，用于根据所述预测数据和所述残差信号，获得所述运动数据。 0022 本发明实施例中，获得当前编码帧中当前预测单元的最优运动数据，所述最优运 动数据包括最优运动矢量和最优参考帧序号；在所述

14、最优运动数据的预测数据中选择最优 预测数据；获得所述最优运动数据的残差信号，对所述残差信号进行编码；对所述最优预 测数据的编号进行编码；从而在帧间图像预测编码中引入了对参考帧序号基于预测残差的 编码，提高了帧间图像预测编码效率。 0023 本发明实施例中，解码获得当前解码帧中当前预测单元的运动数据的残差信号和 预测数据的编号，所述运动数据包括运动矢量和参考帧序号；根据所述预测数据的编号，获 得所述预测数据；根据所述预测数据和所述残差信号，获得所述运动数据；从而在帧间图 像预测解码中引入了对参考帧序号基于预测残差的解码，提高了帧间图像预测解码效率。 附图说明 0024 为了更清楚地说明本发明实施

15、例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。在附图中： 0025 图1为本发明实施例中帧间图像预测编码方法的处理流程图； 0026 图2为本发明实施例中帧间图像预测解码方法的处理流程图； 0027 图3为本发明实施例中视频编码器的结构示意图； 0028 图4为本发明实施例中视频编码器的具体实例的结构示意图； 0029 图5为本发明实施例中视频解码器的结构示意图。 具体实施 方式 0030 为使本发明实施

16、例的目的、技术方案和优点更加清楚明白，下面结合附图对本发 明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并 不作为对本发明的限定。 0031 如图1所示，本发明实施例中，帧间图像预测编码方法的处理流程可以包括： 0032 步骤101、获得当前编码帧中当前预测单元的最优运动数据，所述最优运动数据包 括最优运动矢量和最优参考帧序号； 0033 步骤102、在所述最优运动数据的预测数据中选择最优预测数据；具体实施时，最 优运动数据的预测数据可视为预测数据的候选项(candidate)，可以在这些候选项中，选择 最优预测数据； 0034 步骤103、获得所述最优运动数据

17、的残差信号，对所述残差信号进行编码； 0035 步骤104、对所述最优预测数据的编号进行编码。本步骤的实施可以使解码端获得 编号对应的预测数据，进而可由预测数据和残差信号获得运动数据。 0036 由图1所示流程可以得知，本发明实施例中，获得当前编码帧中当前预测单元的 说 明 书CN 102843554 A 3/6页 6 最优运动数据，所述最优运动数据包括最优运动矢量和最优参考帧序号；在所述最优运动 数据的预测数据中选择最优预测数据；获得所述最优运动数据的残差信号，对所述残差信 号进行编码；对所述最优预测数据的编号进行编码；从而在帧间图像预测编码中引入了对 参考帧序号基于预测残差的编码，提高了帧

18、间图像预测编码效率。 0037 具体实施时，在所述最优运动数据的预测数据中选择最优预测数据，可以包括： 0038 对当前编码帧中当前预测单元的最优运动数据从相邻运动数据中进行预测，选择 所述相邻运动数据中代价最小的运动数据(即代价最小的参考运动数据)为所述最优预测 数据。 0039 其中，选择所述相邻运动数据中代价最小的运动数据为所述最优预测数据，可以 采用多种实施方式，例如：计算所述最优运动数据(MVx，MVy，ref_idx)与所述相邻运动数 据(即参考运动数据)对应项的绝对误差和(sum of absolute difference，SAD)；选择最 小绝对误差和(SAD)对应的所述相邻

19、运动数据中的运动数据(即最小绝对误差和对应的参 考运动数据)为所述最优预测数据。又如：计算所述最优运动数据(MVx，MVy，ref_idx)与 所述相邻运动数据对应项的均方误差和(sum of squared Error，SSE)；选择最小均方误差 和(SSE)对应的所述相邻运动数据中的运动数据(即最小均方误差和对应的参考运动数 据)为所述最优预测数据。 0040 具体实施时，选择所述相邻运动数据中代价最小的运动数据为所述最优预测数 据，还可以是：计算所述最优运动数据(MVx，MVy，ref_idx)与所述相邻运动数据对应项的 率失真代价，同时计算编码预测序号的比特；选择最小率失真代价对应的所

20、述相邻运动数 据中的运动数据(即选择最小率失真代价对应的参考运动数据)为所述最优预测数据。 0041 具体实施时，可以在计算编码预测序号的比特后，还包括：存储计算出的编码预测 序号的比特；则在对所述最优预测数据的编号进行编码时，可以直接提取存储的编码预测 序号的比特，以进行所述最优预测数据编号的编码，而不必在对所述最优预测数据的编号 进行编码时，重复计算编码预测序号的比特。 0042 具体实施时，可以先对当前编码帧中当前预测单元进行运动估计和运动补偿，获 得所述最优运动数据。 0043 本发明实施例的帧间图像预测编码方法，在HEVC(High Efficiency Video Coding，高

21、效率视频编解码)工作草案中有相应的对预测单元的语法修改(syntax modification)，具体修改如表1所示，表中标记出了修改行，修改部分将原有参考帧序号 的编码更改为基于预测残差的编码。 0044 表1预测单元语法修改 说 明 书CN 102843554 A 4/6页 7 0045 0046 本发明实施例中还提供了一种帧间图像预测解码方法，如下面的实施例所述。由 于帧间图像预测解码方法解决问题的原理与帧间图像预测编码方法相似，因此帧间图像预 测解码方法的实施可以参见帧间图像预测编码方法的实施，重复之处不再赘述。 0047 如图2所示，本发明实施例的帧间图像预测解码方法的处理流程可以包

22、括： 0048 步骤201、解码获得当前解码帧中当前预测单元的运动数据的残差信号和预测数 据的编号，所述运动数据包括运动矢量和参考帧序号； 0049 步骤202、根据所述预测数据的编号，获得所述预测数据； 0050 步骤203、根据所述预测数据和所述残差信号，获得所述运动数据。 0051 由图2所示流程可以得知，本发明实施例中，解码获得当前解码帧中当前预测单 元的运动数据的残差信号和预测数据的编号，所述运动数据包括运动矢量和参考帧序号； 根据所述预测数据的编号，获得所述预测数据；根据所述预测数据和所述残差信号，获得所 述运动数据；从而在帧间图像预测解码中引入了对参考帧序号基于预测残差的解码，提

23、高 了帧间图像预测解码效率。 0052 具体实施时，获得所述运动数据，可以包括：将所述预测数据和所述残差信号相 加，获得所述运动数据。 说 明 书CN 102843554 A 5/6页 8 0053 本发明实施例中还提供了一种视频编码器和视频解码器，如下面的实施例所述。 由于视频编码器和视频解码器解决问题的原理与帧间图像预测编码和解码方法相似，因此 视频编码器和视频解码器的实施可以参见帧间图像预测编码和解码方法的实施，重复之处 不再赘述。 0054 如图3所示，本发明实施例中的视频编码器可以包括： 0055 获得模块301，用于获得当前编码帧中当前预测单元的最优运动数据，所述最优运 动数据包括

24、最优运动矢量和最优参考帧序号； 0056 选择模块302，用于在所述最优运动数据的预测数据中选择最优预测数据； 0057 第一编码模块303，用于获得所述最优运动数据的残差信号，对所述残差信号进行 编码； 0058 第二编码模块304，用于对所述最优预测数据的编号进行编码。 0059 一个实施例中，选择模块302具体可以用于： 0060 对当前编码帧中当前预测单元的最优运动数据从相邻运动数据中进行预测，选择 所述相邻运动数据中代价最小的运动数据为所述最优预测数据。 0061 一个实施例中，选择模块302具体可以用于： 0062 计算所述最优运动数据与所述相邻运动数据对应项的绝对误差和； 006

25、3 选择最小绝对误差和对应的所述相邻运动数据中的运动数据为所述最优预测数 据。 0064 一个实施例中，选择模块302具体可以用于： 0065 计算所述最优运动数据与所述相邻运动数据对应项的均方误差和； 0066 选择最小均方误差和对应的所述相邻运动数据中的运动数据为所述最优预测数 据。 0067 一个实施例中，选择模块302具体可以用于： 0068 计算所述最优运动数据与所述相邻运动数据对应项的率失真代价，同时计算编码 预测序号的比特； 0069 选择最小率失真代价对应的所述相邻运动数据中的运动数据为所述最优预测数 据。 0070 如图4所示，一个实施例中，图3所示的视频编码器还可以包括：

26、0071 存储模块401，用于存储计算出的编码预测序号的比特； 0072 第二编码模块304具体可以用于：提取存储的编码预测序号的比特，以进行所述 最优预测数据编号的编码。 0073 一个实施例中，获得模块301具体可以用于： 0074 对当前编码帧中当前预测单元进行运动估计和运动补偿，获得所述最优运动数 据。 0075 如图5所示，本发明实施例中的视频解码器可以包括： 0076 解码模块501，用于解码获得当前解码帧中当前预测单元的运动数据的残差信号 和预测数据的编号，所述运动数据包括运动矢量和参考帧序号； 0077 预测数据获得模块502，用于根据所述预测数据的编号，获得所述预测数据； 0

27、078 运动数据获得模块503，用于根据所述预测数据和所述残差信号，获得所述运动数 说 明 书CN 102843554 A 6/6页 9 据。 0079 一个实施例中，运动数据获得模块503具体可以用于： 0080 将所述预测数据和所述残差信号相加，获得所述运动数据。 0081 综上所述，本发明实施例中，获得当前编码帧中当前预测单元的最优运动数据，所 述最优运动数据包括最优运动矢量和最优参考帧序号；在所述最优运动数据的预测数据中 选择最优预测数据；获得所述最优运动数据的残差信号，对所述残差信号进行编码；对所 述最优预测数据的编号进行编码；从而在帧间图像预测编码中引入了对参考帧序号基于预 测残差

28、的编码，提高了帧间图像预测编码效率。 0082 本发明实施例中，解码获得当前解码帧中当前预测单元的运动数据的残差信号和 预测数据的编号，所述运动数据包括运动矢量和参考帧序号；根据所述预测数据的编号，获 得所述预测数据；根据所述预测数据和所述残差信号，获得所述运动数据；从而在帧间图 像预测解码中引入了对参考帧序号基于预测残差的解码，提高了帧间图像预测解码效率。 0083 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序 产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的

29、计算机 可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产 品的形式。 0084 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一 流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算 机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理 器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生 用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能 的装置。

30、0085 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。 0086 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图 一个方框或多个方框中指定的功能的步骤。 0087 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保 护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本 发明的保护范围之内。 说 明 书CN 102843554 A 1/2页 10 图1 说 明 书 附 图CN 102843554 A 10 2/2页 11 图2 图3 图4 图5 说 明 书 附 图CN 102843554 A 11