编码装置和编码方法.pdf

摘要
申请专利号：	CN201180027153.X	申请日：	2011.06.02
公开号：	CN102934442A	公开日：	2013.02.13
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):H04N 7/32申请日:20110602\|\|\|公开
IPC分类号：	H04N7/32	主分类号：	H04N7/32
申请人：	索尼公司
发明人：	田中润一
地址：	日本东京都
优先权：	2010.06.09 JP 2010-131809
专利代理机构：	北京集佳知识产权代理有限公司 11227	代理人：	王萍;陈炜
PDF下载：	PDF下载

内容摘要

本发明涉及一种能够以宏块为单位减少开销的编码装置和编码方法。参考图像数目判定单元19基于编码数据的位率确定编码时使用的参考图像的场数目是1。如果参考图像的场数目被确定为1，则切片报头生成单元13从输入到图像分类缓冲器12的图片中选择一个图片作为参考图像。本发明适用于例如基于AVC标准执行视频编码的编码装置。

权利要求书

权利要求书一种编码装置，包括：参考图像数目判定部件，用于基于编码图像数据的位率确定编码时使用的参考图片的数目是1；以及参考图片确定部件，用于当所述参考图像数目判定部件确定所述参考图片的数目是1时，从图像数据中选择关于一个图像的数据作为参考图片。根据权利要求1所述的编码装置，其中如果所述位率高于或等于阈值，则所述参考图像数目判定部件确定所述参考图片的数目是1。根据权利要求1所述的编码装置，其中所述参考图像数目判定部件基于所述编码图像数据的位率和预定文件尺寸确定所述参考图片的数目是1。根据权利要求3所述的编码装置，其中如果在各时刻的所述编码图像数据的位率高于或等于阈值，则所述参考图像数目判定部件确定所述参考图片的数目是1，所述阈值基于与各时刻的所述预定文件尺寸对应的位率。根据权利要求3所述的编码装置，其中所述参考图像数目判定部件基于各时刻的所述编码图像数据的位率以及与各时刻的所述预定文件尺寸对应的位率，估计在各时刻表示所述编码图像数据的文件尺寸超过所述预定文件尺寸的数量的文件超出量，以及其中如果所述文件超出量大于或等于阈值，则所述参考图像数目判定部件确定所述参考图像数目是1。根据权利要求1所述的编码装置，其中所述参考图片确定部件基于指示待编码图片的运动的信息和模糊量中的至少之一来选择所述参考图片。根据权利要求6所述的编码装置，其中所述参考图片确定部件基于指示待编码图片的运动的信息和模糊量中的至少之一，来选择具有与待编码图片相同的场类型的图片和具有距待编码图片的短的时间距离的图片中的一个作为所述参考图片。根据权利要求7所述的编码装置，其中如果用作指示所述运动的信息的运动量、ME残差和MV长度中的每个大于或等于预定阈值，则所述参考图片确定部件选择具有距待编码图片的短的时间距离的图片作为所述参考图片。根据权利要求7所述的编码装置，其中如果用作指示所述运动的信息的运动量、ME残差和MV长度中的每个小于预定阈值，则所述参考图片确定部件选择具有与待编码图片相同的场类型的图片作为所述参考图片。根据权利要求7所述的编码装置，其中当用作指示所述运动的信息的运动量、ME残差和MV长度中的至少之一小于预定阈值时，并且如果所述模糊量大于或等于预定阈值，则所述参考图片确定部件选择具有距待编码图片的短的时间距离的图片作为所述参考图片。根据权利要求7所述的编码装置，其中当用作指示所述运动的信息的运动量、ME残差和MV长度中的至少之一小于预定阈值时，并且如果所述模糊量小于预定阈值，则所述参考图片确定部件选择具有与待编码图片相同的场类型的图片作为所述参考图片。一种用在编码装置中的编码方法，包括：基于编码图像数据的位率确定编码时使用的参考图片的数目是1的参考图像数目判定步骤；以及当在所述参考图像数目判定步骤中确定所述参考图片的数目是1时，从图像数据中选择关于一个图像的数据作为参考图片的参考图片确定步骤。

说明书

说明书编码装置和编码方法
技术领域
本发明涉及一种编码装置和编码方法，具体地，涉及一种能够以宏块为单位减少开销的编码装置和编码方法。
背景技术
在AVC（高级视频编码）标准中，采用了其中使用多个参考图像用于运动补偿的、被称为“多参考”的方案。通过使用多参考，可以以宏块为单位选择最优参考图像。结果，可以提高编码效率。
此外，执行AVC编码的装置的示例包括机顶盒和Blu‑ray（注册商标名称）记录器，它们将MPEG2（移动图片专家组阶段2）广播位流转换成具有低位率的AVC位流并且在记录介质中积累AVC位流。
为了使这些装置在维持高图像质量的同时以诸如2Mbps的低位率压缩HD（高清晰度）图像，需要多种创新。
因此，为了提高使用多参考的编码装置的编码效率，提出了其中动态切换参考图像的方案（参见例如专利文献1）。
引用文献列表
专利文献
专利文献1：日本未审专利申请公布第2010‑63092号
发明内容
技术问题
然而，通常，在现有的AVC隔行编码中，使用两个或更多个场中的图像作为参考图像对当前图片进行编码。因此，为了指定两个或更多个场中的参考图像，需要传送被称为RefIdx的语法。因此，开销增加。由于RefIdx是以宏块为单位传送的，因此RefIdx的传送给编码处理强加了沉重的负担，特别是在低位率的情况下。
因此，本发明提供了当执行AVC编码时以宏块为单位减少开销。对问题的解决方案
根据本发明的一个方面，一种编码装置包括：参考图像数目判定部件，用于基于编码图像数据的位率确定编码时使用的参考图片的数目是1；以及参考图片确定部件，用于当参考图像数目判定部件确定参考图片的数目是1时，从图像数据中选择关于一个图像的数据作为参考图片。
根据本发明的一个方面的编码方法对应于根据本发明的该方面的编码装置。
根据本发明的该方面，基于编码图像数据的位率确定编码时使用的参考图片的数目是1。如果确定参考图片的数目是1，则从图像数据中选择关于一个图片的图像数据作为参考图片。
本发明的有利效果
根据本发明的一个方面，可以以宏块为单位减少开销。
附图说明
图1是图示根据本发明的编码装置的配置示例的框图。
图2图示了用于确定参考图像的场数目的第一方法。
图3图示了用于确定参考图像的场数目的第二方法。
图4图示了缺省参考图像。
图5图示了缺省参考图像。
图6图示了缺省参考图像。
图7图示了缺省参考图像。
图8图示了确定参考图像是否将改变的示例。
图9图示了确定参考图像是否将改变的示例。
图10图示了确定参考图像是否将改变的示例。
图11图示了确定参考图像是否将改变的示例。
图12是图示参考图像改变指令处理的流程图。
图13是图示参考图像改变处理的流程图。
图14图示了在AVC标准中定义的宏块预测语法。
图15图示了根据一个实施例的计算机配置的示例。
具体实施方式
[实施例的编码装置的配置示例]
图1是图示根据本发明的编码装置的配置示例的框图。
编码装置10的A/D转换单元11将从外部输入的作为模拟信号的基于场的图像信号A/D转换成作为数字信号的数字图像数据。随后，A/D转换单元11将基于场的图像数据提供给图像分类缓冲器12。
图像分类缓冲器12临时存储从A/D转换单元11接收到的基于场的图像数据并且按照需要以图片的形式读取基于场的图像数据。通过该方式，图像分类缓冲器12根据从编码装置10输出的位流的GOP（图片组）结构按编码顺序对图片进行分类。
在从图像分类缓冲器12读取的图片中，将经历帧内编码的帧内图片被提供给切片报头生成单元13。
切片报头生成单元13生成将附接到从图像分类缓冲器12提供的帧内图片的切片报头。随后，切片报头生成单元13将切片报头附接到被提供给计算单元14的帧内图片。
计算单元14按照需要从切片报头生成单元13提供的帧内图片的像素值中减去从帧内预测单元25提供的预测图像的像素值。随后，计算单元14将得到的值提供给正交变换单元15。
正交变换单元15对帧内图片（通过从帧内图片的像素值减去预测图像的像素值而获得的结果值或者帧内图片的像素值）执行诸如离散余弦变换或Karhunen‑Loeve变换的正交变换。随后，正交变换单元15将所获得的变换系数提供给量化单元16。
量化单元16对从正交变换单元15接收到的变换系数进行量化。随后，量化单元16将所获得的量化值提供给无损编码单元17。
无损编码单元17使用可变长度编码或算术编码对从量化单元16提供的量化值进行无损编码。随后，无损编码单元17将所获得的编码数据提供给积累缓冲器18。
积累缓冲器18临时存储从无损编码单元17提供的编码数据并且以具有预定速率的位流的形式传送编码数据。
参考图像数目判定单元19（参考图像数目判定部件）监控积累缓冲器18中临时存储的编码数据的位率并且基于位率确定非帧内图片的参考图像的场数目。随后，参考图像数目判定单元19将所确定的参考图像的场数目提供给切片报头生成单元13。
如这里使用的，术语“参考图像的场数目”指的是特定时间方向上的参考图像的场数目。因此，例如，当B图片将被编码时并且如果参考图像的场数目是1，则两个图片，即待编码图片之前的图片和待编码图片之后的图片被限定为参考图像。
速率控制单元20监控积累缓冲器18中积累的编码数据量。速率控制单元20基于积累的编码数据量控制由量化单元16执行的操作，诸如量化单元16的量化步骤。
在量化单元16中获得的量化值除了被提供给无损编码单元17之外，还被提供给逆量化单元21。逆量化单元21将从量化单元16接收到的量化值逆量化成变换系数并且将变换系数提供给逆正交变换单元22。
逆正交变换单元22对从逆量化单元21提供的变换系数进行逆正交变换并且将得到的数据提供给计算单元23。
计算单元23按照需要使从帧内预测单元25提供的预测图像的像素值与从逆正交变换单元22提供的数据相加。通过该方式，获得了帧内图片的解码图像。计算单元23将解码图像提供给帧存储器24。
帧存储器24临时存储从计算单元23提供的解码图像。随后，帧存储器24按照需要将解码图像以用于生成预测图像的参考图像的形式提供给帧内预测单元25和运动预测/运动补偿单元26。
帧内预测单元25从位于帧内图片的、将被计算单元14处理的部分（块）的附近并且已被存储在帧存储器24中的像素生成预测图像。随后，帧内预测单元25将所生成的预测图像提供给计算单元14和计算单元23。
对于将经历帧内编码的图片，当以上述方式将预测图像从帧内预测单元25提供给计算单元14时，计算单元14从切片报头生成单元13提供的图片中减去从帧内预测单元25提供的预测图像。
此外，计算单元23使经历计算单元14中的减法的预测图像与从逆正交变换单元22提供的数据相加。
相反，将经历帧间编码的非帧内图片从图像分类缓冲器12提供给切片报头生成单元13。
通过使用从参考图像数目判定单元19提供的非帧内图片的类型和参考图像的场数目以及从参考图像控制单元27发送的指令，切片报头生成单元13（参考图片确定部件）从图像分类缓冲器12输入的图片中选择关于场数目的图片作为参考图像。切片报头生成单元13生成包括指示所选择的参考图像的信息（以下称为“参考图像信息”）的切片报头并且将所生成的切片报头附接到非帧内图片。随后，切片报头生成单元13将已被附接切片报头的非帧内图片提供给计算单元14和运动预测/运动补偿单元26。
运动预测/运动补偿单元26基于附接到从切片报头生成单元13提供的非帧内图片的切片报头中包括的参考图像信息，从帧存储器24读取作为参考图像的、将在非帧内图片的运动预测中参考的解码图像的图片。此外，运动预测/运动补偿单元26使用从帧存储器24接收到的参考图像，对从切片报头生成单元13接收到的非帧内图片执行ME（运动估计）。因此，运动预测/运动补偿单元26检测例如，运动向量、ME残差和MV（运动向量）长度。
随后，运动预测/运动补偿单元26根据运动向量对参考图像执行运动补偿并且生成非帧内图片的预测图像。随后，运动预测/运动补偿单元26将所生成的预测图像提供给计算单元14和计算单元23。
此外，运动预测/运动补偿单元26检测非帧内图片的模糊量。非帧内图片的整个屏幕的像素的方差（Variance）或者通过对非帧内图片应用Sobel滤波器或Canny滤波器而提取的边缘成分量被用作模糊量。运动预测/运动补偿单元26将非帧内图片的模糊量、MV长度和ME残差提供给参考图像控制单元27。
参考图像控制单元27使用下式（1）基于例如针对使用缺省参考图像编码的非帧内图片生成的码量和量化值来计算运动量。更具体地，例如，如果待编码的非帧内图片是P图片，则参考图像控制单元27使用下式（1）基于与P图片对应的I图片以及针对使用缺省参考图像编码的P图片生成的码量和量化值来计算运动量。注意，从无损编码单元17提供所生成的码量，并且从量化单元16提供量化值。
Motion Intensity=Complex_P/Complex_I
Complex_I=I_bit×I_qscale
Complex_P=P_bit×P_qscale …（1）
注意，在式（1）中，Motion Intensity（运动强度）表示运动量，并且I_bit和P_bit分别表示针对I图片和P图片生成的码量。此外，I_qscale和P_qscale分别表示I图片的量化值和P图片的量化值。
式（1）指出了，如果待编码的P图片的运动是大的，则Complex_p增加，并且因此，运动量“Motion Intensity”增加。相反，如果待编码的P图片的运动是零，则运动量“Motion Intensity”接近零。
参考图像控制单元27基于运动量以及从运动预测/运动补偿单元26提供的ME残差、MV长度和模糊量确定参考图像是否将改变。如果参考图像控制单元27确定参考图像将改变，则参考图像控制单元27指令切片报头生成单元13改变参考图像。
计算单元14从切片报头生成单元13提供的非帧内图片中减去从帧内预测单元25和运动预测/运动补偿单元26提供的预测图像。随后，对于帧内图片，计算单元14执行编码。
注意，将其中帧内预测单元25生成预测图像的帧内预测模式从帧内预测单元25提供给无损编码单元17，而将在运动预测/运动补偿单元26中获得的运动向量以及其中运动预测/运动补偿单元26执行运动补偿的运动补偿预测模式从运动预测/运动补偿单元26提供给无损编码单元17。
无损编码单元17对解码所需的信息进行无损编码，解码所需的信息诸如帧内预测模式、运动向量、运动补偿预测模式和图片的图片类型。随后，无损编码单元17将信息嵌入到编码数据的报头中。
[用于确定参考图像的场数目的方法的描述]
图2图示了用于确定在参考图像数目判定单元19中使用的参考图像的场数目的第一方法。注意，在图2中所示的曲线中，横坐标表示时间，并且纵坐标表示位率。
如图2所示，在第一确定方法中，使用与在外部指定的文件尺寸（下文中称为“指定文件尺寸”）对应的位率（在下文中，位率称为“目标位率”），参考图像数目判定单元19选择各时刻的最终实际编码数据的文件尺寸被估计为大于指定文件尺寸的位率的最小值作为该时刻的位率的阈值。
此后，参考图像数目判定单元19监视积累缓冲器18。如果各时刻的编码数据的位率高于或等于阈值，则参考图像数目判定单元19将参考图像的场数目设置为1。然而，如果各时刻的编码数据的位率低于阈值，则参考图像数目判定单元19维持作为缺省值的、参考图像的场数目。即，在图2所示的示例中，在各时刻的编码数据的位率高于或等于阈值的时期A中，参考图像的场数目被设置为1。相反，在除时期A之外的时期中，参考图像的场数目被设置为缺省值。
图3示出了用于在参考图像数目判定单元19中使用的、用于确定参考图像的场数目的第二方法。
注意，在图3所示的曲线中，横坐标表示时间，并且纵坐标表示文件超出量。如这里所使用的，术语“文件超出量”表示最终实际编码数据的文件尺寸超出指定文件尺寸的量。
如图3所示，在第二确定方法中，参考图像数目判定单元19基于各时刻的编码数据的位率和目标位率来估计该时刻的文件超出量。如果该时刻的文件超出量大于或等于阈值（Threshold），则参考图像数目判定单元19将参考图像的场数目设置为1。然而，如果该时刻的文件超出量小于阈值，则参考图像数目判定单元19维持作为缺省值的、参考图像的场数目。即，在图3所示的示例中，在各时刻的文件超出量大于或等于阈值的时期B中，参考图像的场数目被设置为1。相反，在除时期B之外的时期中，参考图像的场数目被设置为缺省值。
注意，文件超出量的阈值被设置为在最终实际编码数据的文件尺寸被估计为大于指定文件尺寸的所有时刻获得的文件超出量的值当中的、文件超出量的最小值。
根据上述第一和第二确定方法，如果最终实际编码数据的文件尺寸被估计为大于指定文件尺寸，则参考图像的场数目被设置为1。此时，如以下更详细地描述的，如果参考图像的场数目是1，则不需要发送称为“RefIdx”的语法。因此，以宏块为单位减少了开销。因此，根据上述第一和第二确定方法，如果最终实际编码数据的文件尺寸被估计为大于指定文件尺寸，则以宏块为单位减少了开销。结果，减少了最终的文件超出量。
[缺省参考图像的描述]
图4至7示出了缺省参考图像。
注意，在图4至7所示的示例中，位流的GOP结构由I、P、B、B、B、B、P和P图片以此顺序布置而构成。
如图4至7所示，待编码图片的缺省参考图像是类型与待编码图片的类型相同的场中的图片。
更具体地，例如，如图4所示，如果待编码图片是顶场中的P图片41，即从GOP的顶部起第七张图片，则缺省参考图像是顶场中的I图片42。
替选地，如果如图5所示，待编码图片是底场中的P图片51，即从GOP的顶部起第八张图片，则缺省参考图像是底场中的P图片43。
替选地，如果如图6所示，待编码图片是顶场中的B图片61，即从GOP的顶部起第三张图片，则缺省参考图像是底场中的B图片61之前的I图片42和B图片61之后的P图片41。
替选地，如果如图7所示，待编码图片是底场中的B图片，即从GOP的顶部起第四张图片，则缺省参考图像是底场中的B图片71之前的P图片43和B图片71之后的P图片51。
如上所述，待编码图片的缺省参考图像是类型与待编码图片的类型相同的场中的图片。然而，如图4至7所示，同一类型的场中的图片之间的时间距离不是总是短的。
例如，如图4所示，待编码的P图片41与作为P图片41的缺省参考图像的I图片42之间的时间距离长于P图片41与底场中的P图片43之间的时间距离。
另外，如图5所示，待编码的P图片51与作为P图片51的缺省参考图像的P图片43之间的时间距离长于P图片51与顶场中的P图片41之间的时间距离。
另外，如图6所示，待编码的B图片61与作为B图片61的缺省参考图像并且在B图片61之后的P图片41之间的时间距离短于B图片61与底场中的P图片51之间的时间距离。然而，B图片61与作为B图片61的缺省参考图像并且在B图片61之前的I图片42之间的时间距离长于B图片61与底场中的P图片43之间的时间距离。
另外，如图7所示，待编码的B图片71与作为B图片的缺省参考图像并且在B图片71之前的P图片43之间的时间距离短于B图片71与顶场中的I图片42之间的时间距离。然而，B图片71与作为B图片71的缺省参考图像并且在B图片71之后的P图片51之间的时间距离长于B图片71与顶场中的P图片41之间的时间距离。
因此，如果待编码图片的时间相关性优先于待编码图片的空间相关性，即，如果期望选择时间距离短于其它的图像作为编码中的参考图像，则编码设备10将待编码图片的参考图像改变为距待编码图片的距离较短的图像。
[关于参考图像改变的确定示例的描述]
图8至11示出了由参考图像控制单元27进行的关于是否要改变参考图像的确定的示例。
如图8所示，当例如待编码图片的运动量、ME残差和MV长度较大时并且如果模糊量较大，参考图像控制单元27确定待编码图片的时间相关性优先于空间相关性，并且因此要改变参考图像。因此，待编码图片的参考图像从场类型与待编码图片相同的缺省参考图像改变为距待编码图片的时间距离短的图片。
即，如果待编码图片的模糊量大，则由场类型差别引起的相位差不会产生问题。因此，大运动量、大ME残差和大MV长度对选择具有影响。因此，距待编码图片的时间距离短的图片被选择作为参考图像。
然而，如图9所示，当待编码图片的运动量、ME残差和MV长度较小时并且如果模糊量较小，参考图像控制单元27确定待编码图片的时间相关性不优先于空间相关性，并且因此不改变参考图像。因此，场类型与待编码图片相同的缺省参考图像被连续用作待编码图片的参考图像。
即，如果待编码图片的模糊量较小，则由场类型差别引起的相位差产生问题。因此，场类型与待编码图片相同的缺省参考图像被连续用作待编码图片的参考图像。
替选地，如图10所示，当待编码图片的运动量、ME残差和MV长度较小时并且如果模糊量较大，则参考图像控制单元27确定时间相关性不优先于空间相关性，并且因此不改变参考图像。因此，场类型与待编码图片相同的缺省参考图像被连续用作待编码图片的参考图像。
即，如果模糊量较大，则由场类型差别引起的相位差不会产生问题。因此，待编码图片的小运动量、小ME残差和小MV长度对选择具有影响。因此，场类型与待编码图片相同的缺省参考图像被连续用作待编码图片的参考图像。
然而，如图11所示，当待编码图片的运动量、ME残差和MV长度较大时并且如果模糊量较小，则参考图像控制单元27确定待编码图片的时间相关性优先于空间相关性，并且因此要改变参考图像。因此，待编码图片的参考图像从场类型与待编码图片相同的参考图像改变为距待编码图片的时间距离短的参考图像。
即，如果待编码图片的模糊量较小，则由场类型差别引起的相位差产生问题。然而，由于待编码图片的运动量、ME残差和MV长度较大，因此距待编码图片的时间距离短的图片被选择作为参考图像。
如上所述，参考图像控制单元27基于关于例如待编码图片的运动量、ME残差和MV长度以及模糊量的信息而选择最佳参考图像。因此，可以增加待编码图片与参考图像之间的相关性。结果，可以使得预测图像与待编码图片之间的残差较小并且因此可以减少码量。
[编码设备执行的处理的描述]
图12是示出图1所示的编码设备10的参考图像控制单元27执行的参考图像改变指示处理的流程图。例如，参考图像改变指示处理针对例如每个待编码的非帧内图片来执行。
在图12的步骤S11中，参考图像控制单元27基于待编码的非帧内图片的运动量来确定待编码的非帧内图片的运动是否较大。更具体地，如果待编码的非帧内图片的运动量大于或等于预定阈值，则参考图像控制单元27确定运动较大。然而，如果运动量小于预定阈值，则参考图像控制单元27确定运动较小。
如果在步骤S11中确定非帧内图片的运动较大，则处理进行到步骤S12。在步骤S12中，参考图像控制单元27基于从运动预测/运动补偿单元26提供的ME残差来确定待编码的非帧内图片的运动矢量在时间方向上是否具有相关性，即，运动预测是否是无效的。更具体地，如果ME残差大于或等于预定阈值，则参考图像控制单元27确定运动矢量在时间方向上不具有相关性。然而，如果ME残差小于预定阈值，则参考图像控制单元27确定运动矢量在时间方向上具有相关性。
如果在步骤S12中确定运动矢量在时间方向上不具有相关性，则参考图像控制单元27在步骤S13中基于从运动预测/运动补偿单元26提供的MV长度来确定待编码的非帧内图片的运动矢量是否较长。更具体地，如果MV长度大于或等于预定阈值，则参考图像控制单元27确定运动矢量较长。然而，如果MV长度小于预定阈值，则参考图像控制单元27确定运动矢量不长。
如果在步骤S13中确定运动矢量较长，则参考图像控制单元27在步骤S14中将内部ReferenceListFlag设置为“运动”。即，参考图像控制单元27指示切片报头生成单元13改变参考图像。此后，处理完成。
然而，如果在步骤S11中确定运动不大，如果在步骤S12中确定运动矢量在时间方向上不具有相关性，或者如果在步骤S13中确定运动矢量不长，则处理进行到步骤S15。
在步骤S15中，参考图像控制单元27基于运动量、ME残差和MV长度，确定待编码的非帧内图片的运动是否较小，运动矢量在时间方向上是否具有相关性以及运动矢量是否较短。
如果在步骤S15中确定待编码的非帧内图片的运动较小，运动矢量在时间方向上具有相关性，并且运动矢量较短，则处理进行到步骤S17。
然而，如果在步骤S15中确定待编码的非帧内图片的运动较大，运动矢量在时间方向上不具有相关性，或者运动矢量较长，则处理进行到步骤S16。
在步骤S16中，参考图像控制单元27基于从运动预测/运动补偿单元26提供的模糊量确定模糊是否较大。更具体地，如果模糊量大于或等于预定阈值，则参考图像控制单元27确定模糊较大。然而，如果模糊量小于预定阈值，则参考图像控制单元27确定模糊不大。
如果在步骤S16中确定模糊较大，则处理进行到步骤S14，在步骤S14中参考图像控制单元27将内部ReferenceListFlag设置为“运动”。此后，处理完成。
然而，如果在步骤S16中确定模糊不大，则处理进行到步骤S17。
在步骤S17中，参考图像控制单元27将内部ReferenceListFlag设置为“缺省”。即，参考图像控制单元27不指示切片报头生成单元13改变参考图像。此后，处理完成。
图13是示出图1所示的编码设备10执行的参考图像改变处理的流程图。例如，参考图像改变处理针对每个待编码的非帧内图片来执行。
在步骤S31中，参考图像数目判定单元19使用图2所示的第一确定方法或图3所示的第二确定方法来确定参考图像的场数目是否被设置为1。
如果在步骤S31中确定参考图像的场数目被设置为1，则切片报头生成单元13在步骤S32中确定参考图像控制单元27的ReferenceListFlag是否被设置为“运动”。
如果在步骤S32中确定ReferenceListFlag被设置为“运动”，则切片报头生成单元13在步骤S33中确定从图像分类缓冲器12提供的待编码图片是否是B图片。
如果在步骤S33中确定待编码图片是B图片，则切片报头生成单元13在步骤S34中确定待编码图片是否是顶场中的图片。
如果在步骤S34中确定待编码图片是顶场中的图片，则处理进行到步骤S35。在步骤S35中，切片报头生成单元13将切片报头的“num_ref_idx_l0_active_minus1”的值设置为0。“num_ref_idx_l0_active_minus1”的值表示通过从在待编码图片之前的参考图像的场数目减去1而获得的值。即，切片报头生成单元13将表示待编码图片之前的参考图像的场数目是1的信息写入到切片报头。
另外，切片报头生成单元13将切片报头的“num_ref_idx_l1_active_minus1”的值设置为0。“num_ref_idx_l1_active_minus1”的值表示通过从待编码图片之后的参考图像的场数目减去1而获得的值。即，切片报头生成单元13将表示待编码图片之后的参考图像的场数目是1的信息写入到切片报头。
此外，切片报头生成单元13将切片报头的“ref_pic_list_reordering_flag_l0”的值设置为1。“ref_pic_list_reordering_flag_l0”的值表示关于缺省参考图像是否用作待编码图片之前的参考图像的信息，并且值1表示没有使用参考图像。
此外，切片报头生成单元13将以用作切片报头中的关于待编码图片之前的参考图像的参考图像信息的“List0”的第0个索引“RefIdx0”指定的图片设置为如下图片：该图片在待编码图片之前并且具有比待编码图片之前的缺省参考图像的时间距离短的距待编码图片的时间距离。例如，如果待编码图片是图6所示的B图片61，则时间距离短于I图片42的时间距离的P图片43被设置作为以“List0”的第0个索引“RefIdx0”指定的图片。此后，处理完成。
然而，如果在步骤S34中确定待编码图片不是顶场中的图片，即，如果确定待编码图片是底场中的图片，则处理进行到步骤S36。
在步骤S36中，切片报头生成单元13将切片报头中的“num_ref_idx_l0_active_minus1”的值设置为0。另外，切片报头生成单元13将切片报头中的“num_ref_idx_11_active_minus1”的值设置为0。
此外，切片报头生成单元13将切片报头中的“ref_pic_list_reordering_flag_11”的值设置为1。“ref_pic_list_reordering_flag_11”表示缺省参考图像是否要用作待编码图片之后的参考图像，并且值1表示没有使用缺省参考图像。
此外，切片报头生成单元13将以用作切片报头中的关于待编码图片之后的参考图像的参考图像信息的“List1”的第0个索引“RefIdx0”指定的图片设置为如下图片：该图片在待编码图片之后并且具有比待编码图片之后的缺省参考图像的时间距离短的距待编码图片的时间距离。例如，如果待编码图片是图7所示的B图片71，则时间距离短于P图片51的时间距离的P图片41被设置作为以“List1”的第0个索引“RefIdx0”指定的图片。此后，处理完成。
然而，如果在步骤S33中确定待编码图片不是B图片，即，如果确定待编码图片是P图片，则处理进行到步骤S37。
在步骤S37中，切片报头生成单元13将切片报头中的“num_ref_idx_l0_active_minus1”的值设置为0。另外，切片报头生成单元13将以列表“List0”的第0个索引“RefIdx0”指定的图片设置为如下图片：该图片在待编码图片之前并且具有比缺省参考图像的时间距离短的距待编码图片的时间距离。
例如，如果待编码图片是图4所示的P图片41，则时间距离短于I图片42的时间距离的P图片43被设置在列表“List0”中的第0个索引“RefIdx0”处。替选地，如果待编码图片是图5所示的P图片51，则关于时间距离短于P图片43的时间距离的P图片41的信息被设置在列表“List0”中的第0个索引“RefIdx0”处。此后，处理完成。
然而，如果在步骤S32中确定ReferenceListFlag没有被设置为“运动”，即，如果确定ReferenceListFlag被设置为“缺省”，则处理进行到步骤S38。
在步骤S38中，切片报头生成单元13确定从图像分类缓冲器12提供的待编码图片是否是B图片。
如果在步骤S38中确定待编码图片是B图片，则切片报头生成单元13在步骤S39中将切片报头中的“num_ref_idx_l0_active_minus1”的值设置为0。另外，切片报头生成单元13将切片报头中的“num_ref_idx_l1_active_minus1”的值设置为0。此后，处理完成。
然而，如果在步骤S38中确定待编码图片不是B图片，即，如果确定待编码图片是P图片，则处理进行到步骤S40。
在步骤S40中，切片报头生成单元13将切片报头中的“num_ref_idx_l0_active_minus1”的值设置为0。此后，处理完成。
然而，如果在步骤S31中确定参考图像的场数目没有被设置为1，则处理完成。在这样的情况下，执行例如正常参考图像设置处理。
[本发明的优点的示例的描述]
图14示出了AVC中标准中定义的宏块预测语法。
如图14的宏块预测语法的段落19和20中所表示的，如果“num_ref_idx_l0_active_minus1”大于0，则读取列表“List0”的RefIdx。另外，如宏块预测语法的段落22和23中所表示的，如果“num_ref_idx_l1_active_minus1”大于0，则读取列表“List1”的RefIdx。
因此，如果“num_ref_idx_l0_active_minus1”是0并且“num_ref_idx_l1_active_minus1”是1，即，如果参考图像的场数目是1，则不读取“List0”的RefIdx和“List1”的RefIdx。因此，如果参考图像的场数目是1，则以宏块为单位减少了开销，并且因此可以提高编码效率。
注意，尽管参考基于待编码图片的运动量、ME残差和MV长度以及模糊量的全部而确定参考图像做出了以上描述，但是可基于待编码图片的运动量、ME残差、MV长度以及模糊量中的至少一个来确定参考图像。
另外，参考图像确定方法不限于上述方法。例如，作为参考图像确定方法，可使用如下方法：对作为参考图像的多个参考图像候选中的每个执行运动补偿，并且此后，可选择具有所得到的预测图像与待编码图片之间的差的最小绝对值的候选作为参考图像。本发明还可适用于使用除AVC方法之外的方法执行编码的编码设备。
[根据本发明的计算机的描述]
上述系列处理不仅可以由硬件而且可以由软件来执行。当上述系列处理由软件来执行时，软件的程序安装在例如通用计算机中。
因此，图15示出了其上安装有执行根据实施例的上述系列处理的程序的计算机的配置示例。
程序可以预先记录在用作并入计算机中的记录介质的存储单元208或ROM（只读存储器）202中。
替选地，程序可以存储（记录）在可移除介质211中。可移除介质211可以以所谓的封装软件的形式来提供。可移除介质211的示例包括软盘、CD‑ROM（光盘只读存储器）、MO（磁光）盘、DVD（数字通用盘）、磁盘以及半导体存储器。
注意，除了经由驱动器210从上述可移除介质211安装到计算机中之外，程序还可以从通信网络或广播网络下载到计算机中并且可以安装在并入计算机的存储单元208中。即，程序可以例如经由用于数字卫星广播的人造卫星从下载站点传输到计算机或者可以以有线方式经由网络（诸如LAN（局域网）或因特网）下载。
计算机包括CPU（中央处理单元）201。输入/输出接口205经由总线204连接到CPU 201。
当例如经由输入/输出接口205从操作输入单元206的用户接收到指令时，CPU 201执行存储在ROM 202中的程序。替选地，CPU 201将存储在存储单元208中的程序加载到RAM（随机存取存储器）203中并且执行该程序。
以此方式，CPU 201执行根据上述流程图的处理或者由上述框图中的部件执行的处理。此后，CPU 201经由输入/输出接口205从输出单元207输出处理的结果或者在必要时从通信单元209传送结果。另外，例如，CPU 201在必要时将结果记录到存储单元208中。
注意，输入单元206包括例如键盘、鼠标和麦克风。相反，输出单元207包括LCD（液晶显示器）和扬声器。
在本说明书中，计算机根据程序执行的处理不一定总是按照在流程图中描述的上述顺序执行。就是说，计算机根据程序执行的处理可以并行地或独立地执行（例如，并行处理或基于对象的处理）
此外，程序可以由单个计算机（处理器）执行或者可以由多个计算机分布式地执行。此外，程序可以被传输到远程计算机并且可以由远程计算机执行。
此外，应当注意，本发明的实施例不限于上述实施例。在本发明的范围内可以进行各种修改。
附图标记列表
10编码装置
13切片报头生成单元
19参考图像数目判定单元

资源描述

《编码装置和编码方法.pdf》由会员分享，可在线阅读，更多相关《编码装置和编码方法.pdf（29页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 102934442 A (43)申请公布日 2013.02.13 C N 1 0 2 9 3 4 4 4 2 A *CN102934442A* (21)申请号 201180027153.X (22)申请日 2011.06.02 2010-131809 2010.06.09 JP H04N 7/32(2006.01) (71)申请人索尼公司地址日本东京都 (72)发明人田中润一 (74)专利代理机构北京集佳知识产权代理有限公司 11227 代理人王萍陈炜 (54) 发明名称编码装置和编码方法 (57) 摘要本发明涉及一种能够以宏块为单位减少开销的编码装置和编。

2、码方法。参考图像数目判定单元 19基于编码数据的位率确定编码时使用的参考图像的场数目是1。如果参考图像的场数目被确定为1，则切片报头生成单元13从输入到图像分类缓冲器12的图片中选择一个图片作为参考图像。本发明适用于例如基于AVC标准执行视频编码的编码装置。 (30)优先权数据 (85)PCT申请进入国家阶段日 2012.11.30 (86)PCT申请的申请数据 PCT/JP2011/062647 2011.06.02 (87)PCT申请的公布数据 WO2011/155376 JA 2011.12.15 (51)Int.Cl. 权利要求书1页说明书11页附图15页按照条约第19。

3、条修改的权利要求书1页 (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书 1 页说明书 11 页附图 15 页按照条约第19条修改的权利要求书 1 页 1/1页 2 1.一种编码装置，包括：参考图像数目判定部件，用于基于编码图像数据的位率确定编码时使用的参考图片的数目是1；以及参考图片确定部件，用于当所述参考图像数目判定部件确定所述参考图片的数目是1 时，从图像数据中选择关于一个图像的数据作为参考图片。 2.根据权利要求1所述的编码装置，其中如果所述位率高于或等于阈值，则所述参考图像数目判定部件确定所述参考图片的数目是1。 3.根据权利要求1所述的编码装置，。

4、其中所述参考图像数目判定部件基于所述编码图像数据的位率和预定文件尺寸确定所述参考图片的数目是1。 4.根据权利要求3所述的编码装置，其中如果在各时刻的所述编码图像数据的位率高于或等于阈值，则所述参考图像数目判定部件确定所述参考图片的数目是1，所述阈值基于与各时刻的所述预定文件尺寸对应的位率。 5.根据权利要求3所述的编码装置，其中所述参考图像数目判定部件基于各时刻的所述编码图像数据的位率以及与各时刻的所述预定文件尺寸对应的位率，估计在各时刻表示所述编码图像数据的文件尺寸超过所述预定文件尺寸的数量的文件超出量，以及其中如果所述文件超出量大于或等于阈值，则所述参考图像数目判定部件确定所。

5、述参考图像数目是 1。 6.根据权利要求1所述的编码装置，其中所述参考图片确定部件基于指示待编码图片的运动的信息和模糊量中的至少之一来选择所述参考图片。 7.根据权利要求6所述的编码装置，其中所述参考图片确定部件基于指示待编码图片的运动的信息和模糊量中的至少之一，来选择具有与待编码图片相同的场类型的图片和具有距待编码图片的短的时间距离的图片中的一个作为所述参考图片。 8.根据权利要求7所述的编码装置，其中如果用作指示所述运动的信息的运动量、ME 残差和MV长度中的每个大于或等于预定阈值，则所述参考图片确定部件选择具有距待编码图片的短的时间距离的图片作为所述参考图片。 9.根据权利要求7。

6、所述的编码装置，其中如果用作指示所述运动的信息的运动量、ME 残差和MV长度中的每个小于预定阈值，则所述参考图片确定部件选择具有与待编码图片相同的场类型的图片作为所述参考图片。 10.根据权利要求7所述的编码装置，其中当用作指示所述运动的信息的运动量、ME残差和MV长度中的至少之一小于预定阈值时，并且如果所述模糊量大于或等于预定阈值，则所述参考图片确定部件选择具有距待编码图片的短的时间距离的图片作为所述参考图片。 11.根据权利要求7所述的编码装置，其中当用作指示所述运动的信息的运动量、ME残差和MV长度中的至少之一小于预定阈值时，并且如果所述模糊量小于预定阈值，则所述参考图片确定部。

7、件选择具有与待编码图片相同的场类型的图片作为所述参考图片。 12.一种用在编码装置中的编码方法，包括：基于编码图像数据的位率确定编码时使用的参考图片的数目是1的参考图像数目判定步骤；以及当在所述参考图像数目判定步骤中确定所述参考图片的数目是1时，从图像数据中选择关于一个图像的数据作为参考图片的参考图片确定步骤。权利要求书CN 102934442 A 1/11页 3 编码装置和编码方法技术领域 0001 本发明涉及一种编码装置和编码方法，具体地，涉及一种能够以宏块为单位减少开销的编码装置和编码方法。背景技术 0002 在AVC（高级视频编码）标准中，采用了其中使用多个参考。

8、图像用于运动补偿的、被称为“多参考”的方案。通过使用多参考，可以以宏块为单位选择最优参考图像。结果，可以提高编码效率。 0003 此外，执行AVC编码的装置的示例包括机顶盒和Blu-ray（注册商标名称）记录器，它们将MPEG2（移动图片专家组阶段2）广播位流转换成具有低位率的AVC位流并且在记录介质中积累AVC位流。 0004 为了使这些装置在维持高图像质量的同时以诸如2Mbps的低位率压缩HD（高清晰度）图像，需要多种创新。 0005 因此，为了提高使用多参考的编码装置的编码效率，提出了其中动态切换参考图像的方案（参见例如专利文献1）。 0006 引用文献列表 0007 专利文。

9、献 0008 专利文献1：日本未审专利申请公布第2010-63092号发明内容 0009 技术问题 0010 然而，通常，在现有的AVC隔行编码中，使用两个或更多个场中的图像作为参考图像对当前图片进行编码。因此，为了指定两个或更多个场中的参考图像，需要传送被称为 RefIdx的语法。因此，开销增加。由于RefIdx是以宏块为单位传送的，因此RefIdx的传送给编码处理强加了沉重的负担，特别是在低位率的情况下。 0011 因此，本发明提供了当执行AVC编码时以宏块为单位减少开销。对问题的解决方案 0012 根据本发明的一个方面，一种编码装置包括：参考图像数目判定部件，用于基于编码图像数。

10、据的位率确定编码时使用的参考图片的数目是1；以及参考图片确定部件，用于当参考图像数目判定部件确定参考图片的数目是1时，从图像数据中选择关于一个图像的数据作为参考图片。 0013 根据本发明的一个方面的编码方法对应于根据本发明的该方面的编码装置。 0014 根据本发明的该方面，基于编码图像数据的位率确定编码时使用的参考图片的数目是1。如果确定参考图片的数目是1，则从图像数据中选择关于一个图片的图像数据作为参考图片。 0015 本发明的有利效果说明书CN 102934442 A 2/11页 4 0016 根据本发明的一个方面，可以以宏块为单位减少开销。附图说明 0017 图1是图示。

11、根据本发明的编码装置的配置示例的框图。 0018 图2图示了用于确定参考图像的场数目的第一方法。 0019 图3图示了用于确定参考图像的场数目的第二方法。 0020 图4图示了缺省参考图像。 0021 图5图示了缺省参考图像。 0022 图6图示了缺省参考图像。 0023 图7图示了缺省参考图像。 0024 图8图示了确定参考图像是否将改变的示例。 0025 图9图示了确定参考图像是否将改变的示例。 0026 图10图示了确定参考图像是否将改变的示例。 0027 图11图示了确定参考图像是否将改变的示例。 0028 图12是图示参考图像改变指令处理的流程图。 0029 图13是图示参考图像改变。

12、处理的流程图。 0030 图14图示了在AVC标准中定义的宏块预测语法。 0031 图15图示了根据一个实施例的计算机配置的示例。具体实施方式 0032 实施例的编码装置的配置示例 0033 图1是图示根据本发明的编码装置的配置示例的框图。 0034 编码装置10的A/D转换单元11将从外部输入的作为模拟信号的基于场的图像信号A/D转换成作为数字信号的数字图像数据。随后，A/D转换单元11将基于场的图像数据提供给图像分类缓冲器12。 0035 图像分类缓冲器12临时存储从A/D转换单元11接收到的基于场的图像数据并且按照需要以图片的形式读取基于场的图像数据。通过该方式，图像分类缓冲器1。

13、2根据从编码装置10输出的位流的GOP（图片组）结构按编码顺序对图片进行分类。 0036 在从图像分类缓冲器12读取的图片中，将经历帧内编码的帧内图片被提供给切片报头生成单元13。 0037 切片报头生成单元13生成将附接到从图像分类缓冲器12提供的帧内图片的切片报头。随后，切片报头生成单元13将切片报头附接到被提供给计算单元14的帧内图片。 0038 计算单元14按照需要从切片报头生成单元13提供的帧内图片的像素值中减去从帧内预测单元25提供的预测图像的像素值。随后，计算单元14将得到的值提供给正交变换单元15。 0039 正交变换单元15对帧内图片（通过从帧内图片的像素值减去预测。

14、图像的像素值而获得的结果值或者帧内图片的像素值）执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换。随后，正交变换单元15将所获得的变换系数提供给量化单元16。 0040 量化单元16对从正交变换单元15接收到的变换系数进行量化。随后，量化单元说明书CN 102934442 A 3/11页 5 16将所获得的量化值提供给无损编码单元17。 0041 无损编码单元17使用可变长度编码或算术编码对从量化单元16提供的量化值进行无损编码。随后，无损编码单元17将所获得的编码数据提供给积累缓冲器18。 0042 积累缓冲器18临时存储从无损编码单元17提供的编码数据并且以具有。

15、预定速率的位流的形式传送编码数据。 0043 参考图像数目判定单元19（参考图像数目判定部件）监控积累缓冲器18中临时存储的编码数据的位率并且基于位率确定非帧内图片的参考图像的场数目。随后，参考图像数目判定单元19将所确定的参考图像的场数目提供给切片报头生成单元13。 0044 如这里使用的，术语“参考图像的场数目”指的是特定时间方向上的参考图像的场数目。因此，例如，当B图片将被编码时并且如果参考图像的场数目是1，则两个图片，即待编码图片之前的图片和待编码图片之后的图片被限定为参考图像。 0045 速率控制单元20监控积累缓冲器18中积累的编码数据量。速率控制单元20基于积累的编码。

16、数据量控制由量化单元16执行的操作，诸如量化单元16的量化步骤。 0046 在量化单元16中获得的量化值除了被提供给无损编码单元17之外，还被提供给逆量化单元21。逆量化单元21将从量化单元16接收到的量化值逆量化成变换系数并且将变换系数提供给逆正交变换单元22。 0047 逆正交变换单元22对从逆量化单元21提供的变换系数进行逆正交变换并且将得到的数据提供给计算单元23。 0048 计算单元23按照需要使从帧内预测单元25提供的预测图像的像素值与从逆正交变换单元22提供的数据相加。通过该方式，获得了帧内图片的解码图像。计算单元23将解码图像提供给帧存储器24。 0049 帧存储器2。

17、4临时存储从计算单元23提供的解码图像。随后，帧存储器24按照需要将解码图像以用于生成预测图像的参考图像的形式提供给帧内预测单元25和运动预测 /运动补偿单元26。 0050 帧内预测单元25从位于帧内图片的、将被计算单元14处理的部分（块）的附近并且已被存储在帧存储器24中的像素生成预测图像。随后，帧内预测单元25将所生成的预测图像提供给计算单元14和计算单元23。 0051 对于将经历帧内编码的图片，当以上述方式将预测图像从帧内预测单元25提供给计算单元14时，计算单元14从切片报头生成单元13提供的图片中减去从帧内预测单元 25提供的预测图像。 0052 此外，计算单元23使经历。

18、计算单元14中的减法的预测图像与从逆正交变换单元 22提供的数据相加。 0053 相反，将经历帧间编码的非帧内图片从图像分类缓冲器12提供给切片报头生成单元13。 0054 通过使用从参考图像数目判定单元19提供的非帧内图片的类型和参考图像的场数目以及从参考图像控制单元27发送的指令，切片报头生成单元13（参考图片确定部件）从图像分类缓冲器12输入的图片中选择关于场数目的图片作为参考图像。切片报头生成单元13生成包括指示所选择的参考图像的信息（以下称为“参考图像信息”）的切片报头并且将所生成的切片报头附接到非帧内图片。随后，切片报头生成单元13将已被附接切片报说明书CN 102。

19、934442 A 4/11页 6 头的非帧内图片提供给计算单元14和运动预测/运动补偿单元26。 0055 运动预测/运动补偿单元26基于附接到从切片报头生成单元13提供的非帧内图片的切片报头中包括的参考图像信息，从帧存储器24读取作为参考图像的、将在非帧内图片的运动预测中参考的解码图像的图片。此外，运动预测/运动补偿单元26使用从帧存储器24接收到的参考图像，对从切片报头生成单元13接收到的非帧内图片执行ME（运动估计）。因此，运动预测/运动补偿单元26检测例如，运动向量、ME残差和MV（运动向量）长度。 0056 随后，运动预测/运动补偿单元26根据运动向量对参考图像执行运动补偿。

20、并且生成非帧内图片的预测图像。随后，运动预测/运动补偿单元26将所生成的预测图像提供给计算单元14和计算单元23。 0057 此外，运动预测/运动补偿单元26检测非帧内图片的模糊量。非帧内图片的整个屏幕的像素的方差（Varia nce）或者通过对非帧内图片应用Sobel滤波器或Canny滤波器而提取的边缘成分量被用作模糊量。运动预测/运动补偿单元26将非帧内图片的模糊量、 MV长度和ME残差提供给参考图像控制单元27。 0058 参考图像控制单元27使用下式（1）基于例如针对使用缺省参考图像编码的非帧内图片生成的码量和量化值来计算运动量。更具体地，例如，如果待编码的非帧内图片是P 图。

21、片，则参考图像控制单元27使用下式（1）基于与P图片对应的I图片以及针对使用缺省参考图像编码的P图片生成的码量和量化值来计算运动量。注意，从无损编码单元17提供所生成的码量，并且从量化单元16提供量化值。 0059 Motion Intensity=Complex_P/Complex_I 0060 Complex_I=I_bitI_qscale 0061 Complex_P=P_bitP_qscale （1） 0062 注意，在式（1）中，Motion Intensity（运动强度）表示运动量，并且I_bit和P_ bit分别表示针对I图片和P图片生成的码量。此外，I_qscale和P_q。

22、scale分别表示I图片的量化值和P图片的量化值。 0063 式（1）指出了，如果待编码的P图片的运动是大的，则Complex_p增加，并且因此，运动量“Motion Intensity”增加。相反，如果待编码的P图片的运动是零，则运动量 “Motion Intensity”接近零。 0064 参考图像控制单元27基于运动量以及从运动预测/运动补偿单元26提供的ME 残差、MV长度和模糊量确定参考图像是否将改变。如果参考图像控制单元27确定参考图像将改变，则参考图像控制单元27指令切片报头生成单元13改变参考图像。 0065 计算单元14从切片报头生成单元13提供的非帧内图片中减去从帧内。

23、预测单元25 和运动预测/运动补偿单元26提供的预测图像。随后，对于帧内图片，计算单元14执行编码。 0066 注意，将其中帧内预测单元25生成预测图像的帧内预测模式从帧内预测单元25 提供给无损编码单元17，而将在运动预测/运动补偿单元26中获得的运动向量以及其中运动预测/运动补偿单元26执行运动补偿的运动补偿预测模式从运动预测/运动补偿单元 26提供给无损编码单元17。 0067 无损编码单元17对解码所需的信息进行无损编码，解码所需的信息诸如帧内预说明书CN 102934442 A 5/11页 7 测模式、运动向量、运动补偿预测模式和图片的图片类型。随后，无损编码单元17将信息。

24、嵌入到编码数据的报头中。 0068 用于确定参考图像的场数目的方法的描述 0069 图2图示了用于确定在参考图像数目判定单元19中使用的参考图像的场数目的第一方法。注意，在图2中所示的曲线中，横坐标表示时间，并且纵坐标表示位率。 0070 如图2所示，在第一确定方法中，使用与在外部指定的文件尺寸（下文中称为“指定文件尺寸”）对应的位率（在下文中，位率称为“目标位率”），参考图像数目判定单元19选择各时刻的最终实际编码数据的文件尺寸被估计为大于指定文件尺寸的位率的最小值作为该时刻的位率的阈值。 0071 此后，参考图像数目判定单元19监视积累缓冲器18。如果各时刻的编码数据的位率高于。

25、或等于阈值，则参考图像数目判定单元19将参考图像的场数目设置为1。然而，如果各时刻的编码数据的位率低于阈值，则参考图像数目判定单元19维持作为缺省值的、参考图像的场数目。即，在图2所示的示例中，在各时刻的编码数据的位率高于或等于阈值的时期A中，参考图像的场数目被设置为1。相反，在除时期A之外的时期中，参考图像的场数目被设置为缺省值。 0072 图3示出了用于在参考图像数目判定单元19中使用的、用于确定参考图像的场数目的第二方法。 0073 注意，在图3所示的曲线中，横坐标表示时间，并且纵坐标表示文件超出量。如这里所使用的，术语“文件超出量”表示最终实际编码数据的文件尺寸超出指定文件。

26、尺寸的量。 0074 如图3所示，在第二确定方法中，参考图像数目判定单元19基于各时刻的编码数据的位率和目标位率来估计该时刻的文件超出量。如果该时刻的文件超出量大于或等于阈值（Threshold），则参考图像数目判定单元19将参考图像的场数目设置为1。然而，如果该时刻的文件超出量小于阈值，则参考图像数目判定单元19维持作为缺省值的、参考图像的场数目。即，在图3所示的示例中，在各时刻的文件超出量大于或等于阈值的时期B中，参考图像的场数目被设置为1。相反，在除时期B之外的时期中，参考图像的场数目被设置为缺省值。 0075 注意，文件超出量的阈值被设置为在最终实际编码数据的文件尺寸被估。

27、计为大于指定文件尺寸的所有时刻获得的文件超出量的值当中的、文件超出量的最小值。 0076 根据上述第一和第二确定方法，如果最终实际编码数据的文件尺寸被估计为大于指定文件尺寸，则参考图像的场数目被设置为1。此时，如以下更详细地描述的，如果参考图像的场数目是1，则不需要发送称为“RefIdx”的语法。因此，以宏块为单位减少了开销。因此，根据上述第一和第二确定方法，如果最终实际编码数据的文件尺寸被估计为大于指定文件尺寸，则以宏块为单位减少了开销。结果，减少了最终的文件超出量。 0077 缺省参考图像的描述 0078 图4至7示出了缺省参考图像。 0079 注意，在图4至7所示的示例中，位流。

28、的GOP结构由I、P、B、B、B、B、P和P图片以此顺序布置而构成。 0080 如图4至7所示，待编码图片的缺省参考图像是类型与待编码图片的类型相同的说明书CN 102934442 A 6/11页 8 场中的图片。 0081 更具体地，例如，如图4所示，如果待编码图片是顶场中的P图片41，即从GOP的顶部起第七张图片，则缺省参考图像是顶场中的I图片42。 0082 替选地，如果如图5所示，待编码图片是底场中的P图片51，即从GOP的顶部起第八张图片，则缺省参考图像是底场中的P图片43。 0083 替选地，如果如图6所示，待编码图片是顶场中的B图片61，即从GOP的顶部起第三张图片。

29、，则缺省参考图像是底场中的B图片61之前的I图片42和B图片61之后的P图片41。 0084 替选地，如果如图7所示，待编码图片是底场中的B图片，即从GOP的顶部起第四张图片，则缺省参考图像是底场中的B图片71之前的P图片43和B图片71之后的P图片 51。 0085 如上所述，待编码图片的缺省参考图像是类型与待编码图片的类型相同的场中的图片。然而，如图4至7所示，同一类型的场中的图片之间的时间距离不是总是短的。 0086 例如，如图4所示，待编码的P图片41与作为P图片41的缺省参考图像的I图片 42之间的时间距离长于P图片41与底场中的P图片43之间的时间距离。 0087 另外，如图。

30、5所示，待编码的P图片51与作为P图片51的缺省参考图像的P图片 43之间的时间距离长于P图片51与顶场中的P图片41之间的时间距离。 0088 另外，如图6所示，待编码的B图片61与作为B图片61的缺省参考图像并且在B 图片61之后的P图片41之间的时间距离短于B图片61与底场中的P图片51之间的时间距离。然而，B图片61与作为B图片61的缺省参考图像并且在B图片61之前的I图片42 之间的时间距离长于B图片61与底场中的P图片43之间的时间距离。 0089 另外，如图7所示，待编码的B图片71与作为B图片的缺省参考图像并且在B图片71之前的P图片43之间的时间距离短于B图片71与顶场中。

31、的I图片42之间的时间距离。然而，B图片71与作为B图片71的缺省参考图像并且在B图片71之后的P图片51之间的时间距离长于B图片71与顶场中的P图片41之间的时间距离。 0090 因此，如果待编码图片的时间相关性优先于待编码图片的空间相关性，即，如果期望选择时间距离短于其它的图像作为编码中的参考图像，则编码设备10将待编码图片的参考图像改变为距待编码图片的距离较短的图像。 0091 关于参考图像改变的确定示例的描述 0092 图8至11示出了由参考图像控制单元27进行的关于是否要改变参考图像的确定的示例。 0093 如图8所示，当例如待编码图片的运动量、ME残差和MV长度较大时并且。

32、如果模糊量较大，参考图像控制单元27确定待编码图片的时间相关性优先于空间相关性，并且因此要改变参考图像。因此，待编码图片的参考图像从场类型与待编码图片相同的缺省参考图像改变为距待编码图片的时间距离短的图片。 0094 即，如果待编码图片的模糊量大，则由场类型差别引起的相位差不会产生问题。因此，大运动量、大ME残差和大MV长度对选择具有影响。因此，距待编码图片的时间距离短的图片被选择作为参考图像。 0095 然而，如图9所示，当待编码图片的运动量、ME残差和MV长度较小时并且如果模说明书CN 102934442 A 7/11页 9 糊量较小，参考图像控制单元27确定待编码图片的时。

33、间相关性不优先于空间相关性，并且因此不改变参考图像。因此，场类型与待编码图片相同的缺省参考图像被连续用作待编码图片的参考图像。 0096 即，如果待编码图片的模糊量较小，则由场类型差别引起的相位差产生问题。因此，场类型与待编码图片相同的缺省参考图像被连续用作待编码图片的参考图像。 0097 替选地，如图10所示，当待编码图片的运动量、ME残差和MV长度较小时并且如果模糊量较大，则参考图像控制单元27确定时间相关性不优先于空间相关性，并且因此不改变参考图像。因此，场类型与待编码图片相同的缺省参考图像被连续用作待编码图片的参考图像。 0098 即，如果模糊量较大，则由场类型差别引起的相。

34、位差不会产生问题。因此，待编码图片的小运动量、小ME残差和小MV长度对选择具有影响。因此，场类型与待编码图片相同的缺省参考图像被连续用作待编码图片的参考图像。 0099 然而，如图11所示，当待编码图片的运动量、ME残差和MV长度较大时并且如果模糊量较小，则参考图像控制单元27确定待编码图片的时间相关性优先于空间相关性，并且因此要改变参考图像。因此，待编码图片的参考图像从场类型与待编码图片相同的参考图像改变为距待编码图片的时间距离短的参考图像。 0100 即，如果待编码图片的模糊量较小，则由场类型差别引起的相位差产生问题。然而，由于待编码图片的运动量、ME残差和MV长度较大，因此距。

35、待编码图片的时间距离短的图片被选择作为参考图像。 0101 如上所述，参考图像控制单元27基于关于例如待编码图片的运动量、ME残差和MV 长度以及模糊量的信息而选择最佳参考图像。因此，可以增加待编码图片与参考图像之间的相关性。结果，可以使得预测图像与待编码图片之间的残差较小并且因此可以减少码量。 0102 编码设备执行的处理的描述 0103 图12是示出图1所示的编码设备10的参考图像控制单元27执行的参考图像改变指示处理的流程图。例如，参考图像改变指示处理针对例如每个待编码的非帧内图片来执行。 0104 在图12的步骤S11中，参考图像控制单元27基于待编码的非帧内图片的运动量来确。

36、定待编码的非帧内图片的运动是否较大。更具体地，如果待编码的非帧内图片的运动量大于或等于预定阈值，则参考图像控制单元27确定运动较大。然而，如果运动量小于预定阈值，则参考图像控制单元27确定运动较小。 0105 如果在步骤S11中确定非帧内图片的运动较大，则处理进行到步骤S12。在步骤 S12中，参考图像控制单元27基于从运动预测/运动补偿单元26提供的ME残差来确定待编码的非帧内图片的运动矢量在时间方向上是否具有相关性，即，运动预测是否是无效的。更具体地，如果ME残差大于或等于预定阈值，则参考图像控制单元27确定运动矢量在时间方向上不具有相关性。然而，如果ME残差小于预定阈值，则参考。

37、图像控制单元27确定运动矢量在时间方向上具有相关性。 0106 如果在步骤S12中确定运动矢量在时间方向上不具有相关性，则参考图像控制单元27在步骤S13中基于从运动预测/运动补偿单元26提供的MV长度来确定待编码的非帧内图片的运动矢量是否较长。更具体地，如果MV长度大于或等于预定阈值，则参考图像说明书CN 102934442 A 8/11页 10 控制单元27确定运动矢量较长。然而，如果MV长度小于预定阈值，则参考图像控制单元27 确定运动矢量不长。 0107 如果在步骤S13中确定运动矢量较长，则参考图像控制单元27在步骤S14中将内部ReferenceListFlag设置为。

38、“运动”。即，参考图像控制单元27指示切片报头生成单元13 改变参考图像。此后，处理完成。 0108 然而，如果在步骤S11中确定运动不大，如果在步骤S12中确定运动矢量在时间方向上不具有相关性，或者如果在步骤S13中确定运动矢量不长，则处理进行到步骤S15。 0109 在步骤S15中，参考图像控制单元27基于运动量、ME残差和MV长度，确定待编码的非帧内图片的运动是否较小，运动矢量在时间方向上是否具有相关性以及运动矢量是否较短。 0110 如果在步骤S15中确定待编码的非帧内图片的运动较小，运动矢量在时间方向上具有相关性，并且运动矢量较短，则处理进行到步骤S17。 0111 然而，如。

39、果在步骤S15中确定待编码的非帧内图片的运动较大，运动矢量在时间方向上不具有相关性，或者运动矢量较长，则处理进行到步骤S16。 0112 在步骤S16中，参考图像控制单元27基于从运动预测/运动补偿单元26提供的模糊量确定模糊是否较大。更具体地，如果模糊量大于或等于预定阈值，则参考图像控制单元27确定模糊较大。然而，如果模糊量小于预定阈值，则参考图像控制单元27确定模糊不大。 0113 如果在步骤S16中确定模糊较大，则处理进行到步骤S14，在步骤S14中参考图像控制单元27将内部ReferenceListFlag设置为“运动”。此后，处理完成。 0114 然而，如果在步骤S16中确。

40、定模糊不大，则处理进行到步骤S17。 0115 在步骤S17中，参考图像控制单元27将内部ReferenceListFlag设置为“缺省”。即，参考图像控制单元27不指示切片报头生成单元13改变参考图像。此后，处理完成。 0116 图13是示出图1所示的编码设备10执行的参考图像改变处理的流程图。例如，参考图像改变处理针对每个待编码的非帧内图片来执行。 0117 在步骤S31中，参考图像数目判定单元19使用图2所示的第一确定方法或图3所示的第二确定方法来确定参考图像的场数目是否被设置为1。 0118 如果在步骤S31中确定参考图像的场数目被设置为1，则切片报头生成单元13在步骤S32中。

41、确定参考图像控制单元27的ReferenceListFlag是否被设置为“运动”。 0119 如果在步骤S32中确定ReferenceListFlag被设置为“运动”，则切片报头生成单元13在步骤S33中确定从图像分类缓冲器12提供的待编码图片是否是B图片。 0120 如果在步骤S33中确定待编码图片是B图片，则切片报头生成单元13在步骤S34 中确定待编码图片是否是顶场中的图片。 0121 如果在步骤S34中确定待编码图片是顶场中的图片，则处理进行到步骤S35。在步骤S35中，切片报头生成单元13将切片报头的“num_ref_idx_l0_active_minus1”的值设置为0。“n。

42、um_ref_idx_l0_active_minus1”的值表示通过从在待编码图片之前的参考图像的场数目减去1而获得的值。即，切片报头生成单元13将表示待编码图片之前的参考图像的场数目是1的信息写入到切片报头。 0122 另外，切片报头生成单元13将切片报头的“num_ref_idx_l1_active_minus1”的说明书CN 102934442 A 10 9/11页 11 值设置为0。“num_ref_idx_l1_active_minus1”的值表示通过从待编码图片之后的参考图像的场数目减去1而获得的值。即，切片报头生成单元13将表示待编码图片之后的参考图像的场数目是1的。

43、信息写入到切片报头。 0123 此外，切片报头生成单元13将切片报头的“ref_pic_list_reordering_flag_l0” 的值设置为1。“ref_pic_list_reordering_flag_l0”的值表示关于缺省参考图像是否用作待编码图片之前的参考图像的信息，并且值1表示没有使用参考图像。 0124 此外，切片报头生成单元13将以用作切片报头中的关于待编码图片之前的参考图像的参考图像信息的“List0”的第0个索引“RefIdx0”指定的图片设置为如下图片：该图片在待编码图片之前并且具有比待编码图片之前的缺省参考图像的时间距离短的距待编码图片的时间距离。例如，如果。

44、待编码图片是图6所示的B图片61，则时间距离短于I图片42的时间距离的P图片43被设置作为以“List0”的第0个索引“RefIdx0”指定的图片。此后，处理完成。 0125 然而，如果在步骤S34中确定待编码图片不是顶场中的图片，即，如果确定待编码图片是底场中的图片，则处理进行到步骤S36。 0126 在步骤S36中，切片报头生成单元13将切片报头中的“num_ref_idx_l0_active_ minus1”的值设置为0。另外，切片报头生成单元13将切片报头中的“num_ref_idx_11_ active_minus1”的值设置为0。 0127 此外，切片报头生成单元13将切片报。

45、头中的“ref_pic_list_reordering_ flag_11”的值设置为1。“ref_pic_list_reordering_flag_11”表示缺省参考图像是否要用作待编码图片之后的参考图像，并且值1表示没有使用缺省参考图像。 0128 此外，切片报头生成单元13将以用作切片报头中的关于待编码图片之后的参考图像的参考图像信息的“List1”的第0个索引“RefIdx0”指定的图片设置为如下图片：该图片在待编码图片之后并且具有比待编码图片之后的缺省参考图像的时间距离短的距待编码图片的时间距离。例如，如果待编码图片是图7所示的B图片71，则时间距离短于P图片51的时间距离的。

46、P图片41被设置作为以“List1”的第0个索引“RefIdx0”指定的图片。此后，处理完成。 0129 然而，如果在步骤S33中确定待编码图片不是B图片，即，如果确定待编码图片是 P图片，则处理进行到步骤S37。 0130 在步骤S37中，切片报头生成单元13将切片报头中的“num_ref_idx_l0_active_ minus1”的值设置为0。另外，切片报头生成单元13将以列表“List0”的第0个索引 “RefIdx0”指定的图片设置为如下图片：该图片在待编码图片之前并且具有比缺省参考图像的时间距离短的距待编码图片的时间距离。 0131 例如，如果待编码图片是图4所示的P图片41，。

47、则时间距离短于I图片42的时间距离的P图片43被设置在列表“List0”中的第0个索引“RefIdx0”处。替选地，如果待编码图片是图5所示的P图片51，则关于时间距离短于P图片43的时间距离的P图片41的信息被设置在列表“List0”中的第0个索引“RefIdx0”处。此后，处理完成。 0132 然而，如果在步骤S32中确定ReferenceListFlag没有被设置为“运动”，即，如果确定ReferenceListFlag被设置为“缺省”，则处理进行到步骤S38。 0133 在步骤S38中，切片报头生成单元13确定从图像分类缓冲器12提供的待编码图说明书CN 10293444。

48、2 A 11 10/11页 12 片是否是B图片。 0134 如果在步骤S38中确定待编码图片是B图片，则切片报头生成单元13在步骤S39 中将切片报头中的“num_ref_idx_l0_active_minus1”的值设置为0。另外，切片报头生成单元13将切片报头中的“num_ref_idx_l1_active_minus1”的值设置为0。此后，处理完成。 0135 然而，如果在步骤S38中确定待编码图片不是B图片，即，如果确定待编码图片是 P图片，则处理进行到步骤S40。 0136 在步骤S40中，切片报头生成单元13将切片报头中的“num_ref_idx_l0_active_ min。

49、us1”的值设置为0。此后，处理完成。 0137 然而，如果在步骤S31中确定参考图像的场数目没有被设置为1，则处理完成。在这样的情况下，执行例如正常参考图像设置处理。 0138 本发明的优点的示例的描述 0139 图14示出了AVC中标准中定义的宏块预测语法。 0140 如图14的宏块预测语法的段落19和20中所表示的，如果“num_ref_idx_l0_ active_minus1”大于0，则读取列表“List0”的RefIdx。另外，如宏块预测语法的段落22 和23中所表示的，如果“num_ref_idx_l1_active_minus1”大于0，则读取列表“List1”的 RefIdx。。

展开阅读全文