针对编码标准可扩展性的层间参考图片处理.pdf

视频数据被编码为编码标准分层比特流。给定基本层(BL)以及一个或更多个增强层(EL)信号，使用符合第一编码标准的BL编码器把BL信号编码为经编码的BL流。响应于BL信号和EL信号，参考处理单元(RPU)确定RPU处理参数。响应于RPU处理参数和BL信号，RPU产生层间参考信号。使用符合第二编码标准的EL编码器，EL信号被编码为经编码的EL流，其中EL信号的编码至少部分地基于层间参考信号。具有RPU以及对于第一和第二编码标准都符合的视频解码器的接收器对经编码的BL和EL流都可以进行解码。

权利要求书1.  一种用于把输入数据编码为编码标准分层流的方法，包括： 使用基本层(BL)编码器把BL信号编码为经编码的BL流，所 述BL编码器符合第一编码标准； 响应于BL信号和增强层(EL)信号，使用参考处理单元(RPU) 确定RPU处理参数； 响应于RPU处理参数和BL信号，使用RPU产生层间参考信号； 使用EL编码器把EL信号编码为经编码的EL流，所述EL编 码器符合第二编码标准，对EL信号进行的编码至少部分地基于所述 层间参考信号。 2.  根据权利要求1所述的方法，其中，第一编码标准包括根据 H.264标准的编码，并且第二编码标准包括根据HEVC标准的编码。 3.  根据权利要求1所述的方法，其中，确定RPU处理参数还包 括用RPU解析第一编码标准与第二编码标准之间的一个或更多个差 异，其中所述差异与高级别语法或编码工具有关。 4.  根据权利要求3所述的方法，其中，RPU处理参数包括与图 片序列号(POC)、修剪窗口、环内解块滤波器、采样自适应偏移(SAO)、 自适应环路滤波器(ALF)、隔行和逐行扫描、或者信号编码模型相 关的一个或更多个参数。 5.  根据权利要求4所述的方法，其中，与修剪窗口相关的RPU 处理参数包括表明接下来有一个或更多个图片修剪偏移参数的变量， 随后便是所述一个或更多个图片修剪偏移参数。 6.  根据权利要求4所述的方法，其中，与环内解块滤波器相关 的RPU处理参数包括表明是进行不滤波、弱滤波还是强滤波的变量。 7.  根据权利要求3所述的方法，其中，RPU解析图片序列号 (POC)变量的语法中的差异，并且把POC变量的语法从在所述经 编码的BL流中定义的第一值转译为符合第二编码标准的第二值。 8.  根据权利要求3所述的方法，其中，RPU解析与对隔行和逐 行扫描图片进行编码相关的编码工具中的差异。 9.  根据权利要求8所述的方法，其中，与对隔行和逐行图片进 行编码相关的RPU处理参数包括表明基本层信号是隔行信号还是逐 行信号的第一变量、以及表明EL信号是隔行信号还是逐行信号的第 二变量。 10.  根据权利要求3所述的方法，其中，RPU解析与环内解块滤 波相关的编码工具的差异。 11.  一种用于对编码标准分层数据流进行解码的方法，所述方法 包括： 接收经编码的BL流、经编码的EL流和RPU数据流； 使用BL解码器对经编码的BL流进行解码以产生经解码的BL 信号，所述BL解码器符合第一编码标准； 用RPU对RPU数据流进行解码以确定RPU处理参数； 响应于RPU处理参数和BL信号，使用RPU产生层间参考信号； 使用EL解码器对经编码的EL流进行解码以产生经解码的EL 信号，所述EL解码器符合第二编码标准，对EL信号进行的解码至 少部分地基于所述层间参考信号。 12.  根据权利要求11所述的方法，其中，第一编码标准包括根 据H.264标准的解码，而第二编码标准包括根据HEVC标准的解码。 13.  根据权利要求11所述的方法，其中，RPU处理参数包括与 图片序列号(POC)、修剪窗口、环内解块滤波器、采样自适应偏移 (SAO)、自适应环路滤波器(ALF)、隔行和逐行扫描、或者信号 编码模型相关的一个或更多个参数。 14.  根据权利要求11所述的方法，其中，与修剪窗口相关的RPU 处理参数包括表明接下来有图片修剪偏移参数的变量，随后是确定矩 形区域的一个或更多个变量。 15.  根据权利要求11所述的方法，其中，与环内解块滤波器相 关的RPU处理参数包括表明是进行不滤波、弱滤波还是强滤波的变量。 16.  根据权利要求11所述的方法，其中，与隔行和逐行扫描相 关的RPU处理参数包括表明基本层信号是隔行信号还是逐行信号的 第一变量、以及表明EL信号是隔行信号还是逐行信号的第二变量。 17.  一种装置，包括处理器并被配置为执行权利要求1或11中 所述的方法中的任何一个。 18.  一种非暂时性计算机可读存储介质，其上已经存储有用于执 行根据权利要求1或11中的任何一个的方法的计算机可读指令。

说明书针对编码标准可扩展性的层间参考图片处理
相关申请的交叉引用
本申请要求2012年9月27日提交的美国临时专利申请 No.61/706,480的优先权，其全文内容通过引用并入于此。
技术领域
本发明总体上涉及图像。更特别地，本发明实施例涉及针对编码 标准可扩展性(coding-standard scalability)的层间参考图片处理。
背景技术
在多媒体内容的开发、存储、分发和消费中，音频和视频压缩是 关键要素。压缩方法的选择涉及编码效率、编码复杂度和延时当中的 权衡。随着处理能力对计算成本的比率增大，允许开发考虑到了更高 效的压缩的更复杂的压缩技术。例如，在视频压缩中，国际标准化组 织(ISO)的运动图像专家组(MPEG)通过发布MPEG-2、MPEG-4 (第2部分)以及H.264/AVC(或MPEG-4，第10部分)编码标准 来持续改进原始的MPEG-1视频标准。
尽管H.264的压缩效率和成功，现在仍在开发被称为高效率视频 编码(HEVC)的新一代的视频压缩技术。期望HEVC提供比现有的 H.264(也称为AVC)标准有所提高的压缩能力，HEVC的草案可见 于“High efficiency video coding(HEVC)text specification draft 8”, ITU-T/ISO/IEC视频编码联合组(JCT-VC)文件JCTVC-J1003， 2012年7月，B.Bross、W.-J.Han、G.J.Sullivan、J.-R.Ohm和 T.Wiegand，其全文内容通过引用并入于此，H.264公布为“Advanced  Video Coding for neneric audio-visual services”,ITU T Rec.H.264 and  ISO/IEC 14496-10，其全文内容通过引用并入于此。在此如本发明人 所认识到的，预计在今后几年H.264将仍然是全世界用于分发数字视 频的主流视频编码标准。还认识到，较新的标准比如HEVC应当允许 后向兼容现有的标准。
如在此所使用的，术语“编码标准”表示可都为基于标准的、开 源的或专有的压缩(编码)和解压(解码)算法，诸如MPEG标准、 windows媒体视频(WMV)、flash视频、VP8等。
在这部分中描述的方法是可以实行的方法，但是不一定是先前已 经构思或实行的方法。所以，除非另有表明，否则不应当认为在这部 分中描述的任何方法仅仅由于包括在这个部分中就被当作现有技术。 类似地，关于一种或多种方法而发现的问题也不应当认为根据该部分 而已在任何现有技术认识到，除非另有表明。
附图说明
在附图中，以示例的方式而非限制的方式来例示本发明的实施例， 并且其中相同的附图标记指代相同的要素，其中：
图1描绘了根据本发明实施例的支持编码标准可扩展性的编码系 统的示例性实现；
图2A和图2B描绘了根据本发明实施例的支持AVC/H.264和 HEVC编解码器可扩展性的编码系统的示例性实现；
图3描绘了根据本发明实施例的带有裁切窗口的分层编码的示例；
图4描绘了根据本发明实施例的针对隔行图片的层间处理的示例；
图5A和图5B描绘了根据本发明实施例的支持编码标准可扩展 性的层间处理的示例；
图6描绘了根据本发明实施例的针对信号编码模型可扩展性的 RPU处理的示例；
图7描绘了根据本发明实施例的示例性编码过程；
图8描绘了根据本发明实施例的示例性解码过程；并且
图9描绘了根据本发明实施例的示例性解码RPU过程。
具体实施方式
在此描述针对编码标准可扩展性的层间参考图片处理。给定了由 符合第一编码标准(如H.264)的基本层(base layer，BL)编码器编 码的基本层信号，参考处理单元(RPU)过程根据基本层以及一个或 多个增强层(enhancement layer，EL)中的输入信号的特性来产生参 考图片和RPU参数。这些层间参考帧可以由符合第二编码标准(如 HEVC)的增强层编码器使用，以压缩(编码)一个或多个增强层的 信号，并且将其与基本层结合以形成可扩展的比特流。在接收器中， 在用符合第一编码标准的BL解码器对BL流进行解码后，解码器RPU 可以应用收到的RPU参数从解码后的BL流产生层间参考帧。这些参 考帧可以由符合第二编码标准的EL解码器用来对编码的EL流进行 解码。
在以下描述中，出于讲解的目的，阐述了众多具体细节以便提供 对本发明的全面理解。不过显而易见，可以在没有这些具体细节的情 况下实践本发明。在其他示例中，没有详尽地描述熟知的结构和设备， 以免不必要地使本发明模糊不清。
综述
在此描述的示例性实施例涉及针对编码标准可扩展性的层间参 考图片处理。在一个实施例中，视频数据被编码成编码标准分层比特 流。给定了基本层(BL)和增强层(EL)信号，使用符合第一编码 标准的BL编码器把BL信号编码为BL流。响应于BL信号和EL信 号，参考处理单元(RPU)确定RPU处理参数。响应于RPU处理参 数和BL信号，RPU产生层间参考信号。通过使用符合第二编码标准 的EL编码器，EL信号被编码成经编码的EL流，其中对EL信号的 编码至少部分地基于层间参考信号。
在另一个实施例中，接收器对收到的可扩展比特流进行解复用 (demultiplex)以产生经编码的BL流、经编码的EL流和RPU数据 流。符合第一编码标准的BL解码器对经编码的BL流进行解码以产 生经解码的BL信号。具有RPU的接收器也可以对RPU数据流进行 解码以确定RPU处理参数。响应于RPU处理参数和BL信号，RPU 可以产生层间参考信号。符合第二编码标准的EL解码器可以对经编 码的EL流进行解码以产生经解码的EL信号，其中对经编码的EL流 的解码至少部分地基于层间参考信号。
基于分层的编码标准可扩展性
诸如MPEG-2、MPEG-4(第2部分)、H.264、flash等之类的 压缩标准正在全世界范围内使用，用于通过诸如DVD盘或蓝光盘之 类的各种介质传递数字内容，或者用于在空中、电缆或宽带上进行广 播。由于开发出了诸如HEVC之类的新视频编码标准，如果它们支持 与现有标准的某种向后兼容，则新标准的采用可能增加。
图1描绘了支持编码标准可扩展性的系统的示例性实现的实施例。 编码器包括基本层(BL)编码器(110)和增强层(EL)编码器(120)。 在实施例中，BL编码器110是传统编码器，诸如MPEG-2或H.264 编码器，而EL编码器120是新标准编码器，诸如HEVC编码器。但 是，本系统可应用于已知或未来编码器的任何组合，无论它们是基于 标准的还是专有的。本系统还可以扩展为支持两种以上的编码标准或 算法。
根据图1，输入信号可以包括两个或更多个信号，例如基本层(BL) 信号102以及一个或更多个增强层(EL)信号(如EL 104)。用BL 编码器110压缩(或编码)信号BL 102以产生经编码的BL流112。 由EL编码器120压缩信号EL 104以产生经编码的EL流122。对这 两种流进行多路复用(如通过MUX 125)以产生经编码的可扩展比特 流127。在接收器中，解复用器(DEMUX 130)可以分离这两种经编 码的比特流。传统解码器(例如BL解码器140)只能对基本层132 进行解码以产生BL输出信号142。但是，支持新编码方法的解码器 (EL解码器120)还可以对由经编码的EL流134提供的附加信息进行 解码，以产生EL输出信号144。BL解码器140(如MPEG-2或H.264 解码器)对应于BL编码器110。EL解码器150(如HEVC解码器) 对应于EL编码器120。
与同时联播系统相比，这种可扩展系统可以通过适当地探索层间 预测，即通过考虑来自更低层(如102)的可用信息来对增强层信号 (如104)进行编码，来提高编码效率。由于BL编码器和EL编码器 符合不同的编码标准，所以在实施例中，可以通过单独的处理单元， 即编码参考处理单元(RPU)115，来实现编码标准可扩展性。
RPU 115可以被认为是A.Tourapis等人在2010年6月30日提 交并且公布为WO 2011/005624的PCT申请PCT/US2010/040545 "Encoding and decoding architecture for format compatible 3D video  delivery"中描述的RPC设计的扩展，其全文内容通过引入并入于此。 除非另有相反的指定，否则以下对RPU的描述对编码器的RPU和解 码器的RPU都适用。涉及视频编码的领域中的普通技术人员在阅读了 本公开后将理解差异，并且将能够在编码专用、解码专用以及一般的 RPU描述、功能和过程之间进行区分。在图1中所描绘的视频编码系 统的背景内，(RPU)115根据对不同的RPU滤波器和过程进行选择 的一组规则，基于来自BL编码器110的解码图像来产生层间参考帧。
RPU 115使处理能够在区域级别上自适应，其中根据图片/序列 的每个区域的特性来处理该区域。RPU 115可以使用水平、垂直或二 维(2D)的滤波器、边缘自适应或基于频率的依赖区域的滤波器，以 及/或者像素复制滤波器或者其他方法或装置来进行隔行、去隔行、滤 波、上采样和其他图像处理。
编码器可以选择RPU过程并输出区域处理信号，所述区域处理 信号作为输入数据被提供给解码器RPU(如135)。信令(如117) 可以逐区域地指定处理方法。例如，与诸如数量、尺寸、形状和其他 特性之类的区域属性有关的参数可以在RPU数据有关的数据头中指 定。某些滤波器可以包括固定的滤波器系数，在这种情况下滤波器系 数不需要由RPU显式地发信号告知。其他处理模式可以包括显式模式， 其中诸如系数值之类的处理参数被显式地发信号告知。也可以按照每 个颜色分量来指定RPU过程。
RPU数据信令117可以嵌入在经编码的比特流中(如127)，或 者分开地传送到解码器。RPU数据可以连同执行RPU处理的层一起 用信号告知。作为补充或替代，所有层的RPU数据可以在一个RPU 数据包内用信号告知，所述RPU数据包在EL编码数据嵌入之前或者 之后嵌入在比特流中。对给定层提供RPU数据可以是可选的。在RPU 数据不可用的情况中，默认方案从而可以用于该层的向上变换。类似 地，提供增强层经编码的比特流也是可选的。
实施例允许存在对RPU内的处理步骤进行选择的多种可能的方 法。在确定RPU处理时可以分开地或联合地使用许多准则。RPU选 择准则可以包括基本层比特流的解码质量、增强层比特流的解码质量、 对包括RPU数据的每层进行编码所需的比特速率以及/或者数据的解 码和RPU处理的复杂度。
RPU 115可以用作预处理平台，在EL编码器120中利用来自BL 编码器110的信息作为用于增强层的潜在预测因子(potential  predictor)之前对所述信息进行处理。与RPU处理有关的信息可以使 用RPU层流136如图1中所示传送(如作为元数据)到解码器。RPU 处理可以包括诸如颜色空间变换、非线性量化、亮度和色度上采样以 及滤波之类的各种图像处理操作。在典型的实现中，EL 122、BL 112 和RPU数据117的信号被多路复用到单个经编码的比特流(127)中。
解码器RPU 135对应于编码器RPU 115，并且利用RPU数据输 入136的引导，可以通过执行与由编码器RPU 115执行的操作对应的 操作来帮助EL层134的解码。
图1中描绘的实施例可以容易地扩展为支持两个以上的层。另外， 还可以将其扩展为支持附加的可扩展性特征，包括：时间、空间、SNR、 色度、位深度和多视点可扩展性。
H.264和HEVC编码标准的可扩展性
在示例性实施例中，图2A和图2B描绘可应用于HEVC和H.264 标准的针对基于层的编码标准可扩展性的示例性实施例。在不失一般 性的情况下，图2A和图2B只描绘了两层；但是，所述方法可以容易 地扩展为支持多个增强层的系统。
如图2A中所描绘的，H.264编码器110和HEVC编码器120都 包括帧内预测、帧间预测、正变换和量化(FT)、反变换和量化(IFT)、 熵编码(EC)、解块滤波器(DF)以及解码图片缓冲区(Decoded Picture  Buffers，DPB)。另外，HEVC编码器还包括采样自适应偏移(SAO) 块。在实施例中，如稍后将说明的，RPU 115可以在解块滤波器(DF) 之前访问BL数据或者从DPB访问BL数据。类似地，在多标准解码 器(见图2B)中，解码器RPU 135也可以在解块滤波器(DF)之前 访问BL数据或者从DPB访问BL数据。
在可扩展的视频编码中，术语“多环路解决方案”表示这样的分 层解码器，其中基于由同一层和其他子层这两者提取的参考图片来解 码增强层中的图片。基本层/参考层的图片被重构并存储在解码图片缓 冲区(DPB)中。这些基本层图片被称为层间参考图片，可以在对增 强层进行解码时用作附加参考图片。然后增强层具有使用时间参考图 片或者层间参考图片的选项。一般来说，层间预测有助于提高可扩展 系统中的EL编码效率。由于AVC和HEVC是两种不同的编码标准 并且它们使用不同的编码过程，所以可能需要附加的层间处理以保证 AVC编码的图片被认为是有效的HEVC参考图片。在实施例中，这 种处理可以由RPU 115执行，如接下来将针对关注的各种情况所说明 的。针对编码标准可扩展性，使用RPU 115的目的在于在高级语法级 别和编码工具级别这两者上解决由使用两种不同标准所引起的差异或 冲突。
图片序列号(POC)
HEVC和AVC在高级别语法上具有若干差异。另外，同一语法 在每个标准中可能具有不同含义。RPU可以用作基本层与增强层之间 的高级别语法“翻译器”。一个这样的示例是与图片序列号(POC) 有关的语法。在层间预测中，重要的是使来自基本层的层间参考图片 与正在增强层中编码的图片同步。这种同步在基本层和增强层使用不 同的图片编码结构时甚至更为重要。对于AVC和HEVC标准，术语 图片序列号(POC)都用于表明经编码的图片的显示顺序。但是，在 AVC中，有三种方法发信号告知POC信息(由变量pic_order_cnt_type 表明)，而在HEVC中只允许一种方法，其与AVC情况下的 pic_order_cnt_type＝＝0相同。在实施例中，当在AVC比特流中 pic_order_cnt_type不等于0时，那么RPU(135)将需要把其翻译为 符合HEVC语法的POC值。在实施例中，编码器RPU(115)可以 通过使用新的pic_order_cnt_lsb变量发信号告知附加的POC相关的 数据，如表1中所示。在另一个实施例中，编码器RPU可以简单地迫 使基本层AVC编码器只使用pic_order_cnt_type＝＝0。
表1 POC语法

在表1中，pic_order_cnt_lsb指定了用于当前层间参考图片的取 MaxPicOrderCntLsb的模的图片序列号。pic_order_cnt_lsb语法元素 的长度是log2_max_pic_order_cnt_lsb_minus4+4比特。 pic_order_cnt_lsb的值应当在0到MaxPicOrderCntLsb-1的范围内， 包括边界值。当pic_order_cnt_lsb不存在时，推断pic_order_cnt_lsb 等于0。
修剪窗口
在AVC编码中，图片分辨率必须是16的倍数。在HEVC中， 分辨率必须是8的倍数。当在RPU中处理层间参考图片时，有可能使 用修剪窗口来除去AVC中的填充像素。如果基本层和增强层具有不 同的空间分辨率(例如，基本层是1920×1080而增强层是4k)，或 者如果图片宽高比(PAR)不同(比如说，增强层的PAR为16:9而 基本层的PAR为4:3)，则图像必须进行修剪并且可以相应地调整大 小。表2中示出了与修剪窗口相关的RPU语法的示例。
表2：图片修剪语法

在表2中，pic_cropping_flag等于1表明接下来是图片修剪偏移 参数。如果pic_cropping_flag＝0，那么不存在图片修剪偏移参数并且 不需要修剪。
按照用于RPU输入的图片坐标中指定的矩形区域， pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset和 pic_crop_bottom_offset指定了输入到RPU解码过程的编码视频序列 图片中的样本数。
注意，由于RPU过程是对每个层间参考执行的，所以修剪窗口 参数可以在逐帧的基础上改变。因此使用平移(缩放)扫描方法支持 自适应的基于关注区域的视频重定向。
图3描绘了分层编码的示例，其中HD(如1920×1080)基本层 是使用H.264来编码的，并且提供了可以由所有传统HD解码器解码 的图片。更低分辨率(如640×480)的增强层可以用于提供针对“缩 放”特征的可选支持。EL层具有小于BL的分辨率，但是可以用HEVC 编码以降低整体比特速率。如在此所描述的，层间编码可以进一步提 高该EL层的编码效率。
环内解块滤波器
AVC和HEVC都在编码和解码过程中使用了解块滤波器(DF)。 解块滤波器旨在减少由于基于块的编码所引起的块效应。但是在每个 标准中其设计非常不同。在AVC中，解块滤波器在4×4的采样网格 的基础上应用，但是在HEVC中，解块滤波器只应用于在8×8的采 样网格上对齐的边缘。在HEVC中，类似于AVC，解块滤波器的强 度由若干语法元素的值控制，但是AVC支持五种强度而HEVC只支 持三种强度。与AVC相比，在HEVC中，滤波的情况更少。例如， 对于亮度，选择三种情况之一：不滤波、强滤波和弱滤波。对于色度， 只有两种情况：不滤波和正常滤波。为了配准基本层参考图片与来自 增强层的时间参考图片之间的解块滤波器操作，有若干方法可以应用。
在一个实施例中，没有AVC解块的参考图片可以在不进行进一 步的后处理的情况下由RPU直接访问。在另一个实施例中，RPU可 以对层间参考图片应用HEVC解块滤波器。HEVC中的滤波器决策基 于若干语法元素的值，诸如变换系数、参考指数和运动向量。如果RPU 需要分析所有信息以做出滤波器决策，可能真的较复杂。作为替代， 可以显式地发信号告知滤波器指数在8×8块级别、CU(编码单元) 级别、LCU/CTU(最大编码单元或编码树单元)级别、多个LCU级 别、像条(slice)级别或图片级别上。亮度和色度滤波器指数可以分 开地发信号告知，也可以共享同一语法。表3示出了解块滤波器决策 如何可以表明作为RPU数据流的一部分的示例。
表3：解块滤波器语法

在表3中，filter_idx指定亮度和色度分量的滤波器指数。对于亮 度，filter_idx等于0指定不滤波。filter_idx等于1指定弱滤波，而 filter_idx等于2指定强滤波。对于色度，filter_idx等于0或1指定不 滤波，而filter_idx等于2指定正常滤波。
采样自适应偏移(SAO)
SAO是在解块滤波器(DF)之后通过查找表来修改样本的过程。 如图2A和图2B中所描绘的，其只是HEVC标准的一部分。SAO的 目标是通过使用查找表来更好地重构原始信号幅度，所述查找表由可 以在编码器侧通过直方图分析而确定的几个附加参数描述。在一个实 施例中，RPU可以使用如HEVC中所述的精确SAO过程来处理来自 AVC基本层的解块/非解块层间参考图片。信令可以是基于区域的， 适应于CTU(LCU)级别、多个LCU级别、像条级别或图片级别。 表4示出了用于传送SAO参数的示例性语法。在表4中，标记语法与 HEVC规范中所描述的相同。
表4：采样自适应偏移语法

自适应环路滤波器(Adaptive Loop Filter，ALF)
在HEVC的开发期间，自适应环路滤波器(ALF)也作为跟随 SAO的处理块被评估；不过，ALF不是第一版HEVC的一部分。由 于ALF处理可以改善层间编码，所以如果由未来的编码器实现，则它 是也可由RPU实现的另一个处理步骤。ALF的自适应性可以是基于 区域的，适应CTU(LCU)级别、多个LCU级别、像条级别或图片 级别。ALF参数的示例由alf_picture_info()描述，见“High efficiency  video coding(HEVC)text specification draft 7",作者B.Bross、W.-J. Ha、G.J.Sullivan、J.-R.Ohm和T.Wiegand,ITU-T/ISO/IEC视频 编码联合组(JCT-VC)文件JCTVC-I1003,2012年5月，其全文内容通 过引用并入于此。
隔行扫描和逐行扫描
AVC对用于逐行和隔行内容这两者的编码工具都支持。对于隔 行序列，它对于帧编码和场编码都允许。在HEVC中，不存在支持使 用隔行扫描的显式编码工具。HEVC只提供了元数据语法(场指示SEI 消息语法和VUI)以允许编码器指出隔行内容是如何编码的。考虑了 下列情形。
情形1：基本层和增强层都为隔行
对于这种情形，可以考虑几种方法。在第一实施例中，可以约束 编码器只在每个序列的基础上在帧或场模式中改变基本层编码。增强 层将遵循来自基本层的编码决策。也就是，如果AVC基本层在一个 序列中使用场编码，则HEVC增强层在对应的序列中也将使用场编码。 同样，如果AVC基本层在一个序列中使用帧编码，则HEVC增强层 在对应的序列中也将使用帧编码。应当注意，对于场编码，在AVC 语法中以信号告知的垂直分辨率是帧高度；但是，在HEVC中，在语 法中以信号告知的垂直分辨率是场高度。在比特流中传送该信息时必 须特别当心，尤其在使用了修剪窗口时。
在另一个实施例中，AVC编码器可以使用图片级别的自适应的 帧或场编码，而HEVC编码器执行序列级别的自适应的帧或场编码。 在这两种情况下，RPU都可以以下列方式之一处理层间参考图片： a)RPU可以把层间参考图片作为场处理，而不管AVC基本层中的帧 或场编码决策如何，或者b)RPU可以基于AVC基本层中的帧/场编码 决策来改变层间参考图片的处理。也就是，如果AVC基本层是帧编 码的，则RPU将把层间参考图片作为帧处理，否则它将把层间参考图 片作为场处理。
图4描绘了情形1的示例。符号Di或Dp表示帧速率以及格式 是隔行还是逐行。因此，Di表示每秒D个隔行帧(即每秒2D个场) 而Dp表示每秒D个逐行帧。在本示例中，基本层包括使用AVC编 码的标清(SD)720×480 30i序列。增强层是使用HEVC编码的高清 (HD)1920×1080 60i序列。本示例包含编码可扩展性、时间可扩展 性以及空间可扩展性。时间可扩展性由增强层HEVC解码器使用只带 有时间预测的层次结构(这种模式在单层中由HEVC支持)来处理。 空间可扩展性由RPU处理，RPU对层间参考场/帧的像条进行调整并 使其与增强层中对应的场/帧像条同步。
情形2：基本层为隔行而增强层为逐行
在这种情形中，AVC基本层是隔行序列而HEVC增强层是逐行 序列。图5A描绘了这样的示例性实施例，其中输入4k 120p信号(502) 被编码为三个层：1080 30i BL流(532)、编码为1080 60p的第一增 强层(EL0)流(537)以及编码为4k 120p的第二增强层(EL1)流 (517)。BL和EL0信号使用H.264/AVC编码器编码，而EL1信号 可以使用HEVC编码。在编码器上，以高分辨率、高速帧4k 120p信 号(502)开始，编码器应用时间和空间的下采样(510)以产生逐行 1080 60p信号512。使用互补的逐行至去隔行技术(520)，编码器也 可以产生两个互补的1080 30i隔行信号BL 522-1和EL0 522-2。如在 此所使用的，术语“互补的逐行至去隔行技术”表示根据同一逐行输 入产生两个隔行信号的模式，其中两个隔行信号具有同一分辨率，但 是一个隔行信号包括的来自逐行信号的不是第二个隔行信号的一部分 的场。例如，如果Ti(i＝0,1，…n)时刻的输入信号被划分为顶部和 底部隔行场(Top-Ti、Bottom-Ti)，那么第一隔行信号可以使用(Top-T0、 Bottom-T1)、(Top-T2、Bottom-T3)等构成，而第二隔行信号可以 使用剩余的场构成，即(Top-T1、Bottom-T0)、(Top-T3、Bottom-T2) 等。
在本示例中，BL信号522-1是可以由传统解码器解码的向后兼 容的隔行信号，而EL0信号522-2表示来自原始逐行信号的互补样本。 对于全帧速率的最终图片合成，来自BL信号的每个重构场图片必须 与同一访问单元内的却具有相反的场奇偶性(field parity)的场图片 结合。编码器530可以是包括两个AVC编码器(530-1和530-2)以 及RPU处理器530-3的AVC编码器。编码器530可以通过使用来自 BL和EL0信号这两者的参考帧，来用层间处理对信号EL0进行压缩。 RPU 530-3可以用来准备由530-2编码器使用的BL参考帧。它也可以 用来创建逐行信号537，所述逐行信号537将用于通过EL1编码器 515对EL1信号502进行的编码。
在实施例中，RPU(535)中的上采样过程用于把来自RPU 530-3 的1080 60p输出(537)转换为将由HEVC编码器515在层间预测期 间使用的4k 60p的信号。可以使用时间和空间的可扩展性来对EL1 信号502进行编码以产生经压缩的4k 120p流517。解码器可以应用 类似的过程，来解码1080 30i信号、1080 60p信号或者4k 120p信号。
图5B描绘了根据实施例的隔行/逐行系统的另一个示例性实现。 这是两层的系统，其中1080 30i基本层信号(522)使用AVC编码器 (540)编码以产生经编码的BL流542，并且4k 120p增强层信号(502) 使用HEVC编码器(515)编码以产生经编码的EL流552。这两种流 可以被多路复用以形成经编码的可扩展比特流572。
如图5B中所描绘的，RPU 560可以包括两个过程：去隔行过程 和上采样过程，其中去隔行过程把BL 522转换为1080 60p信号，上 采样过程把1080 60p信号转换回4k 60p信号，因此在编码器515中 的层间预测期间RPU的输出可以用作参考信号。
情形3：基本层为逐行而增强层为隔行
在这种情形下，在一个实施例中，RPU可以把逐行层间参考图 片转换为隔行图片。这些隔行图片可以由RPU处理，作为：a)总是场， 不管HEVC编码器是使用基于序列的帧编码还是场编码，或者作为 b)场或帧，取决于HEVC编码器所使用的模式。表5描绘了关于编码 器过程的可用来引导解码器RPU的示例性语法。
表5：隔行处理语法

在表5中，base_field_seq_flag等于1表明基本层经编码的视频 序列输送的是表示场的图片。base_field_seq_flag等于0表明基本层经 编码的视频序列输送的是表示帧的图片。
enh_field_seq_flag等于1表明增强层经编码的视频序列输送的 是表示场的图片。enh_field_seq_flag等于0表明增强层经编码的视频 序列输送的是表示帧的图片。
表6示出了RPU可以如何基于base_field_seq_flag或 enh_field_seq_flag标记来处理参考图片。
表6：用于逐行/隔行扫描序列的RPU处理
base_field_seq_flag enh_field_seq_flag RPU处理 1 1 场 1 0 去隔行+帧 0 1 隔行+场 0 0 帧
信号编码模型可扩展性
由于其表现标准动态范围(SDR)图像的效率，伽马编码可以说 是最为广泛使用的信号编码模型。在针对高动态范围(HDR)成像的 最新研究中，发现对于若干类型的图像，诸如感知量化器(PQ)之类 的其他信号编码模型可以更高效地表现数据，所述感知量化器(PQ) 在Craig Todd提交给SG6 WP 6C、WP6C/USA002的“Parameter  values for UHDTV”或者Jon S.Miller等人在2012年7月23日提交 的标题为“Perceptual luminance nonlinearity-based image data  exchange across different display capabilities”的美国临时专利申请序 列号61/674,503中有描述，两者的全文内容通过引用并入于此。所以， 有可能可扩展系统可以具有经伽马编码的SDR内容的一层，以及使用 其他信号编码模型编码的高动态范围内容的另一层。
在图6描绘了可以设置RPU 610(如图1中的RPU 115)以调整 基本层的信号量化器的实施例。给定BL信号102(例如，8位SDR 视频信号、以4：2：0Rec.709伽马编码)以及EL信号104(例如， 12位HDR视频信号、在P3颜色空间中以4：4：4PQ编码)，RPU 610中的处理可以包括：伽马解码、其他反向映射(例如，颜色空间 转换、位深度转换、色度采样等)以及SDR至HDR的感知量化(PQ)。 信号解码和编码方法(如伽马和PQ)以及相关参数可以是与经编码 的比特流一起传输的元数据的一部分，或者它们可以是未来HEVC语 法的一部分。这种RPU处理可以和与诸如位深度、色度格式以及颜色 空间可扩展性之类的其他类型的可扩展性有关的其他RPU处理结合。 如图1中所描绘的，在可扩展比特流127的解码期间可以由解码器 RPU执行类似的RPU处理。
可扩展性的扩展可以包括几个其他范畴，诸如：空间或SNR可 扩展性、时间可扩展性、位深度可扩展性以及色度分辨率可扩展性。 因此，RPU可以被配置为在各种编码情形下处理层间参考图片。为 了更好的编码器-解码器兼容性，编码器可以包含专用的RPU相关的 比特流语法以引导对应的RPU解码器。可以在各种编码级别更新语法， 包括：像条级别、图片级别、GOP级别、场景级别或者在序列级别。 它也可以被包括在各种辅助数据中，诸如：NAL单元头、序列参数集 (SPS)及其扩展、SubSPS、图片参数集(PPS)、像条器头、SEI 消息或新NAL单元头。由于可能存在着许多RPU相关的处理工具， 所以在一个实施例中，为了最大的灵活性和易于实现，我们提出预留 用于RPU的新NAL单元类型，以使其成为单独的比特流。在这种实 现下，单独的RPU模块被添加到编码器和解码器模块以与基本层以及 一个或更多个增强层互动。表7示出了新NAL单元中的包括 rpu_header_data()(表8中所示)以及rpu_payload_data()(表9中 所示)的RPU数据语法的示例。在本示例中，启用多个分区以允许基 于区域的解块和SAO决策。
表7：RPU数据语法

表8：RPU头数据语法

表9：RPU有效载荷数据语法

在表8中，rpu_type指定打算用于RPU信号的预测类型。它可 以用于指定不同种类的可扩展性。例如，rpu_type等于0可以指定空 间可扩展性，而rpu_type等于1可以指定位深度可扩展性。为了结合 不同的可扩展性模式，也可以使用诸如rpu_mask之类的掩码变量。 例如，rpu_mask＝0x01(二进制00000001)可以表示只启用空间可扩 展性，rpu_mask＝0x02(二进制00000010)可以表示只启用位深度可 扩展性，rpu_mask＝0x03(二进制00000011)可以表示空间和位深度 可扩展性都启用。
deblocking_present_flag等于1表明在RPU数据中存在与解块滤 波器相关的语法。
sao_present_flag等于1表明在RPU数据中存在与SAO相关的 语法。
alf_present_flag等于1表明在RPU数据中存在与ALF滤波器相 关的语法。
num_x_partitions_minus1以信号告知用于在RPU中在水平维度 上细分经处理的图片的分区数量。
num_y_partitions_minus1以信号告知用于在RPU中在垂直维度 上细分经处理的图片的分区数量。
在另一个实施例中，不是使用POC来使基本层和增强层同步， 而是在图片级别以信号告知RPU语法，因此多幅图片可以重用同一 RPU语法，这导致更低的比特开销并且在某些实现中可能降低处理开 销。在这种实现中，rpu_id将被添加到RPU语法中。在slice_header() 中，它将总是引用rpu_id以使RPU语法与当前像条同步，其中rpu_id 变量标识在像条头中被引用的rpu_data()。
图7描绘了根据实施例的示例性编码过程。给定一系列图片(或 帧)，编码器通过使用第一压缩标准(如AVC)的BL编码器来对基 本层进行编码(715)。接下来(720，725)，如图2A和图2B中所 描绘的，RPU过程115可以在解块滤波器(DF)之前或之后访问基 本层图片。可以基于RD(速率-失真)最优化或RPU执行的处理来做 出决策。例如，如果RPU执行也可以在对块边界进行解块时使用的上 采样，那么RPU可以只在解块滤波器之前使用经解码的基本层，并且 上采样过程可以保持更多细节。RPU 115可以根据BL和EL编码参 数来确定RPU处理参数。如果需要，RPU过程还可以访问来自EL 输入的数据。然后，在步骤730，RPU根据所确定的RPU处理参数来 处理层间参考图片。所产生的层间图片(735)现在可以由使用第二压 缩标准的EL编码器(如HEVC编码器)用来压缩增强层信号。
图8描绘了根据实施例的示例性解码过程。首先(810)，解码 器分析输入比特流的高级别语法以提取序列参数和与RPU相关的信 息。接下来(820)，它用根据第一压缩标准的BL解码器(如AVC 解码器)来对基本层进行解码。在对RPU过程的相关参数进行解码 (825)后，RPU过程根据这些参数产生层间参考图片(步骤830和 835)。最后，解码器使用符合第二压缩标准的EL解码器(如HEVC 解码器)来对增强层进行解码(840)。
给定表1至9中所定义的示例性RPU参数，图9描绘了根据实 施例的示例性解码RPU过程。首先(910)，解码器从比特流语法提 取了高级别RPU相关的数据，诸如RPU类型(如表8中的rpu_type)、 POC()以及pic_cropping()。术语“RPU类型”是指需要考虑的与RPU 相关的子过程，诸如：编码标准可扩展性、空间可扩展性、位深度可 扩展性等，如早先所讨论的。给定BL帧，首先可以进行修剪和与ALF 相关的操作(如915、925)。接下来，在提取了所需要的隔行或去隔 行模式(930)后，针对每个分区，RPU执行解块和与SAO相关的操 作(如935、940)。如果需要执行附加的RPU处理(945)，那么 RPU对适当的参数进行解码(950)，并然后根据这些参数来执行操 作。在该过程结束时，层间帧序列对于EL解码器可用，以便对EL 流进行解码。
示例性计算机系统实现
本发明的实施例可以用计算机系统、配置在电子电路和部件中的 系统、诸如微控制器之类的集成电路(IC)器件、现场可编程门阵列 (FPGA)或另一种可配置或可编程的逻辑器件(PLD)、离散时间 或数字信号处理器(DSP)、专用集成电路(ASIC)以及/或者包括这 种系统、器件或部件中的一种或更多种的装置实现。计算机和/或IC 可以实行、控制或执行与RPU处理相关的指令，诸如在此描述的指令。 计算机和/或IC可以计算如在此描述的与RPU处理相关的各种参数或 数值中的任何一个。与RPU相关的实施例可以用硬件、软件、固件及 其各种组合实现。
本发明的某些实现包括执行软件指令的计算机处理器，所述软件 指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、 代码转换器等中的一个或更多个处理器可以通过执行处理器可访问的 程序存储器中的软件指令来实现上述RPU处理的方法。本发明还可以 以程序产品的形式提供。程序产品可以包括携带一组计算机可读信号 的任何介质，所述一组计算机可读信号包括当由数据处理器执行时使 数据处理器执行本发明的方法的指令。根据本发明的程序产品可以是 各种形式中的任何一种。程序产品例如可以包括物理介质，诸如包括 软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光 学数据存储介质或者包括ROM、闪存RAM的电子数据存储介质等。 程序产品上的计算机可读信号可以可选性地被压缩或加密。
在上面提到部件(如软件模块、处理器、组件、器件、电路等) 之处，除非另有表明，否则对该部件引用(包括对“装置”的引用) 应当被解释为包括执行所述部件的功能的、作为该部件的等效物(如 在功能上等效)的任何部件，包括与执行本发明的所例示的示例性实 施例的功能的公开结构在构造上不等效的部件。
等效、扩展、替代和混合
就像这样描述了与RPU处理和基于标准的编解码器可扩展性有 关的示例性实施例。在以上说明书中，已经参考可根据实现方式而不 同的许多具体细节来描述本发明的实施例。因此，本发明是什么以及 申请人意欲本发明是什么的唯一且独有的标志是如本申请发布的权利 要求书中以该权利要求书发布的具体形式记载的集合，包括任何后续 校正。针对该权利要求书中包含的术语，本文明确阐述的任何定义应 当支配在权利要求书中所使用的该术语的意义。因此，未在权利要求 中明确记载的限制、要素、性质、特征、优点或属性不应当以任何方 式限制这该权利要求的范围。因此，说明书和附图应当认为是例示性 的，而非限制性的。