三维视频编码中残差预测的方法及装置.pdf

本发明揭露了一种用于三维或多视图视频编码的使用伪残差来预测当前残差方法以及装置。所述方法首先接收与当前附属视图的当前图片的当前块相关的输入数据，以及根据视差向量确定参考视图的第一视图间参考图片的视图间参考块，其中，所述当前图片以及所述第一视图间参考图片对应于相同时间点。接着，伪残差被确定，且被用于所述当前块的编码或解码，其中，所述伪残差对应于所述当前附属视图的跨时间参考图片的对应区域以及所述参考视图的伪参考图片的伪参考区域之间的差值，以及其中，所述跨时间参考图片以及所述伪参考图片对应于相同时间点。

1.  一种用于三维或多视图视频编码的方法，其特征在于，所述方法包括：
接收与当前附属视图的当前图片的当前块相关的输入数据；
根据视差向量确定参考视图中第一视图间参考图片的视图间参考块，其中，所述 当前图片以及所述第一视图间参考图片对应于相同时间点；
确定第一伪残差，其中，所述第一伪残差对应于所述当前附属视图的跨时间参考 图片的对应区域以及所述参考视图的伪参考图片的伪参考区域之间的第一差值，以及 其中，所述跨时间参考图片以及所述伪参考图片对应于相同时间点；以及
根据所述视图间参考块以及所述第一伪残差，将编码或解码应用到与所述当前块 相关的所述输入数据。

2.  如权利要求1所述的方法，其特征在于，第一残差是根据所述当前块以及所述 视图间参考块之间的第二差值来确定，最终残差是通过使用所述第一伪残差预测所述 第一残差来从所述第一残差中产生，以及所述编码或解码被应用于所述最终残差。

3.  如权利要求1所述的方法，其特征在于，所述视图间参考块以及所述第一伪残 差被合并以形成组合预测，最终残差是通过使用所述组合预测来预测所述当前块来从 所述当前块中产生，以及所述编码或解码被应用于所述最终残差。

4.  如权利要求3所述的方法，其特征在于，所述组合预测被进行修剪处理以形成 截断后预测值，以及所述最终残差是通过使用所述截断后预测值来预测所述当前块来 从所述当前块中产生。

5.  如权利要求1所述的方法，其特征在于，于所述根据所述视图间参考块以及所 述第一伪残差，将编码或解码应用到与所述当前块相关的所述输入数据之前，所述第 一伪残差使用线性函数或非线性函数被处理。

6.  如权利要求1所述的方法，其特征在于，根据所述当前附属视图的所述跨时间 参考图片的所述对应区域，所述视差向量被用于定位所述参考视图的所述伪参考图片 的所述伪参考区域。

7.  如权利要求1所述的方法，其特征在于，根据所述当前附属视图中所述当前图 片的所述当前块，已估计的运动向量用于定位所述当前附属视图的所述跨时间参考图 片中的所述对应区域。

8.  如权利要求7所述的方法，其特征在于，所述已估计的运动向量是根据所述当 前块的先前编码的空间以及时域邻近块来推导，其中，如果所述当前块的所述空间以 及时域邻近块相关的候选运动向量与所述当前附属视图中的所述跨时间参考图片相 关，所述候选运动向量被选择作为所述已估计的运动向量。

9.  如权利要求7所述的方法，其特征在于，所述已估计的运动向量是根据应用于 多个候选运动向量的评估函数的评估结果来选择，所述个候选运动向量是从与所述当 前块的邻近块相关的多个运动向量中决定。

10.  如权利要求7所述的方法，其特征在于，与被选择作为所述已估计的运动向 量的候选运动向量相关的索引以视频比特流的宏区块级、编码单元级、或预测单元级 被传输。

11.  如权利要求7所述的方法，其特征在于，与被选择作为所述已估计的运动向 量的候选运动向量相关的索引于解码器侧被隐式地确定。

12.  如权利要求1所述的方法，其特征在于，所述根据所述视图间参考块以及所 述第一伪残差将编码或解码应用到与所述当前块相关的所述输入数据对于切片、宏区 块、编码单元或预测单元是启用还是关闭是取决于传输于视频比特流的对应切片级、 宏区块级、编码单元级别或预测单元级的指示。

13.  如权利要求1所述的方法，其特征在于，所述根据所述视图间参考块，以及 所述第一伪残差将编码或解码应用到与所述当前块相关的所述输入数据对于切片、宏 区块、编码单元或预测单元是隐式地启用还是关闭是取决于所述切片、宏区块、编码 单元或预测单元的具体编码模式。

14.  如权利要求1所述的方法，其特征在于，所述根据所述视图间参考块以及所 述第一伪残差将编码或解码应用到与所述当前块相关的所述输入数据对于在合并/跳 过模式被编码的切片、宏区块、编码单元或预测单元是启用的或对于在时域方向使用 视图间合并候选的所述切片、宏区块、编码单元或预测单元是启用的。

15.  如权利要求1所述的方法，其特征在于，所述将编码或解码应用到与所述当 前块相关的所述输入数据还基于第二伪残差，其中，所述第二伪残差的衍生与所述参 考视图的第二视图间参考图片相关，以及其中所述第一视图间参考图片以及所述第二 视图间参考图片在不同的参考图片列表中。

16.  一种用于三维或多视图视频编码的装置，其特征在于，所述装置包括一个或 多个电子电路，其中，所述一个或多个电子电路被配置为：
接收与当前附属视图的当前图片的当前块相关的输入数据；
根据视差向量，确定参考视图的第一视图间参考图片的视图间参考块，其中，所 述当前图片以及所述第一视图间参考图片对应于相同时间点；
确定伪残差，其中，所述伪残差对应于所述当前附属视图的跨时间参考图片的对 应区域以及所述参考视图的伪参考图片的伪参考区域之间的第一差值，以及其中，所 述跨时间参考图片以及所述伪参考图片对应于相同时间点；以及
根据所述视图间参考块以及所述伪残差，将编码或解码应用到与所述当前块相关 的所述输入数据。

17.  一种用于三维或多视图视频编码的方法，其特征在于，所述方法包括：
接收与当前附属视图的当前图片的当前块相关的输入数据，其中，所述当前块根 据由运动向量来定位的跨时间参考块被跨时间编码；
从与所述当前块的邻近块相关的多个邻近视差向量中确定多个已估计的视差向 量候选；
将评估函数应用到所述已估计的视差向量候选以获得所述已估计的视差向量候 选的评估结果；
根据所述评估结果，从所述已估计的视差向量候选中选择最终已估计的视差向量；
根据所述最终已估计的视差向量确定视图间参考图片的视图间参考区域；
确定第一伪残差，其中，所述第一伪残差对应于所述视图间参考区域以及由所述 运动向量定位的伪参考图片的伪参考区域之间的第一差值，以及其中所述视图间参考 图片以及所述伪参考图片在相同的参考视图中；以及
使用所述第一伪残差，将编码或解码应用于与所述当前块的残差相关的所述输入 数据。

18.  如权利要求17所述的方法，其特征在于，所述最终已估计的视差向量以信号 的形式从编码器被传输到解码器。

19.  如权利要求17所述的方法，其特征在于，于解码器侧，所述最终已估计的视 差向量被隐式地推导。

20.  如权利要求17所述的方法，其特征在于，所述评估函数对应于绝对误差总和 函数。

三维视频编码中残差预测的方法及装置
交叉引用
本发明主张申请于2012年11月14日，序列号为PCT/CN2012/084580，标题为 “Methods for residual prediction with Pseudo Residues in three-dimensional Vid”的PCT 专利申请的优先权。将此PCT专利申请以参考的方式并入本文中。
技术领域
本发明是关于三维(three-dimensional，3D)或多维(multi-dimensional)视频编 码。特别地，本发明是关于使用视图间残差预测(inter-view residual prediction)的视 频编码。
背景技术
三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验 (viewing experience)。各种技术都被开发出来以使三维观看成为可能。其中，多视 图视频(multi-view video)是三维电视应用中的一个关键技术。现有的视频是二维 (two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的 单个视图。然而，多视图视频可以提供动态场景的任意视角，并为观看者提供真实的 感觉。三维视频格式还可包括与对应特征(texture)图片相关的深度图(depth map)。 深度图也必须被编码以呈现出三维视图或多维视图。
在本领域中，已经揭露了各种用于提高三维视频编码的编码效率的技术。也有一 些开发活动对编码技术进行标准化。例如，国际标准化组织(International Organization  for Standardization，ISO)中的ISO/IEC JTC1/SC29/WG11工作组开发了基于三维视频 编码标准的高效视频编码(High Efficiency Video Coding，HEVC)(命名为3D-HEVC)。 为了减少视图间冗余，一种被称为视差补偿预测(Disparity-Compensated Prediction， 以下简称为DCP)的技术被增加到运动补偿预测(Motion-Compensated Prediction， 以下简称为MCP)中，以作为备选的编码工具。如图1所示，MCP是关于使用不同 访问单元(access unit)的相同视图的先前已编码图片的图片间预测(inter picture  prediction)，而DCP是关于使用相同访问单元中其他视图的先前已编码图片的图片间 预测。
对应于特定照相机位置的视频图片以及深度图是由视图标识符(即，图1中所示 的V0、V1以及V2)来表示。所有属于相同照相机位置的视频图片以及深度图都与 相同的视图ID(即，视图标识符)相关。视图标识符被用于指定访问单元内的编码 顺序，并在易出错(error-prone)的环境中检测缺失的视图。其中，在一个访问单元 (例如，访问单元110)中，如果存在视图标识符等于0的视频图片(112)以及相 关的深度图，则其被首先编码。与视图标识符为0相关的视频图片以及深度图被视图 标识符等于1的视频图片(114)以及深度图跟随，接着，是视图标识符等于2的视 频图片(116)以及深度图等。视图标识符等于0的视图(即，图1所示的V0)也被 称作基础视图(base view)或独立视图(independent view)。基础视图不需要任何深 度图以及任何其它的视图的视频图片，而由传统的HEVC视频编码器来独立编码。
如图1所示，当前块的运动向量预测(motion vector predictor，以下简称为MVP) /视差向量预测(Disparity Vector Predictor，以下简称为DVP)可以由视图间图片中 的视图间块(inter-view block)推导得到。在下文中，“视图间图片中视图间块”可以 简称为“视图间块”，且已推导出的候选(derived candidate)被称为视图间候选(即， 视图间MVP/DVP)。此外，邻近视图(neighboring view)中的对应块被称为视图间 配置块(inter-view collocated block)，且视图间配置块是使用来源于当前图片(current  picture)中当前块的深度信息(depth information)的视差向量(disparity vector)来 确定的。例如，视图V2的当前图片116的当前块126正在被处理。位于视图间配置 图片0以及1(即，112以及114)的块122以及块124分别在当前块126的对应位 置。视图间配置图片0以及1(即，112以及114)的对应块132以及134(即，视图 间配置块)可以分别由视差向量142以及144来确定。
于3D-HEVC中，视图间残差预测(inter-view residual prediction，IVRP)被开发 为一种新的编码工具，以便共享参考视图的先前编码残差信息。视图间残差预测的基 本原理如图2所示。视图间残差预测基于来源于当前块(即，预测单元(Prediction Unit， PU))的视差向量(Disparity Vector，DV)。根据3D-HEVC，DV可以来源于当前块 的空间或时域邻近块。备选地，基于运动补偿预测(MCP)的视差衍生技术(disparity  derivation technique)，被称为DV-MCP，还可用于推导估计的DV。在这种情况下， 由MCP编码的块也用于视差衍生处理。当邻近块是MCP已编码块且其运动是由视 图间运动预测来预测，用于视图间运动预测的视差向量表示当前图片以及视图间参考 图片之间的运动关系。这样的块被称作DV-MCP。
图2所示为视图间残差预测的过程。如图2所示，附属视图(例如，视图1，V1) 中的当前图片220的当前PU 222是将要被编码的块。基于已推导出的视差向量的当 前块222到对应块212的映射(mapping)是由虚线箭头240来指示。换句话说，已 推导出的视差向量被用于定位参考视图图片210(即，视图0，V0)中的对应块212。 在当前块222被编码时，参考视图图片210已经被编码。因此，用于参考视图图片 210的残差图片230是可用的。接着，在块212的对应位置的残差块232被用作当前 块222的视图间残差预测(inter-view residual predictor)。
图3所示为视图间残差预测的参考残差块的位置的衍生。像素位置310位于当前 视图的块222中，且块222(即，预测单元，PU)是由其左上角的像素320来识别 (identified)。参考视图V0的对应块212是由对应于当前视图V1的块222的左上角 位置320的参考视图V0的第一定位相应位置330来识别。接着，DV 350被用于定 位在参考视图中的参考块212的对应左上角位置340。因此，参考视图中的参考块212 可被识别。残差图片的对应位置被识别为对应残差块。参考图片的残差块被用作参考 视图中当前块的残差块的预测。如果视差向量指向子样本位置(sub-sample location)， 残差预测信号可通过使用双线性滤波器内插参考视图的残差样本获得。
视图间残差预测的使用可以适应性地受控于PU级别。当所有以下的条件都为真 时，视图间残差预测开/关控制旗标被表示为(signaled)编码单元(coding unit，CU) 语法的一部分：
1.当前CU为附属视图中的特征CU，且当前切片(slice)不是I切片(I-slice)。
2.当前CU具有至少一个使用MCP的PU。
3.被参考视图中的参考块覆盖或部分覆盖的一个或多个转换单元(transform  unit，TU)是非内部编码，且包括至少一个非零已编码块旗标(coded block flag，CBF)。
如果CU的视图间残差预测开/关控制旗标被表示为0或不设置，则用于CU的视 图间残差预测是关闭的。换句话说CU的残差通常是使用HEVC转换编码来被编码。 否则，如果CU的视图间残差预测开/关旗标被表示为1，则根据以下参考图片类型， CU中的每个PU将确定是否使用视图间残差预测：
1.如果PU仅使用MCP，则视图间残差预测对于PU是可用的(enable)。
2.如果PU仅使用DCP，则视图间残差预测对于PU是不可用的(disable)。
3.如果当前PU为双向预测(bi-prediction)，且一个方向是MCP以及另一方向 是DCP，则视图间残差预测是可用的。然而，用于视图间残差预测的参考残差被乘 与1/2。
对于3D-HEVC，一种高级残差预测(advanced residual prediction，ARP)方法 被提出以改进视图间残差预测的效率，其中，当前视图的运动被应用到参考视图的对 应块。此外，附加的权重因子(weighting factor)被用来补偿不同视图之间的品质差 值。图4所示为多视图视频编码中ARP的预测结构。如图4所示，块410表示当前 视图(视图1)的当前块，块420以及块430分别对应于时间Tj的参考视图(视图0) 的当前块410的表示以及于时间Ti来自相同视图(视图1)的当前块410的时域预测。 运动向量450对应于视图1中从块410到块430的运动。因为块410以及块420是两 个不同视图中相同对象的真实投影，这两个块将共享相同的运动信息。因此，可利用 运动信息460以使用块420来确定对应于时间Ti用于块420的视图0的时域预测的 参考块440的位置，运动信息460与运动向量450相同。接着，使用运动信息440 的块的残差(residue)权重因子相乘，并作为块410的当前残差的残差预测来使用。
以下将描述于解码器侧的ARP的主要过程：
1.根据3D-HEVC获取已估计的视差向量，其中，已估计的视差向量指向目标 参考视图。于相同的访问单元中，参考视图的参考图片中的对应块是通过已估计的视 差向量来定位。
2.重使用当前块的运动信息可获得参考视图中参考块的运动信息。基于当前块 的相同的运动向量以及用于参考块的参考视图中已推导出的参考图片使用对应块 (即，参考视图的参考块)的运动补偿来获得用于对应块的残差块。图5所示为当前 块、对应块、以及运动补偿块之间的关系。具有与当前视图Vm的参考图片相同的图 片计数值(Picture Order Count，POC)的参考视图V0的参考图片被选择作为对应 块的参考图片。视差向量516是视图Vm的当前块520的已估计的DV，用于定位参 考视图V0的对应块510。Vm的当前块520具有指向list0 refidx0的运动向量522， 运动向量522可由对应块510重使用。基于当前块520的相同的运动向量(即，522)， 运动补偿被用于对应块510以获得残差块512。
3.将权重因子用于残差块以得到一个加权残差块(weighted residue block)，并 将加权残差块的值增加到预测样本中。
三个权重因子被用于ARP，即，0、0.5以及1。一个用于当前CU的导致最小码 失真成本的被选择作为最终权重因子，且对应权重索引(0、1以及2分别对应于权 重因子0、1以及0.5)于比特流中以CU级别被传输。一个CU内的所有PU预测共 享相同的权重因子。当权重因子等于0，ARP不用于当前CU。
发明内容
揭露了一种三维或多视图视频编码的方法以及装置。该方法首先接收与当前附属 视图的当前图片的当前块相关的输入数据，且根据视差向量确定参考视图的第一视图 间参考图片的视图间参考块，其中，当前图片以及第一视图间参考图片对应于相同时 间点(time instance)或相同访问单元。接着，确定伪残差(pseudo residue)且将伪 残差用于当前块的编码或解码，其中，伪残差对应于当前附属视图中跨时间 (inter-time)参考图片的对应区域以及参考视图中伪参考图片(pseudo reference  picture)的伪参考区域(pseudo reference region)之间的差值，且其中跨时间参考图 片以及伪参考图片对应于相同时间点或相同访问单元。
本发明的一个方面是关于最终残差形成(final residue formation)的配置。于一 个实施例中，第一残差是根据当前块以及视图间参考块之间的第二差值来确定的，通 过预测使用伪残差的第一残差，最终残差从第一残差中产生，且编码或解码被用于最 终残差。在另一实施例中，视图间参考块以及第一伪残差被组合以形成组合预测 (combined predictor)，且通过预测使用组合预测的当前块，最终残差从当前块中产 生。在又一实施例中，通过对组合预测进行修剪(clipping)处理以形成截断后预测 值(clipped predictor)，且通过预测使用截断后预测值的当前块，从当前块中产生最 终残差。在用于当前块的编码或解码之前，伪残差可使用线性函数或非线性函数来处 理。
本发明的另一个方面是关于伪参考区域以及对应区域的确定。基于当前附属视图 中跨时间参考图片的对应区域，参考视图中伪参考图片的伪参考区域可以通过使用 DV来定位。基于当前附属视图中当前图片的当前块，当前附属视图中跨时间参考图 片内的对应区域可以通过使用已估计的运动向量(motion vector，以下简称为MV) 来定位。已估计的MV可以根据当前块的先前已编码的空间以及时域邻近块被推导。 如果与当前块的空间以及时域邻近块相关的候选MV(candidate MV)与当前附属视 图中的跨时间参考图片相关，则候选MV被选择作为已估计的MV。于一个实施例中， 与选择作为已估计的MV的候选MV相关的索引(index)可以传输于视频比特流的 宏区块(Macroblock，MB)级，CU级或PU级(预测单元)。在另一实施例中，与 选择作为已估计的MV的候选MV相关的索引可以于解码器侧被隐式地(implicitly) 确定。
用于切片(slice)、MB、CU或PU的伪残差的使用是启用还是关闭取决于在视 频比特流的对应切片级，MB级、CU级或PU级中传输的指示。隐式地用于切片、 MB、CU或PU的伪残差的使用是启用还是关闭是取决于切片，MB，CU或PU的具 体编码模式。例如，伪残差的使用可以被启用于在合并/跳过模式(Merge/Skip mode) 中编码的切片、MB、CU或PU，或被启用于使用时域方向的视图间合并候选的切片、 MB、CU或PU。此外，其它伪残差可以被使用，其中，其它伪残差的衍生相关于参 考视图中第二视图间参考图片，且第一视图间参考图片以及第二视图间参考图片在不 同的参考图片列表中。
附图说明
图1是基于MCP以及DCP的用于三维视频编码系统的编码结构的示例。
图2是根据3D-HEVC的视图间残差预测的结构的示意图。
图3是根据3D-HEVC的参考残差块的位置衍生的示例。
图4是根据3D-HEVC的ARP的预测结构的示例。
图5是根据3D-HEVC的ARP中当前块、对应块以及运动补偿块之间的关系的 示意图。
图6是残差预测的方框图，其中，当前跨时间残差是根据3D-HEVC使用参考跨 时间残差被预测。
图7是根据本发明实施例的残差预测的方框图，其中，当前视图间残差是使用伪 残差被预测。
图8是在编码器侧的残差构建(residue construction)以及编码过程的示范性方框 图。
图9是在解码器侧的残差重建(residue reconstruction)以及解码过程的示范性方 框图。
图10是在编码器侧的另一种残差构建以及包括截断后预测值以及伪残差的组合 输出的编码过程的示范性方框图。
图11是在解码器侧另一种残差重建以及包括截断后预测值以及伪残差的组合输 出的解码过程的示范性方框图。
图12是当块间(inter block)是指跨时间参考图片以及视图间参考图片两者时， 伪残差被用于预测原始残差的场景示意。
图13是用于由A以及B表示的当前块以及对应区域(corresponding region，CR) 的邻近区域，用于解码器以获得已估计的DV的示意图。
图14是用于由A以及B表示的当前块以及CR的邻近区域，用于解码器以获得 已估计的MV的示意图。
图15是根据本发明实施例的包含基于伪残差的残差预测的系统的示范性流程 图。
具体实施方式
容易理解的是本发明的组件，通常被描述并显示于本发明的附图中，可以被布置 以及设计成多种不同的结构。因此，下文对本发明的系统以及方法的实施例的更细节 的描述，如附图中所表示的，并非意在限制本发明要求保护的的范围，而仅仅是代表 本发明所选择的实施例。
参考本说明书全文的“一个实施例”，“一实施例”，或类似的语言表示一个特定 特征、结构、或特性描述于相关的实施例中，其可以被包含于本发明的至少一个实施 例。因此，出现于本说明书全文各种地方的短语“于一个实施例”或“在一实施例中” 不一定全是指相同的实施例。
此外，所描述的特征、结构、或特性可以在一个或多个实施例中以任何合适的方 式进行组合。然而，本领域技术人员将认识到，本发明在没有一个或多个具体细节， 或具有其他其它方法、部件等情况下可以被实现。于其它实例中，公知的结构或操作 未被示出或做细节上的描述，以避免混淆本发明的方面。
本发明所示的实施例将通过参考附图做最好的理解，其中，全文相同的部分由相 同的数字来指定。下文的描述旨在仅通过示例的方式，以及简单示出与本文要求保护 的发明一致的装置以及方法的某些选择的实施例。
在本公开中，跨时间参考图片(inter-time reference picture)是指与当前图片处于 相同视图中的参考图片，但是参考图片具有不同的POC或对应于当前图片的不同的 时间点(time instance)。图6是3D-HEVC中揭露的视图间残差预测的另一视角，其 中，残差660是使用参考残差670来预测，以形成新的残差680。视图0是指基础视 图，且视图1是指附属视图。视图1中当前图片610的当前块612正在被编码。该过 程描述如下。
1.与视图间参考相关的当前块612的已估计的DV 620被推导出。由对应图片 (Corresponding Picture，CP)630表示的视图间参考位于基础视图中，且具有与视 图1中当前图片相同的POC。根据已估计的DV 620，用于当前图片610中当前块612 的CP中的对应区域(Corresponding Region，CR)632被定位。CR 632中的重建像 素(reconstructed pixel)被表示为S。
2.具有与用于当前块612的参考图片650相同的POC的基础视图的参考对应图 片640被建立。与当前块的MV相同的MV 660被用在CR上，以定位参考对应图片 中的参考对应区域642，其与当前块的相对位移为DV+MV。在另一实施例中，具有 与用于当前图片610的指定参考图片650不同的POC的参考视图中的参考对应图片 640被建立。当前块的MV被缩放到参考对应图片640。已缩放的MV被用在CR上 以定位参考对应图片的参考对应区域642，其与当前块的相对位移为DV+已缩放的 MV。参考对应图片640中的修复图像(reconstructed image)被表示为Q。
3.参考残差RR 670由RR＝S-Q来计算。此处的操作是以取样方式 (sample-wised)进行的，即，RR[j，i]＝S[j，i]-Q[j，i]，其中，RR[j，i]是参考残差 的取样，S[j，i]是S的取样，Q[j，i]是Q的取样，且[j，i]是区域中的相对位置。于 下文的描述中，区域中的操作都是取样方式操作。
4.RR 670将被用来作为当前块的残差预测以产生最终残差680。
本发明的实施例使用伪残差作为用于当前块的残差的预测，其中，当前块被视图 间预测，且具有指向视图间参考图片的视差向量。伪残差可产生以用于与跨时间参考 图片相关的块间(inter block)。视图间参考图片是指参考图片以及当前图片是在不同 视图中但具有相同的POC或对应于相同时间点。图7为根据本发明实施例的跨时间 残差预测过程的示例。视图0是指参考视图，例如基础视图，且视图1是指附属视图。 视图1中当前图片710的当前块712正在被编码。编码过程于下文中做描述。
1.与跨时间参考相关的当前块712的已估计的MV 720被推导出。此跨时间参 考是指视图1中的CP 730。CP中的CR 732被定位以用于使用已估计的MV的当前 块。CR 732中的修复图像(reconstructed image)被表示为S。对应区域可具有与当 前块相同的图像单元结构(例如，宏区块、PU、CU、或TU)。然而，对应区域还可 具有与当前块不同的图像单元结构。对应区域可能会大于或小于当前块。例如，当前 块对应于一个CU而对应块对应于一个PU。
2.具有与视图1中的CP相同的POC的参考视图中的伪参考图片(Pseudo  reference picture，PRP)740被建立。与当前块的DV相同的DV 760被用于CR 732 以定位PRP中的伪参考区域(Pseudo Reference Region，PRR)742，其与当前块的 相对位移为MV+DV。PRR 742中的修复图像被表示为Q。类似地，伪参考区域可具 有与当前块相同的图像单元结构，或与当前块不同的图像单元结构。
3.伪残差PR可通过PR＝S-Q来获得。
4.PR将用于当前块的编码或解码。例如，PR可用作对当前块的伪残差预测， 以形成最终残差。
PR的其他形式，例如：f(PR)，可用于当前块的编码或解码，其中，f可以是 线性或非线性函数。例如，f(PR)可以是由a*PR+b表示的线性函数，其中，系 数a以及b可以被显式地(explicitly)从编码器传输到解码器，或于编码器以及解码 器以相同的方式被隐式地推导出。
伪残差可被产生以用于与多于一个参考图片相关的块间。例如，在双向预测块的 情况下，块可以通过使用分别与来自List₀以及List₁的参考图片R₀以及R₁相关的两 个预测P₀以及P₁来预测。两个预测的平均，即，(P₀+P₁)/2可用作双向预测。伪残 差PR_x可以基于上述伪残差衍生过程被获得，其中，x等于0或1。根据R_x是跨时间 参考图片还是视图间参考图片，其对应的伪残差衍生过程可被使用。接着，用于双向 预测的伪残差PR可以根据PR＝(PR₀+PR₁)/2或PR＝(PR₀+PR₁+1)/2来计算。
伪残差PR可用于预测原始残差OR。最终残差FR可以通过FR＝OR-PR来计算。 如图8所示，于编码器侧，编码过程，例如：转换810，量化820以及熵编码830， 被用于FR，而不是OR。于解码器侧，修复FR被表示为FR’，其于熵解码910，解 量化920以及逆转换930之后获得。接着，修复样本Y可根据Y＝FR’+PR+P来被 计算，其中，P表示如图9所示的预测。
伪残差生成过程的示例旨在用于举例说明。本领域技术人员可以在不背离本发明 精神的情况下改变伪残差生成过程。例如，编码器侧的过程可以修改为如图10所示。 因为FR＝X-P-PR＝X–(P+PR)，没有修剪1010，图10的过程等效于图8的过程，其 中，X对应于原始像素。组合的结果，即(P+PR)，被称为组合预测ComP。如果修 剪1010不被使用，最终残差FR可根据FR＝X-ComP被计算。组合预测，即，ComP 可被修剪到一个范围内，[min_value，max_value]，其中，min_value以及max_value 分别表示原始样本的最小值以及最大值。于解码器侧，ComP以如图11所示的编码 器侧的相同的方式来计算以及修剪。接着，修复样本Y根据Y＝FR’+ComP来计算， 其中，FR’是修复FR。此外，FP的其他形式，例如：f(FP)可以代替原始FP以获 得FR以及Y，其中，f可以是线性或非线性函数。于修剪过程1010之前或之后，此 函数可以应用于FP。例如，f(FP)可以是由a*FP+b表示的线性函数，其中，系数 a以及b可以显式地从编码器传输到解码器，或于编码器以及解码器以相同的方式隐 式地推导出。
如图12所示，当块间与跨时间参考图片以及视图间参考图片两者相关时，会出 现特殊的情况。于此情况下，块间具有与视图间参考图片1220相关的当前DV 1210 以及与跨时间参考图片1240相关的当前MV 1230。因此，当前DV 1210以及当前 MV 1230都可使用于伪残差生成过程，而不是已估计的DV/MV。对于视图间残差的 跨时间预测，伪参考图片以及伪参考区域，即，PRP₀以及PRR₀可以通过当前视图间 参考图片1220以及当前DV 1210获得，而不是通过已估计的DV获得。伪预测路径 由曲线箭头1250指示。在另一方面，对于视图间预测，伪参考图片以及伪参考区域， 即，PRP₁以及PRR₁可以通过当前跨时间参考图片1240以及当前MV 1230获得，而 不是通过已估计的MV获得。伪预测路径由虚线箭头1260指示。明显的，PRP₀以及 PRP₁是相同的图片，因为两者都在相同的基础视图中，如同当前视图间参考图片那 样，以及具有与当前跨时间参考图片相同的POC。此外，PRR₀以及PRR₁对应于相 同的区域，因为它们与当前块的相对位移分别为DV+MV以及MV+DV。因此，PRR 用于指代PRR₀以及PRR₁两者。
于以上情况，最终残差FR可以特殊方式来计算。当前块的原始样本由X表示。 视图间参考区域的修复样本由P来表示。跨时间参考区域中的修复样本由Q来表示。 PRR中的修复样本由S来表示。原始残差是根据X-(P+Q)/2来计算。伪残差是根 据((P-S)+(Q-S))/2来推导。因此，FR可根据X-(P+Q)/2-((P-S)+(Q-S)) /2来计算，其等于X-P-Q+S。根据本发明的一个实施例，于编码器侧，新的预测NP 可通过NP＝P+Q-S来计算，且新的残差FR可通过NFR＝X-NP来计算。在计算FR之 前，NP可被修剪到范围值[min_value，max_value]内，其中，min_value以及max_value 分别表示原始样本的最小值以及最大值。于解码器侧，NP以编码器侧的相同的方式 来计算以及修剪。接着，修复样本Y可通过Y＝FR’+NP来计算，其中，NR’是修复 FR。
有多个评估函数能获得与视图间参考图片相关的已估计的DV以用于视图间残 差预测(例如，如图6所示的残差预测过程)，或与跨时间参考图片相关的已估计的 MV以用于跨时间残差预测(例如，如图7所示的残差预测过程)，包括：
1.对于视图间残差预测，当前块的空间邻近块以及/或时域邻近块逐个地检查， 以确定其是否具有关于视图间参考图片的DV。从邻近块中找到的第一DV用作当前 块的已估计的DV。对于跨时间残差预测，当前块的空间邻近块以及/或时域邻近块被 逐个地检查，以确定其是否具有关于跨时间参考图片的MV。从邻近块中找到的第一 MV用作当前块的已估计的MV。
2.当前块的空间邻近块以及/或时域邻近块逐个地检查，以确定其是否具有关于 视图间/跨时间参考图片的DV/MV。邻近块中的全部或某些DV/MV用作当前块的已 估计的DV/MV的候选。编码器可以显式地传输所选择的候选的索引到解码器，或解 码器可以以与编码器相同的方式隐式地获得所选择的候选。索引可以于宏区块，CU 或PU中传输。
3.编码器可显式地将已估计的DV/MV传输到解码器。已估计的DV/MV可以 于宏区块，CU或PU中传输。因为已估计的DV的垂直分量总是为零，在这种情况 下，已估计的DV的垂直分量就不需要被传输。于上述方法1或方法2中获得的“已 估计的DV”或“已估计的MV”可以用作已推导出的DV/MV的预测。接着，只有 已估计的DV/MV以及预测之间的差值被传输。
4.解码器可以隐式地获得已估计的DV/MV。于上述方法1或方法2中获得的 “已估计的DV”或“已估计的MV”可以用作真实的已估计的DV/MV的衍生的提 示(hint)。
编码器选择已估计的DV的另一方法如下。对于已估计的DV的候选(estimated  DV candidate，EDVC)，其CR可以使用先前描述的方法来定位。S对应于当前块 的原始样本，且R对应于CR中的修复样本。评估函数E(S，R)可以被定义。对于 每个EDVC，其E(S，R)被计算，且具有最小或最大E(S，R)的EDVC被选择 以作为已估计的DV。例如，评估函数E(S，R)可以是被定义为的绝对误差总和(sum-of-absolute-difference，SAD)函数，其中，s_i，j以及r_i，j分别 表示于S以及R中在位置(i，j)的样本。对于每个EDVC，SAD(S，R)被计算， 且具有最小SAD(S，R)的EDVC被选择以作为已估计的DV。EDVC可对应于如 上所述的已估计的DV衍生的方法2中的邻近块。EDVC可对应于如上所述的已估计 的DV衍生的方法3中显式传输的DV。因为已估计的DV的垂直分量总是为零，于 此情况下，已估计的DV的垂直分量不需要被传输。
解码器获得已估计的DV的另一方式如下。对于EDVC，其视图0的参考图片 1340的CR 1310是根据先前所述的当前块1320以及已估计的DV 1330来定位。如 图13所示，用于当前块1320以及CR 1310的相同邻近区域被定位，分别由A1322 以及B 1312表示。只要区域A以及B具有分别相对于当前块和CR的相同的形状， 任何邻近修复样本可包含于(involved in)此区域中。使得S成为A中的修复样本， 且R成为B中的修复样本。评估函数E(S，R)可以被定义。对于每个EDVC，其E (S，R)被计算，且具有最小或最大E(S，R)的EDVC被选择以作为已估计的 DV。例如，评估函数E(S，R)可以是一个被定义为的SAD 函数，其中，s_i，j以及r_i，j分别表示于S以及R中在位置(i，j)的样本。对于每个 EDVC，其SAD(S，R)被计算，且具有最小SAD(S，R)的EDVC被选择以作 为已估计的DV。EDVC可对应于如上所述的已估计的DV衍生的方法2中的邻近块。 EDVC可对应于如上所述的已估计的DV衍生的方法3中显式传输的DV。因为已估 计的DV的垂直分量总是为零，于此情况下，已估计的DV的垂直分量不需要被传输。
有多种方法来确定由已估计的DV来参考的视图间参考图片，包括：
1.所参考的视图间参考图片可以隐式地通过当前块的空间邻近块以及时域邻近 块来确定。EDVC可以参考相同视图间参考图片以作为邻近块。因此，如果此EDVC 被选择以作为已估计的DV，则所参考的视图间参考图片也被选择。
2.所参考的视图间参考图片可以被预先指定。编码器以及解码器可以使用相同 的默认图片，或编码器可以将相关的信息传输到解码器，相关的信息是关于哪一视图 间参考图片被已估计的DV参考。此信息可以并入到序列参数集，视图参数集，图片 参数集，切片标头(Slice header，SH)，宏区块，CU或PU。如果预先指定的视图间 参考图片不同于被邻近块参考的视图间参考图片，与此块相关的已估计的DV或 EDVC必须被缩放为预先指定的视图间参考图片。
编码器选择已估计的MV用于跨时间残差预测的一种可能的方式如下。对于已估 计的MV候选(estimated MV Candidate，EMVC)，CR是根据先前描述的用于当前 块的EMVC来定位。使得S成为当前块中的原始样本，且R成为CR中的修复样本。 评估函数E(S，R)可以被定义。对于每个EMVC，其E(S，R)被计算，且具有 最小或最大E(S，R)的EMVC被选择以作为已估计的MV。例如，评估函数E(S， R)可以是SAD函数，其中，s_i，j以及r_i，j分别表示于S 以及R中在位置(i，j)的样本。对于每个EMVC，其SAD(S，R)被计算，且具 有最小SAD(S，R)的EMVC被选择以作为已估计的MV。对于上述已估计的MV 衍生的方法2，EMVC可以从邻近块获得。对于上述已估计的MV衍生的方法3， EMVC可包含部分或全部已估计的MV。
解码器获得已估计的MV的另一方法被描述如下。对于EMVC，其CR是根据先 前描述的根据当前块的EMVC来定位。如图14所示，相同邻近区域被定位以用于当 前块1420以及由已估计的MV 1430指向的CR 1410，相同邻近区域分别由A1422 以及B 1412表示。任何邻近修复样本包含于此区域中，只要区域A以及B具有分别 相对于当前块和CR的相同的形状。使得S成为A中的修复样本，且R成为B中的 修复样本。评估函数E(S，R)可以被定义。对于每个EMVC，其E(S，R)被计 算，且具有最小或最大E(S，R)的EMVC被选择以作为已估计的MV。例如，评 估函数E(S，R)可以是一个SAD函数，其中，s_i，j以及 r_i，j分别表示于S以及R中在位置(i，j)的样本。对于每个EMVC，其SAD(S，R) 被计算，且具有最小SAD(S，R)的EMVC被选择以作为已估计的MV。对于上述 用于已估计的MV衍生的方法2，EMVC可以从邻近块获取。对于上述用于已估计的 MV衍生的方法3，EMVC可包含部分或全部已估计的MV。根据如上所述的已估计 的MV衍生的方法1至方法3获得的“已估计的MV”可以被用于确定EMVC的范 围。
解码器获得已估计的MV的又一方法被描述如下。对于EMVC，其CR如图7 及相关的文本所描述的被定位。如图14所示，用于当前块以及CR的相同邻近样本 区域被定位，分别表示为A和B。任何邻近修复样本可以包含于此区域中，只要样 本区域A以及B具有分别相对于当前块以及CR相同的形状。使得S成为A中的修 复样本，且R成为B中的修复样本。评估函数E(S，R)可以被定义。对于每个EMVC， 其E(S，R)被计算，且具有最小或最大E(S，R)的EMVC被选择以作为已估 计的MV。例如，评估函数E(S，R)可以是SAD函数，其中，s_i，j以及r_i，j分别表示于S以及R中在位置(i，j)的样本。对于每个EMVC， 其SAD(S，R)被计算，且具有最小SAD(S，R)的EMVC被选择以作为已估计 的MV。对于用于上述已估计的MV衍生的方法2，EMVC可以从邻近块获取。对于 用于上述已估计的MV衍生的方法3，EMVC可包含部分或全部的已估计的MV。根 据如上所述的已估计的MV衍生的方法1至方法3获得的“已估计的MV”可以被用 于确定EMVC的范围。
有多种方法来确定跨时间参考图片，其中，跨时间参考图片是由已估计的MV 来参考。这些方法包括：
1.所参考的跨时间参考图片可以隐式地通过当前块的空间邻近块以及时域邻近 块来确定。EMVC可以参考相同的跨时间参考图片以作为邻近块。因此，如果此EMVC 被选择以作为已估计的MV，则所参考的跨时间参考图片也被选择。
2.所参考的跨时间参考图片可以被预先指定。编码器以及解码器可以接受相同 的默认图片，或编码器可以将相关的信息传输到解码器，相关的信息是关于哪一跨时 间参考被已估计的MV参考。此信息可以在序列参数集、视图参数集、图片参数集、 切片标头、宏区块、CU或PU中。如果预先指定的跨时间参考图片不同于被邻近块 参考的跨时间参考图片，则来自此块的已估计的MV或EMVC必须被缩放为预先指 定的跨时间参考图片。
上述讨论的“样本”可对应于子取样位置(于子像素)以及正像素采样(integer  sample)位置(于整数像素)。子样本可以通过内插获得。此外，“样本”可以是色度 样本以及亮度样本。
于此公开中，上述的区域或块，例如：CR，PRR以及邻近区域(例如，图13以 及图14中的A以及B)，可以被定位于正像素采样位置或子取样位置。如果区域被 定位为子取样位置，它们可以被四舍五入到最接近的正像素采样位置。整数样本可以 被当做此区域的样本，并被用于其后续的程序。
伪残差预测方法可使用或不使用于切片、宏区块、CU或PU中。编码器可以传 输相关的信息到解码器，以指示伪残差预测方法是否会被用于或不用于切片、宏区块、 CU或PU中。在另一实施例中，伪残差预测方法仅可使用于与某些具体编码模式或 编码类型相关的宏区块、CU或PU中。例如，伪残差预测方法常常只用于以合并或 略过模式编码的宏区块、CU或PU。在另一实施例中，伪残差预测方法只用于使用 视图间运动预测以及合并/跳过模式编码的宏区块、CU或PU。
图15为根据实施例本发明的三维或多维视图视频编码系统的示范性流程图。于 步骤1510中，系统接收与当前附属视图中的当前图片的当前块相关的输入数据。输 入数据可对应于未编码或已编码的特征数据，深度数据，或相关的运动信息。输入数 据可从存储器中接收，例如：计算机存储器，缓冲器(RAM或DRAM)或其它媒体。 输入数据还可从处理器中接收，例如：导出输入数据的控制器，中央处理单元，数字 信号处理器或电子电路。于步骤1520中，根据DV，确定参考视图中的第一视图间 参考图片的视图间参考块，其中，当前图片以及第一视图间参考图片具有相同的当 前POC或对应于相同时间点或相同访问单元。于步骤1530中，确定第一伪残差，其 中，第一伪残差对应于当前附属视图中跨时间参考图片中的对应区域以及参考视图中 伪参考图片的伪参考区域之间的第一差值，且其中，跨时间参考图片以及伪参考图片 具有相同的参考POC或对应于相同时间点或相同访问单元。接着，如步骤1540所示， 基于视图间参考块以及第一伪残差，将编码或解码应用于与当前块相关的输入数据。
以上所示的流程图旨在结合本发明的实施例说明三维或多维视图视频编码系统 的示例。在本领域技术人员在不背离本发明精神的情况下可以修改每个步骤，重新排 列步骤，分割步骤，或合并步骤以实施本发明。
以上描述被呈现以使本领域的普通技术人员能够实施如特定应用及其需求的上 下文所提供的本发明。所描述的实施例的各种修改对本领域中技术人员来说是显而易 见的，且本文定义的一般原理可以于其它实施例中被实施。因此，本发明并非旨在限 定描述及所示的特定实施例，而是要符合与本文所揭露的原理及新颖特征相一致的最 宽范围。于以上细节描述中，各种具体细节将被示出，以便提供对本发明的彻底的理 解。然而，本领域技术人员将明白，本发明是可以被实施的。
上述伪残差预测以及DV或MV估计方法可使用于视频编码器以及视频解码器之 间。根据本发明如上所述的伪残差预测方法的实施例可以以各种硬件，软件代码，或 硬件或软件代码的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片的 电路，或集成到视频压缩软件中的程序代码以执行本文描述的过程。发明的实施例还 可以是数字信号处理器中执行的程序代码以执行本文所描述的过程。本发明还可包含 由计算机处理器、数字信号处理器、微处理器、或现场可编程门阵列执行的多个功能。 根据被发明，通过执行由本发明体现的特定方法来定义的机器可读软件代码或固件代 码，这些处理器可以被配置成执行特定任务。软件代码或固件代码可以不同的编程语 言以及不同的格式或风格来开发。软件代码还可被编译以用于不同目标平台。然而， 根据本发明的用于执行任务的软件代码的不同代码格式，风格、以及语言、以及配置 代码的其他方式，将不会背离本发明的精神和范围。
本发明可以以不背离其精神或本质特性的其他特定形式来体现。所描述的示例在 所有的方面都被认为是仅作为说明性的目的，而不作为限制。因此，本发明的范围是 由所附的权利要求而不是前文的描述来指示。所有在权利要求的等效范围和含义内的 改变都被包含在其范围内。