编解码方法
技术领域
本发明有关于三维(three-dimensional,3D)视频编码，且尤其有关于采用与并置(collocated)纹理块(texture block)的纹理分割(texture partition)有关的信息的深度分割(depth partition)。
背景技术
3D视频编码被开发以用于对多个相机捕捉到的多个视图(view)的视频数据进行编码或解码。由于所有相机捕捉相同的场景(scene)获取纹理数据和深度数据，同一视图中纹理数据和深度数据之间会有大量冗余。根据高效视频编码(High Efficiency Video Coding,HEVC)标准，编码进程应用于每个块(block)，这些块被称为编码单元(Coding Unit,CU)，且每个CU要进行预测进程。每个CU可被分为一个或多个预测单元(Prediction Unit,PU)，且如帧内(intra)或帧间(inter)预测的预测进程应用于每个PU。为了减少冗余，根据当前的基于HEVC的3D视频编码(3D video coding based on HEVC,3D-HEVC)标准，可采用纹理分割依赖的(texture-partition-dependent)深度分割，对与一并置纹理CU在同一四叉树层次(quad-tree level)并置的当前深度块进行处理。
为了简化纹理分割依赖的深度分割，可对基于四叉树的深度分割加以限制，即限定深度分割的四叉树的深度不能深于纹理分割的四叉树的深度。若没有上述限定，深度分割可能会需要太多编码时间，并造成BD-rate((Bjontcgaard-Delta)-rate)的增加，其中BD-rate表示视频编码中常用的率失真性能测量。图1示出了根据传统方法的纹理分割依赖的深度编码，其中2Nx2N的纹理PU可被分割为2Nx2N、2NxN、Nx2N或NxN PU。然而如图1所示，当纹理PU被分割为2Nx2N、Nx2N或2NxN块时，对应的深度分割尺寸总是为2Nx2N。
在早期的HEVC发展中，四叉树分割总是对称的，后来非对称运动分割(Asymmetric Motion Partition,AMP)被引入到HEVC中。如图2所示，AMP 分割包括2NxnU、2NxnD、nLx2N以及nRx2N。根据传统的3D-HEVC，当纹理PU被分割为NxN块时，当前的纹理分割依赖的深度分割允许深度块被分割成图2中所示的任何被允许的候选深度分割。然而，对其他所有纹理块尺寸来说，2Nx2N分割均是唯一的候选深度分割。
传统的纹理分割依赖的深度分割存在一些问题。首先，原始方法是在HEVC采用AMP进行运动分割之前产生的，因此，如图2所示，纹理分割分布和深度分割分布之间看起来是歪斜的，一个纹理分割(即NxN)被允许有整个候选深度分割集合，而剩下的纹理分割只被允许有唯一候选深度分割(即2Nx2N)。此外，对于除NxN之外的所有纹理分割尺寸来说，候选深度分割(即唯一的2Nx2N候选深度分割)如此有限，可能会降低深度数据的编码效率，并对已编码的深度数据的质量有负面影响。而且，如视图合成预测(ViewSynthesis Prediction,VSP)这样的依赖于重建深度数据的编码工具也可能会受到影响，造成图片质量降低。因此，需要开发一种改进的纹理分割依赖的深度分割方法，来克服上述问题。
发明内容
有鉴于此，本发明提供一种编解码方法，用于在三维视频编码系统中对深度块进行编解码，该编解码方法包括：接收与当前深度块有关的输入数据；确定该当前深度块的并置纹理块；根据与该并置纹理块有关的当前纹理分割所属的对应的组，从对应的候选深度分割集合中为该当前深度块选择当前深度分割，其中该并置纹理块的可用纹理分割被划分成两组或更多组，每组确定一个候选深度分割集合，其中至少一个候选深度分割集合包括多于1少于所有候选深度分割的数目的候选深度分割，或者当该纹理分割被划分成两组时，其中一组包括NxN纹理分割和至少一另一纹理分割；根据该当前深度分割，将该当前深度块分割成一个或多个深度子块；以及对该一个或多个深度子块进行编码或解码。
本发明另提供一种电子装置，用于在三维视频编码系统中对深度块进行编解码，该电子装置包括一个或多个电子电路，用来：接收与当前深度块有关的输入数据；确定该当前深度块的并置纹理块；根据与该并置纹理块有关的当前纹理分割所属的对应的组，从对应的候选深度分割集合中为该当前深 度块选择当前深度分割，其中该并置纹理块的可用纹理分割被划分成两组或更多组，每组确定一个候选深度分割集合，其中至少一个候选深度分割集合包括多于1少于所有候选深度分割的数目的候选深度分割，或者当该纹理分割被划分成两组时，其中一组包括NxN纹理分割和至少一另一纹理分割；根据该当前深度分割，将该当前深度块分割成一个或多个深度子块；以及对该一个或多个深度子块进行编码或解码。
通过利用本发明，可改进系统性能。
如下详述本发明的最佳实施例。阅读完以下描述和附图后，熟习此项技艺者可轻易理解本发明的精神。
附图说明
图1是根据传统方法的纹理分割依赖的深度分割的示意图。
图2是根据传统方法的纹理分割依赖的深度分割的示意图，其中分割包括AMP。
图3是根据本发明一实施例的改进的纹理分割依赖的深度分割的示意图。
图4是根据本发明另一实施例的改进的纹理分割依赖的深度分割的示意图。
图5是根据本发明一实施例的改进的纹理分割依赖的深度分割的流程图。
具体实施方式
在本专利说明书及权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本专利说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及请求项当中所提及的“包含”或“包括”为开放式的用语，故应解释成“包含但不限定于”。另外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或透过其他装置或连接手段间接地电气连接至该第二装置。
以下将描述本发明的较佳实施例，但只是用于说明的目的，并无意图限 制本发明。本发明的保护范围当视之前的权利要求书所界定为准。
为了克服传统纹理分割依赖的深度分割存在的问题，本发明提出一种改进的深度分割方法，增加非NxN纹理分割对应的允许的候选深度分割以及/或者增加提供纹理分割依赖的纹理分割组的数目。
根据一实施例，当并置纹理CU通过非NxN分割预测时，深度块被允许采用更多的深度分割。举例来说，当并置纹理块被分割成NxN时，深度块被允许采用所有8个候选深度分割，本发明的一实施例允许并置纹理块被分割成其他尺寸时深度块也可采用所有8个候选深度分割。其他纹理分割尺寸可对应于AMP中的尺寸，即如图3所示的2NxnU、2NxnD、nLx2N以及nRx2N。如图3所示，当并置纹理块被分割为2Nx2N、2NxN或Nx2N时，只允许有一个候选深度分割，即2Nx2N。图3中所示的示范例描述了本发明的一个实施例，其中与并置纹理块有关的可用纹理分割被划分为两组。第一组包括NxN和所有的AMP分割(即2NxnU、2NxnD、nLx2N以及nRx2N)，第二组包括2Nx2N、2NxN和Nx2N纹理分割。与属于第一组的并置纹理块有关的深度块所被允许的深度分割包括所有8个候选深度分割。与属于第二组的并置纹理块有关的深度块所被允许的深度分割只包括1个深度分割(即2Nx2N)。当然，可采用比2组更多的组来划分并置纹理块的纹理分割。
当NxN和AMP纹理分割被分配到第一组，而剩余的纹理分割被分配到第二组时，也可采用其他的分割分类。此外，当第一组被允许采用所有8个候选深度分割而第二组只被允许采用2Nx2N深度分割时，也可采用其他候选深度分割集合来实现本发明。换句话说，本发明的实施例可采用包含多于1个少于8个的候选深度分割的候选深度分割集合。根据本发明的一实施例，可根据纹理分割方向将纹理分割划分为不同的组。在另一实施例中，可根据分割方向形成候选深度分割集合。举例来说，一组可仅包括垂直纹理分割或仅包括水平纹理分割。而且，一垂直/水平候选深度分割集合可用于对应的组。此外，可将一个或多个附加深度分割(如2Nx2N)加入到垂直/水平候选深度分割集合中。举例来说，如图4所示，当并置纹理块采用垂直分割(即Nx2N、nRx2N以及nLx2N)预测时，用于深度分割的候选深度分割包括2Nx2N和垂直深度分割(即Nx2N、nRx2N以及nLx2N)。而当并置纹理块采用水平分割(即2NxN、2NxnU以及2NxnD)，用于深度分割的候选深度分割包括2Nx2N和水平深度分 割(即2NxN、2NxnU以及2NxnD)。如图4所示，并置纹理块的2Nx2N和NxN分割被个自划分为单独的一组。2Nx2N和NxN分割的候选深度分割集合与传统的纹理分割依赖的深度分割相同。对应地，图4中的示范例包括与并置纹理块的可用纹理分割有关的4组。
当前深度块的候选深度分割集合可根据并置纹理块的四叉树层次形成。基于传统3D-HEVC的方法依赖同一四叉树层次中并置纹理块的纹理分割，而本发明的实施例也可依赖其他四叉树层次中并置纹理块的纹理分割。
图3和图4所示的包含本发明实施例的示范例意图说明示范性纹理分割组以及候选深度分割集合。本发明并不限于此。也可采用其他纹理分割组以及候选深度分割集合来实现本发明。举例来说，纹理分割组可包括一个或多个AMP纹理分割。当并置纹理块的纹理分割对应AMP分割时，候选深度分割集合可包括所有的候选深度分割。一个或多个候选深度分割可从候选深度分割集合中移除。举例来说，NxN分割以及/或者AMP分割可从候选深度分割集合中移除。在另一示范例中，2Nx2N分割以及/或者AMP分割可从候选深度分割集合中移除。在另一实施例中，纹理分割组可包括一个或多个非对称纹理运动分割，其中第一组的候选深度分割集合对应于第一集合或第二集合，其中第一集合包括所有的候选深度分割；第二集合包括除NxN候选深度分割以及/或者所有的候选非对称候选深度运动分割之外的所有的候选深度分割。在另一实施例中，第一组的候选深度分割集合对应于第一集合或第二集合，其中该第一集合包括对应的候选深度分割和2Nx2N候选深度分割；该第二集合包括该对应的候选深度分割、2Nx2N候选深度分割、Nx2N候选深度分割和2NxN候选深度分割，其中该对应的候选深度分割对应于与该并置纹理块有关的该当前纹理分割。
在一实施例中，纹理分割组可包括一个或多个被分割成两部分的纹理分割(如2NxN、Nx2N或AMP分割)。当并置纹理块的纹理分割对应被分割成两部分的纹理分割时，候选深度分割集合可包括所有的候选深度分割。一个或多个候选深度分割可从候选深度分割集合中移除。举例来说，NxN分割以及/或者AMP分割可从候选深度分割集合中移除。在另一示范例中，2Nx2N分割以及/或者AMP分割可从候选深度分割集合中移除。
在一实施例中，纹理分割组可包括一个或多个沿着相同方向分割的纹理 分割。当并置纹理块的纹理分割属于该组时，候选深度分割集合可包括对应的候选深度分割和2Nx2N候选深度分割。对应的候选深度分割对应于与并置纹理块有关的当前纹理分割。此外，当并置纹理块采用水平纹理分割时，第一组的候选深度分割集合对应第一集合或第二集合。第一集合包括2Nx2N候选深度分割和所有水平候选深度分割，第二集合包括2Nx2N候选深度分割和除了并置纹理块采用水平纹理分割时的候选非对称深度运动分割之外的所有水平候选深度分割。当并置纹理块采用垂直纹理分割时，第一集合包括2Nx2N候选深度分割和所有垂直候选深度分割，第二集合包括2Nx2N候选深度分割和除了并置纹理块采用垂直纹理分割时的候选非对称深度运动分割之外的所有垂直候选深度分割。
在一实施例中，当并置纹理块采用垂直纹理分割时，当前深度块的候选深度分割集合对应第一集合、第二集合或第三集合。第一集合包括一个或多个垂直候选深度分割，第二集合包括上述一个或多个垂直候选深度分割以及2Nx2N候选深度分割，第三集合包括上述一个或多个垂直候选深度分割以及NxN候选深度分割。
在一实施例中，当并置纹理块采用水平纹理分割时，当前深度块的候选深度分割集合对应第一集合、第二集合或第三集合。第一集合包括一个或多个水平候选深度分割，第二集合包括上述一个或多个水平候选深度分割以及2Nx2N候选深度分割，第三集合包括上述一个或多个水平候选深度分割以及NxN候选深度分割。
在一实施例中，候选深度分割集合采用二值化(binarization)进程进行编码。至少一个候选深度分割集合中的候选深度分割可根据顺序被二值化，其中顺序与该候选深度分割集合的每个候选深度分割有关。举例来说，候选深度分割集合可对应于{2Nx2N,2NxN,2NxnU,2NxnD}，对应的二值化集合从包括{1,01,000,001}、{1,00,010,011}、{1,01,001,000}、{1,00,011,010}、{0,11,100,101}、{0,10,110,111}、{0,11,101,100}以及{0,10,111,110}的二值化组中选择出来。
接下来将包含本发明实施例的系统性能与传统系统的性能相比较。包含本发明实施例的系统采用如图4所示的改进的纹理分割依赖的深度分割，传统系统基于HEVC中的3D视频编码的测试模型第9版本(Test Model of 3D video coding based on HEVC,version 9.0,HTM-9.0)。表1描述了为HTM定义的常见测试条件(Common Test Condition,CTC)下进行的性能比较。性能比较基于第一列所列出的不同测试数据集合，通过视图1(视频1)和视图2(视频2)可显示纹理图片的BD-rate的区别。BD-rate为负值表示本发明具有更好的性能。如表1所示，与传统HTM-9.0相比，视图1和视图2的BD-rate测量大致相同或得以轻微改进。具有视频比特率的已编码视频峰值信噪比(Peak Signal to Noise Ratio,PSNR)、具有总比特率(纹理比特率和深度比特率)的已编码视频PSNR和具有总比特率的合成视频PSNR的BD-rate测量也被进行比较。具有总比特率的合成视频PSNR的BD-rate降低了0.2％。处理时间(编码时间、解码时间和渲染时间)均有一些改进(1-2％)。
表1
![]()
图5是根据本发明一实施例的3D视频编码系统采用改进的纹理分割依赖的深度分割的示范性流程图。如步骤510所示，3D视频编码系统接收与当前深度块有关的输入数据。对于编码来说，输入数据对应于需被编码的深度数据。对于解码来说，输入数据对应于需被解码的已编码深度数据。输入数据可从存储器(如计算机内存、缓冲器(RAM或DRAM))或其他媒介)或处理器中获取。在步骤520中，确定当前深度块的并置纹理块。在步骤530中，根据与并置纹理块有关的当前纹理分割所属的对应的组，从对应的候选深度分割集合中为当前深度块选择当前深度分割。并置纹理块的可用纹理分割被划分成 两组或更多组，每个组确定一个候选深度分割集合。至少一个候选深度分割集合包括多于1少于所有候选深度分割的数目的候选深度分割，或当纹理分割被划分成两组时，其中一组包括NxN纹理分割和至少一另一纹理分割。在步骤540中，根据当前深度分割，将当前深度块分割成一个或多个深度子块。在步骤550中，对上述一个或多个深度子块进行编码或解码。
上述流程图意图说明根据本发明的改进的纹理分割依赖的深度分割的示范例，本领域技术人员可在不脱离本发明的精神的前提下，修改每个步骤，重新安排上述步骤，拆分某步骤，或组合某些步骤，以实现本发明。
本发明一实施例提供一种电子装置，用于在三维视频编码系统中对深度块进行编解码，该电子装置包括一个或多个电子电路，用来：接收与当前深度块有关的输入数据；确定该当前深度块的并置纹理块；根据与该并置纹理块有关的当前纹理分割所属的对应的组，从对应的候选深度分割集合中为该当前深度块选择当前深度分割，其中该并置纹理块的可用纹理分割被划分成两组或更多组，每组确定一个候选深度分割集合，其中至少一个候选深度分割集合包括多于1少于所有候选深度分割的数目的候选深度分割，或者当该纹理分割被划分成两组时，其中一组包括NxN纹理分割和至少一另一纹理分割；根据该当前深度分割将该当前深度块分割成一个或多个深度子块；以及对该一个或多个深度子块进行编码或解码。
上面的描述可允许本领域技术人员根据特定应用及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的，并且可将上述定义的基本原则应用于其他实施例。因此，本发明不局限于所述的特定实施例，而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中，为了提供对本发明的彻底理解，描述了各种特定细节。此外，本领域技术人员可以理解本发明是可实施的。
上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成到视频压缩芯片的电路或集成到视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数字信号处理器(Digital Signal Processor,DSP)中执行的执行上述处理的程序代码。本发明也可涉及计算机处理器、DSP、微处理器或现场可程序设计门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处 理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式，也可为了不同的目标平台编解软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
虽然本发明已就较佳实施例及其优势揭露如上，本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。本发明的保护范围当视之前的权利要求书所界定为准。