低复杂度空间可缩放编码的方法和设备.pdf

公开了一种视频编码器(300)和方法，所述编码器用于接收高分辨率视频并且提供压缩的高分辨率可缩放和标准分辨率位流，并且包括：标准分辨率编码器(312)；选择器(346)，其与标准分辨率编码器耦合并且用于在指示接收的高分辨率序列的信号和指示所接收序列的标准分辨率版本的信号之间进行选择；以及高分辨率编码器(348)，其耦合于选择器并且用于提供高分辨率可缩放位流。

1.  一种空间可缩放视频编码器(300)，用于接收高分辨率视频序列并且提供高分辨率可缩放位流和标准分辨率位流的每一个，该编码器包括：
标准分辨率编码器(312)，响应接收的序列；
选择器(346)，与标准分辨率编码器(312)进行信号通讯，用于在指示接收的高分辨率序列的信号和指示所接收序列的标准分辨率版本的信号之间进行选择；以及
高分辨率编码器(348)，与选择器进行信号通讯，以提供高分辨率可缩放位流。

2.  根据权利要求1所述的编码器，还包括标准分辨率内部解码器(322)，其与标准分辨率编码器进行信号通讯并且响应接收的序列。

3.  根据权利要求1所述的编码器，其中所述高分辨率编码器是不可缩放的。

4.  根据权利要求1所述的编码器，还包括与标准分辨率编码器进行信号通讯的I片段指示器和I图片指示器之中的至少一个。

5.  根据权利要求1所述的编码器，其中所述标准分辨率编码器是不可缩放的。

6.  根据权利要求2所述的编码器，还包括：
下采样器(310)，与标准分辨率编码器进行信号通讯；和
上采样器(330)，与标准分辨率内部解码器进行信号通讯。

7.  根据权利要求1所述的编码器，还包括标准分辨率帧存储器(314)，其与标准分辨率编码器进行信号通讯。

8.  根据权利要求2所述的编码器，还包括加法单元(342)，其在标准分辨率内部解码器和选择器之间进行信号通讯。

9.  根据权利要求1所述的编码器，还包括高分辨率帧存储器(350)，其与高分辨率编码器进行信号通讯。

10.  根据权利要求2所述的编码器，还包括：
高分辨率帧存储器(350)，其与高分辨率编码器进行信号通讯；和
加法单元(344)，其在标准分辨率内部解码器和高分辨率帧存储器之间进行信号通讯。

11.  一种用于提供空间可缩放编码的视频数据的编码方法，所述方法包括：
接收高分辨率视频图片；
将所接收的图片下采样为标准分辨率；
指示是否将标准分辨率图片编码为I图片；
编码标准分辨率图片；
以编码的标准分辨率位流输出编码的标准分辨率图片；
从编码的标准分辨率位流中解码编码的标准分辨率I图片；
上采样解码的标准分辨率I图片；
从接收的高分辨率视频图片中减去上采样的解码的标准分辨率I图片以形成差异图片；
响应于I图片的指示在所接收的高分辨率视频图片和所述差异图片之间进行选择；和
高分辨率编码所选择的图片。

12.  根据权利要求11所述的编码方法，还包括：
如果其没有被指示为I图片则存储高分辨率视频图片；
将上采样的I图片和差异图片相加以形成高分辨率I图片；
存储高分辨率I图片；和
如果其没有被指示为I图片，则获取至少一个存储的图片以便高分辨率编码该选择的图片。

低复杂度空间可缩放编码的方法和设备
相关申请的交叉参考
本申请要求于2003年6月19日提交的、标题为“低复杂度空间可缩放编码和解码的方法和设备”的美国临时专利申请No.60/479,734的权益，在此通过引用整体结合于此。
技术领域
本发明涉及一种视频编码器和解码器(CODEC)，更具体地说，涉及用于空间可缩放编码和解码的设备和方法。
背景技术
广播视频服务提供者现在使用MPEG-2来发送标准清晰度(“SD”)的视频节目。在将来，可以预见向使用JVT/H.264/MPEGAVC(“JVT”)标准的高清晰度(“HD”)的转变。MPEG-2SD节目和相同节目的JVD HD版本两者的同时联播需要比如果使用可缩放的方法更多的带宽。但是，可缩放的编码器和解码器比不可缩放的编码器和解码器在计算上要复杂得多。
在MPEG-2和MPEG-4标准的可缩放性框架内已经广泛研究和标准化了可缩放性的许多不同方法，包括SNR可缩放性、空间可缩放性、时间可缩放性、和细粒度可缩放性。但是因为实施可缩放的编码器和解码器的复杂性显著增加，所以在实际中还没有广泛采用可缩放的编码。
空间可缩放编码器和解码器通常需要高分辨率可缩放编码器/解码器在不可缩放高分辨率编码器/解码器中应该具有的功能的基础上提供附加的功能。在MPEG-2空间可缩放编码器中，决定是根据标准分辨率还是高分辨率参考图片来进行预测。MPEG-2空间可缩放解码器能够根据标准分辨率图片或者高分辨率图片来进行预测。MPEG-2空间可缩放编码器/解码器使用两组参考图片存储，一个用于标准分辨率图片而另一个用于高分辨率图片。
因此，所需要的是能够在有限带宽连接上支持相同节目的SD和HD版本两者的、降低复杂度的空间可缩放编码器/解码器。
发明内容
本发明的低复杂度空间可缩放编码的方法和设备解决了现有技术中的这些和其他的缺点和不利问题。
用于接收高分辨率视频并且提供压缩的高分辨率可缩放和标准分辨率位流的编码器包括：标准分辨率编码器(312)；选择器(346)，与标准分辨率编码器耦合，用于在指示接收的高分辨率序列的信号和指示所接收序列的标准分辨率版本的信号之间进行选择；以及高分辨率编码器(348)，与选择器进行耦合，以提供高分辨率可缩放位流。
通过结合附图来阅读示例实施方式的下面详细描述，本发明的这些和其他方面、特点和优点将变得明显。
附图说明
结合下面示例附图将更好的理解本发明，其中：
图1示出了相对高复杂度空间可缩放编码器的框图；
图2示出了相对高复杂度空间可缩放解码器的框图；
图3示出了根据本发明原理的低复杂度空间可缩放编码器的框图；和
图4示出了根据本发明原理的低复杂度空间可缩放解码器的框图。
具体实施方式
现在所公开的本发明的实施方式提供了一种用于低复杂度、总体成本低、空间可缩放编码和解码的方法和设备。在下面的描述中，虽然方法和设备实施方式可以仅仅进行编码、解码、或编码和解码两者，但是为了简明的目的还是将编码器和解码器共同称为CODEC。
根据本发明的原理，低复杂度空间可缩放CODEC使用非可缩放编码器和/或解码器块。可以在这里和/或在附图中使用术语“正常”以指示与特定的可缩放元件相反的总体上不可缩放的元件和/或高复杂度特点，而不应该被特别理解为必须是传统的元件和/或特点。
在本发明的示例实施方式中，使用空间可缩放性技术可缩放地编码内部编码(intra-coded)的(I)图片，而对非内部编码的(P和B)图片进行非缩放编码。将高分辨率输入图像下采样(down-sample)以形成标准分辨率图像，并且使用非可缩放编码器/解码器将标准分辨率图像进行编码和解码。将解码的图像上采样(up-sample)，然后将其从输入的高分辨率图像中减去。然后使用非可缩放编码器将高分辨率图像和上采样的标准分辨率图像之间的差进行编码。在解码器端，使用非可缩放解码器仅仅将I编码的标准分辨率图片进行解码，然后将它们上采样并且加入到解码的高分辨率差信号中，以形成高分辨率输出图片。将非I编码的高分辨率图片进行不可缩放解码。
因此，在本发明的示例实施方式中，仅仅对于内部编码的图片或片段执行空间可缩放编码/解码，而对于非内部编码的图片或片段执行不可缩放的编码/解码。比较于内部编码的(I)图片，可缩放地编码提供显著的编码高效优点，但是对于相互编码的(inter-coded)(B和P)图片则不十分有利。通过仅仅在内部编码的图片中使用可缩放性技术可以显著地降低空间可缩放编码器和解码器的复杂度，同时保持大部分编码高效优点。
根据本发明的原理，不需要具有可缩放性的视频编码器和解码器。相反地，结合附加功能块，可以在这个系统中使用不可缩放的高分辨率编码器和解码器。标准分辨率和高分辨率编码器和解码器可以符合诸如MPEG-2、MPEG-4或H.264的任何视频压缩标准。例如，标准分辨率编码器和解码器可以是符合标准MPEG-2的基本配置(Main Profile)，而高分辨率编码器和解码器可以是符合标准的H.264编码器和解码器。如本领域的普通技术人员所显见的，还可以考虑其他组合。
本说明书解释了本发明的原理。应该理解虽然没有在这里明确描述或示出，但是本领域的普通技术人员能够做出实施本发明的原理并且包括在本发明的精神和范围内的各种设计。
在这里所述的所有例子和条件语言是为了说明的目的以帮助读者理解本发明的原理和由发明者提出的、用于改进现有技术的概念，不应该将这些具体引用的例子和条件语言理解为对于本发明的限制。
而且，在这里说明本发明的原理、方面和实施方式的所有陈述，以及其具体例子都试图包括其结构和功能的等效物。此外，这种等效物还试图包括已知的等效物以及在将来开发的等效物，即不论结构、被开发用来执行相同功能的任何元件。
因此，例如，本领域的普通技术人员应该理解在这里所示出的框图表示体现本发明原理的说明性电路的概念图。类似地，应该理解任何流程图、程序框图、状态转变图、伪代码等都代表可以实质上在计算机可读介质中表示的、从而可被计算机或处理器执行的各种处理，不论是否明确地示出了这种计算机和处理器。
可以通过使用专用硬件以及能够结合适当的软件来执行软件的硬件来提供在附图中示出的各种元件的功能。当由处理器提供时，可以由单个专用处理器，由单个共享处理器，或由多个独立的、其中的一些可以被共享的处理器来提供所述功能。而且，不应该将术语“处理器”或“控制器”的明确使用理解为排他地表示能够执行软件的硬件，而应该隐含地、没有限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)、和非易失存储器。
还可以包括其他传统的和/或顾客的硬件。类似地，在附图中所示的任何切换仅仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的互动、或者甚至人工的、由实施者选择的根据本文更加具体地理解的特别技术来执行它们的功能。
在其权利要求中，被表示作为用于执行具体功能的装置的任何元件都试图涵盖执行该功能的任何方式，包括，例如，a)执行该功能的电路元件的组合，b)与适当的电路结合用于执行软件以执行功能的任何形式的软件，因此包括固件、微代码等。由这种权利要求所限定的本发明基于下面的事实，即以权利要求所宣称的方式将通过各种所引用的装置所提供的功能进行组合并且合并在一起。因此申请人将能够提供那些功能的任何装置都视为对于这里所示的那些的等效物。
如图1所示，由参考标记100总体指示支持两层的标准复杂性空间可缩放编码器。编码器100包括用于接收高分辨率输入视频序列的下采样器110。将下采样器110以信号通讯耦合于标准分辨率不可缩放编码器112，其随后以信号通讯耦合于标准分辨率帧存储器114。标准分辨率不可缩放编码器112输出标准分辨率位流，并且还以信号通讯耦合于标准分辨率不可缩放解码器120。
标准分辨率不可缩放解码器120以信号通讯耦合于上采样器130，其随后以信号通讯耦合于可缩放高分辨率编码器140。可缩放高分辨率编码器140还接收高分辨率输入视频序列，并且以信号通讯耦合于高分辨率帧存储器150，并且输出高分辨率可缩放位流。
因此，高分辨率输入视频序列由标准复杂性编码器100接收并且被下采样以创建标准分辨率视频序列。使用不可缩放标准分辨率视频压缩编码器来编码标准分辨率视频序列，从而创建标准分辨率位流。使用不可缩放标准分辨率视频压缩解码器来解码标准分辨率位流。(可以在解码器内部来执行这种功能)。将解码的标准分辨率序列进行上采样，并且提供作为到可缩放高分辨率编码器的两个输入之一。可缩放高分辨率编码器编码视频以创建高分辨率可缩放位流。
转到图2，以参考标记200总体指示支持两层的标准复杂度空间可缩放解码器。空间可缩放解码器200包括用于接收标准分辨率位流的标准分辨率解码器260，其以信号通讯耦合于标准分辨率帧存储器262，并且输出标准分辨率视频序列。标准分辨率解码器260还以信号通讯耦合于上采样器270，其随后以信号通讯耦合于可缩放高分辨率解码器280。
可缩放高分辨率解码器280还以信号通讯耦合于高分辨率帧存储器290。可缩放高分辨率解码器280接收高分辨率可缩放位流并且输出高分辨率视频序列。
因此，标准复杂度解码器200接收高分辨率可缩放位流和标准分辨率位流两者。使用利用标准分辨率帧存储器的不可缩放标准分辨率视频压缩解码器来解码标准分辨率位流。将解码的标准分辨率视频上采样，然后输入到高分辨率可缩放解码器。高分辨率可缩放解码器使用一组高分辨率帧存储器，并且创建高分辨率输出视频序列。
如图3中所示，由参考标记300总体指示支持两层的低复杂度空间可缩放编码器。编码器300包括用于接收高分辨率输入视频序列的下采样器310。下采样器310以信号通讯耦合于标准分辨率不可缩放编码器312，其随后以信号通讯耦合于标准分辨率帧存储器314。标准分辨率不可缩放编码器312输出标准分辨率位流，并且还以信号通讯耦合于标准分辨率不可缩放内部解码器322。
标准分辨率不可以缩放内部解码器322以信号通讯耦合于上采样器330，其随后以信号通讯耦合于第二加法单元344的非反向输入端和第一加法单元342的反向输入端的每一个。第一加法单元342具有用于接收高分辨率输入视频序列的非反向输入端，并且具有以信号通讯耦合于选择器346的输出端。选择器346也具有用于接收高分辨率输入视频序列的输入端，以及用于从标准分辨率不可缩放编码器312接收I-片段/I-图片指示符的第三输入端。选择器346以信号通讯耦合于不可缩放高分辨率编码器348。不可缩放高分辨率编码器348用于输出高分辨率可缩放位流，并且以信号通讯耦合于加法单元344的非反向输入端。不可缩放高分辨率编码器348还以信号通讯耦合于帧存储器350。帧存储器350以信号通讯耦合于加法单元344的输出端。
因此，低复杂度空间可缩放编码器实施方式300接收高分辨率输入视频序列。将该序列下采样以创建标准分辨率视频序列。使用不可缩放标准分辨率编码器编码标准分辨率视频序列，从而创建标准分辨率位流。使用不可缩放标准分辨率解码器将内部编码(I)图片进行解码。或者，可以作为在解码器自身内的辅助功能来执行这个功能。将解码的标准分辨率I图片进行上采样，并且从输入视频图片中减去。可选择性地将偏移(例如-128)添加到所述差中，从而将象素值维持在[0，255]的范围内。然后将这些差异图片输入到不可缩放高分辨率视频压缩编码器。在存储到高分辨率帧存储器中之前，将上采样的标准分辨率解码的I图片和可选择偏移添加到高分辨率编码的差异信号中。这允许在随后的P和B图片的不可缩放编码中使用正确的参考图片。对于非I图片(P和B)，将输入视频序列图片输入到不可缩放高分辨率视频编码器，并且进行不可缩放编码。
转到图4，由参考标记400总体地指示支持两层的低复杂度空间可缩放解码器。低复杂度空间可缩放解码器400包括I图片检测器/选择器464用于接收标准分辨率位流，其以信号通讯耦合于标准分辨率内部解码器466。标准分辨率内部解码器466。以信号通讯耦合于上采样器470，其随后以信号通讯耦合于加法单元484的第一非反向输入端。标准分辨率内部解码器466还以信号通讯耦合于选择器486的第一输入端，以提供内部编码指示符给选择器486。
低复杂度空间可缩放解码器400还包括用于接收高分辨率可缩放位流的不可缩放高分辨率解码器482。高分辨率解码器482以信号通讯耦合于加法单元484的第二非反向输入端、选择器486的第二输入端、以及高分辨率帧存储器490的每一个。加法单元484具有以信号通讯耦合于选择器486的第三输入端的输出端。选择器486输出高分辨率视频序列，并且以信号通讯耦合于高分辨率帧存储器490。
因此，低复杂度空间可缩放解码器实施方式400包括I图片选择器/检测器，其搜索接收的标准分辨率位流并且去除所有非I图片编码的数据。其可以通过在位流中搜索图片开始代码并且从图片头部解码图片编码类型来识别I图片。然后不可缩放标准分辨率内部解码器解码I图片数据。这种只用于内部的解码器比完全视频压缩解码器的复杂度低得多，并且不需要标准分辨率参考帧存储器。将解码的标准分辨率内部图片进行上采样。
将高分辨率可缩放位流输入到不可缩放高分辨率解码器。对于非I图片，将其输出选择作为输出高分辨率视频序列。对于I图片，将高分辨率解码的输出添加到上采样的标准分辨率解码的I图片中，其被选择用来形成输出高分辨率视频序列。对于可缩放I图片，将输出高分辨率视频图片存储在参考帧存储器，而不是不可缩放高分辨率解码器的输出端。
虽然在框图中作为分开的块示出了不可缩放高分辨率解码器和标准分辨率内部解码器，但是可以使用单个多功能解码器来执行两种功能。因为内解码通常比相互解码要简单得多，所以如果使用通用处理器，则在执行高分辨率相互图片解码所需要的相同时间段期间，可以将该处理器用来执行标准分辨率内部图片解码和高分辨率内部图片解码。
在H.264视频编码标准中，可以使用不同预测类型来编码在相同图片中的独立片段。例如，图片可包含I片段和P片段两者。如果在本发明中将H.264用于高分辨率和标准分辨率编码，则在需要将与上采样的标准分辨率图片的I片段对应的宏块也编码作为I片段的条件下，可对I片段而不是I图片执行可缩放性。在这种实施方式中，I图片检测器/选择器会变成I片段检测器/选择器。
如果在标准分辨率层中使用要求利用相同预测类型将在相同图片中的所有片段进行编码的MPEG-2或其他编码标准，并且在高分辨率层使用H.264，则是否应用可缩放性的选择依赖于在标准分辨率层中所使用的图片编码类型。即使对应的MPEG-2标准分辨率层不是I图片，还可以在高分辨率H.264层中编码I片段，但是不应用可缩放性。
可以将本领域的普通技术人员公知的各种方法用于上采样器和下采样器功能，所述方法包括双向线性内插(bi-linear interpolation)、或多抽头内插(multi-tap interpolation)和抽选滤波器(decimation filter)。
高分辨率视频序列图片可以包含不由标准分辨率视频序列图片表示的数据，例如如果高分辨率图片具有16∶9的宽高比而标准分辨率图片具有4∶3的宽高比。在这种情况中，对于那些与在标准分辨率图片中出现的象素不对应的象素，可以将上采样功能设置为值零。
根据这里的示教本领域的普通技术人员能够容易地判明本发明的这些和其他特点和优点。应该理解可以用各种形式的硬件、软件、固件、特殊目的处理器、或它们的组合来实现本发明的原理。
最好，将本发明的原理实现为硬件和软件的组合。而且，最好将软件实现为明确体现在程序存储单元中的应用程序。该应用程序可以被上载到包括任何适当结构的机器中并且由其执行。最好，将该机器在计算机平台上实现，该平台具有诸如一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)、和输入/输出(“I/O”)接口的硬件。所述计算机平台还可以包括操作系统和微指令代码。在这里所述的各种处理和功能可以或者是微指令代码的一部分或者是应用程序的一部分，或者是它们的任何组合，它们都可由CPU来执行。此外，可以将诸如附加数据存储单元和打印单元的各种外围设备单元连接到所述计算机平台。
还应该理解，因为在附图中所描述的某些构成系统元件和方法最好用软件来实现，所以在系统元件之间的实际连接或处理功能块可以根据本发明被编程的方式而不同。根据这里的示教，本领域的普通技术人员能够设想这些或类似的实施方式或本发明的结构。
虽然已经参照附图描述了说明性实施方式，但是应该理解本发明并不限于这些确切的实施方式，在不偏离本发明的精神或范围的情况下，本领域的普通技术人员可对其进行各种改动和修改。所有的这种改动和修改都应该包括在如所附权利要求所述的本发明的范围内。