用于图像上采样的方法和系统
相关引用
本申请要求2005年3月18日提交的、发明人为Shijun Sun、标题为“Extended spatial scalability with picture-level adaptation”的美国临时专利申请No.60/663,161的优先权；本申请还要求2005年5月20日提交的、发明人为Shijun Sun、标题为“Direct interpolationfor up-sampling in extended spatial scalability”的美国临时专利申请No.60/683,060的优先权；本申请还要求2005年6月1日提交的、发明人为Shi jun Sun、标题为“Deblocking filter method withreduced complexity for spatial scalable video coding”的美国临时专利申请No.60/686,676的优先权。
技术领域
本发明的实施例包括用于图像上采样的方法和系统。本发明的一些实施例包括用于空间可缩放视频编码的图像上采样的方法和系统。
背景技术
H.264/MPEG-4 AVC[Joint Video Team of ITU-T VCEG and ISO/IECMPEG，“Advanced Video Coding(AVC)-4th Edition，”ITU-T Rec.H.264and ISO/IEC 14496-10(MPEG4-Part 10)，January 2005]是使用宏块预测、之后为了压缩效率而进行残余编码以减小图像序列的时间和空间冗余的视频编解码规范，将其在此引入作为参考。空间可缩放性是指这样的功能：比特流的部分可以被去除，同时维持任意支持的空间分辨率上的比率失真性能。单层H.264/MPEG-4 AVC不支持空间可缩放性。H.264/MPEG-4 AVC的可缩放视频编码(SVC)扩展支持空间可缩放性。
在此引入作为参考的H.264/MPEG-4 AVC的SVC扩展[联合可缩放视频模型(JSVM)的工作文件1.0(WD-1.0)(MPEG Doc.N6901)]是一种分层的视频编解码方案，其中通过层间预测机制来探寻空间层之间的冗余。H.264/MPEG-4 AVC的SVC扩展的设计中包含有三种层间预测技术：层间运动预测、层间残余预测以及层间内部纹理预测。
之前，SVC仅提出了二元空间可缩放性。二元空间可缩放性是指这样的配置：两个连续空间层之间的图像尺度比是2的幂。已经提出了被称作具有剪切窗的非二元缩放的新工具，这些新工具管理如下配置：连续空间层之间的图像尺寸比不是2的幂，而且更高级的图像包含相应的更低级图像中不存在的区域。
所有的层间预测方法都包括图像上采样。图像上采样是从较低分辨率图像中产生较高分辨率图像的过程。一些图像上采样过程包括采样内插。SVC设计中使用的先前的上采样过程基于H.264中针对内部预测而规定的四分之一luma采样内插过程。当应用于空间可缩放编码时，先前的方法具有如下两个缺点：内插分辨率被限制为四分之一采样，因而不支持非二元缩放；以及需要半采样内插以获得四分之一采样位置，这使得该方法在计算上是麻烦的。期望一种克服这些限制的图像上采样过程。
发明内容
本发明的实施例包括通过直接内插而实现的图像上采样，所述直接内插使用根据待内插的像素位置的相位而选择的滤波器系数。
考虑下文结合附图对本发明的详细描述，本发明的上述和其他目的、特征和有点将会更加易于理解。
附图说明
图1是示出增强层与底层之间的几何关系的示意图；
图2是示出增强层与底层中的采样的相对位置的示意图；
图3是本发明实施例的包括两个方向上的内插滤波的流程图；
图4是示出增强层与底层中的宏块之间的关系的示意图；以及
图5是示出增强层与底层中的宏块之间的关系的示意图。
具体实施方式
通过参考附图，本发明的实施例可以得到最佳的理解，其中相似的部分由相似的数字来表示。上文列出的图明确地被引入作为这个详细描述的一部分。
容易理解的是，附图中大体描述并示出的本发明的组件可以按照各种不同的配置来布置和设计。因此，下面对本发明的方法和系统的实施例的详细描述不意欲限制本发明的范围，而仅仅代表本发明目前的优选实施例。
本发明实施例中的组件可以以硬件、固件和/或软件来实现。虽然这里揭示的典型实施例可能仅描述了这些形式之一，然而可以理解的是，本领域的技术人员能够以这些形式中的任意形式来实现这些元件，同时仍落入本发明的范围。
为了这个说明书和权利要求，术语“图像(picture)”可以包括像素的阵列、数字图像、数字图像的细分、数字图像的数据通道或图像数据的另一种表示。图1示出了与图画图像(image picture)相对应的两个图像：较低空间图像10，也被称作基础空间图像或底层图像；以及较高空间图像100，也被称作增强空间图像或增强层图像。如图1所示，基础空间图像10可能具有比增强空间图像100更低的空间分辨率。如图1所示，基础空间图像10和增强空间图像100可能不包括相同的空间区域。图1中所示的是与从增强空间图像100中剪切的空间区域110相对应的基础空间图像10。
在本发明的一些实施例中，基础空间图像和增强空间图像可以和可缩放视频编码器/解码器(编解码器)中的两个空间层相对应。
增强空间图像100的宽度101和增强空间图像100的高度102可以分别表示为we和he。基础空间图像10的宽度11和高度12可以分别表示为wb和hb。基础空间图像10可以是位于增强空间图像坐标(xorig，yorig)103处的增强空间图像100的子区域110的子采样形式。位置103表示剪切窗110左上角的位置。子区域110的宽度111和高度112可以分别表示为wex和hex。参数(xorig，yorig，wex，hex，wb，hb)定义了较高空间图像100和较低空间图像10之间的关系。
图像上采样可以是指从较低空间分辨率图像中产生较高空间分辨率图像。在一些实施例中，上采样可以是指：在不限于空间尺度或时间尺度的任意尺度上增大分辨率。图2示出了较高空间分辨率图像200中的像素位置220。在图2中，像素位置220具有在较低空间分辨率图像20中的相应位置22。位置220可以和较低空间分辨率图像20中的像素位置直接对齐，或不与较低空间分辨率图像20中的像素位置直接对齐。在图2中，所示的位置22位于4个底层像素21、23、24和25之间。
本发明的一些实施例包括方法和系统，用于对于给定基础空间图像20，对增强空间图像200的像素进行直接内插，其中尺度比不限于2的幂。本发明的一些实施例包括对基础空间图像20的整个图像进行上采样。本发明的其他实施例包括逐块地对基础空间图像20进行上采样。本发明的一些实施例包括在一个方向上进行上采样，之后在另一个方向上进行上采样。
对于以整数采样为单位的增强空间图像中的采样位置(x，y)，以![]()
采样为单位的基础空间图像中的相应位置(px，L(x)，py，L(y))可由下式给出：
p x , L ( x ) = [ ( x - x orig ) · w b · R L + R L 2 ( w b - w ex ) ] / w ex p y , L ( y ) = [ ( y - y orig ) · h b · R L + R L 2 ( h b - h ex ) ] / h ex ]]>
其中参数(xorig，yorig，wex，hex，wb，hb)定义了较高空间图像100和较低空间图像10之间的关系，如图1所示，而且RL是内插分辨率。一些实施例包括十六分之一采样分辨率内插，而且在该实施例中RL是16。
在一些实施例中，基础空间图像10中的相应位置(px，L(x)，py，L(y))可以由下式给出：
p x , L ( x ) = [ ( x - x orig ) · w b · R L + R L 2 ( w b - w ex ) ] / / w ex p y , L ( y ) = [ ( y - y orig ) · h b · R L + R L 2 ( h b - h ex ) ] / / h ex ]]>
其中，如上所述，参数(xorig，yorig，wex，hex，wb，hb)定义了较高空间图像100和较低空间图像10之间的关系，如图1所示，RL是内插分辨率，而且“//”包括计算上简化的除法运算。采样位置可以不限于2的幂，而且采样位置的直接计算允许对该采样位置上的图像值进行直接内插。
在一些实施例中，对增强空间图像中的采样位置(x，y)上的增强层图像值进行内插包括滤波过程。该滤波过程还可以包括从查找表中确定内插滤波器系数，其中查找表内的索引可以与(px，L(x)，py，L(y))确定的内插位置有关。
在一些实施例中，内插滤波器可以是4抽头滤波器。在一些实施例中，内插滤波器可以是6抽头滤波器。在一些实施例中，滤波器系数可以从二瓣(two-lobed)或三瓣Lanczos加窗sinc函数中导出。
表1和表2包括16相位6抽头内插滤波器的典型内插滤波器系数查找表，其中相位与(px，L(x)，py，L(y))确定的内插位置相对应。
表1
![]()
表2
![]()
表3包括16相位4抽头内插滤波器的内插滤波器系数查找表，其中相位与(px，L(x)，py，L(y))确定的内插位置相对应。
表3
![]()
图3示出了本发明的一些实施例。x和y方向上的内插可以分别在单独的过程300和30中完成。在一些实施例中，每一个过程可以在图像的宏块或另一个细分中执行。在其他实施例中，每一个过程可以在整个图像内执行。
在301处，对于增强层31中的采样位置，即增强层像素的位置，可以确定底层32中的相应位置。在302和303处，根据增强层像素位置31的相应底层像素位置32，可以分别确定底层中采样在每一个方向上与整数底层像素位置的偏移或相位(即y位置相位33和x位置相位34)。可以以内插分辨率为单位来确定偏移或相位。例如，对于十六分之一内插分辨率，相位0可以和与底层像素位置无偏移相对应。相位8可以和在一个尺度上落在底层像素位置中间的增强层像素相对应。
内插滤波器系数可以由查找表来确定，其中当在y方向上内插时y位置的相位33可以是索引，或者当在x方向上内插时x位置的相位34可以是索引。对于给定的方向，位置内插中心是底层中可以对其位置相位进行测量的像素位置。在本发明的一些实施例中，位置内插中心是被定为滤波器中心的像素位置。
图4示出了与图1所示相同的几何图形，宏块发生了覆盖。增强空间层100中的典型宏块可以由140表示。基础空间层10中的典型宏块可以由40表示。增强空间层100中的宏块142可以整个处于剪切区域110中。增强空间层100中的宏块144可以整个处于剪切区域110之外。增强空间层100中的宏块146一部分在剪切区域110内，一部分在剪切区域110之外。
图5示出了上采样后的基础空间层50的宏块覆盖在增强空间层100上的典型情况。虚线表示上采样后的基础空间层宏块。块51是从基础空间层上采样后的典型宏块。增强空间层100中的一些宏块，例如块52，不具有与基础空间层相对应的块。增强空间层100中的其他宏块具有一个至若干个相应的基础空间层宏块。增强空间层100中的块53具有基础空间层中的一个相应的块54。增强空间层100中的块55具有基础空间层中的4个相应的块，即基础空间层块56、57、58和59。
在以下步骤中描述与H.264/MPEG-4AVC的SVC扩展相兼容的内插过程的典型实施例：
针对增强图像中的宏块的左上1uma采样，定义位置(xP，yP)。当chroma_format_idc不等于0时，即存在色度通道时，针对相同宏块的左上色度采样，定义位置(xC，yC)。
使用如下公式导出luma底层图像中的luma宏块的相对位置(px，L，py，L)：
xB = p x , L ( xP ) > > 4 yB = p y , L ( yP ) > > 4 ]]>
xB 1 = ( p x , L ( xP + 15 ) + 15 ) > > 4 yB 1 = ( p y , L ( yP + 15 ) + 15 ) > > 4 ]]>
其中
p x , L ( x ) = [ ( x - x orig ) · w b · R L + R L 2 ( w b - w ex ) ] / / w ex p y , L ( y ) = [ ( y - y orig ) · h b · R L + R L 2 ( h b - h ex ) ] / / h ex ]]>
如上文所述，RL＝16。当chroma_format_idc不等于0时，使用如下公式导出色度底层图像中色度宏块的相对位置(px，C，pyCL)
xCB = p x , C ( xC ) > > 4 yCB = p y , C ( yC ) > > 4 ]]>
xCB 1 = ( p x , C ( xC + MbWidthC - 1 ) + 15 ) > > 4 yCB 1 = ( p y , C ( yC + MbHeightC - 1 ) + 15 ) > > 4 ]]>
其中MbWidthC和MbHeightC分别表示水平和垂直方向上每宏块(MB)的色度采样个数。给定在增强图像中以单色度采样为单位的色度采样位置(xc，yc)，其在基础图像中以基础图像的十六分之一色度采样为单位的相应位置(px，c，py，c)可以根据如下而导出：
p x , c ( x c ) = [ ( x c - x orig , c ) · w b , c · R C + R C 4 ( 2 + p enh , x ) w b , c - R C 4 ( 2 + p base , x ) w ex , c ] / / w ex , c p y , c ( y c ) = [ ( y c - y orig , c ) · h b , c · R C + R C 4 ( 2 + p enh , y ) h b , c - R C 4 ( 2 + p base , y ) h ex , c ] / / h ex , c ]]>
其中RC＝16，(xorig，c，yorig，c)表示剪切窗的左上角在当前图像中的位置，其单位是当前图像的单色度采样；(wb，c，hb，c)是基础图像的分辨率，其单位是基础图像的单色度采样；(wex，c，hex，c)是剪切窗的分辨率，其单位是当前图像的单色度采样；(pbase，x，pbase，y)表示基础图像的相对色度相移，其单位是基础图像的四分之一色度采样；而(penh，x，penh，y)表示当前图像的相对色度相移，其单位是当前图像的四分之一色度采样。
纹理内插过程：预测
这个过程的输入包括：
●基础图像中的整数luma采样位置(xB，yB)和(xB1，yB1)，
●基础图像的luma采样阵列baseL[x，y]，x＝-2+xB...(xB1+2)以及y＝-2+yB...(yB1+2)，
●当chroma_format_idc不等于0时，
○基础图像中的整数色度采样位置(xCB，yCB)以及(xCB1，yCB1)，
○基础图像的两个色度采样阵列baseCb[x，y]和baseCr[x，y]，x＝-2+xCB...(xCB1+2)以及y＝-2+yCB...(yCB1+2)。
这个过程的输出包括：
●luma采样宏块阵列predL[x，y]，x＝0...15且y＝0...15，
●当chroma_format_idc不等于0时，两个色度采样宏块阵列predCb[x，y]和predCr[x，y]，x＝0...MbWidthC-1且y＝0...MbHeightC-1。
按照如下导出x＝0...15且y＝0...15时的luma采样predL[x，y]。
●使x＝-2+xB...(xB1+2)且y＝0...15的tempL[x，y]成为临时luma采样阵列。
●按照如下导出x＝-2+xB...(xB1+2)且y＝0...15的每一个tempL[x，y]：
○按照如下导出底层中相应的分数采样(fractionalsample)位置yf：
yf＝py，L(y+yP)。
○设yInt和yFrac被定义为：
yInt＝(yf>>4)且
yFrac＝yf％16。
○使用yFrac作为相位从表1中选择j＝-2...3的6抽头滤波器e[j]，并导出tempL[x，y]为：
tempL[x，y]＝
baseL[x，yInt-2]*e[-2]+baseL[x，yInt-1]*e[-1]+baseL[x，yInt*e[0]+
baseL[x，yInt+1]*e[1]+baseL[x，yInt+2]*e[2]+baseL[x，yInt+3]*e[3].
●按照如下导出x＝0...15且y＝0...15的每一个采样predL[x，y]：
○按照如下导出底层中相应的分数采样位置x：
xf＝px，L(x+xP)。
○设xInt和xFrac被定义为：
xInt＝(xf>>4)且
xFrac＝xf％16。
○使用yFrac作为相位从表1中选择j＝-2...3的6抽头滤波器e[j]，并导出predL[x，y]为：
predL[x，y]＝Clip1Y((
tempL[xInt-2，y]*e[-2]+tempL[xInt-1，y]*e[1]+tempL[xInt，y]*e[0]+
tempL[xInt+1，y]*e[1]+tempL[xInt+2，y]*e[2]+tempL[xInt+3，y]*e[3]
+
512)/1024)，
其中CliplY(x)＝min(max(0，x)，(1<<BitDepthY)-1)
BitDepthY表示luma通道数据的比特深度。
当chroma_format_idc不等于0时，按照如下导出色度采样predC[x，y](C表示每一个Cb和Cr)，x＝0...MbWidthC-1且y＝0...MbHeightC-1。
●设tmp1Cb[x，y]和tmp1Cr[x，y]为临时色度采样阵列，x＝-2+xCB...(xCB1+2)且y＝0...MbHeightC-1。
●按照如下导出每一个tempC[x，y]，C作为Cb和Cr，x＝-2+xCB...(xCB1+2)，且y＝0...MbHeightC-1：
○按照如下导出底层中相应的分数采样位置yfC：
yfC＝py，C(y+yC)。
○设yIntC和yFracC被定义为：
yIntC＝(yfC>>4)且
yFracC＝yfC％16。
○使用yFracC作为相位从表1中选择j＝-2...3的6抽头滤波器e[j]，并导出tempC[x，y]为：
tempC[x，y]＝
baseC[x，yIntC-2]*e[-2]+baseC[x，yIntC-1]*e[-1]+baseC[x，yIntC]*e[0]
+
baseC[x，yIntC+1]*e[1]+baseC[x，yIntC+2]*e[2]+
baseC[x，yIntC+3]*e[3].
●按照以下导出每一个采样predC[x，y]，其中C作为Cb和Cr，x＝0...MbWidthC-1且y＝0...MbHeightC-1：
○按照如下导出底层中相应的分数采样位置xfC：
xfC＝px，C(x+xC)。
○设xIntC和xFracC被定义为
xIntC＝(xfC>>4)且
xFracC＝xfC％16。
○使用xFracC作为相位从表1中选择j＝-2...3的6抽头滤波器e[j]，并导出predC[x，y]为：
predC[x，y]＝Clip1C((
tempC[xIntC-2，y]*e[-2]+tempC[xIntC-1，y]*e[-1]+tempC[xIntC，y]*e[
0]+tempC[xIntC+1，y]*e[1]+tempC[xIntC+2，y]*e[2]+
tempC[xIntC+3，y]*e[3]+512)/1024)，
其中Clip1C(x)＝min(max(0，x)，(1<<BitDepthC)-1)，BitDepthC表示色度通道数据的比特深度。
纹理内插过程：残余
这个过程的输入包括：
●基础图像basePic中的整数luma采样位置(xB，yB)和(xB1，yB1)，
●luma残余采样阵列resBaseL[x，y]，x＝-xB...xB1且y＝yB...yB1，
●当chroma_format_idc不等于0时，
○基础图像basePic中的整数色度采样位置(xCB，yCB)和(xCB1，yCB1)，
○两个色度残余采样阵列resBaseCb[x，y]和resBaseCr[x，y]，其中
x＝xCB...xCB1且y＝yCB...yCB1。
这个过程的输出包括：
●luma采样阵列resPredL[x，y]，其中x＝0...15且y＝0...15。
●当chroma_format_idc不等于0时，两个色度采样阵列resPredCb[x，y]和resPredCr[x，y]，其中x＝0...MbWidthC-1且y＝0...MbHeightC-1。
按照如下导出luma残余采样resPredL[x，y]，x＝0...15且y＝0...15。
●使tempL[x，y]成为临时luma采样阵列，x＝xB...xB1且y＝0...15。
●按照如下导出每一个tempL[x，y]，x＝xB...xB1且y＝0...15：
○按照如下导出底层的相应分数采样位置yf：
yf＝py，L(y+yP)。
○设yInt和yFrac被定义为：
yInt＝(yf>>4)且
yFrac＝yf％16。
○导出tempL[x，y]为：
tempL[x，y]＝resBaseL[x，yInt]*(16-yFrac)+resBaseL[x，yInt+1]*yFrac.
●按照如下导出每一个残余采样resPredL[x，y]，x＝0...15且y＝0...15：
○按照如下导出底层中的相应分数采样位置xf：
xf＝px，L(x+xP)。
○设xInt和xFrac被定义为：
xInt＝(xf>>4)且
xFrac＝xf％16。
○导出resPredL[x，y]为：
resPredL[x，y]＝
(tempL[xInt，y]*(16-xFrac)+tempL[xInt+1，y]*xFrac)/256.
当chroma_format_idc不等于0时，按照如下导出色度残余采样resPredC[x，y](C为Cb或Cr)，x＝0...MbWidthC-1且y＝0...MbHeightC-1。
●使tmp1Cb[x，y]和tmp1Cr[x，y]成为临时色度采样阵列，x＝xCB...xCB1且y＝0...MbHeightC-1。
●按照如下导出每一个tempC[x，y]，C作为Cb和Cr，x＝-xCB...xCB1且y＝0...MbHeightC-1：
○按照如下导出底层中相应的分数采样位置yfC：
yfC＝py，C(y+yC)。
○设yIntC和yFracC被定义为：
yIntC＝(yfC>>4)且
yFracC＝yfC％16。
○导出tempc[x，y]为：
tempc[x，y]＝
resBaseC[x，yIntC]*(16-yFracC)+resBaseC[x，yIntC+1]*yFracC.
●按照以下导出每一个采样resPredC[x，y]，其中C作为Cb和Cr，x＝0...MbWidthC-1且y＝0...MbHeightC-1：
○按照如下导出底层中相应的分数采样位置xfC：
xfC＝px，C(x+xC)。
○设xIntC和xFracC被定义为
xIntC＝(xfC>>4)且
xFracC＝xfC％16。
○导出resPredC[x，y]为
resPredC[x，y]＝
(tempC[xIntC，y]*(16-xFracC)+tempC[xIntC+1，y]*xFracC)/256.
上文描述中使用的术语和表达仅用作描述性而非限制性术语，而且不打算在这些术语和表达的使用中排除所示和所述特征或其部分的等同物，可以理解的是，本发明的范围仅由所附权利要求来定义和限定。