用于色彩图像的视频编码/解码装置和方法.pdf

提供一种用于色彩图像的视频编码/解码装置和方法。第一运动预测单元基于输入图像的第一运动预测结果，为输入图像产生第一预测剩余图像。图像信息检测单元将R-G-B图像的色彩分量中的预定色彩分量设置为参考色彩分量，并确定输入图像是Y-Cb-Cr图像还是R-G-B图像，确定输入图像的色彩分量是否为参考色彩分量。如果输入图像是R-G-B图像并且如果输入图像的色彩分量不是参考色彩分量，则第二运动预测单元基于参考色彩分量，对第一预测剩余图像执行运动预测并且产生第二预测剩余图像，由此根据该色彩信息执行最佳编码/解码。

1.  一种包含在解码器或编码器中的运动补偿装置，包括：
图像信息检测器，检测输入图像的色彩信息；
滤波器抽头选择器，基于输入图像的色彩信息，选择用于补偿的滤波器抽头的长度；
内插器，使用具有所选长度的滤波器抽头内插输入图像；和
运动补偿器，为内插结果执行运动补偿。

2.  根据权利要求1的运动补偿装置，其中图像信息检测器确定输入图像是Y-Cb-Cr图像还是R-G-B图像，并且确定输入图像的色彩分量是否为Y分量。

3.  根据权利要求1的运动补偿装置，其中，如果输入图像是R-G-B图像或者输入图像的色彩分量是Y分量，则滤波器抽头选择器选择6抽头滤波器，如果输入图像的色彩分量是Y-Cb-Cr图像的Cb或Cr分量，则选择2抽头滤波器。

4.  一种由编码器或解码器执行的运动补偿方法，包括：
检测输入图像的色彩信息；
基于输入图像的色彩信息，选择用于内插的滤波器抽头的长度；
使用具有所选长度的滤波器抽头内插输入图像；和
为内插结果执行运动补偿。

5.  根据权利要求4的运动补偿方法，其中检测输入图像的色彩信息包括：
确定输入图像是Y-Cb-Cr图像还是R-G-B图像，并且确定输入图像的色彩分量是否为Y分量。

6.  根据权利要求4的运动补偿方法，其中选择滤波器抽头的长度包括：
如果输入图像是R-G-B图像或者输入图像的色彩分量是Y分量，则选择6滤波器抽头，如果输入图像的色彩分量是Y-Cb-Cr图像的Cb或Cr分量，则选择2抽头滤波器。

7.  一种包含在解码器或编码器中的运动补偿装置，包括：
图像信息检测器，检测输入图像的分辨率和色彩信息；
滤波器抽头选择器，基于输入图像的分辨率信息和色彩信息，选择用于内插的滤波器抽头的长度；
内插器，使用具有所选长度的滤波器抽头内插输入图像；和
运动补偿器，为内插结果执行运动补偿。

8.  根据权利要求7的运动补偿装置，其中图像信息检测器确定输入图像是否为高分辨率图像，确定输入图像是Y-Cb-Cr图像还是R-G-B图像，并且确定输入图像的色彩分量是否为Y分量。

9.  根据权利要求7的运动补偿装置，其中，如果输入图像是高分辨率图像或者输入图像的色彩分量是Y分量，则滤波器抽头选择器选择2抽头滤波器，如果输入图像是低分辨率图像，或者输入图像是R-G-B图像，或者输入图像的色彩分量是Cb或Cr分量，则选择6抽头滤波器。

10.  一种由解码器或编码器执行的运动补偿方法，包括：
检测输入图像的分辨率信息和色彩信息；
基于输入图像的分辨率信息和色彩信息，选择用于内插的滤波器抽头的长度；
使用具有所选长度的滤波器抽头内插输入图像；和
为内插结果执行运动补偿。

11.  根据权利要求10的运动补偿方法，其中检测图像信息包括：
确定输入图像是否为高分辨率图像，确定输入图像是Y-Cb-Cr图像还是R-G-B图像，并且确定输入图像的色彩分量是否为Y分量。

12.  根据权利要求10的运动补偿方法，选择滤波器抽头的长度包括：
如果输入图像是高分辨率图像或者输入图像的色彩分量是Y分量，则选择2抽头滤波器，如果输入图像是低分辨率图像，或者输入图像是R-G-B图像，或者输入图像的色彩分量是Cb或Cr分量，则选择6抽头滤波器。

用于色彩图像的视频编码/解码装置和方法
本申请为申请日为2004年7月16日、申请号为200410068405.5、发明名称为“用于色彩图像的视频编码/解码装置和方法”的申请案的分案申请。
技术领域
本发明涉及一种用于色彩图像的视频编码/解码装置，特别是，涉及一种基于色彩图像的色彩信息和分辨率信息执行运动补偿的装置和方法。
背景技术
传统的视频压缩方法将R-G-B图像格式的图像转换为适于压缩的Y-Cb-Cr图像格式的图像，以便获得高压缩率。同时，传统的视频压缩方法将色度(Cb，Cr)分量大小减少到1/4，并且编码Cb和Cr分量，以便增加压缩效率。但是，传统的视频压缩方法不适于要求高质量图像恢复的应用。这是因为Cb和Cr分量的二次抽样产生能量损失，当R-G-B分量转换为Y-Cb-Cr分量时产生相应的质量损失。为了减少这些损失，有必要以与Y分量相同的分辨率编码Cb和Cr分量。
同时，为了编码Y-Cb-Cr分量时获得更好的质量，有必要通过直接编码R-G-B分量减少图像的质量损失。但是，传统的视频压缩方法使用传统的Y-Cb-Cr编码器编码R-G-B分量，而不使用R-G-B色彩分量中不同于Y-Cb-Cr分量的特性。上述传统的视频压缩方法的一个示例是ISO/IEC MPEG和ITU-TVCEG的联合视频组开发的AVC/H.264标准。
但是，由于R-G-B分量和Y-Cb-Cr分量的图像特性不同，如果用传统的Y-Cb-Cr编码器编码R-G-B分量，编码效率很低。例如，Y-Cb-Cr图像的各个分量(Y，Cb，Cr)在相同的区域内不相关，而R-G-B图像的各个分量(R，G，B)则相关。
同样，R-G-B图像的R，G，B分量具有相似的频率特性，但是，在Y-Cb-Cr图像中，由于R-G-B图像转换为Y-Cb-Cr图像时执行的处理，作为亮度分量的Y分量与作为色度分量的Cb和Cr分量频率特性不同。同样，传统的视频压缩方法没有将R-G-B图像和Y-Cb-Cr图像的特性正确反应到编码中。同时，传统的视频压缩方法没有在编码时依照图像大小考虑频率特性的改变。
发明内容
本发明提供了一种使用平面间预测增强R-G-B图像的编码/解码效率的视频编码/解码装置和方法。
本发明还提供了一种根据视频编码/解码的色彩信息和分辨率信息执行有效运动补偿的运动补偿装置和方法。
本发明还提供了一种根据视频编码/解码的色彩信息和分辨率信息有效减少块效率的解块滤波器和解块滤波方法。
根据本发明的一个方面，提供了一种视频编码装置，包括：第一运动预测单元，基于输入图像的第一运动预测结果，为输入图像产生第一预测剩余(residue)图像；图像信息检测单元，在R-G-B图像的色彩分量中设置参考色彩分量，确定输入图像是Y-Cb-Cr图像还是R-G-B图像，并确定输入图像的色彩分量是否为参考色彩分量；和第二运动预测单元，如果输入图像是R-G-B图像并且如果输入图像的色彩分量不是参考色彩分量，则基于参考色彩分量，对第一预测剩余图像执行运动预测并且产生第二预测剩余图像，生成第二预测剩余图像。
根据本发明的另一个方面，提供了一种由编码器执行的视频编码方法，包括：基于输入图像的第一运动预测结果，为输入图像产生第一预测剩余图像；在R-G-B图像的色彩分量中设置参考色彩分量，确定输入图像是Y-Cb-Cr图像还是R-G-B图像，确定输入图像的色彩分量是否为参考色彩分量；如果输入图像是R-G-B图像并且如果输入图像的色彩分量不是参考色彩分量，基于参考色彩分量，对第一预测剩余图像执行运动预测并且产生第二预测剩余图像。
根据本发明的另一个方面，提供了一种视频解码装置，包括：第一恢复单元，对编码图像执行预定操作，并且产生编码图像的第一预测剩余图像；图像信息检测单元，确定编码图像是R-G-B图像还是Y-Cb-Cr图像，并且确定编码图像的色彩分量是否为R-G-B图像的参考色彩分量；第二恢复单元，如果编码图像是R-G-B图像并且如果编码图像的色彩分量不是参考色彩分量，基于参考色彩分量产生编码图像的第二预测剩余图像；解块滤波器单元，减少影响基于第一预测剩余图像和第二预测剩余图像恢复的编码图像的解码图像的块影响。
根据本发明的另一个方面，提供了一种视频解码方法，包括：对编码图像执行预定操作，并且产生编码图像的第一预测剩余图像；确定编码图像是R-G-B图像还是Y-Cb-Cr图像，并且确定编码图像的色彩分量是否为R-G-B图像的参考色彩分量；如果编码图像是R-G-B图像并且如果编码图像的色彩分量不是参考色彩分量，基于参考色彩分量产生编码图像的第二预测剩余图像；减少影响基于第一预测剩余图像和第二预测剩余图像恢复的编码图像的解码图像的块影响。
根据本发明的另一个方面，提供了一种包含在解码器或编码器中的运动补偿装置，包括：图像信息检测器，检测输入图像的色彩信息；滤波器抽头选择器，基于输入图像的色彩信息，选择用于补偿的滤波器抽头的长度；内插器，使用具有所选长度的滤波器抽头内插输入图像；和运动补偿器，为内插结果执行运动补偿。
根据本发明的另一个方面，提供了一种由编码器或解码器执行的运动补偿方法，包括：检测输入图像的色彩信息；基于输入图像的色彩信息，选择用于内插的滤波器抽头的长度；使用具有所选长度的滤波器抽头内插输入图像；为内插结果执行运动补偿。
根据本发明的另一个方面，提供了一种包含在解码器或编码器中的运动补偿装置，包括：图像信息检测器，检测输入图像的分辨率和色彩信息；滤波器抽头选择器，基于输入图像的分辨率信息和色彩信息，选择用于内插的滤波器抽头的长度；内插器，使用具有所选长度的滤波器抽头内插输入图像；运动补偿器，为内插结果执行运动补偿。
根据本发明的另一个方面，提供了一种由解码器或编码器执行的运动补偿方法，包括：检测输入图像的分辨率信息和色彩信息；基于输入图像的分辨率信息和色彩信息，选择用于内插的滤波器抽头的长度；使用具有所选长度的滤波器抽头内插输入图像；为内插结果执行运动补偿。
根据本发明的另一个方面，提供了一种包含在视频解码器或视频编码器中的解块滤波器装置，包括：图像信息检测器，检测图像的色彩信息；解块滤波器选择器，基于色彩信息选择用于减少该图像的块影响的解块滤波器抽头的长度；滤波单元，使用具有所选抽头长度的解块滤波器滤波该图像。
根据本发明的另一个方面，提供了一种由解码器或编码器执行的解块滤波器选择方法，包括：检测图像的色彩信息；基于色彩信息选择用于减少图像的块影响的解块滤波器的长度；使用具有所选长度的解块滤波器滤波图像。
附图说明
通过参考附图详细描述实施例，本发明的上述和其他特征和优点将更清楚，附图为：
图1A和1B是描述根据本发明实施例的视频编码装置的结构的方块图；
图2是根据本发明一个实施例的视频编码方法的流程图；
图3A是根据本发明一个实施例的视频解码装置的结构的方块图；
图3B是根据本发明一个实施例的视频解码方法的流程图；
图4是根据本发明一个实施例的基于图像的色彩信息补偿运动的运动补偿装置的方块图；
图5是描述根据本发明一个实施例，依照图像的色彩信息执行运动补偿的方法的流程图；
图6是根据本发明另一个实施例、基于图像的色彩信息和分辨率信息补偿运动的运动补偿装置的方块图；
图7是描述根据本发明另一个实施例、基于图像的色彩信息和分辨率信息补偿运动的方法的流程图；
图8是解释使用长标记(long tab)滤波器的内插(interpolation)方法的图；
图9是解释使用短标记(short tab)滤波器的内插方法的视图；
图10是描述解块滤波器单元的视图；
图11是描述根据本发明一个实施例、根据图像的色彩信息选择解块滤波器的方法的流程图；
图12A和12B描述了将被输入到解块滤波器的宏块的垂直和水平边界；
图13A和13B描述了4×4块的垂直和水平边界的图像取样；
图14A和14B是描述根据本发明一个实施例的平面间预测编码方法的仿真结果的图表；和
图15A和15B是描述使用根据本发明的运动补偿装置执行编码时的仿真结果的图表。
具体实施方式
在下文中，将参考附图详细描述本发明的实施例。所有图中相同的附图标记表示相同的分量。
图1A是根据本发明一个实施例的视频编码装置的结构的方块图。
参考图1A，本发明一个实施例的视频编码装置包括：第一运动预测单元100，图像信息检测单元110，第二运动预测单元120，和编码单元130。第一运动预测单元100包括：平面间预测器102，平面内预测器104，和预测剩余计算器106。
第一运动预测单元100的平面间预测器102和平面内预测器104基于输入图像的时间和空间相邻图像，执行输入图像的运动预测。平面间预测器102采用与输入图像时间相邻的先前恢复的图像，执行输入图像的运动预测。平面内预测器104利用与输入图像空间相邻的输入图像的编码单元块，执行输入图像的运动预测。通常，由于初始输入图像没有先前恢复的图像，平面内预测器104对初始输入图像执行运动预测，平面间预测器102为随后的输入图像执行运动预测。预测剩余计算器106利用输入图像和平面间预测器102或平面内预测器104的运动预测结果之间的差值，产生第一预测剩余图像。
同样的，第一运动预测单元100根据输入图像的色彩信息和分辨率信息，选择性的使用具有不同抽头长度的滤波器抽头。这将在下文中参考图4到9详细描述。
图像信息检测单元110确定输入图像是R-G-B图像还是Y-Cb-Cr图像。同样的，图像信息检测单元110感觉输入图像的色彩分量。也就是说，图像信息检测单元110确定输入图像的色彩分量是R-G-B图像的R、G、或B分量，还是Y-Cb-Cr图像的Y(亮度)、Cb、或Cr(色度)分量。同样的，图像信息检测单元110设置R-G-B图像的色彩分量中的特定色彩分量为参考色彩分量。也就是说，R、G、和B分量中的一个可被设置为参考色彩分量。在下文中，假设G分量被设置为参考色彩分量。
如果输入图像的色彩分量是R-G-B图像的参考色彩分量，第二运动预测单元120基于该参考色彩分量，对从第一运动预测单元100输出的第一预测剩余图像执行运动预测，并产生第二预测剩余图像。在当前输入图像被接收之前，第二预测单元120使用的参考色彩分量被接收、编码和解码。更具体的，第二运动预测单元120基于已编码和解码过的参考色彩分量的预测剩余图像，执行运动预测。
例如，如果参考色彩分量是G分量，并且输入图像的色彩分量是B分量。第一运动预测单元100基于输入图像的运动预测结果，为B和G分量产生第一预测剩余。同样，图像信息检测单元110确定输入图像是R-G-B图像，并且输入图像的色彩分量是与参考色彩分量(G分量)不同的色彩分量(例如，B分量)。第二运动预测单元120基于已编码和解码过的参考色彩分量(G分量)的第一编码预测剩余图像，对输入图像(B分量)的第一预测剩余图像执行平面间预测，产生第二预测剩余图像。也就是说，具有B分量的输入图像被第一运动预测单元100和第二运动预测单元120预测两次。
编码单元130编码第一运动预测单元100产生的第一预测剩余图像和第二运动预测单元120产生的第二预测剩余图像，产生比特流。更具体的，编码单元130执行预测剩余图像的离散余弦变换(DCT)或者离散整数变换132，执行变换值的量化和熵编码，产生编码图像(比特流)。
由于Y-Cb-Cr图像通过色彩座标转换方法从R-G-B图像转换得到，Y-Cb-Cr图像和R-G-B图像有不同的编码特性。也就是说，Y-Cb-Cr图像的各个Y、Cb、Cr分量在相同的空间位置相互之间不相关，但是R-G-B图像的各个分量相互之间相关。因此，本发明的视频编码装置编码时，根据输入图像是R-G-B图像还是Y-Cb-Cr图像，使用不同的预测方法。
因此，本发明的视频编码装置将R-G-B图像的一个色彩分量设置为参考色彩分量，用传统编码方法编码参考色彩分量。同样，视频编码装置利用空间相邻像素或时间相邻像素，预测R-G-B图像的参考色彩分量之外的剩余两种色彩分量，并且基于参考色彩分量对预测结果进行再次预测。
图1B是根据本发明另一个实施例的视频编码装置的结构的方块图。
参考图1B，本发明的视频编码装置包括：第一运动预测单元100，图像信息检测单元110，第二运动预测单元120，编码单元130，第一恢复单元140，第二恢复单元150，和解块滤波器单元160。第一运动预测单元100包括：平面间预测器101，平面内预测器104，预测剩余计算器107。
输入图像(F(n))170是Y-Cb-Cr图像或者R-G-B图像。输入图像170被本发明的视频编码装置进行逐块处理。第一运动预测单元100包括平面间预测器101和平面内预测器104，上述平面间预测器101具有运动估计器(ME)102和运动补偿器(MC)103，用于基于先前恢复的图像(Fr(n-1))172估计和预测运动，来增强编码效率，上述平面内预测器104具有空间估计器(SE)105和空间预测器(SP)106，用于基于空间相邻块估计和预测运动。
根据Y-Cb-Cr(或者Y-U-V)图像和R-G-B图像的各个色彩分量改变运动补偿的内插方法。首先，预测剩余计算器107基于输入图像170和平面间预测器101或者平面内预测器104获得的运动预测结果，获得编码预测剩余图像ΔF(n)。如果输入图像170是Y-Cb-Cr图像，预测剩余计算器107使用预测剩余图像ΔF(n)来获得预测剩余ΔY(n)、ΔU(n)和ΔV(n)。如果输入图像170是R-G-B图像，预测剩余计算器107使用预测剩余图像ΔF(n)来获得预测剩余ΔR(n)、ΔG(n)和ΔB(n)。
编码单元130对Y-Cb-Cr图像的预测剩余ΔY(n)、ΔU(n)、ΔV(n)或者R-G-B图像的预测剩余ΔG(n)执行DCT(或者离散整数变换)、量化和熵编码，从而压缩预测剩余。
如果输入图像170是R-G-B图像，第二运动预测单元120的预测剩余预测器(RP)122利用恢复的G分量的预测剩余ΔGr(n)124，执行R和B分量的预测剩余ΔB(n)和ΔR(n)的平面间预测。
同样，编码单元130对通过平面间预测获得的预测剩余图像ΔB’和ΔR’(n)执行DCT(或者离散整数变换)、量化和熵编码，从而压缩预测剩余图像。DCT由ISO/IEC MPEG-4标准的第二部分定义，离散整数变换由ISO/IECMPEG和ITU-T VCEG的联合视频组开发的AVC/H.264标准定义。
第一恢复单元140对由编码单元130变换和量化的图像(将被恢复)执行逆量化，以便图像可被用于使用空间相邻块或者时间随后图像的预测，随后对图像执行反离散余弦变换(IDCT)，因此产生图像的各个色彩分量的预测剩余图像。
如果将被恢复的图像是Y-Cb-Cr图像，第一恢复单元140获得恢复的预测剩余图像ΔYr(n)、ΔUr(n)和ΔVr(n)。同样的，如果将被恢复的图像是R-G-B图像，第一恢复单元140获得恢复的预测剩余图像ΔGr(n)、ΔB’r(n)和ΔR’r(n)。预测剩余图像ΔGr(n)存储在缓冲器124中，以便由第二运动预测单元120进行平面间预测。
如果将被恢复的图像的色彩分量是R和B分量，第二恢复单元150利用G分量的恢复的预测剩余图像ΔGr(n)，获得R和B分量的恢复的预测剩余图像ΔBr(n)和ΔRr(n)。Y-Cb-Cr图像的恢复的预测剩余图像ΔYr(n)、ΔUr(n)和ΔVr(n)或者R-G-B图像的恢复的预测剩余图像ΔGr(n)和ΔBr(n)作为输入Fr(n)输入到解块滤波器单元160。
解块滤波器(环路滤波器)单元160将输入Fr(n)加到第一运动预测单元100产生的平面间或平面内预测结果，滤波相加后的结果，因此减少块影响。本发明的解块滤波器单元160根据Y-Cb-Cr(或者Y-U-V)图像和R-G-B图像的各个分量，在块边界区域使用不同的滤波器抽头长度。将在下文中参考图10和11详细描述。
图2是描述根据本发明一个实施例的视频编码方法的流程图。
参考图1A和2，在步骤S200，第一运动预测单元100对输入图像执行时间/空间预测(平面间预测/平面内预测)。在步骤S210，图像信息检测单元110设置G分量为R-G-B图像的参考色彩分量，确定输入图像是否为R-G-B图像。在步骤S220，如果输入图像是R-G-B图像，图像信息检测单元110确定输入图像的色彩分量是否为参考色彩分量G分量。如果输入图像的色彩分量是R或者B分量，第二运动预测单元120使用在步骤S306恢复的G分量的预测剩余图像，对各个分量执行平面间预测。换句话说，本发明的视频编码方法使用第一运动预测单元100，对除参考色彩分量之外的不同色彩分量执行运动预测，接着基于该参考色彩分量，对不同色彩分量执行运动预测。由第一运动预测单元100或者第二运动预测单元110获得的预测剩余图像通过DCT(或者离散整数变换)、量化和熵编码进行压缩。
在下文中，将详细描述应用于R-G-B图像的除参考色彩分量之外的R和B分量的平面内预测。首先，使用输入图像对具有G分量的输入图像执行运动预测，并从运动预测结果和输入图像之间的差值获得G分量的预测剩余图像ΔG。该预测剩余图像ΔG可用等式1表示。
ΔG＝G-Gp               ......(1)
其中，Gp是使用与G分量空间相邻的G分量图像或者与G分量时间相邻的G分量图像的预测值。预测剩余图像事实上经历了熵编码。
与Y、Cb和Cr分量相比，G、R和B分量之间的相关性仍然很大。为了使用G分量和R、B分量之间的相似性，R和B分量与G分量一样被时间和空间预测。因此，预测剩余图像ΔR和ΔB通过下面的等式获得。
ΔR＝R-Rp               ......(2)
ΔB＝B-Bp               ......(3)
其中，Rp和Bp是使用R和B分量的空间或时间相邻图像预测的R和B分量的预测剩余值。预测剩余值减去G分量的编码和解码的预测剩余图像的线性变换值，因此R和B分量的平面间预测剩余图像ΔR’和ΔG’通过下面的等式4和5获得。
ΔR’＝ΔR-f(ΔGr)＝ΔR-(a·ΔGr+b)        ......(4)
ΔB’＝ΔB-f(ΔGr)＝ΔB-(c·ΔGr+d)        ......(5)
与R和B分量的时间/空间预测剩余ΔR和ΔB相比，这些值编码的数据量很小，因此编码效率可被增强。这是因为利用预测剩余图像ΔG、ΔR和ΔB之间的相关性很大的事实，通过线性函数表示预测剩余ΔG和ΔR之间的关系以及预测剩余ΔG和ΔB之间的关系，预测剩余图像ΔR和ΔB可近似于ΔG的函数。在下文中，当使用G分量的预测剩余预测R分量的预测剩余时，值a和b(等式6和7)是近似线性函数的灰度(gradation)和偏差，当使用G分量的预测剩余预测B分量的预测剩余时，值c和d(等式8和9)是近似线性函数的灰度和偏差。
a＝cov(ΔG，ΔR)/σ²ΔG                    ......(6)
b＝E(ΔR)-a·E(ΔG)                        ......(7)
c＝cov(ΔG，ΔB)/σ²ΔG                    ......(8)
d＝E(ΔB)-c·E(ΔG)                        ......(9)
其中，cov(.)是协方差，E(.)是值的平均，σ²是方差。
图3A是描述根据本发明一个实施例的视频解码装置的结构的方块图。
参考图3A，本发明一个实施例的视频解码装置包括：第一恢复单元300，图像信息检测器310，第二恢复单元320，运动预测单元330，解块(deblock)滤波器340。
本发明的视频解码装置从压缩比特流(也就是编码的图像)恢复图像。第一恢复单元300执行压缩比特流(数据)的熵解码302、逆量化304、和反离散整数变换306，并且如果压缩比特流是Y-Cb-Cr图像，则获得Y-Cb-Cr图像的各个分量的恢复的预测剩余图像ΔYr(n)、ΔUr(n)和ΔVr(n)。同时，如果压缩比特流是R-G-B图像，第一恢复单元300获得恢复的预测剩余图像ΔGr(n)、ΔB’r(n)和ΔR’r(n)。
图像信息检测器310确定压缩比特流是Y-Cb-Cr图像还是R-G-B图像，确定压缩比特流的色彩分量是否为R-G-B图像的参考色彩分量。在下文中，假设G分量被设为参考色彩分量。
如果压缩比特流是Y-Cb-Cr图像或者是R-G-B图像的参考色彩分量，第一恢复单元300恢复的预测剩余图像是将被输入到运动预测单元330的预测剩余图像ΔFr(n)352。
如果压缩比特流是R-G-B图像的B或者R分量(也就是除参考色彩分量之外的不同分量)，第二恢复单元320存储G分量的预测剩余图像ΔGr(n)，用于平面间预测，以便恢复R和B分量的预测剩余图像。
同时，如果比特流用视频编码器的平面间预测编码(图1A和1B)，第二恢复单元320将由运动预测单元330的MC(运动比较器)332获得的先前图像Fr(n-1)的平面间预测值与由第一恢复单元300和第二恢复单元320获得的预测剩余图像相加，并获得R-G-B或Y-Cb-Cr图像的各个分量的恢复值。如果比特流用平面内预测编码，第二恢复单元320将由运动预测器330的SP(空间预测器)334获得的平面内预测值与第一恢复单元330和第二恢复单元330获得的预测剩余图像相加，并获得R-G-B或Y-Cb-Cr图像的各个分量的恢复值。其中，根据Y-Cb-Cr(或者Y-U-V)图像和R-G-B图像的各个分量，对运动补偿使用不同的内插方法来执行运动预测单元330的平面间预测。这将在下文中参考图4到9详细描述。第二恢复单元320恢复的值传送到解块滤波器340来减少块影响，并作为各个色彩分量的恢复的图像Fr(n)352输出。
根据Y-Cb-Cr(或者Y-U-V)图像和R-G-B图像的各个分量，解块滤波单元340选择使用具有不同滤波器抽头长度的解块滤波器，其用于块边界。这将参考图10和11描述。
图3B是描述根据本发明一个实施例的视频解码方法的流程图。
参考图3A和3B，在步骤S350，第一恢复单元300从比特流产生第一预测剩余图像。同样，在步骤S355，图像信息检测器310确定比特流是Y-Cb-Cr图像还是R-G-B图像，确定比特流的色彩分量是否为R-G-B图像的参考色彩分量。
在步骤S360，如果比特流是R-G-B图像，并且比特流的色彩分量不是R-G-B图像的参考色彩分量，则第二恢复单元320预测第一预测剩余图像，并产生第二预测剩余图像，该第一预测剩余图像由第一恢复单元300使用参考色彩分量的第一预测剩余图像获得。
在步骤S365，第二恢复单元320将第一和第二预测剩余图像与由运动预测器330获得的先前图像的运动预测结果相加，获得恢复的图像。在步骤S370，解块滤波器340减少恢复的图像的块影响，获得最终恢复的图像Fr(n)352。
图4是根据本发明一个实施例的运动补偿装置的结构的方块图。
参考图4，本发明的运动补偿装置103或者332包括：图像信息检测器(未示出)，滤波器抽头选择器400，内插器410和420，和运动补偿器430。
R-G-B图像的R、G和B分量具有相似的频率特性，但是在Y-Cb-Cr图像中，作为亮度分量的Y分量与作为色度分量的Cb和Cr分量频率特性不同。同时，与亮度分量相比，Y-Cb-Cr图像的色度分量具有很多低频分量和相互之间有很大的相关性。图4是根据图像的色彩分量使用不同的预测方法的运动补偿装置的方块图。
图像信息检测器(未示出)确定输入图像是Y-Cb-Cr图像还是R-G-B图像，并且确定输入图像的色彩分量是否为R-G-B图像的参考色彩分量。通常，R-G-B图像的参考色彩分量设为G分量。
滤波器抽头选择器400根据从图像信息检测器(未示出)接收的输入图像的色彩分量信息402，选择长抽头滤波内插器410或者短抽头滤波内插器420。也就是说，滤波器抽头选择器400根据输入图像的各个色彩分量选择滤波器抽头，用于最佳运动预测。在本公开文本中，长抽头滤波器可以是6抽头滤波器，短抽头滤波器可以是2抽头滤波器。
例如，如果输入图像是Y-Cb-Cr图像或者输入图像的色彩分量不是R-G-B图像的参考色彩分量，滤波器抽头选择器400选择6抽头滤波内插器，如果输入图像的色彩分量是R-G-B图像的参考色彩分量，选择2抽头滤波内插器。
滤波器抽头选择器400选择的内插器410或者420内插输入图像来执行输入图像的运动补偿。此时，每个内插器410和420基于先前帧的运动矢量412内插输入图像。
可选的，内插器410和420可以分别是6抽头滤波内插器410和双线性内插器420。如果滤波器抽头选择器400选择6抽头滤波内插器410，6抽头滤波内插器410内插输入图像。
内插器410或者420内插后的输入图像由运动补偿器430进行运动补偿。
图5是描述根据本发明依据输入图像的色彩分量执行运动补偿的方法的流程图。
参考图4和5，在步骤S500，滤波器抽头选择器400基于从图像信息检测器(未示出)接收的色彩分量，选择滤波器抽头。如果在步骤S510确定输入图像的色彩分量是R-G-B分量，在步骤520，滤波器抽头选择器400对R-G-B图像的各个分量选择相同的内插方法。例如，滤波器抽头选择器400允许R-G-B图像的所有各个分量通过长抽头滤波内插器410，或者允许R-G-B图像的所有各个分量通过短抽头滤波内插器420。
如果确定输入图像的色彩分量不是R-G-B分量，而是Y-Cb-Cr分量，在步骤S530，图像信息检测器(未示出)确定输入图像的色彩分量是否为Y分量(亮度)。如果输入图像的色彩分量是亮度分量，滤波器抽头选择器400选择长抽头滤波内插器410，以便在步骤S540输入图像可被长抽头滤波内插器410内插。如果输入图像的色彩分量是色度分量(Cb，Cr)，在步骤S550，滤波器抽头选择器400选择短抽头滤波内插器420。
根据输入图像的色彩分量选择不同的抽头滤波内插器的原因是因为当输入图像的色彩分量存在许多高频分量时，与短抽头滤波内插器方法相比，使用许多相邻像素的长抽头滤波内插器方法可以正确恢复高频分量。相反的，如果输入图像的色彩分量的低频分量比高频分量多时，在维持与长抽头滤波内插器相似的性能的同时，使用相对少的相邻像素的短抽头滤波内插器在复杂性方面更有效。
图6是根据本发明另一个实施例的运动补偿装置的结构的方块图。
参考图6，本发明的运动补偿装置103或者332包括：图像信息检测器(未示出)，滤波器抽头选择器600，内插器610和620，和运动补偿器630。
图像的大小或分辨率信息604与图像的色彩分量602一样影响频率特性。图6是根据本发明另一个实施例，依据图像的色彩信息或分辨率信息使用不同的运动补偿方法的运动补偿装置的方块图。
图像信息检测器(未示出)感知图像的色彩分量和分辨率信息。更详细地，图像信息检测器(未示出)确定输入图像是高分辨率图像还是低分辨率图像，并且确定输入图像的色彩分量是否为R-G-B图像的参考色彩分量。
滤波器抽头选择器600根据由图像信息检测器(未示出)感知的输入图像的色彩信息和分辨率信息，选择滤波器抽头的长度。更详细地，如果输入图像是高分辨率图像或者输入图像的色彩分量是与Y-Cb-Cr图像的Y分量(亮度)不同的色彩分量，滤波器抽头选择器600选择短抽头滤波器。同样，如果输入图像是低分辨率图像，或者输入图像是R-G-B图像，或者输入图像的色彩分量是Y-Cb-Cr图像的Y分量(亮度)，滤波器抽头选择器600选择长抽头滤波器。通常，长抽头滤波器是6抽头滤波器，短抽头滤波器是2抽头滤波器。
这里有使用长滤波器抽头的内插器610(也称为长抽头滤波内插器)和使用短滤波器抽头的内插器620(也称为短抽头滤波内插器)，内插器610和620相应于先前帧的运动矢量(MV)内插图像信息。
运动补偿器630对内插器内插后的输入图像的运动进行补偿。
图7是描述根据本发明另一实施例的运动补偿方法的流程图。更详细地，图7是描述是用色彩分量和分辨率信息执行运动补偿的方法的流程图。
参考图6和7，在步骤S700，图像信息检测器(未示出)接收输入图像的图像大小信息，并且在步骤S710确定输入图像是否为高分辨率图像。在本发明中，高分辨率图像表示比HD分辨级别的1280×720的图像大小更大的图像。1280×720的参考图像大小可根据环境和应用而改变。
如果输入图像是高分辨率图像，在步骤S750，滤波器抽头选择器600选择短抽头滤波内插器。原因在于，由于高分辨率图像包括的低频分量多于高频分量，不需要使用长抽头滤波器。在高分辨率图像的情况下，由于实际图像的一小部分被大量像素显示，像素值之间的差值很小。在这种情况下，由于使用长抽头滤波器和使用短抽头滤波器时，视频质量差异很小，滤波器抽头选择器600考虑复杂性而选择短抽头滤波内插器620。
如果输入图像是低分辨率图像，在步骤S700，图像信息检测器(未示出)接收色彩信息，在步骤S720，确定输入图像是否为R-G-B图像。在步骤S730，如果输入图像的色彩分量是R、G或B分量，滤波器抽头选择器600选择长抽头滤波内插器610，以便输入图像的所有各个分量可被长抽头滤波内插器610内插。如果输入图像的色彩分量不是R、G或B分量，而是Y、Cb或Cr分量，在步骤S730，图像信息检测器(未示出)确定输入图像的色彩分量是否为Y分量(亮度)。如果输入图像的色彩分量是亮度分量，在步骤S740，滤波器抽头选择器600选择长抽头滤波内插器610。如果输入图像的色彩分量是色度分量，在步骤S750，滤波器抽头选择器600选择短抽头滤波内插器。
图8描述了为了运动补偿，当先前帧的图像在垂直或水平方向上四次内插时，使用6抽头滤波器的示例。
6抽头滤波器被MPEG-4AVC/H.264定义。参考图8，当给出先前帧的像素A到U时，位于1/4或1/2像素位置的像素a到s，可根据下面的公式得到。
首先，位于相应像素的垂直或水平方向的1/2像素位置的像素b和h，如下所示被6个相邻像素内插。
b1＝(E-5×f+20×g+20×h-5×I+J)            ......(10)
h1＝(A-5×C+20×G+20×M-5×R+T)            ......(11)
b＝Clip1((b1+16)＞＞5)                     ......(12)
h＝Clip1((h1+16)＞＞5)                     ......(13)
其中，Clip1(x)表示将值x钳位到预定大小，以便值x在图像像素的比特范围之内。在输入图像是8比特图像的情况下，如果x小于0，Clip1(x)的值x被设为0。如果x大于255，x被设为255，其中其他值保持不变。用于内插的滤波器抽头是使用相对大量的相邻像素的6抽头滤波器(1，-5，20，20，-5，1)。
使用先前恢复的对应于1/2像素位置的相邻像素，根据等式14a、14b和15，在垂直和水平方向上内插1/2像素位置的像素j。
j1＝cc-5×dd+20×h1+20×m1-5×ee+ff       ......(14a)
j1＝aa-5×bb+20×b1+20×s1-5×gg+hh       ......(14b)
j＝Clip1((j1+512)＞＞10)                  ......(15)
其中，作为相邻像素值的cc、dd、h1、m1、ee、ff或aa、bb、b、s1、gg和hh是由6抽头滤波器在上面的等式10和11执行内插获得的中间结果。
位于1/2像素位置、作为最终值的像素值s和m是根据等式12和13、从像素值s1和m1恢复的值。
位于1/4像素位置的像素值a、c、d、n、f、i、k和q是平均垂直或水平方向上相邻的两个像素得到的值，如下面的等式16到23。
a＝(G+b+1)＞＞1                           ......(16)
c＝(H+b+1)＞＞1                           ......(17)
d＝(G+h+1)＞＞1                           ......(18)
n＝(M+h+1)＞＞1                           ......(19)
f＝(b+j+1)＞＞1                           ......(20)
i＝(h+j+1)＞＞1                           ......(21)
k＝(j+m+1)＞＞1                           ......(22)
q＝(j+s+1)＞＞1                           ......(23)
位于1/4像素位置的像素值e、g、p和r是通过平均对角线方向上相邻的两个像素得到的值，如下面的等式24到27。
e＝(b+h+1)＞＞1                    ......(24)
g＝(b+m+1)＞＞1                    ......(25)
p＝(h+s+1)＞＞1                    ......(26)
r＝(m+s+1)＞＞1                    ......(27)
图9描述了为了补偿运动，当先前帧的图像在垂直或水平方向上内插四次时，使用双线性内插方法的示例。双线性内插方法由MPEG-4AVC/H.264定义。
在先前帧的像素A、B、C和D中，位于1/4或1/2像素位置的像素值可通过等式28a获得。
a＝((4-dx)×(4-dy)×A+dx×(4-dy)×B+(4-dx)×dy×C+dx×dy×D+8)＞＞4......(28a)
其中，dx是表示在1/4像素位置，像素a在水平方向与像素A或C的相距值，dy是表示在1/4像素位置，像素a在垂直方向与像素A或B的相距值。
参考图9，双线性内插方法使用相对少量的相邻像素，并使用位于将被内插的值很近的像素值，不同于图7。
图10是根据本发明使用图像的色彩分量特性的解块滤波器单元的结构的方块图。图像的色彩分量特性被解块滤波器单元使用，用于减少图像恢复后产生的块影响，也被用于运动补偿。图10示出了考虑图像的色彩分量特性的解块滤波器的一个实施例。
参考图10，解块滤波器单元160或340包括：图像信息检测器(未示出)，解块滤波器选择器1000，长抽头环路(解块)滤波器1010，短抽头环路(解块)滤波器1020。
图像信息检测器(未示出)确定输入图像是Y-Cb-Cr图像还是R-G-B图像，并且确定输入图像的色彩分量是否为亮度(Y)分量。
解块滤波器选择器1000基于输入图像的色彩分量，选择长抽头环路滤波器和短抽头环路滤波器1010和1020之一，上述两个滤波器具有不同的滤波器抽头长度。例如，如果输入图像是R-G-B图像，或者输入图像的色彩分量是Y-Cb-Cr图像的亮度(Y)分量，解块滤波器选择器1000选择长抽头环路滤波器1010。同样，如果输入图像的色彩分量是Y-Cb-Cr图像的色度(Cb或Cr)分量，解块滤波器选择器1000选择短抽头环路滤波器1020。
长抽头环路滤波器1010与短抽头环路滤波器1020有不同的滤波器抽头长度。由解块滤波器选择器1000选择长抽头环路滤波器1010和短抽头环路滤波器1020之一。
长抽头环路滤波器和短抽头环路滤波器1010和1020中的每个基于块编码模式、CBP(编码块图案)、用于先前帧的运动信息(MV、MC)参考图像数、和隔行扫描图像的场信息，确定滤波是否应被执行，并最终消除输入图像的块影响。
图11是描述根据本发明一个实施例，依据输入图像的色彩分量选择解块滤波器抽头的方法的流程图。
参考图10和11，在步骤S1110，解块滤波器选择器1000接收来自图像信息检测器(未示出)的色彩信息，并确定输入图像的色彩分量是否为R-G-B图像的色彩分量。如果输入图像的色彩分量是R-G-B图像的色彩分量，在步骤S1130，解块滤波器选择器1000为每个色彩分量分配相同的滤波器抽头系数。在这种情况下，解块滤波器选择器1000通常选择长抽头环路滤波器1010。如果输入图像的色彩分量是Y-Cb-Cr图像的色彩分量，在步骤S1140，滤波器抽头选择器1000选择长抽头滤波器1010。如果输入图像的色彩分量是色度分量，在步骤S1150，滤波器抽头选择器1000选择短抽头环路滤波器1020。
图12描述了为了减少16×16宏块中的块影响，其上执行解块滤波的垂直和水平方向的边界。
参考图12，宏块被分成16个4×4块，每个块被编码。因此，在4×4块的边界产生块影响。如图12(A)所示，首先，对垂直边界1201、1202、1203和1204执行解块滤波。随后，如参见图12(B)，对水平边界1205、1206、1207和1208执行解块滤波。
图13描述了对4×4块的垂直和水平边界执行解块滤波时使用的系数。
在垂直边界，如图13(A)所示，为了减少使用像素p0、p1、p2、p3、q0、q1、q2和q3的像素值和滤波器抽头的块影响，像素p0、p1、p2、q0、q1、q2的像素值被改变。图13(B)描述了执行水平边界解块滤波的像素。
由于每个4×4块的损失程度不同，有必要改变滤波器系数，并且确定是否应对于每个4×4块执行滤波。为此，如图10所示，解块滤波是否应被执行，也就是滤波器抽头的长度等等，基于块编码模式、CBP(编码块图形)、用于先前帧的运动信息(MV、MC)参考图像数、和隔行扫描图像的场信息，利用预定阈值确定。作为基本滤波方法，使用由MPEG-4AVC/H.264定义的滤波方法。确定对于一个4×4块是否应执行滤波的滤波标记值(filterFlag)可通过等式28b计算。
filterFlag＝(Bs！＝0&&Abs(p0-q0)＜α&&Abs(p1-p0)＜βAbs(q1-q0)＜β)
                                                                  ......(28b)
其中，只有当值filterFlag是1时，解块滤波才被执行。α和β是根据相邻像素值的改变确定解块滤波是否应被执行的阈值。当量化值增加时，阈值α和β变大。Bs(滤波器强度)是表示当解块滤波被执行时通过滤波器改变的像素值的范围的值。值Bs是0与4之间的值。如果值Bs是0，滤波不被执行。当值Bs接近4时，滤波器系数的值变大。值Bs被改变，因此像素p0、p1、p2、p3、q0、q1、q2、q3中的多数像素减少块影响。
首先，当色彩分量是R、G和B分量或者Y-Cb-Cr图像的Y分量时，使用的长抽头滤波器系数可用等式29到45定义。
如果值Bs小于4，如下所示，最接近边界的像素p0和q0改变为p’0和q’0。
Δ＝Clip3(-tc，tc，((((q0-p0)＜＜2)+(p1-q1)+4＞＞3))              ......(29)
p’0＝Clip1(p0+Δ)                                                ......(30)
q’0＝Clip1(q0-Δ)                                                ......(31)
其中，Clip3(min，max，x)被定义来设定最小值min和最大值max之间的值x。Clip1(x)与等式12中的Clip1(x)具有相同的含义。tc是限定像素值的阈值。其中，如果值Bs很大，tc也有很大的值，使得像素值的改变程度更大。
对于p1和q1，定义下面的值，以便确定滤波是否应被执行。
ap＝abs(2p-p0)                                                    ......(32)
ap＝abs(q2-q0)                                                    ......(33)
其中，如果ap小于β，p1改变为p’1。否则，p1不改变。
p’(1)＝p1+Clip3(-tc，tc，(p2+((p0+p0+1)＞＞1)-(p1＜＜1)＞＞1)    ......(34)
其中，如果ap小于β，如下q1改变为q’1。否则，q1不改变。
q’1＝q1+Clip3(-tc，tc，(q2+((q0+q0+1)＞＞1)-(q1＞＞1)            ......(35)
如果Bs是4，用于确定滤波器系数的值Tp和Tq如下定义。
Tp＝ap＜β&&Abs(p0-q0)＜((α＞＞2)+2)                             ......(36)
Tq＝aq＜β&&Abs(p0-q0)＜((α＞＞2)+2)                             ......(37)
如果Tp是1，p0、p1和p2通过增加滤波器系数的值分别改变为p’0、p’1和p’2，如下所示。
p’0＝(p2+2×p1+2×p0+2×q0+q1+4)＞＞3                    ......(38)
p’1＝(p2+p1+p0+q0+2)＞＞2                                ......(39)
p’2＝(2×p3+3×p2+p1+p0+q0+4)＞＞3                       ......(40)
同时，如果Tp是0，只有p0通过减小滤波器系数的值改变为p’0。
p’0＝(2×p1+p0+q1+2)＞＞2                                ......(41)
同时，如果Tq是1，q0、q1和q2通过增加滤波器系数的值分别改变为q’0、q’1和q’2，如下所示。
q’0＝(p1+2×p0+2×q0+2×q1+q2+4)＞＞3                    ......(42)
q’1＝(p0+q0+q1+q2+2)＞＞2                                ......(43)
q’2＝(2×q3+3×q2+q1+q0+p0+4)＞＞3                       ......(44)
同时，如果Tq是0，只有q0通过减小滤波器系数的值改变为q’0，如下所示。
q’0＝(2×q1+q0+p1+2)＞＞2                                ......(45)
如果Y-Cb-Cr图像的色彩分量是Cb或Cr分量，短抽头滤波器系数如下定义。首先，如果Bs小于4，p0和q0根据等式30和31分别改变为p’0和q’0。不同于R-G-B图像和Y分量，p1和q1的值不改变。如果Bs是4，只有p0和q0的值根据等式41和45分别改变为p’0和q’0。不同于R-G-B图像和Y分量，p1和q1的值不改变。
图14是根据本发明一个实施例，当提供R-G-B图像作为输入图像时，使用平面间预测编码方法的视频编码的仿真结果的图表。图14示出了使用根据本发明的平面间预测和不使用平面间预测时的比较结果。
其中，输入图像是1280×720大小的CREW(组)图像，仿真结果用四比特速率的PSNR(信噪功率比)表示。
图14A示出了只执行空间预测的内部模式的仿真结果，图14B示出了使用时间预测和空间预测的仿真结果。如图14所示，本发明和传统技术在相同比特率有超过3dB增益差值。
图15A示出了当R-G-B图像是输入图像时，6抽头滤波器被用于运动补偿的情况下(MC_LL)和6抽头滤波器被用于G分量并且双线性滤波器被用于R和B分量的情况下(MC_LC)，640×350Harbour(哈勃)图像的比较结果。
从图15A可见，在相同比特率，本发明的MC_LL方法的PSNR增益大于传统技术的PSNR增益。
图15B示出了当Y-Cb-Cr图像是输入图像时，6抽头滤波器被用于Y分量并且双线性滤波器被用于Cb和Cr分量的情况下(MC_LC)和6抽头滤波器被用于所有Y、Cb和Cr分量进行运动补偿的情况下(MC_LL)，640×350Harbour图像的比较结果。从图15B可知，在本发明中，在相同比特率，每个Y、Cb和Cr分量的PSNR被改进。
本发明可用存储于计算机可读介质中、能在通用计算机运行的程序实现。其中，计算机可读介质包括但不限于比如磁存储介质(比如ROM、软盘、硬盘等)、光学可读介质(比如CD-ROM，DVD等等)、和载波(比如因特网上的传输)的存储介质。本发明也可用存储在计算机可读介质中的计算机可读程序代码单元实现，使通过网络连接的许多计算机系统影响分布的处理。
如上所述，本发明可考虑输入图像的色彩分量特性，有效编码和解码视频数据。特别是，可以通过平面间预测改进R-G-B图像的编码效率。本发明可被应用到由于R-G-B图像被直接编码，需要图像信息具有高质量的数字档案、数字影院等等。
同样，本发明在编码器和解码器中使用色彩分量特性和图像分辨率特性，用于运动补偿和解块滤波。本发明可以根据图像特性，通过滤波增强图像质量，改进编码效率。因此本发明可以相应于R-G-B图像和Y-Cb-Cr图像的各个特性，构造适合的编码器和解码器。
尽管本发明已经参考实施例进行了特别地展示和描述，本领域的普通技术人员应该明白，在不脱离后附的权利要求定义的本发明的精神和范围的情况下，可以在形式和细节上做各种改变。