视频信号压缩编码.pdf

上传人:1520****312 文档编号:4331471 上传时间:2018-09-13 格式:PDF 页数:19 大小:733.29KB
返回 下载 相关 举报
摘要
申请专利号:

CN201080066689.8

申请日:

2010.05.11

公开号:

CN102884789A

公开日:

2013.01.16

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):H04N 7/26申请日:20100511|||公开

IPC分类号:

H04N7/26; H04N7/50; H04N13/00

主分类号:

H04N7/26

申请人:

瑞典爱立信有限公司

发明人:

A.琼斯; A.M.博克; K.H.李

地址:

瑞典斯德哥尔摩

优先权:

专利代理机构:

中国专利代理(香港)有限公司 72001

代理人:

汤春龙;朱海煜

PDF下载: PDF下载
内容摘要

本发明涉及视频信号的压缩编码。本发明可在一些实施例中应用于三维电视(3DTV)信号的压缩编码。本发明提供一种对视频信号进行编码的方法,其中,确定画面中存在至少第一图像区域和第二图像区域,第一图像区域中的图像和第二图像区域中的图像基本上相同。响应肯定确定,对一个图像区域中的画面信息进行压缩编码,而不参考在另一图像区域中的画面信息。本发明也提供用于对视频信号进行编码的视频编码器。

权利要求书

权利要求书一种对视频信号进行编码的方法,所述方法包括以下步骤:确定在画面中存在至少第一图像区域和第二图像区域,所述第一图像区域中的图像和所述第二图像区域中的图像基本上相同;以及 响应肯定确定,对一个图像区域中的画面信息进行压缩编码,而不参考另一图像区域中的画面信息。如权利要求1所述编码的方法,其中所述确定步骤包括根据所述画面的画面信息确定存在至少第一图像区域和第二图像区域的步骤。如前面权利要求任一项所述编码的方法,其中所述确定步骤包括比较在所述第一图像区域与所述第二图像区域内宏块之间的相关程度的步骤。如权利要求3所述编码的步骤,其中如果在第一图像区域和第二图像区域中宏块之间的所述相关程度大于相关阈值,则确定存在至少第一图像区域和第二图像区域的所述步骤产生肯定确定。如权利要求4所述编码的步骤,其中如果在第一图像区域和第二图像区域中宏块之间的所述相关程度小于相关下限阈值,则确定在画面中存在至少第一图像区域和第二图像区域的所述步骤产生否定确定。如前面权利要求任一项所述编码的方法,其中所述确定步骤包括确定所述第一图像区域与所述第二图像区域的空间活动的步骤。如前面权利要求任一项所述编码的方法,其中所述确定步骤包括检测用于画面的多个宏块的基本上水平或基本上垂直的高振幅运动向量的步骤。如前面权利要求任一项所述编码的方法,其中所述确定步骤包括如下步骤:比较用于第一图像区域的压缩编码比特率和第二图像区域的压缩编码比特率,并且如果用于所述第一图像区域的压缩编码比特率和用于所述第二图像区域的压缩编码比特率类似或基本上相同,则确定存在第一图像区域和第二图像区域。如前面权利要求任一项所述编码的方法,其中在所述压缩编码步骤中,将运动估计搜索区域限定到相同图像区域中的画面信息。如权利要求9所述编码的方法,也包括如下步骤:根据图像区域内的画面信息创建所述图像区域外的画面信息并使用所创建的画面信息执行运动估计过程。一种用于对视频信号进行编码的编码器,包括 分析器,用于接收所述视频信号的画面的画面信息,所述分析器确定画面中存在至少第一图像区域和第二图像区域,所述第一图像区域中的所述图像和所述第二图像区域中的所述图像基本上相同;以及 压缩编码器,耦合到所述分析器以从中接收肯定确定,以便响应肯定确定,对所述画面的一个图像区域中的画面信息进行压缩编码而不参考在另一图像区域中的画面信息。如权利要求11所述的编码器,其中,所述分析器比较所述第一图像区域与所述第二图像区域内宏块之间的相关程度。如权利要求12所述的压缩编码器,其中,如果第一图像区域和第二图像区域中宏块之间的所述相关程度大于相关阈值,则所述分析器确定存在至少第一图像区域和第二图像区域。如权利要求13所述的压缩编码器,其中,如果在第一图像区域和第二图像区域中宏块之间的所述相关程度小于相关下限阈值,则所述分析器确定第一图像区域和第二图像区域不存在。如前面权利要求任一项所述编码的方法,其中,所述分析器包括用于确定所述第一图像区域和所述第二图像区域的空间活动的活动计算元件。如权利要求11‑15任一项所述的压缩编码器,其中,所述运动估计器检测用于画面的多个宏块的基本上水平或基本上垂直的高振幅运动向量。如权利要求11‑16任一项所述的压缩编码器,其中,所述分析器是设置成执行如下操作的速率失真优化器(RDO):比较用于第一图像区域的压缩编码比特率和第二图像区域的压缩编码比特率,并且如果用于第一图像区域的压缩编码比特率和用于第二图像区域的压缩编码比特率类似或基本上相同,则确定存在所述第一图像区域和所述第二图像区域。如权利要求11‑16任一项所述的压缩编码器,其中,在对来自图像区域的画面信息进行压缩编码期间,所述压缩编码器的所述运动估计器使用限定到相同图像区域中画面信息的运动估计搜索区域。如权利要求18所述的压缩编码器,其中,所述运动估计器根据图像区域内的画面信息创建所述图像区域外的画面信息,之后使用所创建的画面信息执行运动估计过程。

说明书

说明书视频信号压缩编码
技术领域
本发明涉及视频信号的压缩编码。在一些实施例中,本发明可应用于三维电视(3DTV)信号的压缩编码。
背景技术
虽然在二维(2D)显示屏幕上观看常规电子电视图像已成为通例许多年,但也一直存在对扩展体验到立体或三维电视(3DTV)的很强兴趣。此类方案渴望提供单独信号到每个眼睛,使得大脑构建三维空间的幻象,因此提供更多的真实性。使用独立输送到每个眼睛的相同场景的两个单独但密切相关的图像提供了所谓的立体TV的基础。
人们已提议借助于最少的另外处理、使用现有2DTV压缩硬件和传送系统的简单调整而可支持3DTV的系统。下文中,一般术语3DTV用于包括多信道电视的所有方面,并且2D将表示常规电视。
存在用于在现有压缩编码和传送系统内传送3D视频信号的多种方法。例如,如图1(a)所示,一种相对简单的方法是将左视频信号和右视频信号组合成单一2DTV视频信号。来自左边视频信号的每个画面2将与来自右边视频信号的对应画面4组合以形成组合视频信号的画面6的相应第一图像区域6a和第二图像区域6b。此方法的优点是单个常规2DTV编码器和解码器能够用于传送所得到的2D视频信号,因此使压缩系统与普通2D视频压缩器兼容。
此方法的另一示例将是作为常规画面的顶半部和底半部组合3DTV画面。例如,如图1(b)所示,一种相对简单的方法是将左视频信号和右视频信号组合成单一2DTV视频信号。来自左边视频信号的每个画面2将与来自右边视频信号的对应画面4组合以形成组合视频信号的画面8的相应上部第一图像区域8a和下部第二图像区域8b。此方法的优点是单个常规2DTV编码器和解码器能够用于传送所得到的2D视频信号,因此使压缩系统与普通2D视频压缩器兼容。
参考如图1(a)所示的左/右情况提供下面的描述,但本领域技术人员明白,描述也将适用于如图1(b)所示的顶部/底部方案。在每种情况下,这些示例都将要求信号的分辨率降低二分之一,以便组合图像的带宽在现有常规2DTV编码器的容量内。虽然这可能是一个小缺点,但能够断定,获得作为结果的3DTV体验的真实性是值得的。原则上,将可能容易用如下编码器和解码器作为替代,所述编码器和解码器的带宽能够使用与此处所述相同的技术来保持全分辨率。
在大多数画面素材中,相机移动涉及平移移动,向左/向右摇摄和向上/向下倾斜,并且因此图1(a)和1(b)中所示格式均有益处。理想的情况是允许在画面/画面基础上或画面组(GOP)/画面组(GOP)基础上进行格式的选择而不是强加一种方法将是有益的,这种选择根据每个单独的画面序列是适当的。然而,此特征、尤其是允许逐画面更改格式,施加了实用限制和性能限制,这些限制不一定改进编码性能。虽然GOP/GOP选择是可能且实用的,但其性能改进不明确。在表现户外运动时,通常最多的是相机向左/向右摇摄移动,并且因此在要使用固定格式的情况下,此格式通常被选定,并且因此此格式将是在下面描述中使用的示例。
与使用诸如图1(a)和1(b)所示那些信号等组合信号有关的一个问题是现有常规2D视频编码器将尝试对它进行编码,好象它是单个常规信号一样。用于查找特定宏块的运动向量的搜索区域可包括来自左图像和右图像的画面信息。具体而言,在3D对的右图像与左图像之间的边界附近,使用来自右边视频信号的画面信息的运动向量可用于对左边视频信号进行压缩编码或使用来自左边视频信号的画面信息的运动向量可用于对右边视频信号进行压缩编码,而不论画面信息取自画面的极为不同区域。这能够在右边信号与左边信号之间边界附近产生不希望的伪影,例如,在左边信号的右边缘或在右边信号的左边缘。
图2示出画面10,示出了由于使用来自右边图像区域10a的运动向量对部分左边图像区域10a进行压缩编码而产生的一些伪影的示例。图3示出这些伪影的放大版本。在此示例中,运动估计系统在足球场的草地区域中选择了不当的向量,这是因为草恰好在跨图像宽度的不同区域中对于两半而言是共同的,并且因此将被检测为可行的候选向量。
发明内容
本发明寻求提供一种视频信号编码的新颖方法和用于对视频信号进行编码的新颖编码器。
根据本发明的第一方面,提供了一种对视频信号进行编码的方法。该方法包括确定在画面中存在至少第一图像区域和第二图像区域的第一步骤,第一图像区域中的图像和第二图像区域中的图像基本上相同。该方法包括响应肯定确定,对一个图像区域中的画面信息进行压缩编码而不参考在另一图像区域中的画面信息的第二步骤。
根据本发明的第二方面,提供了一种用于对视频信号进行编码的编码器,它包括用于接收视频信号的画面的画面信息的分析器,分析器确定在画面中至少第一图像区域和第二图像区域的存在,第一图像区域中的图像和第二图像区域中的图像基本上相同。编码器也包括压缩编码器,压缩编码器耦合到分析器以从中接收肯定确定,以便响应肯定确定,对画面的一个图像区域中的画面信息进行压缩编码而不参考在另一图像区域中的画面信息。
附图说明
现在将通过示例,参考附图描述本发明:
图1(a)示出两个视频信号的水平组合以形成3DTV视频信号;
图1(b)示出两个视频信号的垂直组合以形成3DTV视频信号;
图2示出在3DTV视频信号中的压缩编码伪影;
图3更详细地示出在图2中所示的压缩编码伪影;
图4是根据本发明的实施例的视频信号的示范编码方法的流程图;
图5是根据本发明的一实施例,示出示范视频信号编码器的特征的框图;
图6(a)‑6(f)示出在本发明的实施例中使用的说明性运动估计搜索区域;以及 
图7(a)‑7(b)示出在本发明的实施例中使用的说明性运动估计搜索区域。
具体实施方式
现在将参考附图的图4‑7(b)描述本发明。
图4是根据本发明的实施例的视频信号的示范编码方法的流程图。
在图4所示示范方法12中,在第一步骤14中,确定在视频信号的画面中是否存在至少第一和第二基本上相同的图像区域。在第二步骤16中,响应在步骤14中的肯定确定,对每个图像区域中的画面信息进行压缩编码,而不参考另一画面区域。
图5是根据一示范实施例,示出示范视频信号编码器18的特征的框图。
示范视频信号编码器18包括分析器20和压缩编码器22。分析器20设置成接收视频信号24以及分析视频信号24以确定视频信号的画面是否具有至少第一和第二基本上相同的图像区域,如在图4所示示范视频编码方法12的步骤14中所述一样。将在下文更详细地描述在本发明的示范实施例和其它实施例中执行分析的方法的其它细节。
分析器20耦合到压缩编码器22以向压缩编码器22供应视频信号24以及是否确定视频信号24的画面具有至少第一和第二基本上相同的图像区域的指示26。压缩编码器22根据收到肯定确定还是否定确定26,以不同方式对视频信号24的画面信息进行压缩编码,并且输出所得到的压缩编码比特流28。
在示范实施例中,压缩编码器22是H264压缩编码器。然而,技术人员将明白,在本发明的其它实施例中,本发明可应用于其它压缩编码器。
在示范实施例中,评估不同图像区域的空间活动之间的相关以便确定画面内是否存在至少第一和第二基本上相同的图像区域,并且因此确立3DTV信号的存在。在其它实施例中,可以多种不同方式实现关于在画面内是否存在至少第一和第二基本上相同的图像区域的确定。
如技术人员知道的一样,可将视频信号画面分割成宏块。在示范实施例中,将视频信号画面分割成宏块,每个宏块包括画面的16 x 16像素阵列。在示范实施例中,分析器20通过计算视频信号画面的不同图像区域的对应宏块的空间活动的相关程度,确定视频信号24的画面是否具有至少第一和第二基本上相同的图像区域。
因此,在示范实施例中,分析器20包括活动计算元件30和活动相关元件32。活动计算元件30经耦合以接收视频信号24,并且设置成使用收到的画面信息确定画面中宏块的空间活动。活动计算元件30设置成供应宏块活动信息到活动相关元件32以评估画面的不同图像区域之间的相关程度。视频信号24和活动相关元件32生成的相关指示26被传递到压缩编码器22。压缩编码器22执行对视频信号24的压缩编码。
在示范实施例中,对于画面的每个宏块,活动计算元件30按照下式计算宏块的空间活动:

其中:
Yx,y是用于形成宏块的每个16 x 16像素的8比特亮度值。
如技术人员知道的一样,上面等式1中宏块的空间活动的计算可用硬件或软件以任何适合的方式实现。
如上所述,不同图像区域可以是屏幕的左侧和右侧,或者画面的顶部和底部,或者在不同实施例中可以是以其它的组合方式。因此,可要求活动相关元件32评估在画面的左边区域与右边区域之间的相关和/或在画面的顶部区域与底部区域之间的相关或不同实施例中其它画面区域之间的相关。
在示范实施例中,如下计算在画面的右半部中宏块空间活动与在画面的左半部中宏块空间活动之间的相关:
首先,如下组合由活动计算元件30为第一图像区域(即示范实施例中画面的左边侧)中的宏块确定的空间活动

其中:
N是左边图像区域中的宏块数量;
LeftActivity是由活动计算元件30使用等式1为左图像区域中的宏块计算的空间活动
类似地,如下组合由活动计算元件30为第二图像区域(即示范实施例中画面的右边侧)中的宏块确定的空间活动

其中:
N是右边图像区域的宏块数量;以及 
RightActivity是由活动计算元件30使用等式1为右图像区域中的宏块计算的空间活动
之后,活动相关元件32能够按照下式确定两个图像区域之间的相关:

由此 

N是图像区域中的宏块数量;
LeftActivity是由活动计算元件30使用等式1为左图像区域中的宏块计算的空间活动;以及 
RightActivity是由活动计算元件30使用等式1为右图像区域中的对应宏块计算的空间活动
由活动相关元件32在等式4中计算的量度相关指示例如示范实施例中画面的右边侧和画面的左边侧等不同图像区域相似或相互相关的程度。预期对于3DTV图像(诸如在画面的右边侧和画面的左边侧几乎相同的图1(a)中所示的图像),将发现这些不同图像区域相比在普通画面(average picture)中的相同区域,更高度相关,并且因此量度相关可用于确定是否应由压缩编码器22实现3DTV处理。
在本发明的一些实施例中,将图像区域之间类似性或相关的量度和阈值进行比较,并且如果画面中图像区域之间相关或类似性的量度大于阈值,则进行如下确定:在画面中是否存在基本上类似的图像区域。随后,将确定26从分析器20的活动相关元件32传递到压缩编码器22。压缩编码器22根据确定26是肯定确定还是否定确定,以不同方式对画面进行压缩编码。
人们发现,如果在信号的左边部分和右边部分之间宏块空间活动的相关足够高,例如,在图像区域之间的相关高于大约80%时,则可将视频信号可靠地检测为3D视频信号,而用于2D输入信号的相同相关低得多。
在示范实施例中,视视频信号的以前画面是否包含类似图像区域而定,将不同阈值用于与相关量度进行比较。如果视频信号的以前画面包含基本上类似的图像区域,并因此被检测为3DTV信号,则由于在此情况下,新画面更可能是3DTV视频信号输入的一部分,因此,可降低3DTV检测阈值。例如,阈值可降低到大约70‑75%相关。如果视频信号的以前画面未包含类似图像区域,则更高的阈值可用于和相关量度进行比较,这是因为在此情况下,新画面较不可能是3DTV画面的一部分。在此情况下,可使用更高的阈值,例如,在范围80‑90%相关中。
应注意的是,用于确定画面中存在类似图像区域的阈值级别可由技术人员选择成以足够的可靠性和准确度区分3DTV画面和普通画面的任何级别。
在其它实施例中可使用计算存在3DTV输入的可靠指示符的其它统计方式。
如上所示,将确定26从分析器20的活动相关元件32传递到压缩编码器22。压缩编码器22根据确定26是肯定确定还是否定确定,以不同方式对画面进行压缩编码。
如果确定26是否定确定,则压缩编码器22根据技术人员知道的标准压缩编码技术对画面进行压缩编码。
如果确定是肯定确定,则改变压缩编码器22的操作,改变之处在于:对每个图像区域中的画面信息进行压缩编码而不参考另一图像区域中的画面信息。
在示范实施例中,通过将对图像区域中宏块的运动估计搜索限制到相同图像区域中的画面信息或根据相同图像区域推导的画面信息,更改运动估计过程。因此,由于在压缩编码期间未使用来自不同图像区域的画面信息,因而不会生成压缩编码伪影。
现在将概括描述示范压缩编码器22。如将理解的一样,示范实施例的压缩编码器22只是示范,并且其它实施例可用在其它压缩编码器中。
示范压缩编码器22包括变换功能34、量化功能36、块扫描/运行级别编码功能38及熵编码功能40,这些功能按顺序耦合以输出压缩比特流28。这些块执行以下功能:
变换功能34将用于宏块的画面信息从空间域变换到频率域;
量化功能36量化所得到的频率域画面信息;
块扫描/游程编码功能38通过以之字形模式扫描阵列,并且使用可变长度编码方案对所得到的比特进行行程编码,将量化的频率信息阵列转换成比特流,可变长度编码方案为经常出现的模式使用较短的码,并且为较不经常出现的模式使用较长的码;以及 
熵编码功能40,用于将来自块扫描/游程编码功能(run level code function)38的输出码和任何对应运动向量41(如本文后面所述)组合以形成压缩比特流28。
视频信号中的一些画面信息可至少部分地通过获得差别画面信息并使用上述功能对图像差别信息进行压缩编码而得到压缩,差别画面信息是通过如下方式而获得的:比较要编码的画面信息和相同画面中别处的画面信息或视频信号中一个或多个其它画面中的画面信息。
用于创建画面差别信息的画面信息必须是解码器可得到的画面信息,并且因此压缩编码器22也具有耦合在量化器功能36的输出端与环内滤波器(in‑loop filter function)46之间的逆量化器功能42和逆变换功能44。环内滤波器功能46也耦合到帧内预测(intra‑prediction)功能52,并且帧内预测功能52的输出端经由交换器54耦合到环内滤波器46以创建解码的画面信息。
压缩编码器22也配备有耦合的运动估计功能元件48以从环内滤波器46接收解码的画面信息以及接收要编码的画面。通常情况下,对于要编码的每个宏块,运动估计功能48在运动估计搜索区域内搜索宏块画面信息的最佳匹配。运动估计功能创建表示宏块和被发现与宏块匹配的画面信息的相对位置的运动向量41,并且这些运动向量41被传递到熵编码器功能40和运动补偿功能50。运动补偿功能50使用运动向量41来创建画面差别信息,画面差别信息经由交换器54耦合到变换功能34。
在示范压缩编码器中,确定26被供应到压缩编码器22的运动估计功能元件48。运动估计功能元件48响应肯定确定26而限制运动估计搜索区域,以便在运动估计搜索中只使用来自相同图像区域的画面信息。因此,由于在压缩编码期间未使用来自不同图像区域的画面信息,因而将不生成压缩编码伪影。
图6(a)示出画面56,画面56在画面的左侧具有第一图像区域56a且在画面的右侧具有第二图像区域56b。在对宏块36的压缩编码期间,通常情况下可能使用运动补偿搜索区域60。
为避免在组合画面中在图像区域56a与56b之间的边界附近使用不当的运动补偿,要限制运动估计搜索区域以便不包括来自另一图像区域的画面信息。
在图6(b)中,第一图像区域56a中的宏块62具有落在第一图像区域56a内的运动估计搜索区域64,并且因此完整运动估计搜索区域64可被评估以确定最佳匹配。
然而,在第一图像区域56a中的宏块66具有如下运动估计搜索区域,该运动估计搜索区域具有落在第一图像区域56a内的第一部分68和落在第二图像区域56b内的第二部分70。因此,在运动估计过程期间,从可允许搜索区域中排除来自落在第二图像区域内的第二部分70的画面信息。
因此,当编码器沿图像水平运动,并且接近中心边界区域时,搜索区域的右边边缘被固定,以便可使用的像素的区域在水平方向上不断地变得更小。
类似地,一旦在右边侧中,区域将水平地逐渐增大,直至它清除边界。此情况在图6(c)中示出,图6(c)中,第二图像区域56b中的宏块72具有落在第二图像区域56b内的运动估计搜索区域74,并且因此完整运动估计搜索区域74可被评估以确定最佳匹配。相反,在第二图像区域56b中的宏块76具有如下运动估计搜索区域,该运动估计搜索区域具有落在第一图像区域56a内的第一部分78和落在第一图像区域56a内的第二部分79。因此,在运动估计过程期间,从可允许搜索区域中排除来自落在第一图像区域56a内的第二部分79的画面信息。
其中画面80的上部和下部形成第一图像区域80a和第二图像区域80b的备选格式被示为图6(d)。在第一图像区域80a中的宏块82具有落在第一图像区域80a内的运动估计搜索区域84,并且因此完整运动估计搜索区域84可被评估以确定最佳匹配。
然而,在第一图像区域80a中的宏块86具有如下运动估计搜索区域,该运动估计搜索区域具有落在第一图像区域80a内的第一部分88和落在第二图像区域80b内的第二部分90。因此,在运动估计过程期间,从可允许搜索区域中排除来自落在第二图像区域80b内的第二部分90的画面信息。
在计算图像区域之间边界附近的运动向量时限制使用来自画面的另一图像区域的画面信息的示范方法可应用于常见的当前压缩标准,诸如MPEG2和MPEG4/H264压缩标准。
在诸如MPEG‑2压缩标准等一些压缩标准中,运动估计搜索区域被限制到视频信号的画面信息。然而,在诸如H264压缩标准等一些压缩标准中,在运动估计搜索区域中包括的可允许画面信息可扩展到实际画面大小外。能够通过根据实际画面中的画面信息的估计或外推获得用于另外搜索区域的画面信息。因此,在图6(e)中能够看到,用于在画面的角落的宏块92的运动估计搜索区域具有第一部分94和第二部分96,第一部分94覆盖来自该画面的画面信息,第二部分96覆盖该画面区域外的画面信息,第二部分中的画面信息是已根据该画面的画面信息被外推的。
在一些实施例中,类似的外推或估计过程能够用于创建画面信息以便在用于画面的图像区域的边缘附近的宏块的运动估计搜索区域中使用。在这些实施例中,通过保持相同搜索区域,但用根据图像区域内的画面信息估计或外推的画面信息填充该搜索区域,能够克服对用于画面的图像区域内宏块的运动估计搜索区域的限制。
因此,如图6(f)中对于具有第一图像区域80a和第二图像区域80b的画面80所示,第二图像区域80b内的宏块98具有运动估计搜索区域,该运动估计搜索区域具有第一部分100和第二部分102,第一部分100覆盖画面80的第二图像区域80b的画面信息,第二部分102覆盖第二图像区域80b外的画面信息,第二部分102中的画面信息是已根据第二图像区域80b中的画面信息被外推的。类似地,可扩展用于第一图像区域或第二图像区域的边缘周围的任何宏块的运动估计搜索区域,以获得通过根据相应图像区域的画面信息外推或估计不可得到的画面信息。
在上述示范实施例中,通过评估在两个图像区域中空间活动的相关,确定存在基本上相同的图像区域。另外或备选,在一些实施例中,可基于运动向量的评估确定存在基本上相同的图像区域。
此方法基于如下观察:不同图像区域中画面信息将十分类似或基本上相同。因此,将预期,运动估计功能将在其它图像区域中的对应位置中找到宏块的很好匹配。例如,在组合图像的左边缘附近,可能从其匹配像素位于组合图像的中心右侧的右图像的左侧获得很好的匹配。在此情况下,运动向量的大小将比平常大得多,并且在值上等于画面宽度的一半,以及在取向上是完全水平的,但仍将是很好的匹配。
图7(a)和图7(b)示出在确立存在基本上相同的图像区域时使用运动估计。
在图7(a)中,画面具有第一图像区域56a和第二图像区域56b。使用第一图像区域56a中对应于第二图像区域56b中宏块104的位置的搜索区域106,为宏块104执行运动估计过程。如果第一图像区域和第二图像区域中的图像类似或基本上相同,如画面是3DTV画面时将出现的情况一样,则运动估计过程将选择第一图像区域56a中位置对应于第二图像区域56b中宏块104的宏块108,并且对应的运动向量110将得以确立。如将明白的一样,运动向量110具有画面宽度一半的大向量振幅,没有或几乎没有垂直分量,并且多个此类运动向量的存在将指示存在具有左/右格式的输入3DTV信号。
在图7(b)中,画面具有第一图像区域80a和第二图像区域80b。使用第一图像区域80a中对应于第二图像区域80b中宏块112的位置的搜索区域114,为宏块112执行运动估计过程。如果第一图像区域和第二图像区域中图像类似或基本上相同,如画面是3DTV画面时将出现的情况一样,则运动估计过程将选择第一图像区域80a中位置对应于第二图像区域56b中宏块112的宏块116,并且对应的运动向量118将得以确立。如将明白的一样,运动向量118具有画面高度一半的大向量振幅,没有或几乎没有水平分量,并且多个此类运动向量的存在将指示存在具有顶部/底部格式的输入3DTV信号。
虽然编码系统通常将不具有从当前宏块扩展如此远的搜索范围,但在本发明的实施例中,能够进行运动估计过程以使此类运动向量搜索成为检测输入3DTV信号的存在的方式。因此,如果对于画面内的宏块检测到诸如上述运动向量110和118等运动向量,则能够确定存在类似或基本上相同的图像区域。
将此类分析级添加到压缩编码器将是容易设置的,这是因为压缩编码器一般执行运动向量修饰(grooming)过程以便检查异常情况并防止虚假匹配。此实施例可通过对运动估计过程进行更改而轻松实现,例如,在一些实施例中通过更新控制运动估计过程的软件。
另外或备选,在一些实施例中,能够根据来自压缩编码器的速率失真优化(RDO)级(图5中未示出)的信息来推导存在类似或基本上相同的图像区域的进一步确定。压缩编码器的RDO级能够评估第一图像区域的比特成本和第二图像区域的比特成本。在3DTV画面中,预期第一图像区域的比特成本一般应与用于对该画面的第二图像区域进行压缩编码的比特成本相同,这是因为图像区域应基本上是相同的。在一般画面中,一般而言,不同区域的比特成本将不同。因此,画面的第一图像区域的比特成本与该画面的第二图像区域的比特成本之间的差能够用于确定该画面中存在类似或基本上相同的图像区域。同样地,此实施例可通过对RDO过程进行更改而轻松实现,例如,在一些实施例中通过更新控制压缩编码器的RDO级的软件。
最后,在一些实施例中,可能可安排要从输入视频信号源提供的外部指示符信号,这将避免需要在用于检测系统的压缩编码器处检测3DTV信号。可能的是,将此类存在的外部生成指示符与信号本身一起通过单独的物理方式提供,或者在信号中嵌入式地提供。此实施例可能不适合与常规压缩编码器的硬件或常规压缩编码器是其一部分的系统体系结构的硬件一起使用。
在一些实施例中,一种或多种上述方法用于确定该画面包含至少第一和第二基本上相同的图像区域。
因此,在本发明的实施例中,通过确定图像区域的存在来检测3DTV输入信号的存在。此确定用于允许防止通过常规编码装置进行不当选择而引起的伪影。
具体而言,伪影的一个主要原因是组合2D画面的不当运动补偿的块,使得根据左信号的预测被用于对右信号进行编码,以及根据右信号的预测被用于对左信号进行编码。在一个实施例中,通过限制在边界附近编码的画面的两半中的运动估计搜索区域来消除伪影。这避免了不希望地将来自一个图像区域的画面信息用在对来自另一图像区域的宏块进行压缩编码期间。
因此,示范实施例提供能够对常规视频信号和3DTV视频信号进行压缩编码的视频编码方法和视频编码器。这在示范实施例中通过根据是否正在对3DTV视频信号进行压缩编码而修改压缩编码来实现。一旦检测到3DTV视频信号,便能够根据不同实施例以多种方式修改运动估计过程及其向量搜索区域以考虑更改的输入信号格式。由3DTV视频信号的两个图像的相邻放置产生的运动补偿伪影因此得以减少,并且一般视频画面质量得以改进。
尽管实际情况是组合图像的中心区域中的运动估计搜索区域被限于每个半画面,但画面质量在PSNR(峰值信噪比)方面稍微得以改进,甚至在没有横向运动补偿伪影的那些序列中也是如此。这是由比特到画面的各种部分的分配产生的压缩编码过程和所述方法的意外但有价值的结果。在可预期编码可由于限制的运动向量搜索而不利的边界附近图像的中心,要求的另外比特可从剩余的图像恢复,在剩余的图像中,就提到在PSNR方面的小改进而言,两半之间的类似性有助于节省。
在其它实施例中,可能可组合不止两个视频信号以及以其它方式编组或交织3DTV图像对的像素。
如技术人员将明白的一样,实施例可用硬件或用软件或以任何适合的方式实现。另外,虽然压缩编码器的不同功能已示为单独的功能块,但不同功能元件可以用技术人员认为适当的任何组合实现。
得益于前面的描述和相关联图形中所示的教导,本领域技术人员将明白本公开发明的修改和其它实施例。因此,要理解本发明并不限于公开的特定实施例,并且修改和其它实施例要包括在本公开内容的范围内。虽然在本文中可采用特定的术语,但它们只是一般性和描述性地使用,并不是要进行限制。

视频信号压缩编码.pdf_第1页
第1页 / 共19页
视频信号压缩编码.pdf_第2页
第2页 / 共19页
视频信号压缩编码.pdf_第3页
第3页 / 共19页
点击查看更多>>
资源描述

《视频信号压缩编码.pdf》由会员分享,可在线阅读,更多相关《视频信号压缩编码.pdf(19页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102884789 A (43)申请公布日 2013.01.16 C N 1 0 2 8 8 4 7 8 9 A *CN102884789A* (21)申请号 201080066689.8 (22)申请日 2010.05.11 H04N 7/26(2006.01) H04N 7/50(2006.01) H04N 13/00(2006.01) (71)申请人瑞典爱立信有限公司 地址瑞典斯德哥尔摩 (72)发明人 A.琼斯 A.M.博克 K.H.李 (74)专利代理机构中国专利代理(香港)有限公 司 72001 代理人汤春龙 朱海煜 (54) 发明名称 视频信号压缩编码 。

2、(57) 摘要 本发明涉及视频信号的压缩编码。本发明可 在一些实施例中应用于三维电视(3DTV)信号的 压缩编码。本发明提供一种对视频信号进行编码 的方法,其中,确定画面中存在至少第一图像区域 和第二图像区域,第一图像区域中的图像和第二 图像区域中的图像基本上相同。响应肯定确定,对 一个图像区域中的画面信息进行压缩编码,而不 参考在另一图像区域中的画面信息。本发明也提 供用于对视频信号进行编码的视频编码器。 (85)PCT申请进入国家阶段日 2012.11.09 (86)PCT申请的申请数据 PCT/EP2010/056502 2010.05.11 (87)PCT申请的公布数据 WO2011/。

3、141060 EN 2011.11.17 (51)Int.Cl. 权利要求书2页 说明书9页 附图7页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 9 页 附图 7 页 1/2页 2 1.一种对视频信号进行编码的方法,所述方法包括以下步骤: 确定在画面中存在至少第一图像区域和第二图像区域,所述第一图像区域中的图像和 所述第二图像区域中的图像基本上相同;以及 响应肯定确定,对一个图像区域中的画面信息进行压缩编码,而不参考另一图像区域 中的画面信息。 2.如权利要求1所述编码的方法,其中所述确定步骤包括根据所述画面的画面信息确 定存在至少第一图像区域和第。

4、二图像区域的步骤。 3.如前面权利要求任一项所述编码的方法,其中所述确定步骤包括比较在所述第一图 像区域与所述第二图像区域内宏块之间的相关程度的步骤。 4.如权利要求3所述编码的步骤,其中如果在第一图像区域和第二图像区域中宏块之 间的所述相关程度大于相关阈值,则确定存在至少第一图像区域和第二图像区域的所述步 骤产生肯定确定。 5.如权利要求4所述编码的步骤,其中如果在第一图像区域和第二图像区域中宏块之 间的所述相关程度小于相关下限阈值,则确定在画面中存在至少第一图像区域和第二图像 区域的所述步骤产生否定确定。 6.如前面权利要求任一项所述编码的方法,其中所述确定步骤包括确定所述第一图像 区域与。

5、所述第二图像区域的空间活动的步骤。 7.如前面权利要求任一项所述编码的方法,其中所述确定步骤包括检测用于画面的多 个宏块的基本上水平或基本上垂直的高振幅运动向量的步骤。 8.如前面权利要求任一项所述编码的方法,其中所述确定步骤包括如下步骤:比较用 于第一图像区域的压缩编码比特率和第二图像区域的压缩编码比特率,并且如果用于所述 第一图像区域的压缩编码比特率和用于所述第二图像区域的压缩编码比特率类似或基本 上相同,则确定存在第一图像区域和第二图像区域。 9.如前面权利要求任一项所述编码的方法,其中在所述压缩编码步骤中,将运动估计 搜索区域限定到相同图像区域中的画面信息。 10.如权利要求9所述编码。

6、的方法,也包括如下步骤:根据图像区域内的画面信息创建 所述图像区域外的画面信息并使用所创建的画面信息执行运动估计过程。 11.一种用于对视频信号进行编码的编码器,包括 分析器,用于接收所述视频信号的画面的画面信息,所述分析器确定画面中存在至少 第一图像区域和第二图像区域,所述第一图像区域中的所述图像和所述第二图像区域中的 所述图像基本上相同;以及 压缩编码器,耦合到所述分析器以从中接收肯定确定,以便响应肯定确定,对所述画面 的一个图像区域中的画面信息进行压缩编码而不参考在另一图像区域中的画面信息。 12.如权利要求11所述的编码器,其中,所述分析器比较所述第一图像区域与所述第 二图像区域内宏块。

7、之间的相关程度。 13.如权利要求12所述的压缩编码器,其中,如果第一图像区域和第二图像区域中宏 块之间的所述相关程度大于相关阈值,则所述分析器确定存在至少第一图像区域和第二图 像区域。 14.如权利要求13所述的压缩编码器,其中,如果在第一图像区域和第二图像区域中 权 利 要 求 书CN 102884789 A 2/2页 3 宏块之间的所述相关程度小于相关下限阈值,则所述分析器确定第一图像区域和第二图像 区域不存在。 15.如前面权利要求任一项所述编码的方法,其中,所述分析器包括用于确定所述第一 图像区域和所述第二图像区域的空间活动的活动计算元件。 16.如权利要求11-15任一项所述的压缩。

8、编码器,其中,所述运动估计器检测用于画面 的多个宏块的基本上水平或基本上垂直的高振幅运动向量。 17.如权利要求11-16任一项所述的压缩编码器,其中,所述分析器是设置成执行如下 操作的速率失真优化器(RDO):比较用于第一图像区域的压缩编码比特率和第二图像区域 的压缩编码比特率,并且如果用于第一图像区域的压缩编码比特率和用于第二图像区域的 压缩编码比特率类似或基本上相同,则确定存在所述第一图像区域和所述第二图像区域。 18.如权利要求11-16任一项所述的压缩编码器,其中,在对来自图像区域的画面信息 进行压缩编码期间,所述压缩编码器的所述运动估计器使用限定到相同图像区域中画面信 息的运动估计。

9、搜索区域。 19.如权利要求18所述的压缩编码器,其中,所述运动估计器根据图像区域内的画面 信息创建所述图像区域外的画面信息,之后使用所创建的画面信息执行运动估计过程。 权 利 要 求 书CN 102884789 A 1/9页 4 视频信号压缩编码 技术领域 0001 本发明涉及视频信号的压缩编码。在一些实施例中,本发明可应用于三维电视 (3DTV)信号的压缩编码。 背景技术 0002 虽然在二维(2D)显示屏幕上观看常规电子电视图像已成为通例许多年,但也一 直存在对扩展体验到立体或三维电视(3DTV)的很强兴趣。此类方案渴望提供单独信号到 每个眼睛,使得大脑构建三维空间的幻象,因此提供更多的。

10、真实性。使用独立输送到每个眼 睛的相同场景的两个单独但密切相关的图像提供了所谓的立体TV的基础。 0003 人们已提议借助于最少的另外处理、使用现有2DTV压缩硬件和传送系统的简单 调整而可支持3DTV的系统。下文中,一般术语3DTV用于包括多信道电视的所有方面,并且 2D将表示常规电视。 0004 存在用于在现有压缩编码和传送系统内传送3D视频信号的多种方法。例如,如图 1(a)所示,一种相对简单的方法是将左视频信号和右视频信号组合成单一2DTV视频信号。 来自左边视频信号的每个画面2将与来自右边视频信号的对应画面4组合以形成组合视频 信号的画面6的相应第一图像区域6a和第二图像区域6b。此。

11、方法的优点是单个常规2DTV 编码器和解码器能够用于传送所得到的2D视频信号,因此使压缩系统与普通2D视频压缩 器兼容。 0005 此方法的另一示例将是作为常规画面的顶半部和底半部组合3DTV画面。例如,如 图1(b)所示,一种相对简单的方法是将左视频信号和右视频信号组合成单一2DTV视频信 号。来自左边视频信号的每个画面2将与来自右边视频信号的对应画面4组合以形成组合 视频信号的画面8的相应上部第一图像区域8a和下部第二图像区域8b。此方法的优点是 单个常规2DTV编码器和解码器能够用于传送所得到的2D视频信号,因此使压缩系统与普 通2D视频压缩器兼容。 0006 参考如图1(a)所示的左/。

12、右情况提供下面的描述,但本领域技术人员明白,描述 也将适用于如图1(b)所示的顶部/底部方案。在每种情况下,这些示例都将要求信号的分 辨率降低二分之一,以便组合图像的带宽在现有常规2DTV编码器的容量内。虽然这可能是 一个小缺点,但能够断定,获得作为结果的3DTV体验的真实性是值得的。原则上,将可能容 易用如下编码器和解码器作为替代,所述编码器和解码器的带宽能够使用与此处所述相同 的技术来保持全分辨率。 0007 在大多数画面素材中,相机移动涉及平移移动,向左/向右摇摄和向上/向下倾 斜,并且因此图1(a)和1(b)中所示格式均有益处。理想的情况是允许在画面/画面基础 上或画面组(GOP)/画。

13、面组(GOP)基础上进行格式的选择而不是强加一种方法将是有益的, 这种选择根据每个单独的画面序列是适当的。然而,此特征、尤其是允许逐画面更改格式, 施加了实用限制和性能限制,这些限制不一定改进编码性能。虽然GOP/GOP选择是可能且 实用的,但其性能改进不明确。在表现户外运动时,通常最多的是相机向左/向右摇摄移 说 明 书CN 102884789 A 2/9页 5 动,并且因此在要使用固定格式的情况下,此格式通常被选定,并且因此此格式将是在下面 描述中使用的示例。 0008 与使用诸如图1(a)和1(b)所示那些信号等组合信号有关的一个问题是现有常规 2D视频编码器将尝试对它进行编码,好象它是。

14、单个常规信号一样。用于查找特定宏块的运 动向量的搜索区域可包括来自左图像和右图像的画面信息。具体而言,在3D对的右图像与 左图像之间的边界附近,使用来自右边视频信号的画面信息的运动向量可用于对左边视频 信号进行压缩编码或使用来自左边视频信号的画面信息的运动向量可用于对右边视频信 号进行压缩编码,而不论画面信息取自画面的极为不同区域。这能够在右边信号与左边信 号之间边界附近产生不希望的伪影,例如,在左边信号的右边缘或在右边信号的左边缘。 0009 图2示出画面10,示出了由于使用来自右边图像区域10a的运动向量对部分左边 图像区域10a进行压缩编码而产生的一些伪影的示例。图3示出这些伪影的放大版。

15、本。在 此示例中,运动估计系统在足球场的草地区域中选择了不当的向量,这是因为草恰好在跨 图像宽度的不同区域中对于两半而言是共同的,并且因此将被检测为可行的候选向量。 发明内容 0010 本发明寻求提供一种视频信号编码的新颖方法和用于对视频信号进行编码的新 颖编码器。 0011 根据本发明的第一方面,提供了一种对视频信号进行编码的方法。该方法包括确 定在画面中存在至少第一图像区域和第二图像区域的第一步骤,第一图像区域中的图像和 第二图像区域中的图像基本上相同。该方法包括响应肯定确定,对一个图像区域中的画面 信息进行压缩编码而不参考在另一图像区域中的画面信息的第二步骤。 0012 根据本发明的第二。

16、方面,提供了一种用于对视频信号进行编码的编码器,它包括 用于接收视频信号的画面的画面信息的分析器,分析器确定在画面中至少第一图像区域和 第二图像区域的存在,第一图像区域中的图像和第二图像区域中的图像基本上相同。编码 器也包括压缩编码器,压缩编码器耦合到分析器以从中接收肯定确定,以便响应肯定确定, 对画面的一个图像区域中的画面信息进行压缩编码而不参考在另一图像区域中的画面信 息。 附图说明 0013 现在将通过示例,参考附图描述本发明: 图1(a)示出两个视频信号的水平组合以形成3DTV视频信号; 图1(b)示出两个视频信号的垂直组合以形成3DTV视频信号; 图2示出在3DTV视频信号中的压缩编。

17、码伪影; 图3更详细地示出在图2中所示的压缩编码伪影; 图4是根据本发明的实施例的视频信号的示范编码方法的流程图; 图5是根据本发明的一实施例,示出示范视频信号编码器的特征的框图; 图6(a)-6(f)示出在本发明的实施例中使用的说明性运动估计搜索区域;以及 图7(a)-7(b)示出在本发明的实施例中使用的说明性运动估计搜索区域。 说 明 书CN 102884789 A 3/9页 6 具体实施方式 0014 现在将参考附图的图4-7(b)描述本发明。 0015 图4是根据本发明的实施例的视频信号的示范编码方法的流程图。 0016 在图4所示示范方法12中,在第一步骤14中,确定在视频信号的画面。

18、中是否存在 至少第一和第二基本上相同的图像区域。在第二步骤16中,响应在步骤14中的肯定确定, 对每个图像区域中的画面信息进行压缩编码,而不参考另一画面区域。 0017 图5是根据一示范实施例,示出示范视频信号编码器18的特征的框图。 0018 示范视频信号编码器18包括分析器20和压缩编码器22。分析器20设置成接收 视频信号24以及分析视频信号24以确定视频信号的画面是否具有至少第一和第二基本上 相同的图像区域,如在图4所示示范视频编码方法12的步骤14中所述一样。将在下文更 详细地描述在本发明的示范实施例和其它实施例中执行分析的方法的其它细节。 0019 分析器20耦合到压缩编码器22以。

19、向压缩编码器22供应视频信号24以及是否确 定视频信号24的画面具有至少第一和第二基本上相同的图像区域的指示26。压缩编码器 22根据收到肯定确定还是否定确定26,以不同方式对视频信号24的画面信息进行压缩编 码,并且输出所得到的压缩编码比特流28。 0020 在示范实施例中,压缩编码器22是H264压缩编码器。然而,技术人员将明白,在 本发明的其它实施例中,本发明可应用于其它压缩编码器。 0021 在示范实施例中,评估不同图像区域的空间活动之间的相关以便确定画面内是否 存在至少第一和第二基本上相同的图像区域,并且因此确立3DTV信号的存在。在其它实施 例中,可以多种不同方式实现关于在画面内是。

20、否存在至少第一和第二基本上相同的图像区 域的确定。 0022 如技术人员知道的一样,可将视频信号画面分割成宏块。在示范实施例中,将视频 信号画面分割成宏块,每个宏块包括画面的16 x 16像素阵列。在示范实施例中,分析器20 通过计算视频信号画面的不同图像区域的对应宏块的空间活动的相关程度,确定视频信号 24的画面是否具有至少第一和第二基本上相同的图像区域。 0023 因此,在示范实施例中,分析器20包括活动计算元件30和活动相关元件32。活动 计算元件30经耦合以接收视频信号24,并且设置成使用收到的画面信息确定画面中宏块 的空间活动。活动计算元件30设置成供应宏块活动信息到活动相关元件32。

21、以评估画面的 不同图像区域之间的相关程度。视频信号24和活动相关元件32生成的相关指示26被传 递到压缩编码器22。压缩编码器22执行对视频信号24的压缩编码。 0024 在示范实施例中,对于画面的每个宏块,活动计算元件30按照下式计算宏块的空 间活动: 其中: Y x,y 是用于形成宏块的每个16 x 16像素的8比特亮度值。 0025 如技术人员知道的一样,上面等式1中宏块的空间活动的计算可用硬件或软件以 任何适合的方式实现。 0026 如上所述,不同图像区域可以是屏幕的左侧和右侧,或者画面的顶部和底部,或者 说 明 书CN 102884789 A 4/9页 7 在不同实施例中可以是以其它。

22、的组合方式。因此,可要求活动相关元件32评估在画面的左 边区域与右边区域之间的相关和/或在画面的顶部区域与底部区域之间的相关或不同实 施例中其它画面区域之间的相关。 0027 在示范实施例中,如下计算在画面的右半部中宏块空间活动与在画面的左半部中 宏块空间活动之间的相关: 首先,如下组合由活动计算元件30为第一图像区域(即示范实施例中画面的左边侧) 中的宏块确定的空间活动: 其中: N是左边图像区域中的宏块数量; LeftActivity是由活动计算元件30使用等式1为左图像区域中的宏块计算的空间活 动。 0028 类似地,如下组合由活动计算元件30为第二图像区域(即示范实施例中画面的右 边侧。

23、)中的宏块确定的空间活动: 其中: N是右边图像区域的宏块数量;以及 RightActivity是由活动计算元件30使用等式1为右图像区域中的宏块计算的空间活 动。 0029 之后,活动相关元件32能够按照下式确定两个图像区域之间的相关: 由此 N是图像区域中的宏块数量; LeftActivity是由活动计算元件30使用等式1为左图像区域中的宏块计算的空间活 动;以及 RightActivity是由活动计算元件30使用等式1为右图像区域中的对应宏块计算的空 间活动。 说 明 书CN 102884789 A 5/9页 8 0030 由活动相关元件32在等式4中计算的量度相关指示例如示范实施例中画。

24、面的右 边侧和画面的左边侧等不同图像区域相似或相互相关的程度。预期对于3DTV图像(诸如 在画面的右边侧和画面的左边侧几乎相同的图1(a)中所示的图像),将发现这些不同图像 区域相比在普通画面(average picture)中的相同区域,更高度相关,并且因此量度相关可 用于确定是否应由压缩编码器22实现3DTV处理。 0031 在本发明的一些实施例中,将图像区域之间类似性或相关的量度和阈值进行比 较,并且如果画面中图像区域之间相关或类似性的量度大于阈值,则进行如下确定:在画面 中是否存在基本上类似的图像区域。随后,将确定26从分析器20的活动相关元件32传递 到压缩编码器22。压缩编码器22。

25、根据确定26是肯定确定还是否定确定,以不同方式对画 面进行压缩编码。 0032 人们发现,如果在信号的左边部分和右边部分之间宏块空间活动的相关足够高, 例如,在图像区域之间的相关高于大约80%时,则可将视频信号可靠地检测为3D视频信号, 而用于2D输入信号的相同相关低得多。 0033 在示范实施例中,视视频信号的以前画面是否包含类似图像区域而定,将不同阈 值用于与相关量度进行比较。如果视频信号的以前画面包含基本上类似的图像区域,并因 此被检测为3DTV信号,则由于在此情况下,新画面更可能是3DTV视频信号输入的一部分, 因此,可降低3DTV检测阈值。例如,阈值可降低到大约70-75%相关。如果。

26、视频信号的以前 画面未包含类似图像区域,则更高的阈值可用于和相关量度进行比较,这是因为在此情况 下,新画面较不可能是3DTV画面的一部分。在此情况下,可使用更高的阈值,例如,在范围 80-90%相关中。 0034 应注意的是,用于确定画面中存在类似图像区域的阈值级别可由技术人员选择成 以足够的可靠性和准确度区分3DTV画面和普通画面的任何级别。 0035 在其它实施例中可使用计算存在3DTV输入的可靠指示符的其它统计方式。 0036 如上所示,将确定26从分析器20的活动相关元件32传递到压缩编码器22。压缩 编码器22根据确定26是肯定确定还是否定确定,以不同方式对画面进行压缩编码。 003。

27、7 如果确定26是否定确定,则压缩编码器22根据技术人员知道的标准压缩编码技 术对画面进行压缩编码。 0038 如果确定是肯定确定,则改变压缩编码器22的操作,改变之处在于:对每个图像 区域中的画面信息进行压缩编码而不参考另一图像区域中的画面信息。 0039 在示范实施例中,通过将对图像区域中宏块的运动估计搜索限制到相同图像区域 中的画面信息或根据相同图像区域推导的画面信息,更改运动估计过程。因此,由于在压缩 编码期间未使用来自不同图像区域的画面信息,因而不会生成压缩编码伪影。 0040 现在将概括描述示范压缩编码器22。如将理解的一样,示范实施例的压缩编码器 22只是示范,并且其它实施例可用。

28、在其它压缩编码器中。 0041 示范压缩编码器22包括变换功能34、量化功能36、块扫描/运行级别编码功能38 及熵编码功能40,这些功能按顺序耦合以输出压缩比特流28。这些块执行以下功能: 变换功能34将用于宏块的画面信息从空间域变换到频率域; 量化功能36量化所得到的频率域画面信息; 块扫描/游程编码功能38通过以之字形模式扫描阵列,并且使用可变长度编码方案对 说 明 书CN 102884789 A 6/9页 9 所得到的比特进行行程编码,将量化的频率信息阵列转换成比特流,可变长度编码方案为 经常出现的模式使用较短的码,并且为较不经常出现的模式使用较长的码;以及 熵编码功能40,用于将来自。

29、块扫描/游程编码功能(run level code function)38的 输出码和任何对应运动向量41(如本文后面所述)组合以形成压缩比特流28。 0042 视频信号中的一些画面信息可至少部分地通过获得差别画面信息并使用上述功 能对图像差别信息进行压缩编码而得到压缩,差别画面信息是通过如下方式而获得的:比 较要编码的画面信息和相同画面中别处的画面信息或视频信号中一个或多个其它画面中 的画面信息。 0043 用于创建画面差别信息的画面信息必须是解码器可得到的画面信息,并且因此 压缩编码器22也具有耦合在量化器功能36的输出端与环内滤波器(in-loop filter function)46之。

30、间的逆量化器功能42和逆变换功能44。环内滤波器功能46也耦合到帧内 预测(intra-prediction)功能52,并且帧内预测功能52的输出端经由交换器54耦合到环 内滤波器46以创建解码的画面信息。 0044 压缩编码器22也配备有耦合的运动估计功能元件48以从环内滤波器46接收解 码的画面信息以及接收要编码的画面。通常情况下,对于要编码的每个宏块,运动估计功能 48在运动估计搜索区域内搜索宏块画面信息的最佳匹配。运动估计功能创建表示宏块和被 发现与宏块匹配的画面信息的相对位置的运动向量41,并且这些运动向量41被传递到熵 编码器功能40和运动补偿功能50。运动补偿功能50使用运动向量。

31、41来创建画面差别信 息,画面差别信息经由交换器54耦合到变换功能34。 0045 在示范压缩编码器中,确定26被供应到压缩编码器22的运动估计功能元件48。 运动估计功能元件48响应肯定确定26而限制运动估计搜索区域,以便在运动估计搜索中 只使用来自相同图像区域的画面信息。因此,由于在压缩编码期间未使用来自不同图像区 域的画面信息,因而将不生成压缩编码伪影。 0046 图6(a)示出画面56,画面56在画面的左侧具有第一图像区域56a且在画面的右 侧具有第二图像区域56b。在对宏块36的压缩编码期间,通常情况下可能使用运动补偿搜 索区域60。 0047 为避免在组合画面中在图像区域56a与5。

32、6b之间的边界附近使用不当的运动补 偿,要限制运动估计搜索区域以便不包括来自另一图像区域的画面信息。 0048 在图6(b)中,第一图像区域56a中的宏块62具有落在第一图像区域56a内的运 动估计搜索区域64,并且因此完整运动估计搜索区域64可被评估以确定最佳匹配。 0049 然而,在第一图像区域56a中的宏块66具有如下运动估计搜索区域,该运动估计 搜索区域具有落在第一图像区域56a内的第一部分68和落在第二图像区域56b内的第二 部分70。因此,在运动估计过程期间,从可允许搜索区域中排除来自落在第二图像区域内的 第二部分70的画面信息。 0050 因此,当编码器沿图像水平运动,并且接近中。

33、心边界区域时,搜索区域的右边边缘 被固定,以便可使用的像素的区域在水平方向上不断地变得更小。 0051 类似地,一旦在右边侧中,区域将水平地逐渐增大,直至它清除边界。此情况在图 6(c)中示出,图6(c)中,第二图像区域56b中的宏块72具有落在第二图像区域56b内的运 动估计搜索区域74,并且因此完整运动估计搜索区域74可被评估以确定最佳匹配。相反, 说 明 书CN 102884789 A 7/9页 10 在第二图像区域56b中的宏块76具有如下运动估计搜索区域,该运动估计搜索区域具有落 在第一图像区域56a内的第一部分78和落在第一图像区域56a内的第二部分79。因此,在 运动估计过程期间。

34、,从可允许搜索区域中排除来自落在第一图像区域56a内的第二部分79 的画面信息。 0052 其中画面80的上部和下部形成第一图像区域80a和第二图像区域80b的备选格 式被示为图6(d)。在第一图像区域80a中的宏块82具有落在第一图像区域80a内的运动 估计搜索区域84,并且因此完整运动估计搜索区域84可被评估以确定最佳匹配。 0053 然而,在第一图像区域80a中的宏块86具有如下运动估计搜索区域,该运动估计 搜索区域具有落在第一图像区域80a内的第一部分88和落在第二图像区域80b内的第二 部分90。因此,在运动估计过程期间,从可允许搜索区域中排除来自落在第二图像区域80b 内的第二部分。

35、90的画面信息。 0054 在计算图像区域之间边界附近的运动向量时限制使用来自画面的另一图像区域 的画面信息的示范方法可应用于常见的当前压缩标准,诸如MPEG2和MPEG4/H264压缩标 准。 0055 在诸如MPEG-2压缩标准等一些压缩标准中,运动估计搜索区域被限制到视频信 号的画面信息。然而,在诸如H264压缩标准等一些压缩标准中,在运动估计搜索区域中包 括的可允许画面信息可扩展到实际画面大小外。能够通过根据实际画面中的画面信息的估 计或外推获得用于另外搜索区域的画面信息。因此,在图6(e)中能够看到,用于在画面的 角落的宏块92的运动估计搜索区域具有第一部分94和第二部分96,第一部。

36、分94覆盖来自 该画面的画面信息,第二部分96覆盖该画面区域外的画面信息,第二部分中的画面信息是 已根据该画面的画面信息被外推的。 0056 在一些实施例中,类似的外推或估计过程能够用于创建画面信息以便在用于画面 的图像区域的边缘附近的宏块的运动估计搜索区域中使用。在这些实施例中,通过保持相 同搜索区域,但用根据图像区域内的画面信息估计或外推的画面信息填充该搜索区域,能 够克服对用于画面的图像区域内宏块的运动估计搜索区域的限制。 0057 因此,如图6(f)中对于具有第一图像区域80a和第二图像区域80b的画面80所 示,第二图像区域80b内的宏块98具有运动估计搜索区域,该运动估计搜索区域具。

37、有第一 部分100和第二部分102,第一部分100覆盖画面80的第二图像区域80b的画面信息,第二 部分102覆盖第二图像区域80b外的画面信息,第二部分102中的画面信息是已根据第二 图像区域80b中的画面信息被外推的。类似地,可扩展用于第一图像区域或第二图像区域 的边缘周围的任何宏块的运动估计搜索区域,以获得通过根据相应图像区域的画面信息外 推或估计不可得到的画面信息。 0058 在上述示范实施例中,通过评估在两个图像区域中空间活动的相关,确定存在基 本上相同的图像区域。另外或备选,在一些实施例中,可基于运动向量的评估确定存在基本 上相同的图像区域。 0059 此方法基于如下观察:不同图像。

38、区域中画面信息将十分类似或基本上相同。因此, 将预期,运动估计功能将在其它图像区域中的对应位置中找到宏块的很好匹配。例如,在组 合图像的左边缘附近,可能从其匹配像素位于组合图像的中心右侧的右图像的左侧获得很 好的匹配。在此情况下,运动向量的大小将比平常大得多,并且在值上等于画面宽度的一 说 明 书CN 102884789 A 10 8/9页 11 半,以及在取向上是完全水平的,但仍将是很好的匹配。 0060 图7(a)和图7(b)示出在确立存在基本上相同的图像区域时使用运动估计。 0061 在图7(a)中,画面具有第一图像区域56a和第二图像区域56b。使用第一图像区 域56a中对应于第二图像。

39、区域56b中宏块104的位置的搜索区域106,为宏块104执行运动 估计过程。如果第一图像区域和第二图像区域中的图像类似或基本上相同,如画面是3DTV 画面时将出现的情况一样,则运动估计过程将选择第一图像区域56a中位置对应于第二图 像区域56b中宏块104的宏块108,并且对应的运动向量110将得以确立。如将明白的一 样,运动向量110具有画面宽度一半的大向量振幅,没有或几乎没有垂直分量,并且多个此 类运动向量的存在将指示存在具有左/右格式的输入3DTV信号。 0062 在图7(b)中,画面具有第一图像区域80a和第二图像区域80b。使用第一图像区 域80a中对应于第二图像区域80b中宏块1。

40、12的位置的搜索区域114,为宏块112执行运 动估计过程。如果第一图像区域和第二图像区域中图像类似或基本上相同,如画面是3DTV 画面时将出现的情况一样,则运动估计过程将选择第一图像区域80a中位置对应于第二图 像区域56b中宏块112的宏块116,并且对应的运动向量118将得以确立。如将明白的一 样,运动向量118具有画面高度一半的大向量振幅,没有或几乎没有水平分量,并且多个此 类运动向量的存在将指示存在具有顶部/底部格式的输入3DTV信号。 0063 虽然编码系统通常将不具有从当前宏块扩展如此远的搜索范围,但在本发明的实 施例中,能够进行运动估计过程以使此类运动向量搜索成为检测输入3DT。

41、V信号的存在的 方式。因此,如果对于画面内的宏块检测到诸如上述运动向量110和118等运动向量,则能 够确定存在类似或基本上相同的图像区域。 0064 将此类分析级添加到压缩编码器将是容易设置的,这是因为压缩编码器一般执行 运动向量修饰(grooming)过程以便检查异常情况并防止虚假匹配。此实施例可通过对运 动估计过程进行更改而轻松实现,例如,在一些实施例中通过更新控制运动估计过程的软 件。 0065 另外或备选,在一些实施例中,能够根据来自压缩编码器的速率失真优化(RDO) 级(图5中未示出)的信息来推导存在类似或基本上相同的图像区域的进一步确定。压缩 编码器的RDO级能够评估第一图像区域。

42、的比特成本和第二图像区域的比特成本。在3DTV 画面中,预期第一图像区域的比特成本一般应与用于对该画面的第二图像区域进行压缩编 码的比特成本相同,这是因为图像区域应基本上是相同的。在一般画面中,一般而言,不同 区域的比特成本将不同。因此,画面的第一图像区域的比特成本与该画面的第二图像区域 的比特成本之间的差能够用于确定该画面中存在类似或基本上相同的图像区域。同样地, 此实施例可通过对RDO过程进行更改而轻松实现,例如,在一些实施例中通过更新控制压 缩编码器的RDO级的软件。 0066 最后,在一些实施例中,可能可安排要从输入视频信号源提供的外部指示符信号, 这将避免需要在用于检测系统的压缩编码。

43、器处检测3DTV信号。可能的是,将此类存在的外 部生成指示符与信号本身一起通过单独的物理方式提供,或者在信号中嵌入式地提供。此 实施例可能不适合与常规压缩编码器的硬件或常规压缩编码器是其一部分的系统体系结 构的硬件一起使用。 0067 在一些实施例中,一种或多种上述方法用于确定该画面包含至少第一和第二基本 说 明 书CN 102884789 A 11 9/9页 12 上相同的图像区域。 0068 因此,在本发明的实施例中,通过确定图像区域的存在来检测3DTV输入信号的存 在。此确定用于允许防止通过常规编码装置进行不当选择而引起的伪影。 0069 具体而言,伪影的一个主要原因是组合2D画面的不当。

44、运动补偿的块,使得根据左 信号的预测被用于对右信号进行编码,以及根据右信号的预测被用于对左信号进行编码。 在一个实施例中,通过限制在边界附近编码的画面的两半中的运动估计搜索区域来消除伪 影。这避免了不希望地将来自一个图像区域的画面信息用在对来自另一图像区域的宏块进 行压缩编码期间。 0070 因此,示范实施例提供能够对常规视频信号和3DTV视频信号进行压缩编码的视 频编码方法和视频编码器。这在示范实施例中通过根据是否正在对3DTV视频信号进行压 缩编码而修改压缩编码来实现。一旦检测到3DTV视频信号,便能够根据不同实施例以多种 方式修改运动估计过程及其向量搜索区域以考虑更改的输入信号格式。由3。

45、DTV视频信号 的两个图像的相邻放置产生的运动补偿伪影因此得以减少,并且一般视频画面质量得以改 进。 0071 尽管实际情况是组合图像的中心区域中的运动估计搜索区域被限于每个半画面, 但画面质量在PSNR(峰值信噪比)方面稍微得以改进,甚至在没有横向运动补偿伪影的那 些序列中也是如此。这是由比特到画面的各种部分的分配产生的压缩编码过程和所述方法 的意外但有价值的结果。在可预期编码可由于限制的运动向量搜索而不利的边界附近图像 的中心,要求的另外比特可从剩余的图像恢复,在剩余的图像中,就提到在PSNR方面的小 改进而言,两半之间的类似性有助于节省。 0072 在其它实施例中,可能可组合不止两个视频。

46、信号以及以其它方式编组或交织3DTV 图像对的像素。 0073 如技术人员将明白的一样,实施例可用硬件或用软件或以任何适合的方式实现。 另外,虽然压缩编码器的不同功能已示为单独的功能块,但不同功能元件可以用技术人员 认为适当的任何组合实现。 0074 得益于前面的描述和相关联图形中所示的教导,本领域技术人员将明白本公开发 明的修改和其它实施例。因此,要理解本发明并不限于公开的特定实施例,并且修改和其它 实施例要包括在本公开内容的范围内。虽然在本文中可采用特定的术语,但它们只是一般 性和描述性地使用,并不是要进行限制。 说 明 书CN 102884789 A 12 1/7页 13 图 1 (a)。

47、 说 明 书 附 图CN 102884789 A 13 2/7页 14 图 1 (b) 图 2 说 明 书 附 图CN 102884789 A 14 3/7页 15 图 3 图 4 说 明 书 附 图CN 102884789 A 15 4/7页 16 图 5 图 6 (a) 说 明 书 附 图CN 102884789 A 16 5/7页 17 图 6 (b) 图 6 (c) 说 明 书 附 图CN 102884789 A 17 6/7页 18 图 6 (d) 图 6 (e) 图 6 (f) 说 明 书 附 图CN 102884789 A 18 7/7页 19 图 7 (a) 图 7 (b) 说 明 书 附 图CN 102884789 A 19 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1