避免资料量不足的量化矩阵调整方法 【技术领域】
本发明涉及一种避免资料量不足的量化矩阵调整方法。
背景技术
为了缩小影像资料量，一般会对影像进行压缩，例如MPEG格式的影像编码(coding)。影像编码的基本单元(basic unit)为宏区块(macro-block)。若取样(sampling)为4：2：0格式，则每个宏区块具有6个区块(block)，分别为4个Y区块、一个Cb区块、以及一个Cr区块。每个区块必须先经过离散余弦转换(discrete cosine transform，以下简称DCT)后，再将DCT系数(coefficient)量化成整数(integer)。一种锯齿形(zigzag)扫描或其它替代的扫描方法被用来将二维(two-dimension)的量化系数阵列排列成一维(one-dimension)数据。最后，再利用所谓可变长度编码(variable-length coding，以下简称VLC)进行熵编码(entropy coding)。
通常，DCT系数F[v][u]的量化可表示成：
QF[v][u]＝16*F[v][u]/(Q*W[v][u]) …(1)
其中，v、u为二维阵列的指针(index)，范围从0-7。Q为每个宏区块内的各区块的量化比例因子(quantizer scale)，可随着不同的宏区块改变。W[v][u]为整张图像(picture)所定义的量化矩阵(quantization matrix)，用来指定每个不同DCT系数的权值(weighting factor)。图1显示在MPEG-2规格中对内部区块(intra block)所定义的预设量化矩阵。如图1的量化矩阵所示，该量化矩阵的值随着阵列指针v、u的增加而逐渐变大。此特性使得具有高频地量化系数较易变成0，原因是人类的眼睛对于低频信号较敏感，而对高频信号较不敏感。
另外，反量化(inverse-quantization)被使用于回复(recover)DCT系数。通常量化的DCT系数QF[v][u]的反量化被定义为：
F’[v][u]＝QF[v][u]*Q*W[v][u]/16 …(2)
其中F’[v][u]为回复的DCT系数。原始的DCT系数F[v][u]与回复的DCT系数F’[v][u]的差值被称为量化误差(quantization error)，且被定义为：
E[v][u]＝F[v][u]-F’[v][u] …(3)
而量化比例因子Q被用于调整量化矩阵W[v][u]的内容的比例值，Q值的范围是从131。应用于MPEG-1与MPEG-2的可适应性量化(adaptivequantization)可随意变化每个宏区块的Q值，但于MPEG-4时仅能些微(slightly)调整相邻宏区块的Q值。而且，MPEG-2具有将量化比例因子从(1-31)对应到从(0.5-56)的非线性的实际量化比例因子的功能。
调整量化比例因子Q可以控制宏区块的位元消耗(bit consumption)以及编码品质(coded quality)。对于较大的Q值会使量化DCT系数变小，而造成更多的量化DCT系数为0。因此，经过VLC处理后的编码比特流(coded bitstream)会变短。然而，结果会造成量化误差变大，造成译码后的影像品质变差。若我们希望得到较好的影像品质，则必须设定较小的Q值以降低量化误差，但是编码比特流会变长。
在一般的应用中，MPEG比特流的位元率(bit-rate)是受到限制的(constrained)。例如，在数字激光视盘(Digital Versatile Disk，DVD)的标准中即定义MPEG-2视讯流(video stream)的位元率不可高于每秒9.8Mb，所以在编码过程中必须控制位元消耗来满足该项限制。
在一连串视讯画面中的每张图像的内容均有变化，且编码的复杂度(complexity)在每个部分亦不尽相同。使用于MPEG-1的视讯缓冲核验器(videobuffer verifier，以下简称VBV)对于不同图像虽多少有提供位元率消耗的通融性(flexibility)，但长时间的整体位元率仍为固定位元率(constant bitrate，以下简称CBR)。而MPEG-2引进了可变位元率(variable bit rate，以下简称VBR)操作模式，提供了每张图像位元率消耗的变化更大通融性。VBV缓冲器被用来模仿(emulate)MPEG译码器的输入缓冲器，且由MPEG编码器产生的比特流不可违反(violate)VBV缓冲器的限制，否则比特流将无法适当地被译码。图2显示VBV缓冲器在CBR操作模式的示意图。如该图所示，斜线部分是表示以固定位元率输入缓冲器的编码资料，而垂直线部分是表示从缓冲器瞬间移出的被译码图像的数据。
为了使比特流满足MPEG位元控制的要求，当译码器要译码图像时，图像的数据必须已经储存于缓冲器内，且译码器的缓冲器不可过满(overfill)。参考图2，若一张图像消耗太多位元，则VBV缓冲器或许会资料不足(underflow)，因此可分配位元(allocatable bits)的上限(upper bound)为UB。相同的，若一张图像消耗太少位元，则VBV缓冲器或许会资料溢流(overflow)，因此可分配位元(allocatable bits)的下限(lower bound)为LB。图3显示VBV缓冲器在VBR操作模式的示意图。VBR与CBR操作模式的差异性是VBR操作模式是以指定的最大位元率输入VBV缓冲器直到VBV缓冲器满载为止，因此VBR操作模式的平均位元率输入率是可变的。所以，VBR没有最少位元率的限制，只有可分配最大位元率UB的限制。
为了满足VBV的限制，编码器必须对每张图像分配一个位元预算值(bitbudget)，之后试着控制实际的消耗位元接近位元预算值。一般是利用虚拟缓冲机制(virtual buffer mechanism)来控制位元消耗。当缓冲器占有量低于0时，则将量化比例因子Q对应为1；而当缓冲器占有量高于一门槛值R(threshold)时，则将量化比例因子Q对应为31。门槛值R一般被称为反应因子(reactionfactor)。在对一张图像编码之前，虚拟缓冲器的占有量D初始为d0，初始的量化比例因子Q为q0，则d0＝R*q0/31。编码器即利用该量化比例因子Q对第一个宏区块进行量化并编码。一个宏区块所消耗的位元量若大于平均位元预算值，则虚拟缓冲器占有量D增加，否则虚拟缓冲器占有量D减少。若虚拟缓冲器占有量D增加超过d0+R/31，则将量化比例因子Q设定成q0+1。此状况意味着位元消耗量超过太多，所以增加量化比例因子Q来试图减少位元消耗率。若虚拟缓冲器占有量D减少低于d0-R/31，则将量化比例因子Q设定成q0-1。此状况意味着位元消耗量低于预期值，所以减少量化比例因子Q来试图增加位元消耗率。
使用虚拟缓冲机制来控制位元消耗的问题是要如何指定虚拟缓冲器初始占有量d0。该虚拟缓冲器初始占有量d0可视为目前图片的编码复杂度的估测值(estimation)。对于一个固定的位元预算值而言，若目前图像的复杂度相对的较高，则必须选择较高的虚拟缓冲器初始占有量d0，使得每个宏区块的量化比例因子Q相对的提高。但是，编码器并不知道目前图像的复杂度直到该图像被实际编码后。一种解决方式是继承(inherit)前一张图像的虚拟缓冲器占有量。此种简单方式可处理大部分状况而不会有严重问题，但是当一连串的视讯的影像内容有快速改变时，则会造成VBV资料不足。
每个宏区块的量化比例因子Q的范围是从1至31，此范围可以处理视讯编码的大部分状况。然而，当一连串的视讯都很复杂，且目标位元率很低时，则无法避免VBV资料不足(underflow)。甚至当量化比例因子Q被设定成31，对于每个宏区块仍然需要太多的位元消耗量。美国专利第5,801,779号提出一种”紧急模式(panic mode)”来克服此状况。该紧急模式是在编码完每个宏区块后，监视VBV缓冲器的占有量。若太多位元被消耗掉且在编码完整个图像后会造成VBV数据不足，则该编码器进入紧急模式。在紧急模式时，编码器宁可选择以inter模式进行宏区块编码，其余的则不编码。若宏区块以intra模式进行宏区块编码(I图像的宏区块必须为intra模式)，仅有一部份系数被编码，其余系数为0来减少位元数。虽然此种方式可避免VBV资料不足，但却是图像品质严重降低。
【发明内容】
本发明所要解决的技术问题是，针对现有技术的上述不足，提供一种可避免VBV资料不足，同时不会使图像品质严重降低的避免资料不足的量化矩阵调整方法。
本发明所提供的避免资料不足的量化矩阵调整方法是由下述技术方案来实现的。
一种避免资料量不足的量化矩阵调整方法，是以一编码器对一连串图像进行编码，该编码器具有预设的量化矩阵，其特征是包含下列步骤：
更新已使用位元量以及平均量化比例因子；
对目前图像指定位元预算值；
计算估测量化比例因子，是根据前述已使用位元量、前述平均量化比例因子、以及前述位元预算值计算估测量化比例因子；
判断是否进入紧急模式，当前述估测量化比例因子大于一量化比例因子门槛值时，则将编码模式设定为紧急模式，否则保持为一般模式；
调整量化矩阵，当编码模式为紧急模式时，将前述预设的量化矩阵放大；
以及
进行图像编码，当编码模式为紧急模式时，根据放大后的量化矩阵进行图像编码，当编码模式为一般模式时，则根据预设的量化矩阵进行图像编码。
所述的避免资料量不足的量化矩阵调整方法，其特征是：前述计算估测量化比例因子的步骤中，前述估测量化比例因子＝(已使用位元量/位元预算值)*平均量化比例因子。
所述的避免资料量不足的量化矩阵调整方法，其特征是：前述调整量化矩阵的步骤中，是以一调整因子来放大预设的量化矩阵。
所述的避免资料量不足的量化矩阵调整方法，其特征是：前述调整量化矩阵的步骤中，前述调整因子为前述估测量化比例因子与一安全量化比例因子的比值。
所述的避免资料量不足的量化矩阵调整方法，其特征是：该编码器包含多个预设调整因子，以及多个对应的放大量化矩阵，当进入紧急模式时，选择预设调整因子中最接近前述调整因子的一组对应的放大量化矩阵作为放大后的量化矩阵。
一种避免资料量不足的量化矩阵调整方法，是以一编码器对一连串图像进行编码，该编码器具有预设的量化矩阵，其特征是包含下列步骤：
更新已使用位元量、已编码图像的活动程度Act_X、以及平均量化比例因子；
对目前图像指定位元预算值；
计算目前图像的活动程度Act_C；
计算估测量化比例因子，是根据前述已使用位元量、前述平均量化比例因子、前述活动程度Act_X与Act_C、以及前述位元预算值计算估测量化比例因子；
判断是否进入紧急模式，当前述估测量化比例因子大于一量化比例因子门槛值时，则将编码模式设定为紧急模式，否则保持为一般模式；
调整量化矩阵，当编码模式为紧急模式时，将前述预设的量化矩阵放大；
以及
进行图像编码，当编码模式为紧急模式时，根据放大后的量化矩阵进行图像编码，当编码模式为一般模式时，则根据预设的量化矩阵进行图像编码。
所述的避免资料量不足的量化矩阵调整方法，其特征是：前述计算估测量化比例因子的步骤中，前述估测量化比例因子＝(已使用位元量/位元预算值)*(活动程度Act_C/活动程度Act_X)*平均量化比例因子。
所述的避免资料量不足的量化矩阵调整方法，其特征是：前述调整量化矩阵的步骤中，是以一调整因子来放大预设的量化矩阵。
所述的避免资料量不足的量化矩阵调整方法，其特征是：前述调整量化矩阵的步骤中，前述调整因子为前述估测量化比例因子与一安全量化比例因子的比值。
所述的避免资料量不足的量化矩阵调整方法，其特征是：其中该编码器包含多个预设调整因子，以及多个对应的放大量化矩阵，当进入紧急模式时，选择预设调整因子中最接近前述调整因子的一组对应的放大量化矩阵作为放大后的量化矩阵。
本发明避免资料量不足的量化矩阵调整方法包含下列步骤：更新已使用位元量以及平均量化比例因子；对目前图像指定位元预算值；计算估测量化比例因子，是根据已使用位元量、平均量化比例因子、以及位元预算值计算估测量化比例因子；判断是否进入紧急模式，当估测量化比例因子大于一量化比例因子门槛值时，则设定为紧急模式，否则保持为一般模式；调整量化矩阵，当编码器进入紧急模式时，将预设的量化矩阵放大；以及编码，当编码器进入紧急模式时，根据放大后的量化矩阵进行编码，当编码器为一般模式时，根据预设的量化矩阵进行编码。
本发明地优点在于：
由于该发明在紧急模式时将预设的量化矩阵放大，因此可有效地降低量化比例因子，让量化比例因子具有调整空间，使得编码后的影像品质可以提升，且不会造成VBV资料量不足。
为对本发明的方法、特征及其功效有进一步了解，兹列举具体实施例并结合附图详细说明如下：
【附图说明】
图1显示在MPEG-2规格中对内部区块所定义的预设量化矩阵。
图2显示VBV缓冲器在CBR操作模式的示意图。
图3显示VBV缓冲器在VBR操作模式的示意图。
图4显示本发明避免资料量不足的量化矩阵调整方法第一实施例的流程图。
图5显示本发明避免资料量不足的量化矩阵调整方法第二实施例的流程图。
【具体实施方式】
以下参考附图详细说明本发明避免资料量不足的量化矩阵调整方法。
VBV数据不足是发生于目前图像以预设(default)的量化矩阵W[v][u]与最大的量化比例因子Q进行编码。由于量化比例因子Q从1至31为规格所制定，无法改变，因此，本发明以放大预设的量化矩阵W[v][u]来减少量化DCT系数QF[v][u](参考式(1))。
在MPEG-1与MPEG-2规格中，在每个编码比特流的开头必须配置一串标头(sequence header)数据，且该标头可被加入随后的比特流。一旦译码器接收到标头资料，则量化矩阵W[v][u]会被设定成默认值。在MPEG-1中，定制(customized)的量化矩阵W[v][u]仅可在标头中设定，且该标头仅可插入一图像群组(Group of pictures，以下简称GOP)之前。此意味着当译码器要变更量化矩阵时，译码器必须重新起始一个GOP，在GOP前插入一标头数据，且在标头数据中配置新的量化矩阵。而在MPEG-2中，新的量化矩阵不仅可以配置于标头数据中，亦可插入一外延量化矩阵。所以，若译码器要变更量化矩阵时，必须在每张图像编码之前。
图4显示本发明避免资料量不足的量化矩阵调整方法第一实施例的流程图。该实施例的流程是编码器没有对目前图像事先分析即进行目前图像的编码动作。由于编码器没有事先扫描分析图像的复杂度即对图像进行编码，就像习知TEST模型5(test mode15，TM5)位元率控制算法(rate control algorithm)，编码器只能利用前一张编码图像来预估目前图像的复杂度。该第一实施例的步骤如下：
步骤S402：更新已使用位元量BB_X以及平均量化比例因子Avg_Q。在一张X图像(X包含I图像、P图像与B图像)被编码之后，编码器即取得该X图像的平均量化比例因子Avg_Q、最后虚拟缓冲器占有量d_X、以及已使用位元量BB_X。
步骤S404：准备编码X类图像并对目前图像指定位元预算值BB_C。在一般状况下，下一张图像的初始虚拟缓冲器占有量d0_X会被设定成最后虚拟缓冲器占有量d_X，且初始量化比例因子会被设定成平均量化比例因子Avg_Q。而且，由图框层位元率控制(frame-level rate control)来指定目前图像的位元预算值BB_C。
步骤S406：计算估测量化比例因子EstQ_C。由于相同格式的相邻图像其活动程度大致相同，因此该译码器利用前一张图像的已使用位元量BB_X、目前图像的位元预算值BB_C、以及平均量化比例因子Avg_Q来计算目前图像的估测量化比例因子EstQ_C：
EstQ_C＝(BB_X/BB_C)*Avg_Q …(4)
步骤S408：侦测是否进入紧急模式。当估测量化比例因子EstQ_C大于一比例因子门槛值ThQ_X时，例如ThQ_X为24至28，表示该视讯的图像内容对于所给的位元率而言是相当复杂的。若上一张编码图像的已使用位元量BB_X以及指定给目前图像的位元预算值BB_C大致相等，则可猜测以指定给目前图像的位元预算值BB_C将不容易对目前图像进行编码。因此，当估测量化比例因子EstQ_C大于比例因子门槛值ThQ_X时，则编码器进入步骤S410的紧急模式，否则以步骤S416的一般模式处理。
步骤S410：放大预设量化矩阵成为新的量化矩阵。在紧急模式中，编码器会希望将目前图像的最后平均量化比例因子降低到一个安全值SQ_X，而该安全值SQ_X可能会小于或等于比例因子门槛值ThQ_X。因此，本发明是利用一调整因子(adjustment factor)S来放大预设的量化矩阵，且初始虚拟缓冲器占有量会被减少成d0_X/S。该调整因子S为一个大于1的数值，且可由下式计算：
S＝EstQ_C/SQ_X …(5)
而新的量化矩阵W’[v][u]为：
W’[v][u]＝W0[v][u]*S …(6)
其中v与u为0-7的指针。W0[v][u]可为预设的量化矩阵或为使用者定义的量化矩阵。因此，安全值SQ_X越小，调整因子S就会越大。由于量化矩阵的最大值为255，因此W’[v][u]的内容的最大值被限制为255。
另外，编码器中会使用两个量化矩阵，一个是给内部(intra)区块使用，而另一个是给互相关联(inter)区块使用。由于更新一个量化矩阵需要512位元来编码该量化矩阵本身以及一些额外的位元，因此在位元使用量有限的情况下，可尽量减少量化矩阵更新的数量。例如，I图像仅需要内部量化矩阵，而B图像可能仅需要更新互相关联量化矩阵即足够。而对于P图像而言，则要依据该图像存在多少内部编码的宏区块。若内部编码的宏区块大于一门槛值，则必须更新内部量化矩阵与互相关联量化矩阵，否则只需更新互相关联量化矩阵即可。
步骤S412：以新的量化矩阵对目前的图像进行编码。
步骤S414：检查目前图像是否编码完成，若编码完成，则跳回步骤S402，若尚未完成则跳回步骤S412。
步骤S416：以预设的量化矩阵对目前的图像进行编码。
步骤S418：检查目前图像是否编码完成，若编码完成，则跳回步骤S402，若尚未完成则跳回步骤S416。
在上述步骤中，若编码的X图像进入紧急模式，则量化矩阵会放大S倍，由于宏区块以新的量化矩阵来量化，因此在计算平均量化比例因子Avg_Q时，亦必须将该等宏区块的Q值放大S倍以反映实际的编码复杂度。
再者，当对于相邻图像的调整因子S的差异不大，则对每个图像变更量化矩阵来反应该微小差异并非好的方式。因此，可以在调整因子S的差异超过一门槛值时才进行量化矩阵的变更。另外，有一种解决方法是将调整因子S预设几个范围，并计算好其对应的量化矩阵。例如预设调整因子S0可设定为1. 1、1.2、1.3、1.4等四个值，其对应的量化矩阵分别为W1、W2、W3、W4，因此当调整因子S为1.21、1.18、1.16、1.22或1.2时，其更新的量化矩阵均为W2，且只有第一张图像需要将量化矩阵W2编码到比特流，其余几张图像亦使用量化矩阵W2直到标头改变。
图5显示本发明避免资料量不足的量化矩阵调整方法第二实施例的流程图。该实施例的流程是编码器事先对目前图像分析后，再进行目前图像的编码动作。若编码器可以对图像预先分析来收集复杂度估测的信息，则该编码器可更正确地决定是否变更量化矩阵以及如何变更。一般而言，目前图像的复杂度可藉由进行动作估测(motion estimation)时来进行估测。对于I图像而言，可以取得每个内部编码的宏区块的相异(variance)。对于P与B图像而言，必须根据内部编码与互相关联编码模式的相异来进行模式判断(modedecision)。相异的总和一般被称为目前图像的活动程度(activity)。在进行图像编码之前，编码器可以获得该图像的活动程度Act_C。而在图像编码之后，平均量化比例因子Avg_Q以及实际使用位元BB_X可以用来计算该图像的复杂度Com。
当编码器无法对图像预先分析目前图像时，编码器只能根据前一张译码图像来决定是否变更量化矩阵以及如何变更。但是当相邻两张图片的图像内容有快速变化时，此种方式的决定可能错误。例如，当前一张图像的平均量化比例因子Avg_Q仅稍低于比例因子门槛值ThQ_X时，目前图片将不会进入紧急模式。然而，若目前图像的编码复杂度远大于前一张图像的复杂度时，目前图像编码后的位元率将远超过位元预算值，而造成VBV资料不足。相反的，若前一张图像的复杂度相当高，但目前图像的复杂度相当低，则过于放大的量化矩阵将造成影像品质大为衰减。
因此，第二实施例的方法与第一实施例的方法的差异是该实施例预先估测目前图像的活动程度Act_C后，再根据该活动程度Act_C进行估测量化比例因子EstQ_C的计算。估测量化比例因子EstQ_C的计算如下式：
EstQ_C＝(BB_X/BB_C)*Avg_Q*(Act_C/Act_X) ....(7)
式(7)与式(4)的差异是式(7)在计算估测量化比例因子EstQ_C时，除了考虑位元预算值、平均量化比例因子Avg_Q外，还同时考虑活动程度Act。亦即，当位元预算值与平均量化比例因子Avg_Q均相等的状况下，若目前图像的活动程度高于前一张图像的活动程度，则所计算出来的估测量化比例因子EstQ_C会相对的提高，使目前图像编码后的位元率不会超过位元预算值太多。相反的，若目前图像的活动程度低于前一张图像的活动程度，则所计算出来的估测量化比例因子EstQ_C会相对的降低，使目前图像编码后的位元率不会低余位元预算值太多。
当计算出估测量化比例因子EstQ_C后，第二实施例与第一实施例相同，均利用估测量化比例因子EstQ_C来判断是否进入紧急模式。当估测量化比例因子EstQ_C大于比例因子门槛值ThQ_X时，则进入紧急模式，否则以一般模式处理。
当进入紧急模式后，编码器将量化矩阵放大成为新的量化矩阵。在紧急模式中，编码器会希望将目前图像的最后平均量化比例因子降低到一个安全值SQ_X，而该安全值SQ_X可能会小于或等于比例因子门槛值ThQ_X。因此，本发明是将利用一调整因子(adjustment factor)S来放大预设的量化矩阵，且初值初始虚拟缓冲器占有量会被减少成d0_X/S。该调整因子S为一个大于1的数值，且可由式(5)计算出来。而新的量化矩阵W’[v][u]可由式(6)计算出来。由于量化矩阵的最大值为255，因此W’[v][u]的内容的最大值被限制为255。后续的动作与第一实施例相同，不再重复说明。
以上虽以实施例说明本发明，但并不因此限定本发明的范围，只要不脱离本发明的要旨，该行业者可进行各种变形或变更。