图像信号处理方法及装置 本发明涉及一种图像信号处理方法和装置。更特别地，它涉及一种在对输入的数据比如静止图像数据或移动图像数据进行压缩编码及解码中，通过对分块了的和经DCT(离散余弦变换)处理的输入信号进行块编码，而使失真或噪声能有效消除的图像信号处理方法及装置。
作为一个对静止图像数据或移动图像数据进行有效压缩编码的编码系统，块编码比如块DCT编码是众所周知的。
用这种块编码压缩/扩展图像数据，往往会产生块失真(块噪声)，由此，压缩系数越高，失真就变得越大。这种块失真的产生是由于未考虑到除块边缘之外的相关性而在该块的闭合空间执行DCT的情况造成的。这样，就不能保持块边缘的连续性，使得将在相邻数据块的边缘区的回放数据值中的偏差看作噪声。在块编码图像数据上产生的这种块失真，显示出某种周期性并因此比普通随机噪声更容易被看出，所以在图像质量恶化中它被证明是一个重要地系数。
为减小这种块失真，在1990年的7-35的电子信息协会团体的春季会议的补充摘要(Extended Abstract to Spring Meeting of Society of EletronicInformation Association,1990,7-35)中的Ida和Datake的《在MC-DCT编码系统中的去除噪声滤波器》(“Noise Removing Filter in MC-DCT EncodingSystem”)中公开了一种为消除噪声而采用用来为设置滤波器开/关的量化步长的技术，或一种在改变用来保存作为图像专有信息的边缘的处理方向时，执行复数次处理以消除噪声的技术。在Shinshu大学技术系的报告的第74号第89-100页(a report by Technical Department of Shinshu University,No.74,pp.89-100)的Izawa的《图像块编码中自适应噪声消除滤波器的特性》(“Characteristics of Adaptive Noise Removing Filter in Picture BlockEncoding”)中，也公开了一种即使相邻块运行了DCT，仍能消除噪声频率成分的提取技术。
利用前一种方法，处理是简单的，然而图像中的高频分量丢失了。这点需要改进，正如后一种方法，能使高频分量不可能漏掉。
一种消除在图像压缩-扩展(compansion)中产生的块失真或小型噪声的方法，其中建议一种使用预测比如图像平滑性的局部统计定量和从代码信息中得到的基于块的噪声定量、基于像素的噪声预测及利用最小平方方法的自适应滤波器的算法来消除噪声。
小型噪声(mosquito noise)意味着由量化误差中的高频分量产生的环输出(ringing output)图像失真。
同时，通过图像质量校正，比如使用轮廓线(contour)增强，来校正输入图像以提高图像的清晰度是众所周知的。如果一个图像质量校正比如轮廓线增强是在伴随块编码的图像压缩/扩展的时刻受到影响，上面提到的块失真或小型噪声就会增强，以至很难充分地提高图像质量。
例如，对一个所谓视频CD播放机，打算使用一种由域递归(field recursive)型噪声滤波器消除噪声的结构，由一个NTSC编码器添加周期信号，所得到的信号由一个D/A(数/模)转换器转换为模拟信号，且得到的模拟信号由一个为提高图像清晰度的轮廓线增强电路处理。
然而，在这种情况下，没有被域递归型噪声降低器消除的块失真或小型噪声，也由轮廓线增强电路放大，以至很难充分地改善图像质量。
所以，本发明的一个目的是提供一种图像信号处理方法和装置，借此可有效地实现在块编码时刻比如DCT时刻的块失真或小型噪声的降低、及图像质量的校正，如轮廓线的增强。
这样，在对压缩-编码图像信号进行解码和处理时，根据本发明，已解码的图像信号的噪声被降低，于是，减小了噪声的图像信号为提高图像质量而被校正。这使图像质量校正如轮廓线增强能够被有效执行。
特别是，在图像质量压缩-扩展中如块DCT编码中产生的量化失真或噪声如块失真或小型噪声首先被降低或消除，此后，完成图像质量校正如轮廓线增强。这就实现了块失真或小型噪声的有效消除及图像质量校正如轮廓线的增强。
然而，当降低噪声时，首先降低在图像质量的帧中的噪声，接着降低由帧间产生的噪声，这样就有效地消除了在一帧中产生的失真及在各帧间产生的失真或噪声。
图1显示了根据本发明的一个图像信号处理设备的结构的简略框图。
图2显示了根据本发明的一个噪声降低电路的原理结构框图。
图3图示了在图2的结构中的取样及内插法。
图4显示了根据本发明的一个图像数据块失真降低电路的简要结构框图。
图5显示了用来校正块失真的一个块边缘附近的像素。
图6显示了一个关于作为编码信息的量化级和用来区别块失真的门限值之间的关系的一个例子。
图7图示了校正块边缘中级差的操作。
图8显示了一个域递归型噪声降低电路的例子的框图。
图9显示了作为图像质量校正装置的轮廓线增强电路例子的简要结构框图。
图10显示了另一个轮廓线增强电路的图例的框图。
图11显示了对块边缘中的级差和量化级代码的典型的量化级加权系数。
图12图示了一个对块边缘分离的边缘分离加权系数的例子。
参照附图，将对本发明的优选实施例将作详细解释。
图1显示了将根据本发明的图像信号处理设备应用于视频CD播放机的情况下的整个系统结构的简要框图。
在图1中，通过光拾取器102从光盘101，如一个视频CD或一个CD-ROM中读出的射频(RF)信号进入射频放大器103。被放大的射频信号由8-14(EFM)解调电路104解调以便能以串行数据形式进入一个光记录格式解码器，比如CD-ROM解码器105。CD-ROM解码器105将该串行数据转换为例如传递到MPEG解码器106的MPEG位流信号。
必须注意，MPEG是对ISO/IEC JTC1/SC29(国际标准化组织/国际电子技术委员会，联合技术委员会1/分会29)的移动图像进行压缩编码的移动图像专家组的缩写。ISO11172和ISO13818分别是MPEG1的标准和MPEG2的标准。在这些国际标准中，ISO11172-1及ISO13818-1是多媒体多路传输条目下的标准，而ISO11172-2和ISO13818-2是视频条目下的标准，ISO11172-3和ISO13818-3是在音频条目下的标准。
在作为图像压缩编码标准的ISO11172-2和ISO13818-2中，图像信号是通过利用暂时的和立体的图像相关性而在图像基准(在帧或域基准)上被压缩编码。块DCT编码是通过利用在空间方向中的相关性而使用的。
在MPEG解码器106中解码是根据MPEG1格式实现的。在这种解码中，如果需要，则在输出之前依次进行下列处理：由解量化器161解量化、由逆DCT电路162进行逆DCT处理和内插或类似处理。
由MPEG解码器106输出的图像信号进入一个作为噪声降低器的块失真降低电路107。由于这些信号包含源于由MPEG1进行的压缩-扩展而产生的块失真或小型噪声，所以这些噪声由噪声降低电路107消除。对上述噪声降低电路107将在后面作详细解释。在由噪声降低电路107处理之后，为提高图像质量，该信号在被送到一个NTSC编码器109之前通过比如轮廓线增强而由图像质量校正电路108校正。
上述NTSC编码器109执行同步信号的附属程序和颜色信号的调制以产生通过D/A转换器110在一个输出端111输出的NTSC视频信号。
与噪声降低电路107相结合提供了一种采用比如微计算机的控制电路112。将从操作单元113得到的控制信号提供给该控制电路112。操作单元113被提供有用于噪声降低如用于块失真的降低的一个控制开关。并对噪声降低如块失真的降低执行开/关切换。操作单元113也被提供了一控制开关，用于通过控制图像质量校正效果的幅度，如轮廓线增强的幅度而进行图像质量的校正比如轮廓线的增强。
图2显示了图1的整个结构中噪声降低电路107的一个例子的框图。
参照图2，将从图1的MPEG解码器106得到的图像信号提供给一个输入端10。例如将帧容量(分辨)信息作为从包括如图1所示的微计算机或类似物的控制电路112得到的控制信号加到取样电路13上。如果帧容量符合NTSC系统的一个标准，例如是352个像素乘以(by)240线，图1中MPEG解码器106的图像信号输出就如图3A中所示，其中奇数像素P1、P3、P5、…和偶数像素P0、P2、P4、…进行内插，且每一个像素都是前向和后向像素的平均值(P1=(P0+P2)/2)等等)。考虑到是为发现块失真而检测图像数据的，输入到下游一端的块失真降低电路14的图像数据是理想的非邮递处理(non-post-processed)原始解码信号。因此，图3A的图像信号由取样电路13取样以产生如图3B所示的原始编码数据。如果帧容量是一个高清晰度的容量，比如是704像素乘以480线的NTSC系统，将省去取样电路13的取样。
取样电路13的输出信号被送到块失真降低电路14以减小由执行解码操作而产生的块失真，该解码操作是上所述的块DCT编码的对应操作。由块失真降低电路14得到的图像信号被送到域递归型噪声降低电路15，用以消除噪声，如邻域间产生的块失真。域递归型噪声降低电路15的一个输出信号被送到内插电路16，以便当帧容量为上面提到的标准大小时，执行如图3中B和C所示的内插处理。得到的被内插的信号被输出到输出端17。
将参照附图对块失真降低电路14和域递归型噪声降低电路15的原理结构予以详细说明。
首先，块失真降低电路14的举例构成如图4中所示。在这张图中，将经压缩编码如经块编码处理并随后经解码的图像信号，比如由图1中MPEG解码器106输出并由图2的取样电路13得到的图像信号，提供给一个输入端20。这种信息处理系统被送到一个活动性(activity)和块级差计算电路21及一个块失真校正电路24。
图4的活动性和块级差计算电路21计算作为块边缘附近相邻像素间的差值的平均值的活动性act，并计算作为块边缘的相邻像素间的差值的块级差δb，并将这些计算值传递到一个块失真判定电路22。该块失真判定电路22执行如在后解释的条件判定，使用活动性act和块级差δb来判定块失真是否存在。如果未发现块失真存在，块失真校正电路24就响应一个由块失真判定电路22得到的控制信号以省略对进入端口20的信号的处理并直接在端口25输出输入到端口20的数据。另一方面，编码信息从比如图1的MPEG解码器106输入到端口26。这个解码信息通过一个噪声值预测表27被送到块失真判定电路22。
由图4中的活动性和块级差计算电路21将从提供给端口20的像素数据P得到的活动性act，作为块边缘附近相邻块像素间差值的一个平均值；得到的块级差δb，作为块边缘中相邻像素间的差值。如果DCT块边缘附近的像素即与块边缘相邻的像素可表示为：
P[i+4]、P[i+5]、P[i+6]、P[i+7]| P[i+8]、P[i+9]、P[i+10]、P[i+11]，这里的|意味着块边缘，则活动性act是这样计算的：
act=(|P[i+6]-P[i+5]|+|P[i+7]-P[i+6]|+|P[i+9]-P[i+8]|+|P[i+10]-P[i+9]|)/4 ……(1)而块差是δb这样计算的：
δb=P[i+8]-P[i+7] ……(2)
块失真判定电路22使用活动性act和块差δb，在满足下列条件时判定块失真已经发生：
act＜|δb|＜Th ……(3)在这个不等式(3)中，Th代表门限值。
对于门限值Th，块失真量(噪声质量)是由噪声量预测表27凭借由端口26得到的编码信息比如量化级的值预测的，以便改变门限值Th。图6显示了门限值Th相对于作为噪声量预测表27中编码信息的量化级的例图。图6的这个例子利用这样一个特性，即量化级越粗，产生的噪声就变得越大。
如果块失真被判定为不存在，块失真校正电路24就将在端口20输入的数据不经数据处理而直接输出。
相反，如果块失真被发现已发生了，一个基于像素的校正值计算电路23首先通过以下等式(4)或(5)得到校正值α：
α=δb-act:δb＞0 ……(4)
α=δb+act:δb≤0 ……(5)
下一步，块边缘附近的像素由以下等式(6)到(13)得出：
P’[i+4]=P[i+4]+α/16 ……(6)
P’[i+5]=P[i+5]+α/8 ……(7)
P’[i+6]=P[i+6]+α/4 ……(8)
P’[i+7]=P[i+7]+α/2 ……(9)
P’[i+8]=P[i+8]-α/2 ……(10)
P’[i+9]=P[i+9]-α/4 ……(11)
P’[i+10]=P[i+10]-α/8 ……(12)
P’[i+11]=P[i+11]-α/16 ……(13)
块失真校正电路24根据用来消除块失真的等式(6)到(13)，对块边缘附近的像素和块失真中的相邻像素进行校正。结果，由如此校正即P’[i+8]-P’[i+7]而得到的块边缘的级差变得与下面等式(14)所示的活动性act的值相等：
P’[i+8]P’[i+7]=(P[i+8]-α/2)-(P[i+7]+α/2)
=(P[i+8]-[P[i+7])-α
=δb-(δb-act)
=act ……(14)
图7显示了块边缘级差的一个例子。在图7中，A和B分别代表预校正状态和已校正状态。在图7中，纵坐标和横坐标表示幅度，即像素数据值，且纵坐标表示该像素在水平(H)方向和垂直(V)方向的位置。图7A中块边缘的级差δb被校正为图7B中块边缘的级差act。
参照图8，说明了一个域递归型噪声降低电路15的示例。
将从图2中的块失真降低电路14得到的图像信号输入给图8中的输入端口60。将上述这些输入图像信号Vin送到减法器61、64。由减法器61输出的信号分别在输出端67上输出及被写入域存储器65。一个和域存储器65相关的存储控制器66用于控制对域存储器65的写入操作及从域控制器65的读出操作，以至域存储器65的读出数据相对于写入数据延迟一个域。即，如果Vout代表输出信号且F-1代表域延迟，则域存储器65的输出信号就变为Vout,F-1。将这个域延时输出信号提供给减法器64，该减法器接着从信息处理系统Vin中减去域延时输出信号Vout,F-1以输出得到的差信号。
减法器64的输出信号通过带限低通滤波器(LPF)63被传送到一个非线性电路62。该非线性电路62用来根据由LPF63(将信号输入给非线性电路62)得到的输出信号的值而将输出信号与反馈系数K相乘。这个非线性电路62有输出一个作为噪声分量的小范围域差的输入/输出特性，及假定由运动而导致如此大域差时将大域差减小到零输出的输入/输出特性。即，该非线性电路62通过利用该噪声分量仅具有小的域对域(field-to-field)校正及具有小幅度的特性而提取该噪声分量。
非线性电路62的输出信号L·(Vin-Vout·F-1)被送到减法器61以便从输入图像信号Vin中减去这个数。这相当于减去用减法器61从输入图像信号Vin中得到的噪声成分，以产生已减小噪声的输出图像信号Vout。
即由：
Vout=Vin-K·(Vin-Vout·F-1)
Vout·(1-K·F-1)=Vin·(1-K)
输出图像信号Vout是下式给出：
Vout=Vin·(1-K)/(1-k·F-1)。
将参照图9对作为图1的图像质量校正电路108的一个示例的一个轮廓线增强电路进行解释。
图9显示了一个作为图像质量校正电路108的轮廓线增强电路的原理结构。参照图9，图1中噪声降低电路107的一个输出信号，更具体讲是通过内插电路16和输出端17由域递归型噪声降低电路15得到的一个图像信号，被反馈到输入端80。将从端口80得到的一个输入信号送到BPF(带通滤波器)82和加法器85。该BPF 82提取中频到高频分量比如图像轮廓线分量。提取出的轮廓线分量被送到去除信号线上低噪声(coring)电路83以便受到非线性处理(去除信号线上低噪声的处理)以消除相应于小幅度信号的噪声分量。将上述得到的信号送到增益控制电路84以用来控制校正量。将得到的信号当作一校正信号加到加法器85。
控制信号从控制电路112，比如图1中的微计算机送到控制端口81。将该控制信号送到去除信号线上低噪声电路83和增益控制电路84。即，图1的操作单元113有一个控制开关，如一个用作轮廓线增强的开关。实际上可通过操作这个开关来控制轮廓线增强效果的幅度。
这样会由轮廓线增强电路108增强图像信号中的中频到高频成分以提高图像清晰度。
在根据本发明的上述实施例中，因为由块DCT编码在压缩图像上产生的噪声如块失真被事先消除了，所以可有效地实现紧随的下一图像质量校正，如轮廓线增强。
下文将说明本发明的改进。
在当前的改进中，自适应处理是通过使用在例如轮廓线增强电路中进行的后处理中的加权编码信息来执行的。
那就是说，可根据块边缘的级差幅度估测控制块失真校正量，用来减小由于对块失真的误判断而产生的误动作。在这种情况下，如果块边缘的级差很大，校正量就变小，致使剩下块边缘的小级差。因为没有突出残余块失真，加权的编码信息用于实施自适应处理以用于轮廓线增强。
图10在框图中显示了在当前改进中的轮廓线增强电路的结构。在图10的增益控制电路84中，根据作为来自端口88的编码信息的量化级值和作为来自端口89的解码图像信息的块边缘的级差值与自块边缘的距离，由一个加权电路87b对由控制电路112通过端口81提供的控制信号加权。作为一个提供给增益控制电路84的参数，增益G的值由比如下列等式得到：
G=Gst×(kQ/8)×(Lw/4)这里Gst是图1的控制电路112中的增益设定值，kQ是量化级的加权系数，Lw是边缘距离的加权系数，1/8、1/4是归一化的除数。
图11显示了对量化级代码和块边缘级差的量化级加权系数，图12显示了对块边缘距离的边缘距离加权系数。
通过图示的方法，假定来自端口81的作为控制信号的增益设定值为2，给出了量化级代码和块边缘级差，使得从图11的表中知，量化级加权系数是4，并将由块边缘得到的距离传送到图12的表以得到边缘距离加权系数值2。在这一时刻对增益控制电路84提供的参数就是增益G：
G=2×(4/8)×(2/4)=0.5这将降低轮廓线增强的效果。
这也适用于去除信号线上低噪声电路83。
特别是，在图10的去除信号线上低噪声电路83中根据作为由端口88得到的编码信息的量化级值和作为由端口89得到的解码图像信息的自块边缘的距离及块边缘的级差值，将由端口81提供的作为控制信号的参数由加权电路87a加权。
图13显示了用在量化级代码和块边缘级差上的去除信号线上低噪声加权系数。提供给去除信号线上低噪声电路83的参数C的值比如可以由以下等式得到：
C=Cst×Kc×(Lw/4)
这里，Cst、Kc及Lw分别表示图1中控制电路112的去除信号线上低噪声设定值、加权系数及边缘距离的加权系数，1/4是归一化除数。
同时，图10至13的特性仅仅是典型的并不用作限制本发明。在上面提到的MPEG标准中压缩扩展的情况下，量化级在宏模块的基础上变化。因此，可考虑将上述量化级差提供给块边缘。
本发明不仅限于上述的实施例。比如，虽然前面的说明是针对在水平(H)方向上的处理的，本发明可同样地适用于垂直(H)方向上的处理。同样，本发明可以不仅适用于亮度信号的处理，而且适用于色度信号的处理。