数字化图象的处理方法和装置 本发明涉及到数字化图象的处理方法和装置。
特别是按照以前的图象压缩，即减少准备传输的图象数据，在图象数字传输时进行传输的信道是一个瓶颈。经过这个信道将图象数据从一个(图象-)编码器传输到另一个(图象-)编码器。这个信道的带宽至少是预先规定的并且是恒定的，这样在编码器中将压缩相应地调整到这个带宽。现在人们可以按照标准化的以数据块为基础的图象编码方法，例如MPEG-4或H.263(见文献[1])调整以及匹配编码器，以确保在单位时间内准备传输的图象数，此时要忍受图象质量的损失。
显示图象的图象电话是一个例子，将这些图象经过ISDN B信道以传输率为64千位/秒进行传输，并且具有相应的图象质量：图象连续出现具有很小分辨率的有冲击的图象顺序，并且显示的图象相对比较小。
以数据块为基础的图象编码方法(例如按照MPEG-或H.263标准)可以从文献[2]中获悉。
在图象处理时将图象质量确定为是对整个准备传输的图象的。将图象质量依赖于与提供使用地数据率进行匹配，则充分利用了带宽，并且也可以将整个图象传输。其中的缺点是，必须忍受整个传输图象的图象质量损失。
本发明的任务在于，创立避免上述缺点的一种图象处理方法和装置。
此任务是按照权利要求1和20解决的。
建立图象处理方法，在其中将有关数字化图象分为两个区，其中在第一区填充预先规定的判据和在第二区不填充预先规定的判据。随后将第一区处理成具有比较高的图象质量。
优点在于，填充预先规定判据的第一区达到了比较好的图象质量。因此按照本发明有可能将作为整个图象的一部分的第一区用比较高的质量进行电子处理，例如进行传输或进行压缩。
本发明的扩展结构在于，将图象分成很多区，其中将填充判据的很多第一区比没有填充判据的很多第二区用比较高的图象质量进行处理。
从而有可能将有关图象内的很多区分成很多第一和很多第二区，并且将图象内种类不相关联的第一区对应于比较高的图象质量。
一个可能的扩展结构在于，如果图象的第一区有预先规定的颜色，则填充判据。这个颜色例如可以是类似于人类皮肤的颜色。
一个附加的扩展结构在于，将图象用以数据块为基础的图象编码方法进行处理。例如以数据块为基础的图象编码方法是表示按照MPEG标准，或按照H.263标准定义的图象编码方法。
在以数据块为基础的图象编码方法中，对于图象的具有预先规定大小，其颜色是以第二个色值形式的一个数据块，最好通过这个数据块图象点的平均值来确定。将第一种色值与第二种色值进行比较运算。如果比较运算的结果小于预先规定的阈值，则满足了判据，即数据块具有至少类似于人类皮肤的颜色。否则(即比较运算的结果不小于预先规定的阈值)没有满足这个数据块的判据。
一个附加的扩展结构在于，本方法对图象的每个数据块迭代地进行。
预先规定的数据块大小最好为8×8图象点或16×16图象点。
比较运算可以用不同的方式进行。以下表示了三种可能性(见公式(1)至(3))：
|xY-hY|+|xCr-hCr|+|xCb-hCb|＜s (1)，
|xY-hY|2+|xCr-hCr|2+|xCb-hCb|2＜s (2)，
k1·|D1|+k2·|D2|+k3·D3|＜s， (3)，
其中代表
xY 第一个色值的流明值(＝亮度)，
xCr 第一个色值的第一个色度值(＝色调)，
xCb 第一个色值的第二个色度值(＝色饱和)，
hY 第二个色值的流明值(＝亮度)，
hCb 第二个色值的第一个色度值(＝色调)，
hCb 第二个色值的第二个色度值(＝色饱和)，
S 预先规定的阈值，
k1，k2，k3 预先规定的加权，
D1 第一个色值流明值与第二个色值流明值的第一次比较，
D2 第一个色值的第一个色度值与第二个色值的第一个色度
值的第二次比较，
D3 第一个色值的第二个色度值与第二个色值的第二个色度
值的第三次比较。
特别有利的是，一个图象点以及一个图象数据块(相当于从图象数据块的图象点求出的平均值)的三个量(流明值、第一个色度值、第二个色度值)一同与预先规定的阈值进行比较。同样可以想象，图象的每个数据块的各个亮度，色调和色饱和与一个预先规定的属于皮肤颜色的值进行比较。在这种情况下人们从三个比较运算中得出三个结果，此时可以使用这三个结果得到一个决策，是否满足了判据或没有。换句话说人们得到单个比较的结果为D1、D2和D3。在上述三个公式(1)至(3)中将三个单个比较值相互组合，并且共同与预先规定的阈值进行比较。
此外有可能按照MPEG-4标准使用以数据块为基础的图象编码方法，其中MPEG-4标准有可能，对一个定义区，即在这个定义区内有利的满足预先规定的判据(所谓的图象对象)、协议传输模式。
其它的扩展结构在于，对于第一区可以这样达到比较高的图象质量，即确定一个比较高的图象重复率。通过第一区可选择的图象重复率(或者相应于数字化图象内的很多个第一区)，这个图象重复率比(至少一个)第二区的图象重复率高，特别是将第一区更多的现实化，并且从而有可能将运动图象流畅地表示出来。如果涉及到显示一张面孔，这张面孔代表广播员，则观察者看到用连续的运动图象的嘴唇运动，相反与皮肤颜色不相对应的背景则很少现实化，并且因此只是以冲击形式觉察到背景上的运动。
改善第一区图象质量的其它可能性在于，提高第一区的位置分辨率。用比第二区多的图象点数(象素)保证了第一区的比较清楚的显示(比较高的分辨率)。
改善图象质量的第三个可能性是，不仅对第一区而且也对第二区影响其量化值。将第一区用第一个量化值，和将第二区用第二个量化值量化，比较高的第一区的图象质量是这样保证的，第一个量化值小于第二个量化值。
在一个附加的扩展结构框架内，有可能按照MPEG标准将第一个量化值转换(低的数值->高分辨率->对带宽高要求)成为第二个量化值(高数值->低分辨率->对带宽低的要求)(此时第一个量化值小于第二个量化值)，如果将DQUANT-符号与第二个量化值作为参数传输，并且相反将第二个量化值转换成为第一个量化值，此时将DQUANT-符号与第一个量化值作为参数传输。
本发明还有一个扩展结构，保证将尽可能大的一个组合区作为第一或者第二区时，因为用这种方法量化值之间的转换过程数可以维持得很小。以上的叙述是以对于每个转换过程有DQUANT-符号为前提的，通过这个符号产生悬挂(英语：高架)，这对带宽是一个损失，否则这个带宽可以使用于图象信息的。
如果例如将图象中很多个满足判据的数据块用相应的量化值进行处理，则位于这些数据块之中的并且超过预先规定阈值的单个数据块，应该按照公式(1)至(3)中之一用另外的量化值作为满足判据的数据块进行量化，有利的是对于必须特别协议的新量化值的这个单个数据块也用比较低的量化值如同满足判据的数据块一样进行处理。
其目的是，将量化值之间的转换过程维持得小，这些量化值各自适用于跟随在图象后面的数据块。在多个数据块中满足判据的单个数据块为此也有利的用低的量化值进行处理，并且因此比其周围的图象数据块以相应比较高的图象质量进行传输。
有利的是，在原本量化前预处理时确定，那些数据块满足了判据，那些在满足判据数据块附近的数据块没有满足判据，并且图象中的那些数据块没有满足判据，并且与满足判据的数据块相距预先规定的距离。现在有可能，如果求出满足判据以及没有满足判据的尽可能大的数据块组合区，对应于图象的行处理借助于以数据块为基础的编码方法，确定量化值之间适当的转换过程数和转换过程分布。
此外将数据块的阈值S可以依赖于在相邻数据块中超过这个阈值S的数进行控制。如果相邻数据块有很多预先规定的颜色，最好降低阈值S，并且如果相邻数据块有很少预先规定的颜色，相应地提高阈值S。
应该在这个地方给予注意，也可以将上述改善图象质量的方法组合使用。通常改善图象质量的愿望只低于物理的框架条件之下，例如可提供使用的最大带宽。这只与各个应用有关并不限制用组合的方法改善图象质量，特别是对数字化图象区。
本发明的优点在于，局部地不同地确定在传输图象内的图象质量。如果将有皮肤颜色的图象部分比图象的其它部分用比较高的质量进行传输，则这有无限多的优点。其中是消息广播，在其中消息广播员的面孔和手用低量化值，并且因此比图象的非皮肤颜色区高的图象质量进行量化和传输。因此为有听觉障碍的人们打开了从高图象质量区(皮肤颜色区)得到信息的可能性，例如通过嘴唇读取或手语翻译。特别是因此图象电话对于语言障碍以及听觉障碍的人是一个可利用的通信媒介，因为不仅手而且面孔(嘴唇)可以用比图象的其它部分高的质量传输，并且因此对于语言障碍以及听觉障碍的人可以借助于嘴唇以及手的运动进行通信。
此外按照本发明建立了用处理器单元的图象处理装置，这个图象处理装置是这样构成的，可以执行上述处理步骤。
此外规定了数字图象的编码装置，这个装置有进行频谱转换装置，这个装置将数字化图象在频域中进行转换。还安排了熵编码装置，这个装置可以使数据减少。最后编码装置有缓冲存储器，这个缓冲存储器从熵编码装置中接收可变数据率的数据，并且将其继续引导到最好具有固定数据率的信道。
本发明的扩展结构在于，将缓冲存储器的填充程度与量化装置的量化值相匹配。
在其它的扩展结构中可以对量化装置进行匹配，如果填充缓冲存储器提高量化值，并且因此造成图象的不清晰传输，和空的缓冲存储器减少量化值，保证了比较高的图象质量。
本发明的扩展结构也是在从属权利要求中得出的。
下面借助附图表示和叙述本发明的实施例。
它们表示
附图1装置具有两个计算机、一个摄像机和一个图象屏幕，用这
些可以进行图象数据编码，传输以及解码和显示。
附图2将以数据块为基础的数字化图象进行编码的装置的简图，
附图3用一台计算机对数字化图象进行量化处理的步骤，
附图4用简图表示依赖于缓冲存储器状态进行量化匹配，
附图5用简图表示提高图象质量的方法。
在附图.1上表示了一个装置，这台装置包括有两台计算机和一台摄像机，在其上清楚地表示了图象编码、图象数据传输和图象解码。
摄像机101经过一根导线119与第一台计算机102相连。摄像机101将被拍摄的图象104传输给第一台计算机102。第一台计算机102有第一个处理器单元103，这个处理器单元经过一个总线118与图象存储器105相连。用第一台计算机102的处理器单元103进行图象编码处理。用这种方式被编码的图象数据被第一台计算机102经过通信连接107，最好是一根导线或一个无线电路段，传输给第二个计算机108。第二个计算机108包括有第二个处理器单元109经过总线110与图象存储器111相连。在第二个处理器单元109上进行图象解码处理。
不仅第一台计算机102而且第二台计算机108各自有一个图象屏幕112以及113，在其上将图象数据104视觉化。不仅第一台计算机102而且第二台计算机108为了操作各自安排了输入单元，最好是键盘114以及115，以及计算机鼠标器116以及117。
从摄像机101经过导线109传输给第一台计算机102的图象数据104最好是在时域中的数据，而从第一台计算机102经过通信连接107传输给第二台计算机108的数据106则是在频域中的图象数据。
在图象屏幕120上表示被解码的图象数据。
下面简要叙述MPEG图象编码。详细叙述可以从文献[2]中找到。
在MPEG标准中使用的编码方法主要是建立在具有运动成分的混合DCT(离散的余弦变换)基础上的。这种方法与图象电话类似的形式使用n×64千位/秒(CCITT-规范H.261)，对于TV贡献(CCR-规范723)使用34以及45兆位/秒和对于多媒体应用使用1.2兆位/秒(ISO-MPEG-1)。混合的DCT是由时间处理级，这个时间处理级利用连续图象的亲属名称和位置处理级，这个位置处理级利用了图象内的相关。
位置处理(帧内编码)主要对应于传统的DCT编码。将图象分解为8×8图象点的数据块，这些数据块各自借助于DCT在频域中进行变换。其结果是8×8个系数的矩阵，这近似地反应了被变换的图象数据块中的二维位置频率。AC系数的频率沿着fx和fy坐标升高，而DC系数(直流部分)代表了图象数据块的平均灰值。
变换以后出现了数据扩张，因为由于计算精度的原因将系数的幅值主要是用12比特分解的。当然在天然的图象样片中能量集中在围绕着DC值(直流部分)周围，而最大频率的系数通常为零。
下一步对系数进行频谱加权，则高频系数的幅值精度减小。这里人们利用人眼睛的特性，对高位置频率比低的只可以不精确地分辨。
数据减少的第二步是用匹配量化的形式进行，通过这个将系数的幅值精度进一步减小，以及通过这个将最小的幅值设置为零。此时量化尺度与输出缓冲存储器的填充状态有关：在空的缓冲存储器时进行细量化，而在填充的缓冲存储器时进行粗量化，因此数据量得以减少。
在量化以后对数据块进行正交扫描(“曲折”扫描)，随后进行熵编码，这个熵编码造成真正的数据的减少。为此应利用两个作用：
1.)幅值统计(高幅值出现的少于低幅值，则将少出现的事件对应于长的，并且将常出现的事件对应于短的编码字(长度变化编码，VLC)。用这种方法比用固定字长度的编码平均产生一个比较小的数据率。随后在缓冲存储器中将VLC的变化率进行平整。
2.)人们利用这个事实，从某一个数值开始通常后面只还跟着个零。代替所有这些个零人们只传输一个EOB编码(数据块结束)，这在图象数据压缩时导致了显著的编码效益。代替输出率为512比特在上述例子中对于这个数据块只传输46比特，这相当于将压缩系数超过了11。
通过时间处理(帧内编码)人们得到进一步的压缩效益。对图象差进行编码比对原始图象编码需要小的数据率，因为幅值要小得多。
如果图象中的运动很小，当然时间差是很小的。相反如果在图象中的运动大，则出现大的差异，这个差异又很难编码。由于这个原因则应测量图象-到-图象的运动(运动评估)和在形成差值以前进行补偿(运动补偿)。此时将运动信息与图象信息一起传输，此时通常只使用每个宏数据块(例如四个8×8图象数据块)的运动矢量。
如果代替所使用的预报而使用了一个运动补偿双向预报，则得到图象差的更小幅值。
在运动补偿混合编码时不是变换图象信号本身，而是变换时间的信号差。由于这个原因编码器还提供了时间回归回路，因为预报器必须从已经传输的(编码的)图象中计算出预报值。在解码器中有完全一样的时间回归回路，则编码器与解码器是完全同步的。
在MPEG-2编码方法中主要有三种不同的方法，可以用这三种不同的方法处理图象：
I-图象：在I-图象中不使用时间预报，也就是说将图象值直接变
换和编码，如在附图1中表示的。在不知道过去时间的
情况下使用I-图象可以新开始解码过程，以及在传输故
障时达到再同步。
P-图象：借助于P-图象可以进行时间预报，将DCT使用于时间的
预报故障。
B-图象：在B-图象时计算时间的双向预报故障，并且随后进行变
换。双向预报原则上是相互匹配工作的，也就是说允许
向前的预报，反向的预报或者插补。
在MPEG-2编码中将图象顺序分成所谓的GOP(图象组)。将在两个I-图象之间的n个图象形成一个组GOP。在P-图象之间的距离被称为m，其中各个m-1个B-图象位于P-图象之间。然而MPEG-语法允许使用者选择m和选择n是一样的。m＝1表示没有使用B-图象，和n＝1表示只对I-图象进行编码。
附图2表示按照H.263-标准实施以数据块为基础的图象编码方法的装置简图。
将具有时间连续的数字化图象的准备编码的视频数据流输入给图象编码单元201。数字化图象被分成宏数据块202，其中每个宏数据块有16×16图象点。宏数据块202包括有4个图象数据块203、204、205和206，其中每个图象数据块包括有对应于其流明值(亮度值)的8×8图象点。此外每个宏数据块202包括具有对应于图象点色度值(颜色信息，色饱和)的两个色度数据块207和208。
一个图象数据块包括一个流明值(＝亮度)、第一个色度值(＝色调)和第二个色度值(＝色饱和)。其中流明值、第一个色度值和第二个色度值被称为色值。
将图象数据块输入给变换编码单元209。在差异图象编码时将前一个时间图象的图象数据块的准备编码的数值从现实的准备编码的图象数据块中减去，只将形成差值的信息210输入给变换编码单元(离散的余弦变换，DCT)209。此外将现实的宏数据块202经过连接234通知给运动评估单元229。在变换编码单元209中将准备编码的图象数据块以及差异图象数据块构成为频谱系数211，并且将其输入给量化单元212。这个量化单元212相当于按照本发明的量化装置。
将被量化的频谱系数213不仅输入给扫描单元214而且输入给逆变量化单元215的反向路径上。按照一种扫描方法，例如正交扫描方法，对被扫描的频谱系数232在为此而安排的熵编码单元216中进行熵编码。将经过熵编码的频谱系数作为被编码的图象数据217经过信道，最好是一根导线或一个无线电路段传输给解码器。
在逆变量化单元215中将量化频谱系数213进行逆变的量化。则将得到的频谱系数218输入给逆变变换编码单元219(逆变离散的余弦变换，IDCT)。将改造的编码值(也叫差异编码值)220输入给在差异图象模块中的加法器221。此外加法器得到图象数据块的编码值，这些编码值是从已经进行运动补偿以后的前一个时间的图象中得到的。用加法器221构成了改造的图象数据块222，并且将其存储在图象存储器223中。
从图象存储器223中将被改造的图象数据块222的色度值224输入给运动补偿单元225。对亮度值226在为此而安排的插补单元227中进行插补。借助于插补将包括在各个图象数据块中的亮度值的数目加倍。将所有亮度值228不仅输入给运动补偿单元225而且输入给运动评估单元229。此外运动评估单元229还经过连接234得到各个准备编码的宏数据块(16×16图象点)。在运动评估单元229中考虑到插补的亮度值情况下进行运动评估(“在半象素基础上的运动评估”)。有利的是在运动评估时，在现实的准备编码的宏数据块202和改造的宏数据块中的单个亮度值的绝对差值是由前一个时间的图象中求出的。
运动评估的结果是运动矢量230，通过运动矢量被选定的宏数据块的位置移动，是从相对于准备编码的宏数据块202的前一个时间的图象中表现出来的。
建立在通过运动评估单元229求出的宏数据块基础上，不仅将亮度信息而且将色度信息移动一个运动矢量230，并且从宏数据块202的编码值中减去(见数据路径231)。
在附图3上用一台计算机表示了数字化图象的量化处理步骤。在第一步301中确定了皮肤颜色COLH作为预先规定的颜色(图象第一区的判据)。在302步骤中读入图象的一个数据块，并且确定其颜色COLBL。因为数据块的每个单个的象素有一个亮度值，一个色调和一个色饱和，则对整个的数据块形成相应的平均值，将整个综合成为色值COLBL。在303步骤中进行比较运算，将现实数据块的颜色COLBL与预先规定的颜色COLH(皮肤颜色)进行比较。通常这样的比较运算是由下式决定的：
|COLH-COLBL|＜s (4)
如上所述，将亮度的、色调的和色饱和的色值，这些作为色值的单个的组成带入比较运算。随后被称为三个不同的比较运算，其中本发明不打算局限于这些运算：
|xY-hY|+|xCr-hCr|+|xCb-hCb|＜s (1)，
|xY-hY|2+|xCr-hCr|2+|xCb-hCb|2＜s (2)，
k1·|D1|+k2·|D2|+k3·|D3|＜s， (3)， 其中代表 xY 第一个色值的流明值(＝亮度)， xCr 第一个色值的第一个色度值(＝色调)， xCb 第一个色值的第二个色度值(＝色饱和)， hY 第二个色值的流明值(＝亮度)， hCr 第二个色值的第一个色度值(＝色调)，
hCb 第二个色值的第二个色度值(＝色饱和)，
S 预先规定的阈值，
k1，k2，k3 预先规定的加权，
D1 第一个色值的流明值与第二个色值的流明值的第一次
比较，
D2 第一个色值的第一个色度值与第二个色值的第一个色
度值的第二次比较，
D3 第一个色值的第二个色度值与第二个色值的第二个色
度值的第三次比较。
在303步骤中将比较运算的结果与阈值S进行比较。如果预先规定的颜色(皮肤颜色)COLH与数据块颜色COLBL之差小于预先规定的阈值S时，则数据块的颜色COLBL至少接近于皮肤颜色COLH。如果是这种情况在304步骤中询问，是否目前的量化值QW等于第一个量化值QW1。应该注意的是，第一个量化值QW1小于第二个量化值QW2。量化值愈小，由此得到的图象质量愈高。如果按照步骤304中的询问，量化值QW等于第一个量化值QW1时，则还要进行量化(见步骤306)，否则在步骤305中将第一个量化值QW1设置为量化值QW，并且随后将步骤306进行量化。
如果比较运算303数据块COLBL的颜色与具有皮肤颜色COLH没有相似性时，则在步骤307中询问，是否目前的量化值QW等于第二个量化值QW2。如果是这种情况，则进行量化(见步骤306)，否则在步骤308中将第二个量化值QW2设置为量化值QW。
在上述预处理框架内在步骤304和307中是这样存取的，不仅询问，是否必须对作为步骤303比较运算结果的量化值QW进行匹配，而且得到一个尽可能大的综合的与一个量化值准备传输的数据块区。
在附图4上表示了量化装置与缓冲存储器状态的关系。
在附图4上方框401包容了传统的帧内编码器的方框接线图的第一批方框。将数字化图象借助于DCT在频域中进行转换，在那里减去频谱系数，这些频谱系数在方框402中进行量化。量化以后在步骤403中用可变长度编码进行扫描，并且将这样得到的数据写入缓冲存储器404。从缓冲存储器404中将被压缩的图象数据经过信道406传输到解码器。
因为信道只提供恒定的数据率，为每个准备传输的图象提供一定的时间，然而图象传输至少要接近于实时要求才能满足。如果图象编码不能在这个时间内完成，则不能将整个图象传输。为了确保连续地传输整个图象，依赖于缓冲存储器404的填充状态对量化402进行匹配(见匹配路径405)。如果人们在图象编码时确认，剩余时间不够将整个图象传输到解码器时，则对量化进行匹配，此时提高量化值QW。从而完成了一个不够准确的、不够清晰的图象压缩，但是整个图象压缩可以相应比较快地进行，并且因此满足了实时要求。
其中要连续确保，满足判据的和具有相应比较高图象质量的应该被传输的第一区，比余下的第二区保证有比较高的图象质量，因此第一区的量化值始终小于第二区的量化值。
在附图5上表示了各种(见方框501)改善图象质量的方法。
考虑到上面详细叙述过的方法，特别涉及到为所安排的区采用预先规定的颜色以便改善图象质量。图象上具有皮肤颜色的面积应该用比图象其余部分高的图象质量传输，并且在解码器上显示。
第一种方法502包括了提高图象重复率(对于预先规定颜色的区)。通过将相应的区更加频繁的现实化，将这个运动图象比其余的部分更加流畅地显示出来。通过图象编码时的相应调整，有利地保证了实时显示这个区，则在解码器的页面上观察到具有皮肤颜色面积的流畅运动。
第二种方法503表示了提高位置分辨率。对于满足预先规定判据的区，通过在单位面积上更多的点数可以达到图象清晰度比较高的目的。
最后第三种方法504包括了减小预先规定区的量化值(如上面详细叙述过的)。通过相对于图象的其余部分对曾多次叙述过的、满足预先规定判据和最好是皮肤颜色的区，减小其量化值进行图象编码，在频域用比较细的量化，和因此得到比较高的局部图象质量。
此外应该注意的是，将上述方法组合用于改善图象质量，特别是对于预先规定的满足判据的区，也是可能的。
在本文件中引用了以下文献：
[1]ITU-T，国际通信联盟，ITU通信部，ITU-T建议H.263草稿，低比特率通信的视频编码，1996年5月2日
[2]J.De Lameillieure，R.Schaefer：“数字电视的MPEG-2-编码”，电视技术和电影技术，48年度，3/1994，99-107页