识别输入图像自动曝光控制的编码模式确定的方法和电路.pdf

公开了用于确定输入图像的块模式的图像压缩方法和相关电路。关于第一和第二阈值比较做出块模式的第一和第二确定。根据输入图像的自动曝光控制的先前确定作为条件进行第二比较。

1.  一种用于确定输入图像的块模式的图像压缩方法，包括：
(a)通过下面方式确定内模式和间模式：
获得当前图像帧像素数据和先前图像帧像素数据的运动向量，
关于运动向量，通过将当前图像帧的块像素数据和先前图像帧的块像素数据之间的差相加来计算第一和，
计算当前块的第一偏差，和
将第一和与第一偏差之间的差和第一阈值进行比较；和
(b)一旦在(a)中确定内模式，
确定输入图像是否是自动曝光控制的图像；
通过将先前图像帧的块像素数据和当前图像帧的块像素数据之间的差相加来计算第二和，
通过从当前图像帧的像素数据消除由自动曝光控制产生的偏移值计算当前块的第二偏差，和
将第二和与第二偏差之间的差和第二阈值进行比较。

2.  如权利要求1所述的方法，其中运动向量是当前图像帧像素数据和先前图像帧像素数据之间的差，并且表示输入图像中的运动偏差是否大于先前的输入图像。

3.  如权利要求2所述的方法，其中(a)还包括：
如果第一和与第一偏差之间的差小于第一阈值，则确定间模式；和
如果第一和与第一偏差之间的差大于第一阈值，则确定内模式。

4.  如权利要求3所述的方法，其中(b)还包括：
当输入图像不是自动曝光控制的图像时确定内模式。

5.  如权利要求1所述的方法，其中(b)还包括：
如果第二和与第二偏差之间的差小于第二阈值，则确定间模式；和
如果第二和与第二偏差之间的差大于第二阈值，则确定内模式。

6.  一种用于确定输入图像的块模式的图像压缩方法，包括：
(a)从关于当前帧像素数据和先前帧像素数据定义的运动向量获得最佳的绝对差之和(SAD)；
(b)通过相加当前帧中每个像素数据和块中的像素数据的平均值之间的差来计算第一偏差；
(c)从最佳SAD和第一偏差的比较结果确定间模式或内模式；
(d)如果确定内模式，则确定输入图像是否是自动曝光控制的图像；
(e)通过下面方式计算第二偏差：
(i)获得当前帧中每个像素数据和块中像素数据的平均值之间的第一差，
(ii)获得第一差和自动曝光控制产生的偏移值之间的第二差，和
(iii)将第一差和第二差相加；和
(f)通过比较最佳SAD和第二偏差来确定间模式或内模式。

7.  如权利要求6所述的方法，其中最佳SAD是当前运动估计块确定的多个SAD中的最小SAD。

8.  如权利要求6所述的方法，其中通过将块中所有像素相加并将结果除以块中像素数来计算块中像素数据的平均值。

9.  如权利要求6所述的方法，其中(c)还包括：
确定最佳SAD和第一偏差之间的差并将该差与第一阈值比较。

10.  如权利要求9所述的方法，其中(c)还包括：
如果最佳SAD和第一偏差之间的差小于第一阈值，则确定间模式；或
如果最佳SAD和第一偏差之间的差大于第一阈值，并且输出图像不是自动曝光控制的图像，则确定内模式。

11.  如权利要求10所述的方法，其中(f)还包括：
如果最佳SAD和第二偏差之间的差大于第二阈值，则确定内模式；或
如果最佳SAD和第二偏差之间的差小于第二阈值，则确定间模式。

12.  一种块模式判决装置，包括：
第一块模式判决单元，用于通过获得从当前图像帧像素数据和先前图像帧像素数据得出的运动向量、并且将运动向量与第一阈值比较来确定输入图像的内模式或间模式；
自动曝光确定单元，用于确定输入图像是否是自动曝光控制的图像；和
第二块模式判决单元，用于响应于第一块模式判决单元的内模式的确定和自动曝光确定单元关于输入图像是自动曝光控制的图像的确定，通过在从当前帧像素数据中消除自动曝光控制产生的偏移值之后获得运动向量并将消除了偏移的运动向量与第二阈值相比较，从而确定输入图像的间模式或内模式。

13.  如权利要求12所述的块模式判决单元，其中运动向量是当前图像帧像素数据和先前图像帧像素数据之间的差，并且表示输入图像中的运动偏差是否大于先前的输入图像。

14.  如权利要求13所述的块模式判决单元，其中：
如果第一和与第一偏差之间的差小于第一阈值，则第一块模式判决单元确定间模式；或
如果第一和与第一偏差之间的差大于第一阈值，则第一块模式判决单元确定内模式。

15.  如权利要求14所述的块模式判决单元，其中：
如果自动曝光确定单元确定输入图像不是自动曝光控制的图像，则第一块模式判决单元确定输入图像的内模式。

16.  如权利要求12所述的块模式判决单元，其中：
如果消除了偏移的运动向量小于第二阈值，则第二块模式判决单元确定输入图像的间模式；和
如果消除了偏移的运动向量大于第二阈值，则第二块模式判决单元确定输入图像的内模式。

17.  一种块模式判决单元，包括：
第一累加器，用于通过将输入图像的当前帧中的像素数据和块中的像素数据的平均值之间的差相加来计算第一偏差；
第二累加器，用于使用关于当前帧像素数据和先前帧像素数据获得的运动向量来计算最佳的绝对差之和(SAD)；
第一比较器，用于关于第一偏差和SAD确定输入图像的间模式或内模式；
第三累加器，用于当输入图像是自动曝光控制的图像时，通过获得当前帧中的像素数据和块中像素数据的平均值之间的第一差，获得第一差和自动曝光控制产生的偏移值之间的第二差，并且相加第一和第二差来计算第二偏差；
模式识别器，用于识别第一比较器的内模式或间模式的确定；
自动曝光确定单元，用于根据模式识别器识别出内模式来确定输入的图像是否是自动曝光控制的图像；
第二比较器，用于根据自动曝光确定单元关于输入图像是自动曝光控制的图像的确定，关于最佳SAD和第二偏差来确定间模式或间模式；和
模式输出单元，用于提供指示内模式或间模式的输出信号。

18.  如权利要求17所述的块模式判决单元，还包括当前运动估计块，用于确定包含最佳SAD的多个SAD。

19.  如权利要求17所述的块模式判决单元，其中通过相加块中所有像素并将结果除以块中像素的数量来计算块中的像素数据的平均值。

20.  如权利要求17所述的块模式判决单元，其中第一比较器将最佳SAD和第一偏差之间的差与第一阈值相比较。

21.  如权利要求20所述的块模式判决单元，其中：
如果最佳SAD和第一偏差之间的差小于第一阈值，则第一比较器确定间模式；或
其中当最佳SAD和第一偏差之间的差大于第一阈值，并且输入图像不是自动曝光控制的图像时，第一比较器确定内模式。

22.  如权利要求21所述的块模式判决单元，其中：
当所判决的块模式值是间模式时，模式识别器通过模式输出单元输出第一比较器中判决的块模式。

23.  如权利要求19所述的块模式判决单元，其中：
仅当由模式识别器识别出内模式时，输入图像才提供到自动曝光确定单元。

24.  如权利要求23所述的块模式判决单元，其中：
自动曝光确定单元通过参照设置在输入图像中的自动曝光控制值确定输入图像是否是自动曝光控制的图像。

25.  如权利要求24所述的块模式判决单元，其中：如果自动曝光确定单元确定输入图像不是自动曝光控制的图像，则模式输出单元为输入图像输出内模式。

26.  如权利要求24所述的块模式判决单元，其中：
如果自动曝光确定单元确定输入图像是自动曝光控制的图像，则第二比较器确定间模式。

27.  如权利要求26所述的块模式判决单元，其中：
第二比较器将第二偏差和最佳SAD之间的差与第二阈值相比较。

28.  如权利要求27所述的块模式判决单元，其中：
如果第二偏差和最佳SAD之间的差小于第二阈值，则第二比较器确定间模式；或
其中如果第二偏差和最佳SAD之间的差大于第二阈值，则第二比较器确定内模式。

29.  如权利要求28所述的块模式判决单元，其中：
通过模式输出单元输出第二比较器的确定。

识别输入图像自动曝光控制的编码模式确定的方法和电路
技术领域
本发明涉及图像处理电路和方法。本发明的实施例尤其涉及确定用来增加自动曝光控制的图像的数据压缩率的编码模式的方法和相关电路。
本申请要求于2005年2月2日提交的韩国专利申请2005-09542的权益，其主题援引于此以供参考。
背景技术
图像编码系统使用帧之间的相关性产生的数字数据的常规编码方法可以分类为帧内(或“内”)操作模式和帧间(或“间”)操作模式。在内模式中不考虑帧的特定相关性压缩数据。然而，在间模式中通过首先识别在目标数据主体和实际图像数据之间最相似的数据，然后获得两个数据主体之间的差值(或“差”)，最好仅编码差来压缩数据。
图1是图解常规图像编码器的方框图。如图1所示，图像编码器包括第一帧存储器101、变换器102、量化单元103、编码单元104、反向量化单元105、逆变换器106、第二帧存储器107、运动估计器(ME)108、运动补偿器(MC)109和块模式判决单元110。
输入图像数据存储在第一帧存储器101中。第一帧存储器101根据块模式判决单元110确定的编码模式，将来自所存储的图像数据的像素值不同地输出到变换器102。即，在确定了内模式的情况下，变换器102接收当前数据块的像素值，但是在确定间模式的情况下，变换器102仅接收当前数据块的像素值和先前数据块的像素值之间的差。
变换器102对变换器102接收的像素值执行离散余弦变换(DCT)。DCT是将输入图像的帧数据从空域变换为频域的算法。通过卸出(dump)图像数据的高频分量并将图像数据的信息内容集中到低频部分，由此DCT消除图像数据中的空间冗余。图像数据的高频部分包括具有与相邻像素差异很大的值的许多像素。例如，输入图像数据的高频部分包括表示波动边缘的图像部分，诸如脸的轮廓或在风中飘荡的头发。DCT消除输入图像数据的高频部分以便增加数据的压缩率。
量化单元103量化从变换器102接收的离散余弦变换的图像数据。即，量化单元103使用量化器值划分与图像数据相关的系数值以便使用更多的“0”值表示图像数据。
编码单元104根据可变长度编码(VLC)使用运动向量压缩并编码量化的图像数据，以便产生输出流。VLC是一种众所周知的编码模式，用于通过将较短的代码分配给具有相对高出现率的数据并将较长的代码分配给相对低出现率的数据来编码数据。
运动估计器108计算运动向量。即，运动估计器108驱动通过存储在第一帧存储器101中的当前数据块和存储在第二帧存储器107中的图像数据的搜索区域中包含的、与当前数据块最相似的图像数据块(涉及先前图像帧)之间的关系定义的运动向量。
通过将量化的图像数据通过反向量化单元105和逆变换单元106将其恢复到它的原始图像数据格式。恢复的图像数据和从运动估计器108和运动补偿器109输出的数据存储在第二帧存储器107中。运动估计器108和运动补偿器109获得运动向量，并且通过将输入图像的图像数据和存储在第二帧存储器107中的恢复的图像数据进行比较来补偿恢复的图像数据。
图2是显示根据现有技术的块模式判决单元的方框图。参照图2，将在下面解释块模式判决单元如何确定内模式和间模式。
如图2所示，块模式判决单元110包括第一累加器210、第二累加器202和第一比较器203。
当由块模式判决单元110接收当前帧的像素数据时，第一累加器201计算涉及当前数据块的偏差(VAR)值。通过获得当前帧中的每个像素数据和数据块的平均像素值之间的差，然后将差相加来计算当前数据块的VAR。通过相加数据块中的所有像素值并将结果除以数据块中的像素数可以计算数据块地平均像素值。
第二累加器202使用通过当前帧像素数据和先前帧像素数据之间的关系定义的运动向量计算最佳绝对差之和(SAD)。通过将关于当前帧像素数据和先前帧像素数据之间的差的绝对值累加定义SAD值。最佳的SAD值(MinSAD)定义为从当前运动估计器获得的多个SAD值中的最小SAD值。
第一比较器203比较由第一累加器201获得的VAR和第二累加器202获得的Min SAD来定义第一阈值(TH1)作为输出。块模式判决单元使用该VAR和Min SAD的比较来确定块模式。例如，如果VAR和Min SAD之间的差大于第一阈值(TH1)的所定义的阈值，则确定内模式，或者如果VAR和Min SAD之间的差小于第一阈值(TH1)的所定义的阈值，则确定间模式。
当图像编码器使用内模式压缩图像数据时，压缩当前数据块的所有像素值。然而当图像编码器使用间模式压缩图像数据时，仅压缩当前数据块和先前数据块之间的差。因此，间模式提供了比内模式更高的压缩率。
通常具有照相机模块(或与之一起使用)的图像形成系统包括自动曝光控制器，用于控制进入照相机的光量。自动曝光控制器缩短具有相对大光量的图像的曝光时间，或者延长具有相对少光量的图像的曝光时间。在自动曝光控制下产生的图像包括当前帧块中的、与先前帧块中的像素相比具有相关亮度(明度)元素的恒定偏移值的所有像素。偏移值产生当前帧块和先前帧块之间的亮度差。因此，当图像编码器压缩自动曝光控制的图像时，具有较少运动量的图像可能由于存在偏移值而导致确定图像的内模式。因此，当压缩经受自动曝光控制的图像时，增加了压缩比特流，并且压缩率通常降低。
发明内容
因此，本发明的实施例涉及确定用于确定自动曝光控制的图像的模式，并且不降低压缩率的方法和相关电路。更确切的是，本发明的实施例提供与常规方法相比具有改善的图像压缩率的、用于有效确定自动曝光控制的图像的块模式的方法和相关电路。
因此，在一个实施例中，用于确定输入图像的块模式的图像压缩方法，包括：(a)通过获得当前图像帧像素数据和先前图像帧像素数据的运动向量，通过关于运动向量相加当前图像帧的块像素数据和先前图像帧的块像素数据之间的差来计算第一和，计算当前块的第一偏差，并且将第一和与第一偏差之间的差和第一阈值进行比较来确定内模式和间模式；和(b)一旦在(a)中确定内模式，确定输入图像是否是自动曝光控制的图像，通过将先前图像帧的块像素数据和当前图像帧的块像素数据之间的差相加来计算第二和，通过从当前图像帧的像素数据消除由自动曝光控制产生的偏移值计算当前块的第二偏差，并且将第二和与第二偏差之间的差和第二阈值进行比较。
在另一实施例中，本发明提供一种用于确定输入图像的块模式的图像压缩方法，包括：(a)从关于当前帧像素数据和先前帧像素数据定义的运动向量获得最佳绝对差之和(SAD)；(b)通过相加当前帧中每个像素数据和块中的像素数据的平均值之间的差来计算第一偏差；(c)从最佳SAD和第一偏差的比较结果确定间模式或内模式；(d)如果确定内模式，则确定输入图像是否是自动曝光控制的图像；(e)通过(i)获得当前帧中每个像素数据和块中像素数据的平均值之间的第一差，(ii)获得第一差和自动曝光控制产生的偏移值之间的第二差，和(iii)将第一差和第二差相加来计算第二偏差；和(f)通过比较最佳SAD和第二偏差来确定间模式或内模式。
在另一个实施例中，本发明提供一种块模式判决装置，包括：第一块模式判决单元，用于通过获得从当前图像帧像素数据和先前图像帧像素数据得出的运动向量、并且将运动向量与第一阈值比较来确定输入图像的内模式或间模式；自动曝光确定单元用于确定输入图像是否是自动曝光控制的图像；和第二块模式判决单元，用于响应于第一块模式判决单元的内模式确定和自动曝光确定单元关于输入图像是自动曝光控制的图像的确定，通过在从当前帧像素数据中消除自动曝光控制产生的偏移值之后获得运动向量并将消除了偏移的运动向量与第二阈值相比较，从而确定输入图像的间模式或内模式。
在又一实施例中，本发明提供块模式判决单元，包括：第一累加器，用于通过将输入图像的当前帧中的像素数据和块中的像素数据的平均值之间的差相加来计算第一偏差；第二累加器，用于使用关于当前帧像素数据和先前帧像素数据获得的运动向量来计算最佳绝对差之和(SAD)；第一比较器，用于关于第一偏差和SAD确定输入图像的间模式或内模式；第三累加器，用于当输入图像是自动曝光控制的图像时，通过获得当前帧中的像素数据和块中像素数据的平均值之间的第一差，获得第一差和自动曝光控制产生的偏移值之间的第二差，并且相加第一和第二差来计算第二偏差；模式识别器，用于识别第一比较器的内模式或间模式的确定；自动曝光确定单元，用于根据模式识别器识别出内模式来确定输入的图像是否是自动曝光控制的图像；第二比较器，用于根据自动曝光确定单元关于输入图像是自动曝光控制的图像的确定、关于最佳SAD和第二偏差来确定间模式或间模式；和模式输出单元，用于提供指示内模式或间模式的输出信号。
附图说明
通过结合附图对本发明的数个实施例进行描述，其中：
图1是图解常规图像编码器的方框图；
图2是显示在图1的常规图像编码器使用的常规块模式判决单元的方框图；
图3是图解根据本发明的一个实施例的块模式判决单元的方框图；
图4是图解在根据本发明的一个实施例的块模式判决单元中获得偏差的示例性方法的流程图；和
图5是图解在根据本发明的一个实施例的判决自动曝光控制的图像的块模式的示例性方法的流程图。
具体实施方式
通过参照图解实施例的附图，将进一步详细描述本发明的实施例。然而本发明不限于所示的实施例。
图3是图解根据本发明的一个实施例的块模式判决单元的方框图。将结合所示块模式判决单元描述用于确定关于受到自动曝光控制的图像数据的块模式的示例性方法。示例性块模式判决单元包括用于消除由自动曝光控制处理产生的偏移值的功能块。图3中所示的示例性块模式判决单元可以有益地与图2中所示的常规块模式判决单元相比较。
如图3所示，根据本发明一个实施例的块模式判决单元包括第一累加器301、第二累加器302、第三累加器303、第一比较器304、模式识别器305、自动曝光控制图像检测器305、第二比较器307和模式输出单元308。
第一比较器304执行实质上与结合图2的常规块模式判决单元描述的第一比较器203相同的操作。
然而第三累加器303消除包含在当前帧的像素数据值中的偏移值，并且通过相加块中的每个像素数据值和块的平均像素数据值之间的差获得块的第二偏差(VAR’)。
在第一比较器304判决块模式后，模式识别器305确定当前块的块模式是内模式还是间模式。例如，如果模式识别器305确定当前块是内模式，则由模式输出单元308提供当前块的模式值。相反，如果模式识别器305确定当前块是间模式，则自动曝光图像检测器306通过参照每个图像中的自动曝光设置值来确定输入图像是否是自动曝光控制的图像。如果输入图像不是自动曝光控制的图像，则由于输入图像不包括偏移值，所以由第一比较器304判决的块模式成为最终模式值。通过模式输出单元308提供最终模式值。相反，如果输入图像是自动曝光控制的图像，则第二比较器307通过比较计算结果值和第二阈值(TH2)判决用于当前块的块模式，其中计算结果是通过消除由自动曝光控制产生的偏移值获得的。
即，第二比较器307获得从第三累加器303得到的第二偏差(VAR’)和第二累加器302得到的Min SAD值之间的差值，并且通过比较所获得的差值和第二阈值(TH2)来判决当前图像块的块模式。例如，如果差值大于预定的第二阈值(TH2)，则第二比较器307将当前块的块模式判决为内模式。相反，如果差值小于第二阈值(TH2)，则第二比较器307将当前块的块模式判决为间模式。通过模式输出单元308提供在第二比较器307上所判决的模式值。
由于第二比较器307使用第二偏差(VAR’)判决块模式，所以在示例性实施例中运动小的图像块的块模式不被确定为内模式，其中第二偏差是接收的图像数据的消除了偏移的偏差。因此，在示例性实施例中消除了压缩比特流增加的常规问题。
图4是图解根据本发明的一个实施例的块模式判决单元的获得偏差(VAR)的示例性方法的流程图。在下面的描述中使用用来与电路元件进行区别的括号(SXXX)指示示例性方法步骤。
集中参照图3和4，当由块模式判决单元接收当前帧像素数据(CD)时，它确定是否设置了自动曝光控制(S420)。根据该确定的结果，当计算偏差(VAR)时，可以或可以不从当前帧像素数据中消除由自动曝光控制产生的偏移值。例如，如果没有设置自动曝光控制，则不消除偏移值来计算偏差(VAR)。即，通过不消除偏移值使用当前帧像素数据来获得当前块的平均值(μ)(S421)。通过将块中所有像素值相加并将相加结果除以块中的像素数量来计算当前块的平均值(μ)。在获得平均值(μ)后，通过相加当前块中的每个像素值和当前块的平均值(μ)之间的差来计算当前块的第一偏差(VAR)(S422)。
然而，如果设置了自动曝光，则通过从当前帧像素数据值中消除偏移值(AE_offset)来计算偏差。如果设置了自动曝光控制，则它确定控制模式的值是否是‘0’(S430)。控制模式的值用于确定何时消除偏移值(AE_offset)。例如，如果控制模式的值是‘0’，则在从当前帧像素数据值(CD)中消除了偏移值(AE_offset)之后计算第二偏差(VAR’)。即，通过从当前帧像素数据值减去偏移值(AE_offset)来获得当前帧像素数据值，并且通过相加块中所有像素值并将相加结果除以块中像素数来计算当前块的平均值(μ)(S431)。此外，通过相加消除了偏移值的当前帧像素数据的每个像素值和当前图像块的平均值(μ)之间的差值来计算第二偏差(VAR’)(S432)。
相反，如果控制模式值不是‘0’，则在获得第二偏差(VAR’)后消除偏移值。即，不消除偏移值(AE_offset)而获得当前帧像素数据(CD)值，通过相加块中所有像素值并将相加结果除以块中像素数来计算当前块的平均值(μ)(S441)。此外，通过获得当前块像素和当前块的平均值(μ)之间的多个第一差，获得第一差和偏移值(AE_offset)之间的多个第二差，并且相加第二差来获得当前块的第二偏差(VAR’)(S442)。
在图4的流程图中所示的示例性方法获得的偏差可以用于块模式判决单元判决当前块的块模式。
图5是图解在根据本发明的一个实施例的确定自动曝光控制的图像的块模式的方法的流程图。
当在块模式判决单元中接收到先前帧像素数据(PD)和当前帧像素数据(CD)时(S510)，估计输入图像的运动向量(S520)。通过使用从当前帧像素数据(CD)和先前帧像素数据(PD)获得的运动向量，计算最佳SAD(MinSAD)(S530)。将第一偏差(VAR)和最佳SAD(Min SAD)值之间的差值与第一阈值(TH1)相比较(S540)。如果第一偏差(VAR)和最佳SAD(MinSAD)之间的差值小于第一阈值(TH1)，则为当前块确定间模式(S570)。
然而，如果第一偏差(VAR)和最佳SAD(Min SAD)值之间的差值大于第一阈值(TH1)，则它确定输入图像是否是自动曝光控制的图像(S550)。如果输入图像不是自动曝光控制的图像，则为当前块判决内模式(S580)。否则，如果输入图像是自动曝光控制的图像，则将第二偏差(VAR’)和最佳SAD(Min SAD)值之间的差值与第二阈值(TH2)相比较(S560)。如果差值小于第二阈值(TH2)，则为当前块确定内模式(S570)。相反，如果第二偏差(VAR)和最佳SAD(Min SAD)值之间的差值大于第二阈值(TH2)，则为当前块确定内模式(S580)。
如上所述，在示例性实施例中，当第一偏差(VAR)和最佳SAD(Min SAD)值之间的差值大于第一阈值(TH1)时，当前图像块的块模式不被确定为内模式。当差值大于第一阈值(TH1)时在判决内模式之前，分析输入图像以便确定输入图像是否是自动曝光控制的图像。如果输入图像是自动曝光控制的图像，则通过消除偏移值(AE_offset)计算第二偏差(VAR’)，并且应用所计算的第二偏差(VAR’)来确定当前图像块的块模式。因此，示例性实施例不会将移动少的图像的块模式确定为内模式。因此，当确定自动曝光控制图像块的块模式时，通过从当前帧消除偏移值动态降低压缩的比特流量。此外，改善了图像压缩效率。
尽管已参照本发明的确定优选实例表示和描述了本发明，但本领域内的普通技术人员将理解的是，可在不背离由所附权利要求书限定的本发明宗旨和范围的前提下对本发明进行各种形式和细节上的修改。