图像编码方法、图像编码装置以及摄像系统技术领域
本发明涉及，图像编码方法、图像编码装置以及摄像系统，尤其涉及，
以块为单位选择正交变换的处理尺寸，以选择出的处理尺寸对该块进行编
码的图像编码方法。
背景技术
对运动图像数据进行编码的标准技术有，ISO／IEC JTC1的
MPEG(Moving Picture Experts Group：运动图像专家组)规定的MPEG
－4Part10：Advanced Video Coding(简称为MPEG－4AVC)。在该
MPEG－4AVC中，能够选择4×4像素单位和8×8像素单位的正交变换
尺寸，以作为正交变换的块尺寸。
在利用4×4像素单位的正交变换尺寸的情况下，由于块噪声、以及蚊
式噪声扩散的区域变小，因此具有该噪声不显眼的优点。反而，由于频率
分辨率降低，因此，对于在广范围内相关性高的图像，会有编码效率降低
的情况。因此，仅针对文字部分等的边缘陡峭且易于发生蚊式噪声的部分，
选择4×4像素单位的正交变换尺寸，针对自然图像等的相关性高的部分，
选择8×8像素单位的正交变换尺寸，从而能够抑制编码效率降低，并且，
能够改进画质。
在专利文献1中说明，通过检测块中的边缘，从而切换正交变换尺寸
的方法。
专利文献1记载的正交变换尺寸选择方法，检测处理对象块的边缘，
根据检测出的边缘数，判定是否有边缘。进而，专利文献1记载的正交变
换尺寸选择方法，在判定为有边缘的情况下，选择4×4像素单位的正交变
换尺寸，在判定为没有边缘的情况下，选择8×8像素单位的正交变换尺寸。
并且，在专利文献1的记载中示出，对于边缘的检测方法，利用相邻像素
差分的方法。
并且，在专利文献2中说明，计算块内的亮度直方图，判定是否存在
文字的方法。在此，自然图像的亮度直方图示出，峰部为一个的单峰性分
布。并且，在块内存在文字的情况下，该图像的亮度直方图示出，有两个
峰部的双峰性分布。利用该分布性质，在专利文献2中，在块内的亮度直
方图是双峰性分布的情况下，判定为该块包含文字，在不是双峰性分布的
情况下，判定为该块不包含文字。
(现有技术文献)
(专利文献)
专利文献1：日本特开2007－110568号公报
专利文献2：日本特开平6－164939号公报
然而，专利文献1所示的相邻像素差分的边缘检测中存在的问题是，
文字部分的检测精度低。图17A以及图17B是示出基于边缘检测的正交变
换尺寸的选择结果的一个例子的图。图17A以及图17B的以细线围绕的块
390是，8×8像素单位的正交变换被选择的块。并且，以粗线围绕的块391
是，4×4像素单位的正交变换尺寸被选择的块。
并且，图17A是，将边缘检测阈值变小，以使文字存在的块全部被选
择时的图。如图17A示出，除了文字的部分以外，还针对树叶存在的多数
块，4×4像素单位的正交变换被选择。据此，导致编码效率恶化。
并且，图17B是示出，将阈值变大，以使4×4像素单位的正交变换
尺寸变少时的正交变换尺寸的选择结果的一个例子的图。在图17B中，在
仅包含文字的一部分的块，4×4像素单位没有被选择。并且，对于树叶存
在的块，误选择了4×4像素单位。
而且，在将专利文献2所示的利用直方图判别文字的方法，使用于正
交变换尺寸选择的情况下，与边缘检测相比，树叶存在的块不易被选择。
但是，即使在自然图像中，在物体间的边界的亮度差也大。因此，即使在
利用专利文献2所示的方法的情况下，也将自然图像中的物体间的边界误
判定为文字部分。
如此，以往的技术中存在的问题是，不能高精度地检测文字存在的块。
发明内容
为了解决所述的以往的问题，本发明的目的在于提供能够高精度地检
测文字存在的块的图像编码方法以及图像编码装置。
为了实现所述的目的，本发明的实施方案之一涉及的图像编码方法，
以块为单位选择正交变换的处理尺寸，以选择出的处理尺寸对该块进行编
码，所述图像编码方法，包括：直方图计算步骤，计算原图像中包含的处
理对象的第一块中包含的像素值的直方图；双峰性判定步骤，判定在由所
述直方图计算步骤计算出的所述直方图中是否有双峰性；平坦区域检测步
骤，检测所述第一块中包含的平坦区域的大小；平坦区域判定步骤，判定
由所述平坦区域检测步骤检测出的所述平坦区域的大小是否为第一阈值以
上；以及正交变换尺寸选择步骤，在由所述双峰性判定步骤判定为所述直
方图中有双峰性、且由所述平坦区域判定步骤判定为所述平坦区域的大小
为所述第一阈值以上的情况下，选择第一处理尺寸，以作为所述第一块的
所述正交变换的处理尺寸，在由所述双峰性判定步骤判定为所述直方图中
没有双峰性的情况下，或者，在由所述平坦区域判定步骤判定为所述平坦
区域的大小小于所述第一阈值的情况下，选择比所述第一处理尺寸大的第
二处理尺寸，以作为所述第一块的所述正交变换的处理尺寸。
根据该结构，本发明的实施方案之一涉及的图像编码方法，除了考虑
直方图的双峰性的有无以外，还考虑平坦区域的有无(大小)，决定正交变换
的处理尺寸。据此，本发明的实施方案之一涉及的图像编码方法，能够高
精度地检测文字存在的块。
并且，也可以是，在所述平坦区域检测步骤中，按照所述第一块中包
含的每个像素间，计算该像素、和在水平方向以及垂直方向与该像素相邻
的像素之间的差分绝对值，将计算出的所述差分绝对值比第二阈值小的平
坦部的数量作为所述平坦区域的大小来检测。
并且，也可以是，所述图像编码方法，还包括∶保存步骤，保存选择
信息，该选择信息示出针对所述第一块选择了所述第一处理尺寸、还是选
择了所述第二处理尺寸；以及控制步骤，在由所述保存步骤保存的、第二
块的周边块的所述选择信息示出选择了所述第一处理尺寸的情况下，进行
控制，以使在所述正交变换尺寸选择步骤中，与针对所述第二块选择所述
第二处理尺寸相比，更容易选择所述第一处理尺寸。
根据该结构，本发明的实施方案之一涉及的图像编码方法，能够考虑
在周边块中选择的正交变换的处理尺寸，决定处理对象的块的处理尺寸。
据此，本发明的实施方案之一涉及的图像编码方法，能够高精度地检测文
字存在的块。
并且，也可以是，在所述控制步骤中，在由所述保存步骤保存的、所
述第二块的周边块的所述选择信息示出选择了所述第二处理尺寸的情况
下，进行控制，以使在所述正交变换尺寸选择步骤中，与所述第一处理尺
寸相比，更容易选择所述第二处理尺寸。
并且，也可以是，在所述双峰性判定步骤中，在所述直方图的小组间
的频数差为第三阈值以上的情况下，判定为峰部，在检测出两个以上的所
述峰部的情况下，判定为该直方图中有双峰性。
并且，也可以是，在所述控制步骤中，在所述选择信息示出选择了所
述第一处理尺寸的情况下，进行控制，使所述第三阈值降低，从而在所述
正交变换尺寸选择步骤中，与所述第二处理尺寸相比，更容易选择所述第
一处理尺寸。
并且，也可以是，所述图像编码方法，还包括：文字判定步骤，在由
所述双峰性判定步骤判定为所述直方图中有双峰性、且由所述平坦区域判
定步骤判定为所述平坦区域的大小为所述第一阈值以上的情况下，判定为
所述第一块中包含文字部分，在由所述双峰性判定步骤判定为所述直方图
中没有双峰性的情况下，或者，在由所述平坦区域判定步骤判定为所述平
坦区域的大小小于所述第一阈值的情况下，判定为所述第一块中不包含文
字部分；以及保存步骤，保存文字判定信息，该文字判定信息示出针对所
述第一块是否由所述文字判定步骤判定为包含文字，在正交变换尺寸选择
步骤中，在由所述文字判定步骤判定为所述第一块中包含文字部分的情况
下，选择所述第一处理尺寸，以作为所述第一块的所述正交变换的处理尺
寸，在由所述文字判定步骤判定为所述第一块中不包含文字部分的情况下，
选择所述第二处理尺寸，以作为所述第一块的所述正交变换的处理尺寸，
所述图像编码方法，还包括控制步骤，在该控制步骤中，在由所述保存步
骤保存的、第二块的周边块的所述文字判定信息示出包含文字部分的情况
下，进行控制，以使在所述正交变换尺寸选择步骤中，针对所述第二块容
易选择所述第一处理尺寸。
并且，也可以是，所述周边块是，与所述第二块相邻的周围的八个块
中的一个以上的块。
并且，也可以是，所述周边块是，位于前帧的相同的位置的块。
并且，也可以是，在所述直方图计算步骤中，对于所述直方图，计算
所述第一块的亮度值的直方图。
并且，也可以是，在所述直方图计算步骤中，对于所述直方图，计算
所述第一块的色差的直方图。
并且，也可以是，所述第一处理尺寸为4×4像素，所述第二处理尺寸
为8×8像素。
而且，本发明，除了可以作为这样的图像编码方法来实现以外，还可
以将图像编码方法中包含的特征步骤作为单元的图像编码装置来实现。并
且，本发明，也可以作为使计算机执行图像编码方法中包含的特征步骤的
程序来实现。而且，当然也可以通过CD-ROM等存记录介质以及互联网
等传输介质来分发这样的程序。
进而，本发明，可以作为实现这样的图像编码装置的功能的一部分或
全部的半导体集成电路(LSI)来实现，也可以作为具备这样的图像编码装置
的摄像系统来实现。
以上，本发明能够提供，能够高精度地检测文字存在的块的图像编码
方法以及图像编码装置。
附图说明
图1是本发明的实施例1涉及的图像编码装置的方框图。
图2是本发明的实施例1涉及的图像编码方法的流程图。
图3是本发明的实施例1涉及的正交变换尺寸选择方法的流程图。
图4A是示出本发明的实施例1涉及的自然图像的一个例子的图。
图4B是示出本发明的实施例1涉及的自然图像的亮度直方图的例子
的图。
图4C是示出本发明的实施例1涉及的包含文字的图像的例子的图。
图4D是示出本发明的实施例1涉及的包含文字的图像的亮度直方图
的例子的图。
图5是示出本发明的实施例1涉及的利用峰部判定阈值的峰部检测方
法的图。
图6是本发明的实施例1涉及的双峰性判定方法的流程图。
图7A是示出本发明的实施例1涉及的双峰性阈值的例子的图。
图7B是示出本发明的实施例1涉及的双峰性阈值的例子的图。
图8是本发明的实施例1涉及的水平方向的平坦部检测方法的流程图。
图9是本发明的实施例1涉及的垂直方向的平坦部检测方法的流程图。
图10A是示出本发明的实施例1涉及的参考块的一个例子的图。
图10B是示出本发明的实施例1涉及的信息保存对象区域的一个例子
的图。
图11是示出本发明的实施例1涉及的参考块的一个例子的图。
图12是本发明的实施例1涉及的阈值控制方法的流程图。
图13A是示出实施例1涉及的由图像编码装置的正交变换尺寸选择结
果的图。
图13B是示出实施例1涉及的由图像编码装置的正交变换尺寸选择结
果的图。
图14是示出本发明的实施例1涉及的难以设定阈值的块的例子的图。
图15是本发明的实施例2涉及的图像编码方法的流程图。
图16是本发明的实施例3涉及的摄像系统的方框图。
图17A是示出基于边缘检测的正交变换尺寸选择结果的图。
图17B是示出基于边缘检测的正交变换尺寸选择结果的图。
具体实施方式
以下，参照附图说明本发明的实施例。
(实施例1)
本发明的实施例1涉及的图像编码装置，除了直方图的双峰性的有无
以外，还考虑平坦区域的有无，决定正交变换的处理尺寸。据此，本发明
的实施例1涉及的图像编码装置，能够高精度地检测文字存在的块。
首先，说明本发明的实施例1涉及的图像编码装置100的结构。
图1是示出本发明的实施例1涉及的图像编码装置100的结构的方框
图。
实施例1涉及的图像编码装置100，通过以块为单位对输入图像150
进行编码，从而生成比特流164。并且，图像编码装置100，以块为单位
选择正交变换的处理尺寸，以选择出的处理尺寸对该块进行编码。
该图像编码装置100具备，块划分部101、直方图计算部102、双峰
性判定部103、平坦区域检测部104、平坦区域判定部105、正交变换尺
寸选择部106、阈值控制部107、选择器108、第一正交变换部109、第一
量化部110、第二正交变换部111、第二量化部112、选择器113、熵编码
部114、逆量化部115、逆正交变换部116、环路滤波器117、第一帧存储
器118、帧内预测部119、第二帧存储器120、帧间预测部121、选择器
122、以及帧内／帧间判定部123。
块划分部101，将作为原图像的输入图像150划分为块图像151。
差分部124，计算作为块图像151与后述的预测图像172的差分的差
分图像174。
直方图计算部102，计算由块划分部101划分后的块图像151中包含
的像素值的直方图152。
双峰性判定部103，判定由直方图计算部102计算出的直方图152中
是否有双峰性。
平坦区域检测部104，检测由块划分部101划分后的块图像151的平
坦区域的大小，生成示出检测结果的平坦区域信息154。
平坦区域判定部105，根据由平坦区域检测部104生成的平坦区域信
息154，判定直方图152中是否包含平坦区域。具体而言，平坦区域判定
部105，判定由平坦区域检测部104检测出的平坦区域的大小是否为第一
阈值以上。并且，平坦区域判定部105，在平坦区域的大小为第一阈值以
上的情况下，判定为处理对象的块图像151中包含平坦区域，在平坦区域
的大小小于第一阈值的情况下，判定为处理对象的块图像151中不包含平
坦区域。
正交变换尺寸选择部106，根据双峰性判定部103和平坦区域判定部
105的判定结果，选择正交变换的处理尺寸(以下，正交变换尺寸)。
具体而言，正交变换尺寸选择部106，在由双峰性判定部103判定为
直方图152中有双峰性、且由平坦区域判定部105判定为包含平坦区域的
情况下，选择4×4像素，以作为处理对象的块图像151的正交变换尺寸。
并且，正交变换尺寸选择部106，在由双峰性判定部103判定为直方图152
中没有双峰性的情况下，或者，在由平坦区域判定部105判定为不包含平
坦区域的情况下，选择8×8像素，以作为处理对象的块图像151的正交
变换尺寸。
阈值控制部107，保存正交变换尺寸选择部106的选择结果。并且，
阈值控制部107，按照保存的选择结果，对双峰性判定部103和平坦区域
判定部105进行阈值控制。
选择器108，按照来自正交变换尺寸选择部106的指示，对正交变换
尺寸为4×4像素的正交变换(以下，4×4正交变换)与正交变换尺寸为8×
8像素的正交变换(8×8正交变换)进行切换。具体而言，选择器108，在由
正交变换尺寸选择部106选择4×4像素的正交变换尺寸(以下，4×4像素
尺寸)的情况下，将差分图像174输出到第一正交变换部109。并且，选择
器108，在由正交变换尺寸选择部106选择8×8像素的正交变换尺寸(以
下，8×8像素尺寸)的情况下，将差分图像174输出到第二正交变换部111。
第一正交变换部109，通过对差分图像174进行4×4正交变换，从而
生成变换系数159。
第一量化部110，通过将由第一正交变换部109生成的变换系数159
量化，从而生成量化系数160。
第二正交变换部111，通过对差分图像174进行8×8正交变换，从而
生成变换系数161。
第二量化部112，通过将由第二正交变换部111生成的变换系数161
量化，从而生成量化系数162。
选择器113，按照来自正交变换尺寸选择部106的指示，输出量化系
数160以及量化系数162中的一方，以作为量化系数163。具体而言，选
择器113，在由正交变换尺寸选择部106选择4×4像素尺寸的情况下，输
出量化系数160，以作为量化系数163。并且，选择器113，在由正交变换
尺寸选择部106选择8×8像素尺寸的情况下，输出量化系数162，以作为
量化系数163。
熵编码部114，通过对从选择器113输出的量化系数163进行编码，
从而生成比特流164。
逆量化部115，通过将从选择器113输出的量化系数163逆量化，从
而生成变换系数165。
逆正交变换部116，通过将由逆量化部115生成的变换系数165逆正
交变换，从而生成差分图像166。
加法部125，将由逆正交变换部116生成的差分图像166、与预测图
像172相加，从而生成解码图像175。
第一帧存储器118，存储解码图像175。
帧内预测部119，利用第一帧存储器118所存储的的解码图像175中
包含的像素，进行帧内预测，从而生成预测图像169。
环路滤波器117，通过对解码图像175进行去块滤波，从而生成解码
图像167。
第二帧存储器120，存储由环路滤波器117去块滤波后的解码图像
167。
帧间预测部121，参考第二帧存储器120所存储的解码图像167，进
行帧间预测，从而生成预测图像171。
帧内／帧间判定部123，按照由帧内预测部119获得的信息、和由帧
间预测部121获得的信息，进行判定利用帧内模式以及帧间模式中的哪一
方的帧内／帧间判定。
选择器122，在由帧内／帧间判定部123判定为利用帧内预测的情况
下，选择预测图像169，在由帧内／帧间判定部123判定为利用帧间预测
的情况下，选择预测图像171。而且，选择器122，输出选择出的预测图
像169或171，以作为预测图像172。
接着，说明本发明的实施例1涉及的图像编码装置100的图像编码方
法。
图2是本发明的实施例1涉及的图像编码方法的流程图。
实施例1涉及的图像编码方法，例如，基于MPEG－4AVC标准。
如图2示出，首先，块划分部101，从输入图像150划分处理对象的
块图像151(以下，处理对象块)(S101)。
接着，帧内预测部119以及帧间预测部121，对由步骤S101划分后
的块图像151进行帧间预测以及帧内预测(S102)。并且，帧内／帧间判定
部123，根据帧间预测以及帧内预测的各个预测结果，选择帧间模式与帧
内模式中的一方。
接着，正交变换尺寸选择部106，针对处理对象块(差分图像174)，选
择4×4像素尺寸或8×8像素尺寸的一方(S103)。
在由步骤S103选择4×4像素尺寸的情况下(S104的“是”)，第一正
交变换部109，通过对差分图像174进行4×4正交变换，从而生成变换系
数159(S105)。
接着，第一量化部110，通过将由步骤S105生成的变换系数159量
化，从而生成量化系数160(S106)。
另一方面，在由步骤S103选择8×8像素尺寸的情况下(S104的“否”)，
第二正交变换部111，通过对差分图像174进行8×8正交变换，从而生成
变换系数161(S107)。
接着，第二量化部112，通过将由步骤S107生成的变换系数161量
化，从而生成量化系数162(S108)。
接着，熵编码部114，通过对由步骤S106生成的量化系数160、或由
步骤S108生成的量化系数162进行编码，从而生成比特流164(S109)。
在针对所有的块的编码没有结束的情况下(S110的“否”)，针对下一
个块，进行步骤S101至S110的处理。并且，在针对所有的块的编码结束
的情况下(S110的“是”)，针对一个图片的编码结束。
并且，通过对步骤S103的处理利用以下说明的选择方法，从而能够
期待后述的效果。以下，对步骤S103进行详细说明。
图3是本发明的实施例1涉及的正交变换尺寸选择方法(S103)的流程
图。
如图3示出，首先，阈值控制部107，根据处理对象块的周边块的信
息，设定阈值(S201)。
接着，直方图计算部102，计算处理对象块中包含的像素值的直方图
152(S202)。
接着，双峰性判定部103，针对由步骤S202计算出的直方图152，利
用由步骤S201设定的阈值，判定直方图152中是否有双峰性(S203)。
在判定为有双峰性的情况下(S203的“是”)，平坦区域检测部104，
在处理对象块中，检测像素值平滑变化的平坦区域的大小(S204)。
接着，平坦区域判定部105，根据作为由步骤S204获得的检测结果的
平坦区域信息154，判定处理对象块中是否包含平坦区域(S205)。
在判定为包含平坦区域的情况下(S205的“是”)，正交变换尺寸选择
部106，选择4×4像素尺寸，以作为正交变换尺寸(S206)。
另一方面，在判定为直方图152中没有双峰性的情况下(S203的“否”)，
以及，在判定为处理对象块中不包含平坦区域的情况下(S205的“否”)，
正交变换尺寸选择部106，选择8×8像素尺寸，以作为正交变换尺寸
(S207)。
接着，阈值控制部107，保存示出由正交变换尺寸选择部106选择了
4×4像素尺寸以及8×8像素尺寸中的哪一方的选择信息(S208)。
图4A是示出自然图像的一个例子的图。并且，图4B是示出图4A示
出的自然图像的亮度直方图的图。如图4A示出，自然图像的亮度直方图
示出，峰部为一个的单峰性分布。
图4C是示出包含文字的块图像的一个例子的图。并且，图4D是示出
图4C示出的图像的亮度直方图的图。如图4D示出，包含文字的图像示出
有两个峰部的双峰性分布。
如此，文字的亮度直方图具有双峰性分布。然而，即使是以格子图案
为代表的亮度变动分散的图像，也在亮度直方图中有双峰性。也就是说，
即使在亮度直方图中有双峰性的情况下，也会有不包含文字的情况。并且，
一般而言，对于文字，以下的情况多，即，由于文字部分、以及背景部分
中的某个为平坦，因此容易看文字部分。因此，在本发明的实施例1涉及
的正交变换尺寸选择方法中利用以下的方法，即，在判定为有双峰性的情
况下，还判定是否有平坦区域后，在有平坦区域的情况下判定为有文字。
以下，详细说明图3示出的各个步骤。首先，说明步骤S202至S205、
以及S208，最后，说明步骤S201。并且，对于步骤S206以及S207，由
于是自明的处理，因此省略说明。
在步骤S202中，直方图计算部102，计算处理对象块的亮度直方图
152。在此，对于亮度的小组划分方法，虽然有各种方法，但是，以下，说
明利用将0至255划分为8个的小组的例子。也就是说，第0个小组为0
至31，第1个小组为32至63，……，第7个小组为222至255。
而且，对于直方图计算部102计算的直方图152，可以是色差(Cb，
Cr)，也可以是RGB的各个颜色，还可以是它们的组合。但是，优选的是，
直方图计算部102，尤其提取人的眼睛易于感知的变动(亮度低的部分，红
色等)，计算直方图152。
并且，对于直方图152的小组划分，划分为3个以上即可。但是，优
选的是，以2的乘方来划分，这是因为能够进行高速的处理的缘故。
在步骤S203中，双峰性判定部103，判定由步骤S202计算出的直方
图152是否有双峰性。双峰性判定部103，为了判定是否有双峰性，而需
要判定在直方图中有几个峰部。于是，双峰性判定部103，利用判定是否
有峰部的峰部判定阈值MountTh(第三阈值)。
图5是示出利用峰部判定阈值的峰部检测方法的图。图5的横轴示出
亮度的小组。并且，小组是将亮度划分为8个的。并且，图5的纵轴表示
在该小组存在的亮度值的频数。
双峰性判定部103，比较小组间的频数差，在该频数差为峰部判定阈
值MountTh以上的情况下，判定为该小组成为峰部。例如，对于图5的
第1个小组，频数比前后的第0个以及第2个小组大MountTh以上，因
此，判定为成为峰部。并且，在小组间的差小于MountTh的情况下，判
定为平坦连续。例如，由于第5个小组与第6个小组的频数差小于
MountTh，因此判定为峰部连续。并且，由于第6个小组与第7个小组的
频数差为MountTh以上，因此，判定为成为峰部的部分结束，由第5个
小组和第6个小组形成一个峰部。在由以上的方法判定为有两个峰部的情
况下，双峰性判定部103，判定为直方图152中有双峰性。
图6是由双峰性判定部103的双峰性判定方法(S203)的流程图。
首先，双峰性判定部103，设定要搜索的小组的初始值(S301)。例如，
双峰性判定部103，将搜索对象的小组i设定为0。
接着，双峰性判定部103，检测该小组中是否有峰部(S302)。
在步骤S302中检测出峰部的情况下(S303的“是”)，双峰性判定部
103，使峰部的数量Mount_cnt增加1(S304)。
另一方面，在由步骤S302没有检测出峰部的情况下(S303的“否”)，
以及，在步骤S304之后，双峰性判定部103，将搜索小组设定为下一个小
组(S305)。例如，双峰性判定部103，使搜索对象的小组i增加1。
接着，双峰性判定部103，判定针对所有的小组是否进行了峰部检测
处理(步骤S302至S305)(搜索对象的小组i是否小于8)(S306)。
在不是所有的小组的峰部检测处理结束的情况下(S306的“是”)，双
峰性判定部103，针对下一个小组再次进行步骤S302至S306的处理。
另一方面，在针对所有的小组的峰部检测处理完成的情况下(S306的
“否”)，双峰性判定部103，判定由步骤S304检测出的峰部的合计、即
峰部的数量mount_cnt是否为2(S307)。
在峰部的数量mount_cnt不是2的情况下(S307的“否”)，双峰性判
定部103，选择为没有双峰性(S308)。并且，在峰部的数量mount_cnt是
2的情况下(S307的“是”)，双峰性判定部103，选择为有双峰性(S309)。
而且，在实施例1中，说明了所述的方法，以作为判定双峰性的方法，
但是，本发明涉及的双峰性判定方法，不仅限于此。例如，双峰性判定部
103，也可以利用分散或平均值进行判定。
并且，在所述说明中，双峰性判定部103，仅利用了峰部判定阈值
MountTh，以作为用于判定峰部的阈值，但也可以是，双峰性判定部103，
还将图7A示出的峰部间的差180、以及图7B示出的峰部的高度181中的
至少一方，在步骤S302中计算，并且作为用于判定峰部的阈值来使用。
并且，在所述说明中，双峰性判定部103，在步骤S307中判定峰部是
否为两个，但也可以判定峰部是否有两个以上(峰部的数量mount_cnt是
否为2以上)。
再次，参照图3进行说明。
在步骤S204中，平坦区域检测部104，检测处理对象块中包含的像素
值平滑变化的平坦部。对于检测平坦部的方法，有与边缘检测同样利用相
邻像素的差分绝对值的方法。
具体而言，平坦区域检测部104，求出相邻像素的差分绝对值。平坦
区域检测部104，在计算出的差分绝对值比规定的平坦阈值Plane_Thr(第
二阈值)小的情况下，判定为该相邻像素间存在平坦部。并且，平坦区域检
测部104，对作为平坦部的数量的平坦部数量Plane_Cnt进行计数。并且，
平坦区域检测部104，将计数了的平坦部的数量Plane_Cnt，作为示出平
坦区域的大小的平坦区域信息154来输出。
以下，对于由平坦区域检测部104的平坦区域检测处理(S204)，进行
详细说明。
平坦区域检测处理包含，水平方向的平坦部检测处理、以及垂直方向
的平坦部检测处理。并且，以下，将相邻像素计算的对象像素设为x(i，j)。
图8是水平方向的平坦部检测处理的流程图。
首先，平坦区域检测部104，进行垂直方向的像素位置的初始设定
(S401)、和水平方向的像素位置的初始设定(S402)。例如，平坦区域检测
部104，将对象像素设为x(1，1)。
接着，平坦区域检测部104，计算水平方向的差分绝对值AbsDiff(＝
|x(i，j)－x(i－1，j)|)(步骤S403)。
接着，平坦区域检测部104，对计算出的差分绝对值AbsDiff与平坦
阈值Plane_Thr进行比较(S404)。
平坦区域检测部104，在差分绝对值AbsDiff比平坦阈值Plane_Thr
小的情况下(S404的“是”)，使平坦部数量Plane_Cnt增加1(S405)。
在步骤S405之后，或者，在差分绝对值AbsDiff比平坦阈值
Plane_Thr大的情况下(S404的“否”)，平坦区域检测部104，使对象像
素在水平方向移动1像素(S406)。也就是说，平坦区域检测部104，使水
平成分i增加1。
接着，平坦区域检测部104，判定水平成分i是否比作为水平方向的宏
块尺寸(块图像151的尺寸)的16小(S407)。
在水平成分i比16小的情况下(S407的“是”)，平坦区域检测部104，
再次，进行步骤S403以后的处理。也就是说，平坦区域检测部104，通过
步骤S402至S407的处理，针对一行的像素进行水平方向的平坦部计数处
理(S403至S406)。
另一方面，在水平成分i为16的情况下(S407的“否”)，接着，平坦
区域检测部104，使对象像素在垂直方向移动1像素(S408)。也就是说，
平坦区域检测部104，使垂直成分j增加1。
接着，平坦区域检测部104，判定垂直成分j是否比作为垂直方向的宏
块尺寸的16小(S409)。
在垂直成分j比16小的情况下(S409的“是”)，平坦区域检测部104，
再次，进行步骤S402以后的处理。也就是说，平坦区域检测部104，通过
步骤S401至S409的处理，针对处理对象块的所有的像素进行水平方向的
平坦部计数处理(S403至S406)。
另一方面，在垂直成分j为16的情况下(S409的“否”)，接着，平坦
区域检测部104，进行垂直方向的平坦部检测处理。
图9是垂直方向的平坦部检测处理的流程图。
在垂直方向的平坦部检测处理中，平坦区域检测部104，替代在水平
方向平坦区域检测处理中进行水平方向的差分绝对值的计算的步骤S403，
而进行计算垂直方向的差分绝对值AbsDiff＝|x(i，j)-x(i，j-1)|)的步
骤S503。而且，对于图9示出的步骤S501、S502、以及S504至S509
的处理，由于与图8示出的步骤S401、S402、以及S404至S409的处理
同样，因此省略说明。
如上所述，平坦区域检测部104，通过进行水平方向以及垂直方向的
平坦部检测处理，从而能够将合并处理对象块的水平方向与垂直方向的平
坦部数量Plane_Cnt作为示出平坦区域的大小的平坦区域信息来计算。
再次，参照图3进行说明。
在步骤S205中，平坦区域判定部105，在由步骤S204计数的平坦部
数量Plane_Cnt为平坦部数量阈值Plane_Cnt_Thr(第一阈值)以上的情况
下，判定为处理对象块中包含平坦区域(S205的“是”)，在平坦部数量
Plane_Cnt小于平坦部数量阈值Plane_Cnt_Thr的情况下，判定为处理对
象块中不包含平坦区域(S205的“否”)。
在步骤S208中，阈值控制部107，保存示出由正交变换尺寸选择部
106选择了4×4像素尺寸以及8×8像素尺寸中的哪一方的每个块的选择
信息。
在此，阈值控制部107，仅保存以后要处理的块的周边块的选择信息
即可。例如，在本实施例中，阈值控制部107，如图10A示出，利用处理
对象块183的左、上以及左上的参考块184，进行该处理对象块183的阈
值控制。因此，在图像编码装置100，按照光栅顺序，从左上向右依次对
块进行处理的情况下，如图10B示出，阈值控制部107，至少保存从处理
对象块183的左上相邻的块、到处理对象块183为止的信息保存对象区域
185中包含的块的选择信息。
而且，在此说明了使用处理对象块183的3个周边块的例子，但是，
也可以使用8个周边块中的任意的数量的周边块进行阈值控制。例如，阈
值控制部107，可以使用8个周边块全部，也可以使用其他的组合，还可
以仅使用1个。
在此，文字具有在动画中移动少的特性。根据该特性，阈值控制部107，
还可以利用如图11所示、处理对象块183的前帧中包含的参考块184的
选择信息，以作为周边块的选择信息。例如，图11示出的参考块184是，
与处理对象块183相同的位置的块。
在步骤S201中，阈值控制部107，根据周边块的选择信息，对与正交
变换尺寸选择处理相关的阈值进行控制。具体而言，阈值控制部107，在
由周边块的选择信息示出选择了4×4像素尺寸的情况下，进行控制，以使
正交变换尺寸选择部106，与8×8像素尺寸相比，更容易选择4×4像素
尺寸。并且，阈值控制部107，在由周边块的选择信息示出选择了8×8像
素尺寸的情况下，进行控制，以使正交变换尺寸选择部106，与4×4像素
尺寸相比，更容易选择8×8像素尺寸。
例如，周边块的选择信息是，图10A示出的参考块184(A，B，C)的
选择信息。并且，阈值控制部107控制的阈值是，图5示出的峰部判定阈
值MountTh。
图12是阈值控制处理(步骤S201)的流程图。
首先，阈值控制部107，判定针对处理对象块183的左的块(参考块
A)以及上的块(参考块B)中的至少一方是否选择了4×4像素尺寸(S601)。
在针对处理对象块183的左的块以及上的块中的至少一方选择了4×4
像素尺寸的情况下(S601的“是”)，阈值控制部107，将峰部判定阈值
MountTh降低预先规定的值(S602)。
接着，阈值控制部107，判定在针对处理对象块183的左上的块(参考
块C)是否选择了4×4像素尺寸(S603)。
在针对处理对象块183的左上的块选择了4×4像素尺寸的情况下
(S603的“是”)，阈值控制部107，还将峰部判定阈值MountTh降低预
先规定的值(S604)。
另一方面，在针对处理对象块183的左上的块没有选择4×4像素尺
寸的情况下(S603的“否”)，或者，在步骤S604之后，阈值控制部107，
判定峰部判定阈值MountTh是否比0小(S605)。
在峰部判定阈值MountTh比0小的情况下(S605的“是”)，阈值控
制部107，将峰部判定阈值MountTh设定为0(S606)。
另一方面，在针对处理对象块183的左的块以及上的块的双方选择了
8×8像素尺寸的情况下(S601的“否”)，阈值控制部107，将峰部判定阈
值MountTh提高预先规定的值(S607)。
接着，阈值控制部107，判定峰部判定阈值MountTh是否比初始设定
的阈值(初始值)大(S608)。
在峰部判定阈值MountTh比初始值大的情况下(S608的“是”)，阈
值控制部107，将峰部判定阈值MountTh设为初始值(S609)。
并且，在峰部判定阈值MountTh为0以上的情况下(S605的“否”)，
在峰部判定阈值MountTh为初始值以下的情况下(S608的“否”)，在步
骤S606之后，或者在步骤S609之后，阈值控制部107，结束针对处理对
象块183的阈值控制处理。
而且，优选的是，初始设定的阈值为，针对对象运动图像，4×4像素
尺寸变少的值。
并且，在此，说明了阈值控制部107对峰部判定阈值MountTh进行
控制的例子，但是，阈值控制部107也可以，对除此以外的阈值进行控制。
例如，阈值控制部107也可以，对与图7A示出的山间的差180、以及图
7B示出的峰部的高度181相关的阈值进行控制。并且，阈值控制部107
也可以，对平坦阈值Plane_Thr、或平坦部数量阈值Plane_Cnt_Thr进行
控制。并且，阈值控制部107，可以对这样的阈值的某一个进行控制，也
可以对多个进行控制。
图13A以及图13B是示出本发明的实施例1涉及的由图像编码装置
100的正交变换尺寸的选择结果的图。而且，图13A以及图13B是示出，
不进行由阈值控制部107的阈值控制，而利用了预先规定的阈值时的选择
结果。并且，在图13A以及图13B中，以粗边线示出的块191为，4×4
像素尺寸被选择的块，其他的块190为，8×8像素尺寸被选择的块。
图13A是示出，以检测所有的文字的方式进行阈值设定时的选择结果
的图。可见，与图17A相比，在森林的部分的4×4像素尺寸被选择的块
191的数量少。
图13B是示出，以使4×4像素尺寸被选择的块191变少的方式进行
阈值设定时的选择结果的图。可见，与图17B相比，针对块内仅包含文字
的一部分的块，也能够选择4×4像素尺寸。并且，针对森林等的不需要选
择4×4像素尺寸的块，没有选择4×4像素尺寸。
进而，本发明的实施例1涉及的图像编码装置100，通过利用周边块
的选择结果来进行阈值控制，在图13B中，针对因在块内文字存在的区域
少而没有被选择的块，能够选择4×4像素尺寸。
图14是示出难以设定阈值的块300的例子的图。在像图14示出的块
300那样块内亮度高的部分只有一部分的情况下，会有是图14示出的图像
301的右下的块303示出的文字的一部分的情况，也会有是图像302的右
下的块304示出的黑的物体的高亮部分的情况。不易以一定的阈值来判别
这样的块。
对此，本发明的实施例1涉及的图像编码装置100，通过利用周边块
的选择结果来进行阈值控制，即使在这样的情况下，也能够选择适当的正
交变换尺寸。
以上，本发明的实施例1涉及的图像编码装置100以及图像编码方法，
针对蚊式噪声明显的文字图像等，能够更适当地选择4×4正交变换，并且，
能够减少针对不需要的块的4×4正交变换的选择。据此，图像编码装置
100以及图像编码方法，能够抑制代码量的增加。并且，图像编码装置100，
由于能够抑制因文字图像的蚊式噪声而导致的画质劣化，因此能够提高画
质。
(实施例2)
在实施例1中，阈值控制部107，保存示出选择了4×4像素尺寸以及
8×8像素尺寸中的哪一方的选择信息。在本发明的实施例2中，阈值控制
部107，保存处理对象块中是否有文字的判定结果。
图15是本发明的实施例2涉及的正交变换尺寸选择方法(S103)的流程
图。而且，对于步骤S702至S705的处理，由于与图3示出的步骤S202
至205的处理同样，因此省略说明。
在由步骤S705判定为包含平坦区域的情况下(S705的“是”)，正交
变换尺寸选择部106，判定为处理对象块中包含文字(S706)。
另一方面，在由步骤S703判定为处理对象块的直方图152不是双峰
性的情况下(S703的“否”)，以及，在由步骤S705判定为处理对象块中
不包含平坦区域的情况下(S705的“否”)，正交变换尺寸选择部106，判
定为处理对象块中不包含文字部分(S707)。
接着，阈值控制部107，保存示出处理对象块中是否包含文字部分的
文字判定信息(S708)。
并且，在处理对象块中包含文字部分的情况下(S709的“是”)，正交
变换尺寸选择部106，选择4×4像素尺寸(S710)。并且，在处理对象块中
不包含文字部分的情况下(S709的“否”)，正交变换尺寸选择部106，选
择8×8像素尺寸(S711)。
并且，在步骤S701中，阈值控制部107，根据周边块的文字判定信息，
对交变换尺寸选择部106利用的阈值进行控制。具体而言，阈值控制部107，
在周边块的文字判定信息示出包含文字部分的情况下，进行控制，以使正
交变换尺寸选择部106，与8×8像素尺寸相比，更容易选择4×4像素尺
寸。并且，阈值控制部107，在周边块的文字选择信息示出不包含文字部
分的情况下，进行控制，以使正交变换尺寸选择部106，与4×4像素尺寸
相比，更容易选择8×8像素尺寸。而且，对于由阈值控制部107的阈值
控制的详细内容，由于与实施例1同样，因此省略说明。
以上，本发明的实施例2涉及的图像编码装置100以及图像编码方法，
与实施例1同样，针对蚊式噪声明显的文字图像等，能够更适当地选择4
×4正交变换，并且，能够减少针对不需要的块的4×4正交变换的选择。
据此，图像编码装置100以及图像编码方法，能够抑制代码量的增加。并
且，图像编码装置100以及图像编码方法，由于能够抑制因文字图像的蚊
式噪声而导致的画质劣化，因此能够提高画质。
(实施例3)
在本发明的实施例3中，说明具备所述的本发明的实施例1或实施例
2涉及的图像编码装置100的摄像系统200。
图16是本发明的实施例3涉及的摄像系统200的结构的方框图。该
摄像系统200是，例如，数字静态摄像机、或电视会议用摄像机等。
图16示出的摄像系统200具备，光学系统201、传感器202、A／D(模
数)变换电路203，图像处理电路204、记录转送部205、再生部206、定
时控制电路207、以及系统控制电路208。
光学系统201，将射入的图像光成像于传感器202上。
传感器202，通过对由光学系统201成像的图像光进行光电变换，从
而生成电信号(图像信号)。
A／D变换电路203，将由传感器202生成的电信号(模拟信号)变换为
数字信号。
图像处理电路204具备，所述的实施例1或2涉及的图像编码装置
100。该图像处理电路204，对由A／D变换电路203变换后的数字信号，
进行Y(亮度)／C(色度)处理、边缘处理、图像的放大缩小、JPEG以及
MPEG等的图像压缩／扩展处理、并且图像压缩后的流的控制等。并且，
图像编码装置100，对由A／D变换电路203变换后的数字信号进行编码。
记录转送部205，将由图像处理电路204图像处理后的信号，记录到
记录介质、或通过互联网等传输。
再生部206，对由记录转送部205记录或转送后的信号进行再生。
定时控制电路207，对传感器202以及图像处理电路204进行控制。
系统控制电路208，对光学系统201、记录转送部205、再生部206
以及定时控制电路207进行控制。
而且，在此，利用将本发明涉及的图像编码装置100用于由传感器202
对来自光学系统201的图像光进行光电变换来输入到A／D变换电路203
的摄像机设备等的例子来进行了说明，但是，当然，也可以将本发明涉及
的图像编码装置100用于其他的设备。例如，也可以将电视等的AV设备
的模拟影像输入信号直接输入到A／D变换电路203。
以上，说明了本发明的实施例涉及的图像编码装置、图像编码方法以
及摄像系统，但是，本发明不仅限于该实施例。
例如，在所述说明中，对于正交变换尺寸，说明了对4×4像素单位与
8×8像素单位进行切换的例子，但也可以，替代4×4像素单位而利用任
意的第一处理尺寸，替代8×8像素单位而利用比第一处理尺寸大的第二处
理尺寸。
并且，本发明的实施例涉及的图像编码装置100，以作为典型的集成
电路的LSI来实现。可以将它们分别单芯片化，也可以将它们单芯片化，
使得包含一部分或全部。
在此，作为LSI，但也可以根据集成度不同被称为IC、系统LSI、超
LSI、特大LSI。
并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或
通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field
Programmable Gate Array∶现场可编程门阵列)、以及可重构LSI内部
的电路单元的连接以及设定的可重构处理器。
进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替
LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在
生物技术的应用等的可能性。
并且，也可以是，通过CPU等的处理器执行程序，从而实现本发明的
实施例涉及的图像编码装置100或摄像系统200的功能的一部分或全部。
进而，本发明可以是所述程序，也可以是记录有所述程序的记录介质。
并且，当然，能够通过互联网等的传输介质来分发所述程序。
并且，也可以组合所述实施例1至2涉及的图像编码装置、以及其变
形例的功能中的至少一部分。
并且，在上述利用了的数字都是为了具体说明本发明而示出的例子，
本发明不仅限于以例子来示出的数字。
并且，所述图像编码方法中包含的个步骤的执行顺序，是为了具体说
明本发明而示出的例子，也可以是所述以外的顺序。并且，也可以所述步
骤的一部分，与其他的步骤同时(并行)执行。
例如，在图3以及图15中，在双峰性的判定处理(S202至S203或S702
至S703)之后，进行平坦区域的判定处理(S204至S205或S704至S705)，
但是，可以在平坦区域的判定处理之后，进行双峰性的判定处理，也可以
同时进行这样的处理的一部分。
进而，在不脱离本发明的要旨的范围内所进行的本领域的技术人员能
够想到的各种变形也包含在本发明的范围内。
本发明，能够适用于图像编码装置以及图像编码方法，尤其有用于需
要文字图像的画质性能的面向电视会议系统的图像编码装置。
符号说明
100 图像编码装置
101 块划分部
102 直方图计算部
103 双峰性判定部
104 平坦区域检测部
105 平坦区域判定部
106 正交变换尺寸选择部
107 阈值控制部
108、113、122 选择器
109 第一正交变换部
110 第一量化部
111 第二正交变换部
112 第二量化部
114 熵编码部
115 逆量化部
116 逆正交变换部
117 环路滤波器
118 第一帧存储器
119 帧内预测部
120 第二帧存储器
121 帧间预测部
123 帧内／帧间判定部
124 差分部
125 加法部
150 输入图像
151 块图像
152 直方图
154 平坦区域信息
159、161、165 变换系数
160、162、163 量化系数
164 比特流
166、174 差分图像
167、175 解码图像
169、171、172 预测图像
180 峰部间的差
181 峰部的高度
183 处理对象块
184 参考块
185 信息保存对象区域
190、191、300、303、304、390、391 块
200 摄像系统
201 光学系统
202 传感器
203A／D 变换电路
204 图像处理电路
205 记录转送部
206 再生部
207 定时控制电路
208 系统控制电路
301、302 图像
mount_cnt 峰部的数量
MountTh 峰部判定阈值
Plane_Thr 平坦阈值
Plane_Cnt 平坦部数量
AbsDiff 差分绝对值
Plane_Cnt_Thr 平坦部数量阈值