图像纹理恢复方法及其装置 【技术领域】
本发明涉及一种恢复图像纹理描述符的方法和装置，特别是涉及一种用于恢复纹理描述符的图像纹理描述符恢复方法及其装置，该纹理描述符用于搜索和浏览图像并描述图像的纹理特性。
背景技术
最近，图像纹理作为搜索和浏览大量类似的图像模式的重要的视觉特征已经出现。例如，用于通过Gabor滤波器过滤纹理描述符的常规的纹理描述符提取包括通过Gabor过滤获得的系数的纹理描述符。然而，尽管常规图像纹理描述符包括大量的向量，但从纹理描述符来视觉上感知纹理结构仍十分困难。
发明的公开
本发明的目的在于提供一种用于恢复感性地捕捉在图像中出现的纹理结构地图像纹理描述符的方法。
本发明的另一个目的在于提供一种其中存有计算机程序的计算机可读存储介质，该程序被安排以便计算机执行图像纹理描述符恢复方法。
本发明的又一个目的在于提供一种执行图像纹理描述符恢复方法的图像纹理描述符恢复装置。
为达到上述目的，提供一种用于恢复用于描述图像纹理特征的图像纹理描述符的方法，包括步骤：(a)使用具有不同取向(orientation)系数的预定滤波器过滤输入图像，(b)投影经过滤的图像到每个预定方向的轴上以获取包括每个方向像素值的平均数的数据组，(c)通过预定分类方法在数据组中选择候选数据组，(d)基于用于过滤候选数据组的滤波器的取向系数，确定多个指示符，和(e)确定多个指示符作为图像的纹理描述符。
步骤(a)可以进一步包括步骤：(a-1)使用具有不同标度(scale)系数的预定滤波器过滤输入图像，和步骤(d)进一步包含步骤：(d-1)基于用于过滤候选数据组的滤波器的标度系数确定多个指示符。
图像纹理描述符恢复方法可以进一步包括步骤：基于通过具有标度系数或取向系数的滤波器过滤的数据组的存在确定另一个指示符，该标度系数或取向系数与用于过滤选定的候选数据组的滤波器的标度系数和取向系数接近或相同。
图像纹理描述符恢复方法可以进一步包括步骤：关于经过滤的图像计算像素的平均值和方差，和使用计算出的平均值和方差恢复预定的向量。
根据本发明的另一个方面，提供一种用于恢复用于描述图像纹理特征的图像纹理描述符的方法，包括步骤：(a)使用具有不同标度系数的预定滤波器过滤输入图像，(b)投影经过滤的图像到每个预定方向的轴上以获取包括每个方向像素值的平均数的数据组，(c)基于用于过滤通过预定选择方法在数据组中选择的数据组的滤波器的标度系数确定多个指示符，(d)确定多个指示符作为图像的纹理描述符。
根据本发明的再一个方面，提供用于恢复用于描述图像的纹理特征的图像纹理描述符的方法，包括步骤：(a)使用具有不同取向系数和不同标度系数的预定的滤波器过滤输入图像，(b)投影经过滤的图像到水平和垂直的轴上以获得水平轴投影曲线图和垂直轴投影曲线图，(c)计算每一个曲线图的归一化的自相关值(auto-correlation)，(d)获得每个归一化的自相关值的局部最大值和局部最小值，即计算出的归一化自相关值在预定部分形成局部峰值和局部谷值，(e)定义局部最大值的平均值和局部最小值的平均值作为对比度(contrast)，(f)选择其中标准偏差与局部最大值的平均值的比率小于或等于预定门限的曲线图作为第一候选曲线图，(g)根据通过具有标度系数或取向系数的滤波器过滤的曲线图的数量确定第二候选曲线图的类型，该标度系数或取向系数接近或相同于用于过滤选定的第二候选曲线图的滤波器的标度系数或取向系数，(h)计算属于第二候选曲线图的各自类型的曲线图的数量和确定第二候选曲线图的每一类型的预定权重，(i)计算所数出的曲线图数量与确定的权重的乘积的和数，以确定计算结果值作为构成纹理描述符的第一指示符，(j)确定具有最大对比度的第二候选曲线图的取向系数和标度系数作为第二至五指示符，和(k)确定包括第一指示符和第二至五指示符的指示符作为相应图像的纹理描述符。
图像纹理描述符恢复方法可以进一步包括步骤：关于经过滤的图像计算像素的平均值和方差，并使用计算出的平均值和方差获得预定向量，其中步骤(k)包括步骤：确定包括第一个指示符，第二到五指示符和预定向量的指示符作为相应图像的纹理描述符。
由NAC(k)表示的归一化自相关值，最好通过下列公式计算：
NAC(k)=Σm=kN-1P(m-k)P(m)Σm=kN-1P2(m-k)Σm=kN-1P2(m)]]>
其中N是预定的正整数，输入图像包括N×N像素，像素位置由i表示，其中i是1到N的数，通过像素位置i的像素表示的投影曲线图由P(i)表示，k是一个从1到N的数。
对比度确定为：
contrast=1MΣi=1MP_magn(i)-1LΣi=1LV_magn(i)]]>
其中P_magn(i)和V_magn(i)是在步骤(d)中确定的局部最大值和局部最小值。
在步骤(f)中，满足下列公式的曲线图被选作第一个候选曲线图：
Sd≤α]]>
其中d和S是局部最大值的平均值和标准偏差，α是预定门限。
步骤(g)包括子步骤：(g-1)如果有一个或多个具有与相关的候选曲线图的标度或取向系数相同的标度或取向系数的曲线图和一个或多个具有与相关的候选曲线图的标度或取向系数相近的标度或取向系数的曲线图，将相关的候选曲线图分类为第一类型曲线图，(g-2)如果有一个或多个具有与相关的候选曲线图的标度或取向系数相同的标度或取向系数的曲线图，但是没有具有与相关的候选曲线图的标度或取向系数相近的标度或取向系数的曲线图，将相关的候选曲线图分类为第二类型曲线图，和(g-3)如果没有具有与相关的候选曲线图的标度或取向系数相同或相近的标度或取向系数的曲线图，将相关的候选曲线图分类为第三类型曲线图。
步骤(h)包括计算属于第一至三类型曲线图的每一个类型的曲线图的数量，并确定每一个曲线图类型的预定权重。
步骤(f)后，可以进一步包括步骤：应用预定分类算法到第一候选曲线图以选择第二候选曲线图。
预定算法最好是修正的凝聚分类算法(agglomerative clustering)。
最好在步骤(j)中，在水平轴投影曲线图中具有最大对比度的曲线图的取向系数，被确定为第二指示符；在垂直轴投影曲线图中具有最大对比度的曲线图的取向系数，被确定为第二指示符；在水平轴投影曲线图中具有最大对比度的曲线图的标度系数，被确定为第四指示符；在垂直轴投影曲线图中具有最大对比度的曲线图的标度系数，被确定为第五指示符。
步骤(j)可以包括确定包括第一指示符、第二至第五指示符和预定的向量的指示符作为相应图像的纹理描述符的步骤。
预定滤波器最好包括Gabor滤波器。
为达到本发明的第二个目的，提供有一种具有可通过计算机执行的程序代码的计算机可读媒介，以执行用于描述图像纹理特征的图像纹理描述符的方法，该方法包括步骤：(a)使用具有不同取向系数和不同标度系数的预定滤波器过滤输入图像，(b)投影经过滤的图像到水平和垂直轴，以取得水平轴投影曲线图和垂直轴投影曲线图，(c)为每一个曲线图计算归一化自相关值，(d)为每一个归一化自相关值取得局部最大值和局部最小值，计算出的归一化自相关值在预定部分形成一个局部峰值和谷值，(e)定义局部最大值的平均值和局部最小值的平均值作为对比度，(f)选择其中标准偏差与局部最大值的平均值的比率小于或等于预定门限的曲线图作为第一候选曲线图，(g)根据通过具有标度系数或取向系数的滤波器过滤的曲线图的数量确定第二个候选曲线图的类型，该标度系数或取向系数接近或相同于用于过滤选定的第二个候选曲线图的滤波器的标度系数或取向系数，(h)计算属于第二候选曲线图的各自类型的曲线图的数量和确定第二候选曲线图的每一类型的预定权重，(i)计算所数出的曲线图数量与确定的权重的乘积的和数，以确定乘积结果值作为构成纹理描述符的第一指示符，(j)确定具有最大对比度的第二候选曲线图的取向系数和标度系数作为第二至五指示符，并(k)确定包括第一指示符和第二至五指示符的指示符作为相关图像的纹理描述符。
为达到本发明的第三个目的，提供一种用于恢复描述图像纹理特征的图像纹理描述符的装置方法，该装置包括过滤装置，用于使用具有不同取向系数的预定滤波器过滤输入图像；投影装置，用于投影经过滤的图像到每个预定方向的轴上以获得包括每个方向像素值的平均值的数据组；分类装置，用于在数据组中通过预定的分类方法选择候选数据组；第一指示符确定装置，用于基于通过具有标度系数或取向系数的滤波器过滤的曲线图的数目确定另一个指示符，该标度系数或取向系数接近或等同于用于过滤选定的候选曲线图的滤波器的标度系数或取向系数；和第二指示符确定装置，用于基于用于过滤确定的候选曲线图的滤波器的标度系数和取向系数确定多个指示符。
或者，提供一种用于恢复描述图像纹理特征的图像纹理描述符的装置，该装置包括过滤单元，用于使用具有不同取向系数和不同标度系数的预定的滤波器过滤输入图像；图像平均值/方差计算单元，用于计算关于每个经过滤的图像的像素的平均值和方差，并使用计算出的平均值和方差获得预定的向量；投影单元，用于在水平和垂直轴上投影经过滤的图像，以获得水平轴投影曲线图和垂直轴投影曲线图；计算单元，为每个曲线图计算归一化自相关值；峰值检测/分析单元，为每个自相关值检测局部最大值和局部最小值，即计算出的归一化自相关值在预定的部分形成局部峰值和局部谷值；平均值/方差计算单元，用于计算局部最大值的平均值和局部最小值的平均值；第一候选曲线图选择/存储单元，用于选择满足标准偏差与局部最大值的平均值的比率小于或等于预定门限的要求的曲线图，作为第一候选曲线图；第二候选曲线图选择/存储单元，用于应用预定分类算法到第一候选曲线图，以选择与第二候选曲线图相同的曲线图；分类单元，用于计数属于每个第二候选曲线图的各自类型的曲线图的数目，输出指示每一类型曲线图的数目的数据信号，确定属于每一各自类型的的曲线图的预定权重并输出指示应用于每一类型的权重的数据信号；第一指示符确定单元，用于计算表示属于每一类型的曲线图的数目的数据，和表示应用于每一类型的权重的数据的乘积的和数，确定和输出计算结果作为构成纹理描述符的第一指示符；对比度计算单元，用于根据公式(2)使用从平均值/方差计算单元输出的平均值计算对比度，并输出指示计算出的对比度是最大的信号；第二候选曲线图选择/存储单元，用于响应指示该计算出的对比度是最大的信号，输出在在其中存储的第二候选曲线图中具有最大对比度的候选曲线图；第二到五指示符确定单元，用于确定在水平轴投影曲线图中具有最大对比度的曲线图的取向系数；在垂直轴投影曲线图中具有最大对比度的曲线图的取向系数，被确定为为第二指示符；在水平轴投影曲线图中具有最大对比度的曲线图的标度系数，被确定为第四指示符；在垂直轴投影曲线图中具有最大对比度的曲线图的标度系数，被确定为第五指示符；和纹理描述符输出单元，组合第一指示符、第二至第五指示符和预定的向量并输出组合结果作为相应的图像的纹理描述符。
附图简述：
本发明的上述目的和优点通过以下参照附图对实施例的详述将更为明显：
图1A和1B是表示根据本发明的图像纹理描述符恢复方法的流程图；
图2是根据本发明的图像纹理描述符恢复装置的框图；和
图3表示基于根据本发明的图像纹理描述符恢复方法从Brodatz纹理图像提取的感性浏览成分(PBCs)。
实施本发明的最佳方式
在此，将参照附图详细描述本发明的实施例。
参照显示本发明的图像纹理描述符恢复方法的图1A，假设N是一个预定的正整数，由N×N像素，例如128×128像素组成的输入图像，使用Gabor滤波器被过滤(步骤100)。Gabor滤波器由具有不同取向系数和不同标度系数的滤波器组成。假设C1和C2是预定正整数，输入图像被具有C1种取向系数和C2种标度系数的滤波器过滤，和滤波器输出C1×C2种经过滤的图像。
接下来，对每一种C1×C2经过滤的图像计算像素的平均值和方差，然后使用该平均值和方差获得向量Z(步骤102)。
然后，经过滤的图像被投影到X和Y轴上，以获得X轴投影曲线图和Y轴投影曲线图(步骤104)。通过下面的公式(1)计算由NAC(k)表示的每一曲线图P(i)(i是从1到N的数)的归一化自相关值(NAC)：NAC(k)=Σm=kN-1P(m-k)P(m)Σm=kN-1P2(m-k)Σm=kN-1P2(m)...............(1)]]>
其中像素位置由i表示，通过像素位置i的像素表示的投影曲线图由P(i)表示，k是一个从1到N的数(N是正整数)。
接下来，取得局部最大值P_magn(i)和局部最小值V_magn(i)，即计算出的NAC(k)在预定部分局部地形成峰值和谷值(步骤108)。对比度按下列公式(2)定义为：contrast=1MΣi=1MP_magn(i)-1LΣi=1LV_magn(i).............(2)]]>(步骤110)。另外，选择满足下列公式(3)的曲线图作为第一候选曲线图(步骤112)：Sd≤α.........(3)]]>
其中d和S是局部最大值P_magn(i)的平均值和标准偏差，α是预定门限。
参照图1B，修正的凝聚分类算法被应用到第一候选曲线图以选择第二候选曲线图(步骤114)。修正的凝聚分类算法是对由R.O.Duda和P.E.Hart在“Pattern Classification and Scene Analysis(模式分类和景物分析)，John Wiley and Sons，New York，1973”中公布的凝聚分类算法进行适当修正的算法，下面将简要描述。首先，在N曲线图P1，….，PN中，设峰值间的距离的平均值和方差为di和Si，每个曲线图具有对应于(di，Si)的二维向量。现在，使用对应于(di，Si)的二维向量按下述分组Pi。关于群集N的起始数目，假设群集的期望数目是Mc，每个群集Ci可表示为C1＝{P1}，C2＝{P2}，…，CN＝{PN}。如果群集的数目小于Mc，分组停止。接下来，获得相距很远的两个群集Ci和Ci。如果Ci和Ci之间的距离大于预定门限，分组停止。相反，合并Ci和Ci以去掉两个群集中的一个。重复执行这个过程直到群集的数目达到预定数目。然后，在经分组的群集中，选择具有最多曲线图的群集并选择在选定的群集中的曲线图作为候选曲线图。
现在，第二候选曲线图被分为三类(步骤116)。根据通过具有与用于过滤第二候选曲线图的滤波器的标度或取向系数相近或相同的标度或取向系数的滤波器过滤的曲线图数目，执行分类。下面为解释方便起见，通过具有确定的标度系数或恒定的取向系数的滤波器过滤的曲线图将称为确定标度系数曲线图或确定取向系数曲线图。
更具体地，首先，如果有一个或多个具有与相关的候选曲线图的标度或取向系数相同的标度或取向系数的曲线图和一个或多个具有与相关的候选曲线图的标度或取向系数相近的标度或取向系数的曲线图，将相关的候选曲线图分类为C1类型曲线图，其次，如果有一个或多个具有与相关的候选曲线图的标度或取向系数相同的标度或取向系数的曲线图，但是没有具有与相关的候选曲线图的标度或取向系数相近的标度或取向系数的曲线图，将相关的候选曲线图分类为C2类型曲线图，再次，如果没有具有与相关的候选曲线图的标度或取向系数相同或相近的标度或取向系数的曲线图，将相关的候选曲线图分类为C3类型曲线图。然后，计数属于C1、C2和C3类型的每一个的曲线图的数目以分别用N1、N2和N3表示，并且计数属于C1、C2和C3类型的每一个的曲线图的权重以分别用W1、W2和W3表示，其将描述如下：
现在，使用确定的数目N1、N2和N3，及权重W1、W2和W3，执行下列计算：
M=Σi=13Ni×Wi................(4)]]>
其中确定结果M作为构成纹理描述符的第一指示符V1(步骤118)。
关于第二候选曲线图，确定具有最大对比度的曲线图的取向系数和标度系数为第二到第五指示符(步骤120)。更具体地，确定在x轴投影曲线图中具有最大对比度的曲线图的取向系数为第二指示符V2。另外，确定在y轴投影曲线图中具有最大对比度的曲线图的取向系数，为第三指示符V3。在x轴投影曲线图中具有最大对比度的曲线图的标度系数，被确定为第四指示符V4。另外，在y轴投影曲线图中具有最大对比度的曲线图的标度系数，被确定为第五指示符V5。
使用在步骤118确定的第一指示符V1，第二到第五指示符V2、V3、V4和V5，和在步骤102确定的向量Z，设置纹理描述符，即纹理特征向量为{[V1，V2，V3，V4，V5]，Z}(步骤122)。
大的第一指示符V1表示图像纹理结构化程度(structuredness)水平高。已经在实验上证实第一指示符很好地代表了图像纹理的结构化程度。第二和第三指示符V2和V3代表了两个在其中最大捕捉结构化程度的量化取向。第四和第五指示符V4和V5代表了两个在其中最大捕捉结构化程度的量化标度。
纹理描述符在浏览或搜索恢复的应用中被用作图像的索引。特别地，根据本发明的图像纹理描述符恢复方法恢复的图像纹理描述符适用于其中浏览模式是规则的网格标记，或面向结构的浏览，即妆饰图案。因此，在结构上搜索相似图案时，通过应用本发明的图像纹理描述符恢复方法到面向结构浏览的应用，可以允许更适于眼睛感知的图像搜索。因此，在构成通过本发明的图像纹理描述符恢复方法恢复的纹理描述符的指示符中，第一到第五指示符V1，V2，V3，V4和V5可以称为感性浏览成分(PBCs)。
另外，关于每一个经过滤的图像，计算像素值的平均值和方差。通过使用该平均值和方差获得的向量Z称为相似恢复成分(SRCs)。
换句话说，在本发明的图像纹理描述符恢复方法中，纹理描述符允许感性地捕捉出现图像中的各种纹理结构。
已经描述了作为图像纹理结构化程度的很好的指示符的第一指示符V1，代表了两个在其中最大捕捉结构化程度的量化取向的第二和第三指示符V2和V3，代表了两个在其中最大捕捉结构化程度的量化标度的第四和第五指示符V4和V5被用作图像的纹理描述符。然而，以上描述的实施例仅用于描述性意义而不用于限制的目的。最适合于图像特性的单个指示符和任意选定的多个指示符也可以用作图像纹理的描述符。因此，上面描述的实施例无意作为本发明范围上的限制。
另外，图像纹理描述符恢复方法是可通过计算机程序编程的。本领域的技术人员可容易地导出构成计算机程序的代码和码段。另外，程序被存储在计算机可读介质中并且是通过计算机可读的和可执行的，因此，具体实现了图像纹理描述符恢复方法。介质包括磁记录介质、光记录介质、载波介质等等。
另外图像纹理描述符恢复方法可通过图像纹理描述符恢复装置具体说明。图2是本发明图像纹理描述符恢复装置的方框图。参照图2，图像纹理描述符恢复装置包括Gabor滤波器200，图像平均值/方差计算单元202，x轴投影器204，y轴投影器205，NAC计算单元206和峰值检测/分析单元208。另外，图像纹理描述符恢复装置包括平均值/方差计算单元210，第一候选曲线图选择/存储单元212，第二候选曲线图选择/存储单元214，分类单元216，第一指示符确定单元218，对比度计算单元220，第二到第五指示符确定单元222和纹理描述符输出单元224。
在图像纹理描述符恢复装置的操作中，假设N是预定正整数，Gabor滤波器200使用具有不同取向系数和不同标度系数的滤波器(未示出)过滤由N×N像素，例如128×128像素组成的输入图像，并输出经过滤的图像(image_filtered)。假设C1和C2是预定正整数，输入图像被具有C1种取向系数和C2种标度系数的滤波器过滤，和滤波器输出C1×C2种经过滤的图像。
图像平均值/方差计算单元202对C1×C2种经过滤的图像中的每个计算像素的平均值和方差，然后使用该平均值和方差获得向量Z并输出获得的向量Z。
x轴投影器204和y轴投影器205投影经过滤的图像到X和Y轴上，以获得X轴投影曲线图和Y轴投影曲线图。换句话说，假设像素位置由i表示(i是从1到N的数)，x轴投影器204和y轴投影器205输出通过像素位置i(i-1，...，N)的像素表示的投影曲线图P(i)。
NAC计算单元206使用公式(1)计算由NAC(k)表示的每一曲线图P(i)的归一化自相关(NAC)值。
峰值检测/分析单元208检测局部最大值P_magn(i)和局部最小值V_magn(i)，即计算出的NAC(k)在预定部分形成局部峰值和局部谷值。
平均值/方差计算单元210计算局部最大值P_magn(i)平均值d和标准偏差S并输出它们。第一候选曲线图选择/存储单元212接收平均值d和标准偏差S，选择满足公式(3)的曲线图为第一候选曲线图(1st-CAND)和存储选定的第一候选曲线图，其中α是预定门限。
第二候选曲线图选择/存储单元214应用经修正的凝聚分类算法到第一候选曲线图，以选择与第二候选曲线图(2nd-CAND)相同的曲线图。
分类单元216，如参照图1B描述的，关于第二候选曲线图，计数属于C1、C2和C3类型中每个类型的曲线图的数目以分别用N1、N2和N3表示，并输出指示每类曲线图的数目的数据信号Ni。另外，分类单元216确定属于C1、C2和C3类型中每个类型的曲线图的预定权重以分别用W1、W2和W3表示，并输出指示应用到每一类曲线图的权重的数据信号Wi。
第一指示器确定单元218使用确定的数量N1、N2和N3，和权重W1、W2和W3计算公式(4)表示的M，并确定和输出计算结果作为构成纹理描述符的第一指示符V1。
对比度计算单元220通过公式(2)计算对比度并输出指示算出的对比度是最大的信号Cont_max。
第二候选曲线图选择/存储单元214输出在其中存储的第二候选曲线图中具有最大对比度的候选曲线图到第二到第五指示符确定单元222。
第二到第五指示符确定单元222确定具有最大对比度的曲线图的取向系数和标度系数作为第二到第五指示符。换句话说，确定在x轴投影曲线图中具有最大对比度的曲线图的取向系数为第二指示符V2。另外，确定在y轴投影曲线图中具有最大对比度的曲线图的取向系数，为第三指示符V3。在x轴投影曲线图中具有最大对比度的曲线图的标度系数，被确定为第四指示符V4。另外，在y轴投影曲线图中具有最大对比度的曲线图的标度系数，被确定为第五指示符V5。
纹理描述符输出单元224使用从第一指示符确定单元218输出的第一指示符V1，从第二到第五指示符确定单元222输出的第二到第五指示符V2、V3、V4和V5和从图像平均值/方差计算单元202输出的向量Z，设置并输出纹理描述符，即纹理特征向量为{[V1，V2，V3，V4，V5]，Z}。
图3显示基于本发明的图像纹理描述符恢复方法通过模拟从Brodatz纹理图像提取的感性浏览成分(PBCs)。
如上所述，根据本发明的图像纹理描述符恢复方法，允许各种纹理结构出现在将被感性捕捉的图像中的纹理描述符可以被恢复。
工业实用性
本发明可以应用到图像浏览或搜索恢复应用的领域。