图像特征的显著结构和相关结构融合方法.pdf

摘要
申请专利号：	CN201410107862.4	申请日：	2014.03.21
公开号：	CN103903238A	公开日：	2014.07.02
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):G06T 5/50申请日:20140321\|\|\|公开
IPC分类号：	G06T5/50	主分类号：	G06T5/50
申请人：	西安理工大学
发明人：	蔺广逢; 缪亚林; 陈万军; 陈亚军; 张二虎; 朱虹
地址：	710048 陕西省西安市金花南路5号
优先权：
专利代理机构：	西安弘理专利事务所 61214	代理人：	李娜
PDF下载：	PDF下载

内容摘要

图像特征的显著结构和相关结构融合方法，包括图像的HOG特征和LBP特征的提取步骤、样本集内部图像特征的显著结构的度量步骤、样本集之间图像特征的相关结构的度量步骤和显著结构和相关结构融合映射步骤。本发明首先提取图像的HOG特征和LBP特征，然后用χ2测度度量样本集内部图像特征的显著结构，用典型相关度量样本集之间图像特征的相关结构的度量，最终通过矩阵谱优化求解的方法融合结构，获得融合后的特征集，解决了现有技术无法将图像多特征的显著结构和相关结构融合的问题，并获得了判别能力强的结构融合特征。

权利要求书

权利要求书
1.  图像特征的显著结构和相关结构融合方法，其特征在于，包括以下步骤：
步骤1，图像的HOG特征和LBP特征的提取；
步骤2，样本集内部图像特征的显著结构的度量；
步骤3，样本集之间图像特征的相关结构的度量；
步骤4，显著结构和相关结构融合映射。

2.  如权利要求1所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤1，图像的HOG特征和LBP特征的提取方法如下：
图像的HOG特征提取，设I为灰度图像，I(x,y)为I在坐标(x,y)处的像素值，图像归一化如式（1）所示：
I(x,y)＝I(x,y)1/2      （1）
计算图像的梯度如式（2）所示：
Gx(x,y)＝I(x+1,y)-I(x-1,y)
Gy(x,y)＝I(x,y+1)-I(x,y-1)
G(x,y)=Gx(x,y)2+Gy(x,y)2---(2)]]>
α(x,y)-tan-1(Gy(x,y)Gx(x,y))]]>
式中Gx(x,y)、Gy(x,y)、G(x,y)、α(x,y)分别为表示输入图像像素(x,y)处的水平方向梯度幅值、垂直方向梯度幅值、梯度幅值、梯度方向；将图像分成有多个矩形单元格，单元格中有4×4个像素，将单元格的梯度方向在360度平均分成9个方向块，将梯度方向属于方向块范围的梯度幅值累加，形成9维特征向量，将相邻的四个单元格组成图像块，对图像块中36维特征向量z＝[z1,z2,z3,...,z36]按照（3）式归一化得v＝[v1,v2,v3,...,v36]，
vi＝(zi-min(z))/(max(z)-min(z))      (3)
串联所有的图像块特征向量得图像的HOG特征向量表示为x1i，设有m个图像样本，1≤i≤m，m个图像样本的HOG特征集为X1＝[x11,x12,...,x1m]T；
图像的LBP特征提取，将图像分成有多个矩形单元格，单元格中有16×16个像素，对单元格中每个像素，将以其为中心相邻的8个像素的灰度值与其灰度值进行比较，若大于其灰度值，则该像素点的位置标记为1，否则为0，这样产生8位二进制数，从上到下，从左到右的顺序，得到中心像素点的LBP值，计算单元格的直方图，即为每个LBP值出现的频率,再按照式（3）的方法对表示直方图的向量归一化，最后得到的每个单元格的特征向量串联起来的图像的LBP特征向量表示为x2i，设有m个图像样本，1≤i≤m，m个图像样本的HOG特征集为X2＝[x21,x22,...,x2m]T。

3.  如权利要求1所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤2，样本集内部图像特征的显著结构的度量方法如下：
因为选取的HOG特征和LBP特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用χ2测度；m个图像样本，根据步骤1，m个图像的HOG特征和LBP特征集表示为X1＝[x11,x12,...,x1m]T和X2＝[x21,x22,...,x2m]T，图像的HOG特征的显著结构度量为dX1(x1i,x1j),x1i和x1j为图像i和图像j的HOG特征表征；图像的LBP特征的显著结构度量为dX2(x2i,x2j),x2i和x2j为图像 i和图像j的LBP特征表征，它们分别由下式计算：
dX1(x1i,x1j)=12[x1i-x1j]2x1i+x1j---(4)]]>
dX2(x2i,x2j)=12[x2i-x2j]2x2i+x2j---(5)]]>

4.  如权利要求1所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤3，样本集之间图像特征的相关结构的度量方法如下：
两个特征集表示为X1＝[x11,x12,...,x1m]T和X2＝[x21,x22,...,x2m]T，那么两个特征集间的相关结构度量S(X1,X2)表示为典型相关性的和，如下式所示，
S(X1,X2)=maxTr(Q12TP1TP2Q21)---(6)]]>
其中X1X1T=P1Λ1P1T,X2X2T=P2Λ2P2T,P1TP2=Q12Λ0Q21T,]]>Λ1、Λ2、Λ0分别为矩阵分解的对角矩阵。

5.  如权利要求1所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤4，显著结构和相关结构融合映射的方法如下：
定义X1＝[x11,x12,...,x1m]T和X2＝[x21,x22,...,x2m]T特征显著结构测度相似矩阵，以步骤2中的式（4）代入式（7），式（5）代入式（8）分别计算度量的相似矩阵为W1＝{W1i,j}和W2＝{W2i,j}(i＝1,2,...,m j＝1,2,...,m)，如下式：

X=X1X2---(9)]]>
Wi,j＝W1i,j+W2i,j      （10）
Wi,j为W矩阵在i行j列的元素
L＝D-W      （11）
其中Dii=ΣjWi,j]]>
(B-XLXT)α＝λXXTα      （12）其中B=(P1Q12-P2Q21)(P1Q12-P2Q21)T(P1Q21-P2Q21)(P1Q12-P2Q21)T(P1Q12-P2Q21)(P1Q12-P2Q21)T(P1Q12-P2Q21)(P1Q12-P2Q21)T,]]>X1X1T=P1Λ1P1T,X2X2T=P2Λ2P2T,P1TP2=Q12Λ0Q21T,]]>Λ1、Λ2、Λ0分别为矩阵分解的对角矩阵；
通过迭代学习求解式A＝[α1,α2,...,αd]，第一步初始赋予A为单位矩阵；第二步通过P1、P2和A求得R1和R2正规化P1和P2（P1和P2被P1R1-1和P2R2-1正规化，R1和R2分别为ATP1和ATP2的QR分解上三角矩阵）；第三步通过式（12）求解得A＝[α1,α2,...,αd]，迭代5-6次数得收敛的结果，求解出A后，通过式Y＝ATX映射各个特征集，得融合后的特征集为Y。

6.  如权利要求5所述的图像特征的显著结构和相关结构融合方法，其特征在于，P1和P2被P1R1-1和P2R2-1正规化，R1和R2分别为ATP1和ATP2的QR分解上三角矩阵。

说明书

说明书图像特征的显著结构和相关结构融合方法
技术领域
本发明属于视频监控图像处理方法技术领域，涉及一种图像HOG特征和LBP特征的显著结构和相关结构融合方法。
背景技术
近年来，基于内容分析的智能监控系统的应用越来越多，要智能分析和识别目标，图像的描述与认知是要解决的重要问题，因为图像描述的多样性和多特征结构观测的多样性，使得单一观测多特征结构难以完整的描述图像的本质结构。现有技术无法进行图像多特征的显著结构和相关结构融合，进而无法更加准确的表征图像特征。
发明内容
本发明的目的在于提供一种图像特征的显著结构和相关结构融合方法，解决现有技术存在的图像多特征的显著结构和相关结构难以融合的问题，最终获得判别能力强的结构融合特征。
本发明采用的技术方案为，图像特征的显著结构和相关结构融合方法，包括以下步骤：
步骤1，图像的HOG特征和LBP特征的提取；
步骤2，样本集内部图像特征的显著结构的度量；
步骤3，样本集之间图像特征的相关结构的度量；
步骤4，显著结构和相关结构融合映射。
本发明的特点还在于：
上述步骤1，图像的HOG特征和LBP特征的提取方法如下：
图像的HOG特征提取，设I为灰度图像，I(x,y)为I在坐标(x,y)处的像素值，图像归一化如式（1）所示：
I(x,y)＝I(x,y)1/2      （1）
计算图像的梯度如式（2）所示。
Gx(x,y)＝I(x+1,y)-I(x-1,y)
Gy(x,y)＝I(x,y+1)-I(x,y-1)
G(x,y)=Gx(x,y)2+Gy(x,y)2---(2)]]>
α(x,y)-tan-1(Gy(x,y)Gx(x,y))]]>
式中Gx(x,y)、Gy(x,y)、G(x,y)、α(x,y)分别为表示输入图像像素(x,y)处的水平方向梯度幅值、垂直方向梯度幅值、梯度幅值、梯度方向；将图像分成有多个矩形单元格，单元格中有4×4个像素（图像分块多少与图像大小相关，如8×8的图像分为4个单元格），将单元格的梯度方向在360度平均分成9个方向块，将梯度方向属于方向块范围的梯度幅值累加，形成9维特征向量，将相邻的四个单元格组成图像块，对图像块中36维特征向量z＝[z1,z2,z3,...,z36]按照（3）式归一化得v＝[v1,v2,v3,...,v36]。
vi＝(zi-min(z))/(max(z)-min(z))      (3)
串联所有的图像块特征向量得图像的HOG特征向量表示为x1i，设有m个图像样本，1≤i≤m，m个图像样本的HOG特征集为X1＝[x11,x12,...,x1m]T。
图像的LBP特征提取，将图像分成有多个矩形单元格，单元格中有16×16个像素，对单元格中每个像素，将以其为中心相邻的8个像素的灰度值与其灰度值进行比较，若大于其灰度值，则该像素点的位置标记为1，否则为0，这样产生8位二进制数，从上到下，从左到右的顺序，得到中心像素点的LBP值，计算单元格的直方图，即为每个LBP值出现的频率,再按照式（3）的方法对表示直方图的向量归一化，最后得到的每个单元格的特征向量串联起来的图像的LBP特征向量表示为x2i，设有m个图像样本，1≤i≤m，m个图像样本的HOG特征集为X2＝[x21,x22,...,x2m]T。
上述步骤2，样本集内部图像特征的显著结构的度量方法如下：
因为选取的HOG特征和LBP特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用χ2测度；m个图像样本，根据步骤1，m个图像的HOG特征和LBP特征集表示为X1＝[x11,x12,...,x1m]T和X2＝[x21,x22,...,x2m]T，图像的HOG特征的显著结构度量为dX1(x1i,x1j),x1i和x1j为图像i和图像j的HOG特征表征；图像的LBP特征的显著结构度量为dX2(x2i,x2j),x2i和x2j为图像i和图像j的LBP特征表征，它们分别由下式计算：
dX1(x1i,x1j)=12[x1i-x1j]2x1i+x1j---(4)]]>
dX2(x2i,x2j)=12[x2i-x2j]2x2i+x2j---(5)]]>
上述步骤3，样本集之间图像特征的相关结构的度量方法如下：
两个特征集表示为X1＝[x11,x12,...,x1m]T和X2＝[x21,x22,...,x2m]T，那么两个特征集间的相关结构度量S(X1,X2)表示为典型相关性的和，如下式所示，
S(X1,X2)=maxTr(Q12TP1TP2Q21)---(6)]]>
其中X1X1T=P1Λ1P1T,X2X2T=P2Λ2P2T,P1TP2=Q12Λ0Q21T,]]>Λ1、Λ2、Λ0分别为矩阵分解的对角矩阵。
上述步骤4，显著结构和相关结构融合映射的方法如下：
定义X1＝[x11,x12,...,x1m]T和X2＝[x21,x22,...,x2m]T特征显著结构测度相似矩阵，以步骤2中的式（4）代入式（7），式（5）代入式（8）分别计算度量的相似矩阵为W1＝{W1i,j}和W2＝{W2i,j}(i＝1,2,...,m j＝1,2,...,m)，如下式：

X=X1X2---(9)]]>
Wi,j＝W1i,j+W2i,j      （10）
Wi,j为W矩阵在i行j列的元素
L＝D-W      （11）
其中Dii=ΣjWi,j]]>
(B-XLXT)α＝λXXTα      （12）
其中B=(P1Q12-P2Q21)(P1Q12-P2Q21)T(P1Q21-P2Q21)(P1Q12-P2Q21)T(P1Q12-P2Q21)(P1Q12-P2Q21)T(P1Q12-P2Q21)(P1Q12-P2Q21)T,]]>X1X1T=P1Λ1P1T,X2X2T=P2Λ2P2T,P1TP2=Q12Λ0Q21T,]]>Λ1、Λ2、Λ0分别为矩阵分解的对角矩阵。
通过迭代学习求解式A＝[α1,α2,...,αd]，第一步初始赋予A为单位矩阵；第二步通过P1、P2和A求得R1和R2正规化P1和P2（P1和P2被P1R1-1和P2R2-1正规化，R1和R2分别为ATP1和ATP2的QR分解上三角矩阵）；第三步通过式（12）求解得A＝[α1,α2,...,αd]，迭代5-6次数得收敛的结果。求解出A后，通过式Y＝ATX映射各个特征集，得融合后的特征集为Y。
本发明具有如下有益效果：
1、本发明图像特征的显著结构和相关结构融合方法，首先提取图像的HOG特征和LBP特征，然后用χ2测度度量样本集内部图像特征的显著结构，用典型相关度量样本集之间图像特征的相关结构的度量，最终通过矩阵谱优化求解的方法融合结构，获得融合后的特征集，解决了现有技术无法将图像多特征的显著结构和相关结构融合的问题。
2、采用本发明图像特征的显著结构和相关结构融合方法，可以获得判别能力强的结构融合特征，提高了图像的识别率。
具体实施方式
下面对本发明的具体实施方式进行详细说明。
步骤1，图像的HOG特征和LBP特征的提取。
本发明的图像的多特征为HOG特征和LBP特征，因为HOG侧重于图像局部梯度的描述，能保持图像的几何形变不变性和光照影响的不变性；而LBP侧重于图像局部纹理的描述，能对保持图像的旋转不变性和灰度不变性。将两种特征的不同观测结构进行融合，能更加逼近图像本质结构，获得判别能力强的融合特征。
图像的HOG特征提取。设I为灰度图像，I(x,y)为I在坐标(x,y)处的像素值。图像归一化如式（1）所示：
I(x,y)＝I(x,y)1/2      （1）
计算图像的梯度如式（2）所示：
Gx(x,y)＝I(x+1,y)-I(x-1,y)
Gy(x,y)＝I(x,y+1)-I(x,y-1)
G(x,y)=Gx(x,y)2+Gy(x,y)2---(2)]]>
α(x,y)-tan-1(Gy(x,y)Gx(x,y))]]>
式中Gx(x,y)、Gy(x,y)、G(x,y)、α(x,y)分别为表示输入图像像素(x,y)处的水平方向梯度幅值、垂直方向梯度幅值、梯度幅值、梯度方向。将图像分成有多个矩形单元格，单元格中有4×4个像素（图像分块多少与图像大小相关，如8×8的图像分为4个单元格）。将单元格的梯度方向在360度平均分成9个方向块，将梯度方向属于方向块范围的梯度幅值累加，形成9维特征向量。将相邻的四个单元格组成图像块，对图像块中36维特征向量z＝[z1,z2,z3,...,z36]按照（3）式归一化得v＝[v1,v2,v3,...,v36]。
vi＝(zi-min(z))/(max(z)-min(z))      (3)
串联所有的图像块特征向量得图像的HOG特征表示。
图像的LBP特征提取。将图像分成有多个矩形单元格，单元格中有16×16个像素。对单元格中每个像素，将以其为中心相邻的8个像素的灰度值与其灰度值进行比较，若大于其灰度值，则该像素点的位置标记为1，否则为0。这样产生8位二进制数（从上到下，从左到右的顺序），得到中心像素点的LBP值。计算单元格的直方图，即为每个LBP值出现的频率,在按照式（3）的方法对表示直方图的向量归一化。最后将得到的每个单元格的特征向量串联起来得图像的LBP特征向量。
步骤2，样本集内部图像特征的显著结构的度量。
因为选取的HOG和LBP特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用χ2测度。设有m个图像样本，则根据步骤1m个图像的HOG和LBP特征集表示为X1＝[x11,x12,...,x1m]T和X2＝[x21,x22,...,x2m]T。图像的HOG特征的显著结构度量为dX1(x1i,x1j),x1i和x1j为图像i和图像j的HOG特征表征；图像的LBP特征的显著结构度量为dX2(x2i,x2j),x2i和x2j为图像i和图像j的LBP特征表征，它们分别由下式计算：
dX1(x1i,x1j)=12[x1i-x1j]2x1i+x1j---(4)]]>
dX2(x2i,x2j)=12[x2i-x2j]2x2i+x2j---(5)]]>
步骤3，样本集之间图像特征的相关结构的度量。
两个特征集表示为X1＝[x11,x12,...,x1m]T和X2＝[x21,x22,...,x2m]T，那么两个特征集间的相关结构度量S(X1,X2)表示为典型相关性的和，如下式所示，
S(X1,X2)=maxTr(Q12TP1TP2Q21)---(6)]]>
其中X1X1T=P1Λ1P1T,X2X2T=P2Λ2P2T,P1TP2=Q12Λ0Q21T,]]>其中Λ1、Λ2、Λ0分别为矩阵分解的对角矩阵。
步骤4，显著结构和相关结构融合映射。
定义X1＝[x11,x12,...,x1m]T和X2＝[x21,x22,...,x2m]T特征显著结构测度相似矩阵，以步骤2计算度量的相似矩阵为W1＝{W1i,j}和W2＝{W2i,j}(i＝1,2,...,m j＝1,2,...,m)如下式：

X=X1X2---(9)]]>
Wi,j＝W1i,j+W2i,j      （10）
Wi,j为W矩阵在i行j列的元素
L＝D-W      （11）
其中Dii=ΣjWi,j]]>
(B-XLXT)α＝λXXTα      （12）
其中B=(P1Q12-P2Q21)(P1Q12-P2Q21)T(P1Q21-P2Q21)(P1Q12-P2Q21)T(P1Q12-P2Q21)(P1Q12-P2Q21)T(P1Q12-P2Q21)(P1Q12-P2Q21)T]]>
通过迭代学习求解式A＝[α1,α2,...,αd]，第一步初始赋予A为单位矩阵；第二步通过P1、P2和A求得R1和R2正规化P1和P2（P1和P2被P1R1-1和P2R2-1正规化，R1和R2分别为ATP1和ATP2的QR分解上三角矩阵）；第三步通过式（12）求解得A＝[α1,α2,...,αd]，迭代5-6次数得收敛的结果。求解出A后，通过式Y＝ATX映射各个特征集，得融合后的特征集为Y。
实施例1，在哥伦比亚目标图像库COIL20中，包含来自于20个目标不同角度拍摄的1440个图像，每张图像的像素为32×32，有256个灰度级。对图像库中图像用本发明图像特征的显著结构和相关结构融合方法，最终获得融合特征。采用最近邻分类器和留一法的实验策略对此图像库中图像分类。表1中为采用不同方法获得的图像识别率。CCA为典型相关性分析方法。
表1COIL20库中不同方法的识别率
方法LBPHOGCCA本发明识别率94.77%96.73%98.57%98.96%
实施例2，在ORL人脸库中，包含来自于40个人的400个人脸图像，每张图像的像素为32×32，有256个灰度级。对图像库中图像用本发明图像特征的显著结构和相关结构融合方法，最终获得融合特征。采用最近邻分类器和留一法的实验策略对此图像库中图像分类。表2中为不同方法实验中获得的识别率。CCA为典型相关性分析方法。
表2ORL库中不同方法的识别率
方法LBPHOGCCA本发明识别率70.33%83.64%92.36%95.11%
从表1、表2可以看出，采用本发明图像特征的显著结构和相关结构融合方法获得的图像的识别率高于其他几种方法所获得的图像的识别率。

资源描述

《图像特征的显著结构和相关结构融合方法.pdf》由会员分享，可在线阅读，更多相关《图像特征的显著结构和相关结构融合方法.pdf（10页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103903238 A (43)申请公布日 2014.07.02 CN 103903238 A (21)申请号 201410107862.4 (22)申请日 2014.03.21 G06T 5/50(2006.01) (71)申请人西安理工大学地址 710048 陕西省西安市金花南路 5 号 (72)发明人蔺广逢缪亚林陈万军陈亚军张二虎朱虹 (74)专利代理机构西安弘理专利事务所 61214 代理人李娜 (54) 发明名称图像特征的显著结构和相关结构融合方法 (57) 摘要图像特征的显著结构和相关结构融合方法，包括图像的HOG特征和LBP特征。

2、的提取步骤、样本集内部图像特征的显著结构的度量步骤、样本集之间图像特征的相关结构的度量步骤和显著结构和相关结构融合映射步骤。本发明首先提取图像的 HOG 特征和 LBP 特征，然后用 2测度度量样本集内部图像特征的显著结构，用典型相关度量样本集之间图像特征的相关结构的度量，最终通过矩阵谱优化求解的方法融合结构，获得融合后的特征集，解决了现有技术无法将图像多特征的显著结构和相关结构融合的问题，并获得了判别能力强的结构融合特征。 (51)Int.Cl. 权利要求书 3 页说明书 6 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书3页。

3、说明书6页 (10)申请公布号 CN 103903238 A CN 103903238 A 1/3 页 2 1. 图像特征的显著结构和相关结构融合方法，其特征在于，包括以下步骤：步骤 1，图像的 HOG 特征和 LBP 特征的提取；步骤 2，样本集内部图像特征的显著结构的度量；步骤 3，样本集之间图像特征的相关结构的度量；步骤 4，显著结构和相关结构融合映射。 2. 如权利要求 1 所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤 1，图像的 HOG 特征和 LBP 特征的提取方法如下：图像的 HOG 特征提取，设 I 为灰度图像，。

4、I(x,y) 为 I 在坐标 (x,y) 处的像素值，图像归一化如式（1）所示： I(x,y) I(x,y)1/2 （1）计算图像的梯度如式（2）所示： Gx(x,y) I(x+1,y)-I(x-1,y) Gy(x,y) I(x,y+1)-I(x,y-1) 式中 Gx(x,y)、 Gy(x,y)、 G(x,y)、 (x,y) 分别为表示输入图像像素 (x,y) 处的水平方向梯度幅值、垂直方向梯度幅值、梯度幅值、梯度方向；将图像分成有多个矩形单元格，单元格中有 44 个像素，将单元格的梯度方向在 360 度平均分成 9 个方向块，将梯度方向属于方向块范围的。

5、梯度幅值累加，形成 9 维特征向量，将相邻的四个单元格组成图像块，对图像块中 36 维特征向量 z z1,z2,z3,.,z36 按照（3）式归一化得 v v1,v2,v3,.,v36， vi (zi-min(z)/(max(z)-min(z) (3) 串联所有的图像块特征向量得图像的 HOG 特征向量表示为 x1i，设有 m 个图像样本， 1 i m， m 个图像样本的 HOG 特征集为 X1 x11,x12,.,x1mT；图像的LBP特征提取，将图像分成有多个矩形单元格，单元格中有1616个像素，对单元格中每个像素，将以其为中心相邻的 8 个像素的灰度值与其灰度值。

6、进行比较，若大于其灰度值，则该像素点的位置标记为1，否则为0，这样产生8位二进制数，从上到下，从左到右的顺序，得到中心像素点的 LBP 值，计算单元格的直方图，即为每个 LBP 值出现的频率 , 再按照式（3）的方法对表示直方图的向量归一化，最后得到的每个单元格的特征向量串联起来的图像的 LBP 特征向量表示为 x2i，设有 m 个图像样本， 1 i m， m 个图像样本的 HOG 特征集为 X2 x21,x22,.,x2mT。 3. 如权利要求 1 所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤 2，样本集内部图像特征的显著结构的。

7、度量方法如下：因为选取的 HOG 特征和 LBP 特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用 2测度； m 个图像样本，根据步骤 1， m 个图像的 HOG 特征和 LBP 特征集表示为 X1 x11,x12,.,x1mT和 X2 x21,x22,.,x2mT，图像的 HOG 特征的显著结构度量为 dX1(x1i,x1j),x1i和 x1j为图像 i 和图像 j 的 HOG 特征表征；图像的 LBP 特征的显著结构度量为 dX2(x2i,x2j),x2i和 x2j为图像权利要求书 CN 1039。

8、03238 A 2 2/3 页 3 i 和图像 j 的 LBP 特征表征，它们分别由下式计算： 4. 如权利要求 1 所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤 3，样本集之间图像特征的相关结构的度量方法如下：两个特征集表示为 X1 x11,x12,.,x1mT和 X2 x21,x22,.,x2mT，那么两个特征集间的相关结构度量 S(X1,X2) 表示为典型相关性的和，如下式所示，其中1、 2、 0分别为矩阵分解的对角矩阵。 5. 如权利要求 1 所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤 4，显著结构和相关结构融。

9、合映射的方法如下：定义 X1 x11,x12,.,x1mT和 X2 x21,x22,.,x2mT特征显著结构测度相似矩阵，以步骤 2 中的式（4）代入式（7），式（5）代入式（8）分别计算度量的相似矩阵为 W1 W1i,j 和 W2 W2i,j(i 1,2,.,m j 1,2,.,m)，如下式： Wi,j W1i,j+W2i,j （10） Wi,j为 W 矩阵在 i 行 j 列的元素 L D-W （11）其中 (B-XLXT) XXT （12）其中 1、 2、 0分别为矩阵分解的对角矩阵；通过迭代学习求解式A1,2,.,d，第一步初始赋予A为单位矩阵；。

10、第二步通权利要求书 CN 103903238 A 3 3/3 页 4 过 P1、 P2和 A 求得 R1和 R2正规化 P1和 P2（P1和 P2被 P1R1-1 和 P2R2-1 正规化， R1和 R2分别为 ATP1和 ATP2的 QR 分解上三角矩阵）；第三步通过式（12）求解得 A 1,2,.,d，迭代 5-6 次数得收敛的结果，求解出 A 后，通过式 Y ATX 映射各个特征集，得融合后的特征集为 Y。 6. 如权利要求 5 所述的图像特征的显著结构和相关结构融合方法，其特征在于， P1和 P2被 P1R1-1和 P2R2-1正规化， R1和 R2分。

11、别为 ATP1和 ATP2的 QR 分解上三角矩阵。权利要求书 CN 103903238 A 4 1/6 页 5 图像特征的显著结构和相关结构融合方法技术领域 0001 本发明属于视频监控图像处理方法技术领域，涉及一种图像 HOG 特征和 LBP 特征的显著结构和相关结构融合方法。背景技术 0002 近年来，基于内容分析的智能监控系统的应用越来越多，要智能分析和识别目标，图像的描述与认知是要解决的重要问题，因为图像描述的多样性和多特征结构观测的多样性，使得单一观测多特征结构难以完整的描述图像的本质结构。现有技术无法进行图像多特征的显著结构和相关结构融合，进而无。

12、法更加准确的表征图像特征。发明内容 0003 本发明的目的在于提供一种图像特征的显著结构和相关结构融合方法，解决现有技术存在的图像多特征的显著结构和相关结构难以融合的问题，最终获得判别能力强的结构融合特征。 0004 本发明采用的技术方案为，图像特征的显著结构和相关结构融合方法，包括以下步骤： 0005 步骤 1，图像的 HOG 特征和 LBP 特征的提取； 0006 步骤 2，样本集内部图像特征的显著结构的度量； 0007 步骤 3，样本集之间图像特征的相关结构的度量； 0008 步骤 4，显著结构和相关结构融合映射。 0009 本发明的特点还在于： 001。

13、0 上述步骤 1，图像的 HOG 特征和 LBP 特征的提取方法如下： 0011 图像的 HOG 特征提取，设 I 为灰度图像， I(x,y) 为 I 在坐标 (x,y) 处的像素值，图像归一化如式（1）所示： 0012 I(x,y) I(x,y)1/2 （1） 0013 计算图像的梯度如式（2）所示。 0014 Gx(x,y) I(x+1,y)-I(x-1,y) 0015 Gy(x,y) I(x,y+1)-I(x,y-1) 0016 0017 0018 式中 Gx(x,y)、 Gy(x,y)、 G(x,y)、 (x,y) 分别为表示输入图像像素 (x,y) 处的水平方向。

14、梯度幅值、垂直方向梯度幅值、梯度幅值、梯度方向；将图像分成有多个矩形单元格，单元格中有 44 个像素（图像分块多少与图像大小相关，如 88 的图像分为 4 个单元格），将单元格的梯度方向在 360 度平均分成 9 个方向块，将梯度方向属于方向块范围的梯度幅说明书 CN 103903238 A 5 2/6 页 6 值累加，形成 9 维特征向量，将相邻的四个单元格组成图像块，对图像块中 36 维特征向量 z z1,z2,z3,.,z36 按照（3）式归一化得 v v1,v2,v3,.,v36。 0019 vi (zi-min(z)/(max(z)-min(z)。

15、 (3) 0020 串联所有的图像块特征向量得图像的 HOG 特征向量表示为 x1i，设有 m 个图像样本， 1 i m， m 个图像样本的 HOG 特征集为 X1 x11,x12,.,x1mT。 0021 图像的LBP特征提取，将图像分成有多个矩形单元格，单元格中有1616个像素，对单元格中每个像素，将以其为中心相邻的 8 个像素的灰度值与其灰度值进行比较，若大于其灰度值，则该像素点的位置标记为1，否则为0，这样产生8位二进制数，从上到下，从左到右的顺序，得到中心像素点的LBP值，计算单元格的直方图，即为每个LBP值出现的频率, 再按照式（3）的方法对表。

16、示直方图的向量归一化，最后得到的每个单元格的特征向量串联起来的图像的 LBP 特征向量表示为 x2i，设有 m 个图像样本， 1 i m， m 个图像样本的 HOG 特征集为 X2 x21,x22,.,x2mT。 0022 上述步骤 2，样本集内部图像特征的显著结构的度量方法如下： 0023 因为选取的 HOG 特征和 LBP 特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用 2测度； m 个图像样本，根据步骤 1， m 个图像的 HOG 特征和 LBP 特征集表示为 X1 x11,x12,.,x1mT和 X2。

17、 x21,x22,.,x2mT，图像的 HOG 特征的显著结构度量为 dX1(x1i,x1j),x1i和 x1j为图像 i 和图像 j 的 HOG 特征表征；图像的 LBP 特征的显著结构度量为 dX2(x2i,x2j),x2i和 x2j为图像 i 和图像 j 的 LBP 特征表征，它们分别由下式计算： 0024 0025 0026 上述步骤 3，样本集之间图像特征的相关结构的度量方法如下： 0027 两个特征集表示为 X1 x11,x12,.,x1mT和 X2 x21,x22,.,x2mT，那么两个特征集间的相关结构度量 S(X1,X2) 表示为典型相关性的和，如下式所。

18、示， 0028 0029 其中1、 2、 0分别为矩阵分解的对角矩阵。 0030 上述步骤 4，显著结构和相关结构融合映射的方法如下： 0031 定义 X1 x11,x12,.,x1mT和 X2 x21,x22,.,x2mT特征显著结构测度相似矩阵，以步骤 2 中的式（4）代入式（7），式（5）代入式（8）分别计算度量的相似矩阵为 W1 W1i,j 和 W2 W2i,j(i 1,2,.,m j 1,2,.,m)，如下式： 0032 0033 说明书 CN 103903238 A 6 3/6 页 7 0034 0035 Wi,j W1i,j+W2i,j （10。

19、） 0036 Wi,j为 W 矩阵在 i 行 j 列的元素 0037 L D-W （11） 0038 其中 0039 (B-XLXT) XXT （12） 0040 其中 1、 2、 0分别为矩阵分解的对角矩阵。 0041 通过迭代学习求解式A1,2,.,d，第一步初始赋予A为单位矩阵；第二步通过 P1、 P2和 A 求得 R1和 R2正规化 P1和 P2（P1和 P2被 P1R1-1和 P2R2-1正规化， R1和 R2分别为ATP1和ATP2的QR分解上三角矩阵）；第三步通过式（12）求解得A1,2,.,d，迭代 5-6 次数得收敛的结果。求解出 A 后，通过式 Y A。

20、TX 映射各个特征集，得融合后的特征集为 Y。 0042 本发明具有如下有益效果： 0043 1、本发明图像特征的显著结构和相关结构融合方法，首先提取图像的 HOG 特征和 LBP 特征，然后用 2测度度量样本集内部图像特征的显著结构，用典型相关度量样本集之间图像特征的相关结构的度量，最终通过矩阵谱优化求解的方法融合结构，获得融合后的特征集，解决了现有技术无法将图像多特征的显著结构和相关结构融合的问题。 0044 2、采用本发明图像特征的显著结构和相关结构融合方法，可以获得判别能力强的结构融合特征，提高了图像的识别率。具体实施方式 0045 下面对本发明的具体。

21、实施方式进行详细说明。 0046 步骤 1，图像的 HOG 特征和 LBP 特征的提取。 0047 本发明的图像的多特征为 HOG 特征和 LBP 特征，因为 HOG 侧重于图像局部梯度的描述，能保持图像的几何形变不变性和光照影响的不变性；而 LBP 侧重于图像局部纹理的描述，能对保持图像的旋转不变性和灰度不变性。将两种特征的不同观测结构进行融合，能更加逼近图像本质结构，获得判别能力强的融合特征。 0048 图像的 HOG 特征提取。设 I 为灰度图像， I(x,y) 为 I 在坐标 (x,y) 处的像素值。图像归一化如式（1）所示： 0049 I(x,y) I。

22、(x,y)1/2 （1） 0050 计算图像的梯度如式（2）所示： 0051 Gx(x,y) I(x+1,y)-I(x-1,y) 说明书 CN 103903238 A 7 4/6 页 8 0052 Gy(x,y) I(x,y+1)-I(x,y-1) 0053 0054 0055 式中 Gx(x,y)、 Gy(x,y)、 G(x,y)、 (x,y) 分别为表示输入图像像素 (x,y) 处的水平方向梯度幅值、垂直方向梯度幅值、梯度幅值、梯度方向。将图像分成有多个矩形单元格，单元格中有 44 个像素（图像分块多少与图像大小相关，如 88 的图像分为 4 个单元格）。将单。

23、元格的梯度方向在 360 度平均分成 9 个方向块，将梯度方向属于方向块范围的梯度幅值累加，形成 9 维特征向量。将相邻的四个单元格组成图像块，对图像块中 36 维特征向量 z z1,z2,z3,.,z36 按照（3）式归一化得 v v1,v2,v3,.,v36。 0056 vi (zi-min(z)/(max(z)-min(z) (3) 0057 串联所有的图像块特征向量得图像的 HOG 特征表示。 0058 图像的 LBP 特征提取。将图像分成有多个矩形单元格，单元格中有 1616 个像素。对单元格中每个像素，将以其为中心相邻的 8 个像素的灰度值与其灰度值进行比较，若。

24、大于其灰度值，则该像素点的位置标记为 1，否则为 0。这样产生 8 位二进制数（从上到下，从左到右的顺序），得到中心像素点的 LBP 值。计算单元格的直方图，即为每个 LBP 值出现的频率 , 在按照式（3）的方法对表示直方图的向量归一化。最后将得到的每个单元格的特征向量串联起来得图像的 LBP 特征向量。 0059 步骤 2，样本集内部图像特征的显著结构的度量。 0060 因为选取的 HOG 和 LBP 特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用 2测度。设有 m 个图像样本，则根据步骤。

25、1m 个图像的 HOG 和 LBP 特征集表示为 X1 x11,x12,.,x1mT和 X2 x21,x22,.,x2mT。图像的HOG特征的显著结构度量为dX1(x1i,x1j),x1i和x1j为图像i和图像 j 的 HOG 特征表征；图像的 LBP 特征的显著结构度量为 dX2(x2i,x2j),x2i和 x2j为图像 i 和图像 j 的 LBP 特征表征，它们分别由下式计算： 0061 0062 0063 步骤 3，样本集之间图像特征的相关结构的度量。 0064 两个特征集表示为 X1 x11,x12,.,x1mT和 X2 x21,x22,.,x2mT，那么两个特征集间。

26、的相关结构度量 S(X1,X2) 表示为典型相关性的和，如下式所示， 0065 0066 其中其中 1、 2、 0分别为矩阵分解的对角矩阵。 0067 步骤 4，显著结构和相关结构融合映射。 0068 定义 X1 x11,x12,.,x1mT和 X2 x21,x22,.,x2mT特征显著结构测度相说明书 CN 103903238 A 8 5/6 页 9 似矩阵，以步骤 2 计算度量的相似矩阵为 W1 W1i,j 和 W2 W2i,j(i 1,2,.,m j 1,2,.,m) 如下式： 0069 0070 0071 0072 Wi,j W1i,j+W2i,j （10） 0073 。

27、Wi,j为 W 矩阵在 i 行 j 列的元素 0074 L D-W （11） 0075 其中 0076 (B-XLXT) XXT （12） 0077 其中 0078 通过迭代学习求解式A1,2,.,d，第一步初始赋予A为单位矩阵；第二步通过 P1、 P2和 A 求得 R1和 R2正规化 P1和 P2（P1和 P2被 P1R1-1和 P2R2-1正规化， R1和 R2分别为ATP1和ATP2的QR分解上三角矩阵）；第三步通过式（12）求解得A1,2,.,d，迭代 5-6 次数得收敛的结果。求解出 A 后，通过式 Y ATX 映射各个特征集，得融合后的特征集为 Y。 00。

28、79 实施例 1，在哥伦比亚目标图像库 COIL20 中，包含来自于 20 个目标不同角度拍摄的 1440 个图像，每张图像的像素为 3232，有 256 个灰度级。对图像库中图像用本发明图像特征的显著结构和相关结构融合方法，最终获得融合特征。采用最近邻分类器和留一法的实验策略对此图像库中图像分类。表 1 中为采用不同方法获得的图像识别率。CCA 为典型相关性分析方法。 0080 表 1 COIL20 库中不同方法的识别率 0081 方法LBPHOGCCA本发明识别率 94.77%96.73%98.57%98.96% 0082 实施例 2，在 ORL 人脸库中，包含来自。

29、于 40 个人的 400 个人脸图像，每张图像的像素为 3232，有 256 个灰度级。对图像库中图像用本发明图像特征的显著结构和相关结构融合方法，最终获得融合特征。采用最近邻分类器和留一法的实验策略对此图像库中图像分类。表 2 中为不同方法实验中获得的识别率。CCA 为典型相关性分析方法。 0083 表 2 ORL 库中不同方法的识别率 0084 说明书 CN 103903238 A 9 6/6 页 10 方法LBPHOGCCA本发明识别率 70.33%83.64% 92.36% 95.11% 0085 从表 1、表 2 可以看出，采用本发明图像特征的显著结构和相关结构融合方法获得的图像的识别率高于其他几种方法所获得的图像的识别率。说明书 CN 103903238 A 10 。

展开阅读全文