基于粗糙集和集成学习的人脸识别方法.pdf

本发明公开了一种基于粗糙集和集成学习的人脸识别方法。其步骤为：1.提取人脸图像并预处理，产生决策表；2.对决策表进行属性约减，得到最佳属性约减空间；3.从最佳属性约减空间中随机选择一组最佳属性约减组合并保存；4.计算最佳属性约减组合中每一个条件属性的依赖度值；5.根据依赖度值缩小约减空间；6.从缩小的约减空间中选择一组最佳属性约减组合并保存；7.判断保存的最佳属性约减组合的数量是否达到预先设定的值，若是，则返回4.，否则，用保存的最佳属性约减组合训练基本分类器，识别人脸图像。本发明通过对人脸图像的属性约减，提高了人脸图像的识别率和稳定性。可用于反恐安全、案件调查取证及商业、个人隐私保密。

权利要求书
1.  一种基于粗糙集和集成学习的人脸识别方法，包括如下步骤：
(1)人脸图像预处理：
(1a)从标准人脸库中获取T幅人脸图像，并将其划分成N幅训练样本图像和M幅测试样本图像，其中T≥2,N≥1,M≥1,N+M＝T；
(1b)为训练样本图像建立决策表S，它是一个N×L矩阵，每一行代表一幅人脸图像，每一列代表人脸图像的一个属性特征，其中L>2，前L-1列表示图像的条件属性，第L列表示图像的决策属性；
(2)对决策表S进行属性约减，产生多组最佳属性约减组合，用这些最佳属性约减组合构成一个最佳属性的约减空间K＝{A1,..,Ai,..,Az}，其中Ai为第i组最佳属性约减组合，i＝1,...,z，z≥2，Ai＝{c1,..,cj,..,cn}，cj为图像的第j个条件属性，j＝1,...,n，1<n<L；
(3)从最佳属性约减空间中，随机选择一组最佳属性约减组合，并保存；
(4)计算最新保存的最佳属性约减组合中每一个条件属性的依赖度值公式：其中rP(cj)为条件属性cj对P的依赖度值，P为从最佳属性约减组合中删除条件属性cj后的属性集，POSP(cj)为条件属性cj相对属性集P的正区域，|·|为“·”的势；
(5)找出最大的依赖度值所对应的条件属性cm，其中m∈[1,n]，从约减空间K中删除包含该条件属性cm的最佳属性约减组合，用剩余的最佳属性约减组合构成一个缩小的约减空间；
(6)从缩小的约减空间中，利用准确-多样评估函数选择一组最佳属性约减组合，并保存；
(7)判断保存的最佳属性约减组合的数量是否达到预先设定的值：如果数量达不到预先设定的值，则返回步骤(4)，如果数量达到预先设定的值，则执行步骤(8)；
(8)利用保存的每一个最佳属性约减组合构建一个训练样本集，得到重新构建的多组训练样本集；用每一个训练样本集训练一个基本分类器，利用不同的基本分类器对测试样本 集进行分类，得到不同的分类结果；采用集成学习中的多数投票法融合这些不同的分类结果，得到测试样本集的最终识别结果。

2.  根据权利要求1所述的基于粗糙集和集成学习的人脸识别方法，其中步骤(1b)所述的为训练样本图像建立决策表S：是利用MATLAB软件中的reshape函数分别将每一幅人脸图像转换成一个行向量，每个行向量包含L-1个条件属性，得到N幅人脸图像的一个N×(L-1)的矩阵A；用N幅人脸图像的决策属性形成一个N×1的列向量B；将得到的矩阵A与列向量B合并，得到N幅人脸图像的决策表，它是一个N×L矩阵，其中L的具体取值由人脸图像的大小决定。

3.  根据权利要求1所述的基于粗糙集和集成学习的人脸识别方法，其中所述步骤(2)中最佳属性约减组合，指训练样本图像的最小属性子集，并且该子集具有原始属性的分辨能力。

4.  根据权利要求1所述的基于粗糙集和集成学习的人脸识别方法，其中步骤(2)所述对决策表S进行属性约减，产生多组最佳属性约减组合，是利用Richard Jensen编写的嵌入到weka软件中的模糊粗糙集算法实现。

5.  根据权利要求1所述的基于粗糙集和集成学习的人脸识别方法，其中所述步骤(4)中条件属性cj对P的依赖度值rP(cj)，按如下步骤获得：
(4a)训练样本集U＝{x1,..,xk,..,xN}，其中xk为第k个样本图像，对于属性集P，计算不可分辨关系I(P)：
I(P)={(xk,xl)&Element;U×U|&ForAll;c&Element;P,g(xk,c)=g(xl,c)},]]>
其中，c为属性集P中的条件属性，xl为第l个样本图像，g(xk,c)表示第k个样本图像的第c个属性所对应的值，g(xl,c)表示第l个样本图像的第c个属性所对应的值；
(4b)根据步骤(4a)得到的不可分辨关系，计算基于属性集P产生的等价类[x]P：[x]P＝{x|(xk,xl)∈I(P),x∈U}；
(4c)根据步骤(4b)中得到的等价类，计算属性集P对于样本集X的下近似P(X)和上近似
P&OverBar;(X)={x&Element;U|[x]P&SubsetEqual;X}P&OverBar;(X)={x&Element;U|[x]P∩X&NotEqual;φ},]]>
其中，X是基于属性集ci产生的等价类φ表示空集；
(4d)根据步骤(4c)中得到的下近似P(X)，计算条件属性cj相对属性集P的正区域：
POSP(cj)＝∪P(X)。

6.  根据权利要求1所述的基于粗糙集和集成学习的人脸识别方法，其中步骤(6)所述的从缩小的约减空间中，利用准确-多样评估函数选择一组最佳属性约减组合的方法，按如下步骤进行：
(6a)计算基本分类器的经验损失Aemp(Ft,N)：
Aemp(Ft,N)=1atNΣb=1atΣk=1N[fb(xk)-yk]2,]]>
其中，基本分类器组Ft由多个已确定的分类器和一个基本分类器组成，这些已确定的分类器是基于保存的最佳属性约减组合训练得到，一个基本分类器是基于缩小的约减空间中的一个最佳属性约减组合训练得到；at表示基本分类器组Ft中基本分类器的数量，fb(xk)表示基本分类器组Ft中第b个分类器对第k个人脸图像分类的结果，yk表示第k个人脸图像的决策属性，其中为基于缩小的约减空间中的最佳属性约减组合训练的分类器的总数，b∈[1,at]，k∈[1,N]；
(6b)计算基本分类器之间的多样性Ddiv(Ft,N)：
Ddiv(Ft,N)=2at(at-1)Σr=1at-1Σq=r+1atdfrqdfrq=Σk=1N(1-Ork)&CenterDot;(1-Oqk)N,]]>
其中，Ork定义为：如果第r个分类器能正确分类第k幅人脸图像，则Ork＝1，否则Ork＝0，Oqk定义为，如果第q个分类器能正确分类第k幅人脸图像，则Oqk＝1，否则Oqk＝0，r∈[1,at-1]，q∈[r+1,at]；
(6c)根据步骤(6a)得到的基本分类器的经验损失Aemp(Ft,N)和步骤(6b)得到的基本分类器之间的多样性Ddiv(Ft,N)，计算缩小的约减空间中每一个最佳属性约减组合的准确-多样评估函数值：
AD(Ft,N)＝1-Aemp(Ft,N)+ω×Ddiv(Ft,N)，
其中，ω是平衡经验损失和多样性的参数；
(6d)选择最大的准确-多样评估函数值所对应的最佳属性约减组合。

7.  根据权利要求1所述的基于粗糙集和集成学习的人脸识别方法，其中步骤(8)所述的利用最佳属性约减组合重新构建训练样本集，按如下步骤进行：
(7a)给出一个最佳属性约减组合Ai＝{c1,..,cj,..,cn}，其中cj为训练样本集的第j个条件属性；
(7b)从训练样本集U中删除最佳属性约减组合Ai中没有出现的属性，得到重新构建的训练样本集U&OverBar;={x1&OverBar;,..,xk&OverBar;,..,xN&OverBar;},]]>其中为第k个样本图像。

说明书基于粗糙集和集成学习的人脸识别方法
技术领域
本发明图像处理技术领域，特别涉及一种人脸识别方法，可用于反恐安全、案件调查取证及商业、个人隐私保密。
背景技术
近几十年以来，人脸识别技术逐渐成为图像处理、模式识别等领域的研究热点。人脸识别技术是根据人的面部特征进行身份鉴定的一种生物特征识别技术，由于人脸特征是人类自身拥有，且很难伪造和窃取，再加上识别时不需要直接接触、不易被人察觉的优势，因此其在反恐安全、案件调查取证及商业和个人隐私保密领域都有着广泛应用。学术界以及工业界越来越重视人脸识别技术的研究，它是目前生物特征识别中可行性、可靠性和准确性等专业技术指标中数值较高的技术。
人脸识别方法易受到周围光线，人体面部被头发、饰物遮挡，人年纪增长面部衰老等多方面因素的影响。传统的基于单个支持向量机SVM的人脸识别方法，试图使得分类器在经验风险和泛化能力上达到一种妥协，进而提高分类器的性能。单个SVM分类器在有大量训练样本的情况下，能获得较好的识别性能，但在实际应用中，获得大量的训练样本往往是不现实的。
集成学习通过把多个单个分类器的分类结果进行某种组合来决定最终的分类，以取得比单个分类器更好的性能。典型的集成学习方法包括Bagging，Adaboost和Random subspace，他们采用不同的策略产生用于训练基本分类器的训练集。Bagging方法中训练基本分类器需要的训练集是由原始训练集中随机抽取一定数量的样本组成；Adaboost方法根据每次基本分类器对训练集中每个样本的分类结果，及上次总体分类的准确率，对每个样本的权值进行调整，降低被基本分类器分类正确的样本的权值，提高被基本分类器分类错误的样本的权值，以此通过改变每个样本的权值产生新的训练集；Random subspace方法从原始训练集中随机选择不同的属性组成新的训练集。
上述集成学习方法由于均没有较好的考虑人脸样本中属性之间的关系，也没有对人脸特征进行有效地提取，因此不能获得较好的人脸识别效果。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种基于粗糙集和集成学习的人脸识别方法，提高人脸识别率。
本发明的技术思路是：从人脸图像中提取多组有利于分类的特征，并确保在没有大量训练样本的情况下，通过集成若干个基本分类器，提高对人脸的识别率。
根据上述思路，本发明的技术方案包括如下步骤：
(1)人脸图像预处理：
(1a)从标准人脸库中获取T幅人脸图像，并将其划分成N幅训练样本图像和M幅测试样本图像，其中T≥2,N≥1,M≥1,N+M＝T；
(1b)为训练样本图像建立决策表S，它是一个N×L矩阵，每一行代表一幅人脸图像，每一列代表人脸图像的一个属性特征，其中L>2，前L-1列表示图像的条件属性，第L列表示图像的决策属性；
(2)对决策表S进行属性约减，产生多组最佳属性约减组合，用这些最佳属性约减组合构成一个最佳属性的约减空间K＝{A1,..,Ai,..,Az}，其中Ai为第i组最佳属性约减组合，i＝1,...,z，z≥2，Ai＝{c1,..,cj,..,cn}，cj为图像的第j个条件属性，j＝1,...,n，1<n<L；
(3)从最佳属性约减空间中，随机选择一组最佳属性约减组合，并保存。
(4)计算最新保存的最佳属性约减组合中每一个条件属性的依赖度值公式：其中rP(cj)为条件属性cj对P的依赖度值，P为从最佳属性约减组合中删除条件属性cj后的属性集，POSP(cj)为条件属性cj相对属性集P的正区域，|·|为“·”的势；
(5)找出最大的依赖度值所对应的条件属性cm，其中m∈[1,n]，从约减空间K中删除包含该条件属性cm的最佳属性约减组合，用剩余的最佳属性约减组合构成一个缩小的约减空间；
(6)从缩小的约减空间中，利用准确-多样评估函数选择一组最佳属性约减组合，并保存。
(7)判断保存的最佳属性约减组合的数量是否达到预先设定的值：如果数量达不到预先设定的值，则返回步骤(4)，如果数量达到预先设定的值，则执行步骤(8)；
(8)利用保存的每一个最佳属性约减组合构建一个训练样本集，得到重新构建的多组训练样本集；用每一个训练样本集训练一个基本分类器，利用不同的基本分类器对测试 样本集进行分类，得到不同的分类结果；采用集成学习中的多数投票法融合这些不同的分类结果，得到测试样本集的最终识别结果。
本发明具有如下优点：
1.本发明方法由于利用模糊粗糙集算法对人脸图像进行属性约减，有效弥补了传统的属性约减方法降低了属性分辨能力的缺陷。
2.本发明方法由于采用集成学习的分类方法，改善了传统单个分类器分类正确率较低和鲁棒性较差的问题。
附图说明
图1是本发明的实现流程图；
图2是ORL和CMU PIE数据库中的人脸图像示意图；
图3是基本分类器的个数对于本发明性能的影响曲线图。
具体实施方式
参照图1，本发明的具体实施步骤如下：
步骤1、人脸图像预处理。
(1a)选取人脸图像。
本实例使用ORL和CMU PIE两组标准人脸库，从ORL中选取由40个人组成的400幅图像，从CMU PIE中选取由68人组成的3329幅图像；利用MATLAB软件中的imresize函数将图像的大小调整到32×32，如图2所示，其中图2(a)为ORL数据库中第一个人的人脸图像示意图，图2(b)为CMU PIE数据库中第一个人的人脸图像示意图。
从每组人脸图像中随机选取一半图像作为训练样本图像，另一半图像作为测试样本图像。
(1b)为训练样本图像建立决策表S：利用MATLAB软件中的reshape函数分别将每一幅人脸图像转换成一个行向量，在本实施例中每个行向量包含1024个元素，N幅人脸图像形成一个N×1024的矩阵A；用N幅人脸图像的决策属性形成一个N×1的列向量B；将得到的矩阵A与列向量B合并，得到N幅训练样本图像的决策表S，它是一个N×1025矩阵。
步骤2、对决策表S进行属性约减。
本实施例利用Richard Jensen编写的嵌入到weka软件中的模糊粗糙集算法对决策表S进行属性约减，产生多组最佳属性约减组合，用这些最佳属性约减组合构成一个最佳属性约减空间K＝{A1,..,Ai,..,Az}，其中Ai为第i组最佳属性约减组合，i＝1,...,z，z≥2， Ai＝{c1,..,cj,..,cn}，cj为图像的第j个条件属性，j＝1,...,n，1<n<L；
对决策表S进行属性约减的方法不局限于模糊粗糙集算法，除了模糊粗糙集算法还可以使用WADF算法，具体参见《Multiknowledge for decision making》Knowledge and information systems,2005,7(2):246-266。
步骤3、从最佳属性约减空间中，随机选择一组最佳属性约减组合，并保存。
步骤4、计算最新保存的最佳属性约减组合中每一个条件属性的依赖度值。
(4a)训练样本集U＝{x1,..,xk,..,xN}，其中xk为第k个样本图像，对于属性集P，计算不可分辨关系I(P)：
I(P)={(xk,xl)&Element;U×U|c&Element;P,g(xk,c)=g(xl,c)}]]>
其中，P为从最佳属性约减组合中删除条件属性cj后的属性集，c为属性集P中的条件属性，xl为第l个样本图像，g(xk,c)表示第k个样本图像的第c个属性所对应的值，g(xl,c)表示第l个样本图像的第c个属性所对应的值；
(4b)根据步骤(4a)得到的不可分辨关系，计算基于属性集P产生的等价类[x]P：[x]P＝{x|(xk,xl)∈I(P),x∈U}；
(4c)根据步骤(4b)中得到的等价类，计算属性集P对于样本集X的下近似和上近似
P&OverBar;(X)={x&Element;U|[x]P&SubsetEqual;X}P&OverBar;(X)={x&Element;U|[x]P∩X&NotElement;φ},]]>
其中，X是基于属性集ci产生的等价类表示包含，∩表示相交，φ表示空集；
(4d)根据步骤(4c)中得到的下近似计算条件属性cj相对属性集P的正区域：
POSP(cj)=∪P&OverBar;(X);]]>
(4e)根据步骤(4d)中得到的条件属性cj相对属性集P的正区域POSP(cj)，计算最佳属性约减组合中每一个条件属性的依赖度值：
rP(cj)=|POSP(cj)|N,]]>
其中，|·|表示“·”的势。
步骤5、构造缩小的约减空间。
找出最大的依赖度值所对应的条件属性cm，其中m∈[1,n]，从约减空间K中删除包含该条件属性cm的最佳属性约减组合，用剩余的最佳属性约减组合构成一个缩小的约减空间。
步骤6、从缩小的约减空间中，利用准确-多样评估函数选择一组最佳属性约减组合，并保存。
(6a)计算基本分类器的经验损失Aemp(Ft,N)：
Aemp(Ft,N)=1atNΣb=1atΣk=1N[fb(xk)-yk]2,]]>
其中，基本分类器组Ft由多个已确定的分类器和一个基本分类器组成，这些已确定的分类器是基于保存的最佳属性约减组合训练得到，一个基本分类器是基于缩小的约减空间中的一个最佳属性约减组合训练得到；at表示基本分类器组Ft中基本分类器的数量，fb(xk)表示基本分类器组Ft中第b个分类器对第k个人脸图像分类的结果，yk表示第k个人脸图像的决策属性，其中为基于缩小的约减空间中的最佳属性约减组合训练的分类器的总数，b∈[1,at]，k∈[1,N]；
(6b)计算基本分类器之间的多样性数值Ddiv(Ft,N)：
计算基本分类器之间的多样性数值有多种方法可以实现，包括CFD，ENT和DF方法，具体参见《Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy》Machine learning,2003,51(2):181-207，本实施例利用DF计算基本分类器之间的多样性数值，其公式如下：
Ddiv(Ft,N)=2at(at-1)Σr=1at-1Σq=r+1atdfrqdfrq=Σk=1N(1-Ork)&CenterDot;(1-Oqk)N,]]>
其中，Ork定义为：如果第r个分类器能正确分类第k幅人脸图像，则Ork＝1，否则Ork＝0，Oqk定义为，如果第q个分类器能正确分类第k幅人脸图像，则Oqk＝1，否则Oqk＝0，r∈[1,at-1]，q∈[r+1,at]；
(6c)根据步骤(6a)得到的基本分类器的经验损失Aemp(Ft,N)和步骤(6b)得到的基本分类器之间的多样性数值Ddiv(Ft,N)，得到准确-多样评估函数：
AD(Ft,N)＝1-Aemp(Ft,N)+ω×Ddiv(Ft,N)，
其中，ω是平衡经验损失和多样性的参数，在本实施例中ω＝1，但ω的取值不局限于1，它根据经验获得；
(6d)根据步骤(6c)得到的准确-多样评估函数，为缩小的约减空间中的每一组最佳属性约减组合计算一个准确-多样评估函数值AD(Ft,N)，选择最大的准确-多样评估函数值所对应的最佳属性约减组合予以保存。
步骤7、判断保存的最佳属性约减组合的数量是否达到预先设定的值：如果数量达不到预先设定的值，则返回步骤4，如果数量达到预先设定的值，则执行步骤8；
步骤8、训练基本分类器，在测试样本图像上进行人脸识别，得到最终识别的结果。
(8a)利用保存的每一个最佳属性约减组合构建一个训练样本集，得到重新构建的多组训练样本集：
(8a1)给出一个最佳属性约减组合Ai＝{c1,..,cj,..,cn}，其中cj为训练样本集的第j个条件属性；
(8a2)从训练样本集U中删除最佳属性约减组合Ai中没有出现的属性，得到重新构建的训练样本集其中为第k个样本图像。
(8b)用每一个训练样本集训练一个基本分类器，利用不同的基本分类器对测试样本集进行分类，得到不同的分类结果，在本实施例中使用SVM作为基本分类器，但基本分类器的选择并不局限于SVM，也可以选择决策树作为基本分类器；
(8c)采用集成学习中的多数投票法融合这些不同的分类结果，得到测试样本图像的最终识别结果。
本发明的效果可以通过仿真实验具体说明：
1.实验条件
实验所用微机CPU为Intel Core(TM)2Duo 3GHz内存2GB，编程平台是Matlab R2012a。
实验选用ORL和CMU PIE这两个标准人脸库。其中，ORL标准人脸库由40个人，每个人10幅图像组成，图像包含不同的表情、微小姿态以及20％以内的尺度变化；对于CMU PIE标准人脸库，我们选取由68人共3329张不同光照的人脸图像进行测试。实验中所用的这两组人脸图像的大小均调整到32×32，如图2所示，其中图2(a)为ORL数据库中第一个人的人脸图像，图2(b)为CMU PIE数据库中第一个人的人脸图像。
实验中随机选取一半图像作为训练样本，另一半图像作为测试样本。
2.实验内容与结果
实验一：利用Richard Jensen编写的嵌入到weka软件中的模糊粗糙集算法，产生最佳属性约减组合，对于不同的人脸数据库产生的最佳属性约减组合的数目如表1所示：
表1最佳属性约减组合的数目
数据集最佳属性约减组合的数目ORL133CMU PIE135
从表1中可以看出，在ORL数据库上使用该算法可以产生133组最佳属性约减组合，在CMU PIE数据库上使用该算法可以产生135组最佳属性约减组合。
实验二：使用SVM作为基本分类器，仿真当基本分类器的数量从5个增加到30个时本发明的准确性，每组仿真重复进行30次，计算30次仿真的平均分类正确率，作为最终分类正确率，结果如图3所示，图3的横坐标为分类器的个数，纵坐标为分类正确率，其中图3(a)为在ORL数据库上的准确性曲线图，图3(b)为在CMU PIE数据库上的准确性曲线图；
从图3中可以看出，当基本分类器的数量达到25时，本发明能得到较高分类正确率。
实验三：在同样的实验设置前提下将本发明与其他方法进行比较，本实施例中基本分类器的数量定为25。这些方法包括：Single表示使用单个SVM分类器在人脸图像上进行分类的方法，Bagging表示现有的一种经典集成方法，AdaBoost表示现有的另一种经典集成方法，RS表示现有的随机子空间集成方法。
表2不同方法在ORL和CMU PIE数据库上的结果对比(均值％±方差％)
数据库SingleBaggingAdaBoostRS本发明ORL52.75±4.569.38±4.771.33±4.368.91±4.978.75±3.9CMU PIE62.26±1.487.32±1.288.64±1.786.99±2.391.01±2.8
从表2中可以看出，本发明与现有的方法相比具有较高的准确率。
综上，本发明提出的基于粗糙集和集成学习的人脸识别方法，对人脸图像进行属性约减，有效弥补了传统的属性约减方法降低了属性分辨能力的缺陷；采用集成学习的分类方法，改善了传统单个分类器分类正确率较低和鲁棒性较差的问题。