图像库构建方法及装置技术领域
本发明属于数字图像处理技术领域，尤其涉及一种图像库构建方法及装置。
背景技术
利用深度学习的方法识别人脸及其属性时，图像数据库的数量直接影响着识别准
确率。目前主要采用的图像库构建方法为过采样方法，过采样方法是对一幅图像按照上下
左右以及中心共5个方向进行截取，保存该图像及其镜像图，1张图像可扩充至10张图像。但
是这种方法构建的图像库的图像数量不多，使得基于深度学习的方法识别人脸及其属性时
的准确率不高。
发明内容
本发明实施例的目的在于提供一种图像库构建方法及装置，旨在解决目前构建的
图像库图像数量不多的问题。
本发明实施例是这样实现的，一种图像库构建方法，包括：
对N幅图像进行对齐操作，所述N为大于1的整数；
对对齐后的所述N幅图像分别进行预设部位的关键点检测；
根据所述关键点检测的结果，在所述N幅图像中定位并提取所述预设部位的区域
图像；
在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到的新图像存
入图像库。
本发明实施例的另一目的在于提供一种图像库构建装置，包括：
对齐单元，用于对N幅图像进行对齐操作，所述N为大于1的整数；
检测单元，对对齐后的所述N幅图像分别进行预设部位的关键点检测；
提取单元，用于根据所述关键点检测的结果，在所述N幅图像中定位并提取预设部
位的区域图像；
互换单元，用于在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得
到的新图像存入图像库。
在本发明实施例中，通过图像对齐操作，预设部位关键点检测，提取预设部位的区
域图像，进行区域图像互换，从而合成新的图像，基于少量图像样本便可以生成大样本量的
图像库。
附图说明
图1是本发明实施例提供的图像库构建方法的流程图；
图2是本发明实施例提供的图像库构建方法S101的具体实现流程图；
图3是本发明实施例提供的图像库构建方法S104的具体实现流程图；
图4A是本发明实施例提供的交换嘴巴前和后的示意图；
图4B是本发明实施例提供的交换左眼前和后的示意图；
图4C是本发明实施例提供的交换右眼前和后的示意图；
图4D是本发明实施例提供的交换鼻子前和后的示意图；
图4E是本发明实施例提供的交换剩余脸部前和后的示意图；
图5是本发明实施例提供的5个人合成100张图像中的部分合成效果图的示意图；
图6是本发明实施例提供的第三方测试库中的部分图像示意图；
图7是本发明实施例提供的图像库构建装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并
不用于限定本发明。
本发明实施例以人脸图像为例进行介绍，但构建的图像库包括但不限于人脸图像
库，还可以包括其他内容的图像，例如动物图像、花草图像、机器图像等等。
图1是本发明实施例提供的一种图像库构建方法的流程图。
在S101中，对N幅图像进行对齐操作，所述N为大于1的整数。
在本发明实施例中，对N幅图像进行对齐操作，可以是将N幅图像中某一相同主题
的图像内容进行对齐操作。例如，当图像为人脸图像时，对齐操作是指将图像中的人脸进行
对齐操作，使得N幅图像中的人脸处于同一水平位置且人脸的大小基本相一致。具体地，当
图像为人脸图像时，如图2所示，所述对N幅图像进对齐操作包括：
S201，将所述N幅图像中的预设五官对齐至同一水平位置。
S202，调整所述N幅图像的大小，直至所述N幅图像中的预设五官的大小相一致。
在图2对应的实施例中，可以以人脸中的某一五官为基准，来实现人脸图像的对齐
操作。具体地，首先将N幅图像进行水平位置调整，以使这N幅图像中的某五官对齐至同一水
平位置，例如，使N幅图像中人脸的双眼均位于同一水平位置，或者使N幅图像中人脸的嘴巴
均位于同一水平位置。在完成了水平位置调整之后，还需要对N幅图像的大小进行调整，以
使这N幅图像中该五官的大小相一致。例如，当预设五官为双眼时，需要调整所述N幅图像的
大小，直至所述N幅图像中的双眼间距相同；或者，当预设五官为嘴巴时，需要调整N幅图像
的大小，直至N幅图像中嘴巴的宽度相一致；又或者，当预设五官为鼻子时，需要调整N幅图
像的大小，直至N幅图像中鼻翼的宽度相一致。通过图2对应的实施例，便可以实现人脸图像
中人脸区域的对齐，以保证N幅图像中的人脸的大小相一致，避免因为人脸大小不一而导致
的后续生成的新人脸图像不符合人脸真实比例的情况出现。
优选地，对齐图像之后将所有图像裁剪为相同尺寸，例如，对于人脸图像来说，在
保证其中人脸部分的完整性的同时，将N幅图像裁剪成相同大小，以使得最后建立的图像库
中图像样本更加规范，易于使用。
在S102中，对对齐后的所述N幅图像分别进行预设部位关键点检测。
所述预设部位包括：眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。
具体地，可以通过CFSS(Face Alignment by Coarse-to-Fine Shape Searching，
由粗到精的搜索检测方法)、SDM(Supervised Descent Method，有监督的梯度下降法)、或
LBF(Local Binary Fitting，局部二值拟合算法)等算法进行关键点检测。例如，当预设部
分为眉毛时，通过关键点检测，可以检测出图像中眉毛的眉头、眉峰、眉尾等关键点，基于这
些关键点，便可以确定出眉毛在图像中的所占区域。
在S103中，根据所述预设部位关键点检测的结果，在所述N幅图像中定位并提取预
设部位的区域图像。
具体地，根据关键点检测结果，定位眉毛、眼睛、鼻子、嘴巴、脸部轮廓等所在位置
的图像区域，并将该图像区域内的图像提取出来。
在S104中，在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到的
新图像存入图像库。
具体地，如图3所示，所述在所述N幅图像中进行相同所述预设部位的区域图像互
换包括：
S301，在所述N幅图像的其中一幅图像中提取所述预设部位的区域图像。
S302，将提取出的所述预设部位的区域图像分别叠加至剩余N-1幅图像的对应位
置，以生成N-1幅新图像。
图3对应的实施例中，实现的是在N幅图像中将其中一幅图像的预设部分的区域图
像替换至剩余N-1幅图像的相同区域，即可以生成N-1幅新图像。由于将任意两幅图像之间
一次相同预设部位的区域图像互换即可产生两幅新的图像，那么可以想到，在N幅图像中，
任意俩俩图像之间相同预设部位的区域图像互换，或者，进一步地，在N幅图像中，任意俩俩
图像之间多个预设部位的区域图像均进行区域图像互换，则会产生大量的新图像，从而可
以简单高效地通过少量图像样本生成更多新的图像样本，以完成图像库的构建。
图4A-4E以两幅图像为例，示出了合成新图像的过程，左边两幅图像为原始图像，
右边两幅图像为合成后的图像，具体为：
图4A是本发明实施例提供的交换嘴巴前和后的示意图；
图4B是本发明实施例提供的交换左眼前和后的示意图；
图4C是本发明实施例提供的交换右眼前和后的示意图；
图4D是本发明实施例提供的交换鼻子前和后的示意图；
图4E是本发明实施例提供的交换剩余脸部前和后的示意图；
其中，图4E中剩余脸部即除了左右眼、嘴巴、鼻子后的脸部。
具体地，如图4A所示，
首先将两张原始图像分别进行复制：
然后提取女士(男士)图像的嘴巴区域图像；
将女士(男士)图像的嘴巴区域图像叠加到复制后的男士(女士)图像的嘴巴区域
图像上，从而形成一张新的图像。
同理，图4B-4E的合成图像过程与图4A的过程一样。
图5是本发明实施例提供的5个人合成100张图像中的部分合成效果图的示意图。
图6示出了第三方测试库expression-A中的部分图像，其中在此数据库中的图像
包括悲伤表情和不悲伤表情，共752张图像，两类表情各376张。
表1
方法
最佳测试准确率(％)
速度(ms)
原始图像
51.46
30.01
过采样方法
52.13
25.39
合成图像
59.97
25.45
表1示出了训练悲伤表情的最佳模型在第三方库上的测试结果。从上表可以看出：
本发明实施例合成方法在人脸的悲伤表情识别方面，其准确率为59.97％，比对原
始数据训练模型的最好测试结果高8.51％，比通过过采样方法的最好测试结果高7.84％；
且本发明实施例识别速度较快，比对原始数据训练模型的识别速度快4.56ms，比通过过采
样方法的识别速度快9.94ms。
所以，应用本发明实施例合成方法来增加人脸属性分析的训练样本是一种非常好
的方法。
对应于该发明实施例提供的一种构建图像库的方法，图7示出了本发明实施例提
供的一种图像库构建装置的结构框图，为了便于说明，仅示出了与本实施例相关的部分。
参照图7，该装置包括：
对齐单元71，对N幅图像进行对齐操作，所述N为大于1的整数；
检测单元72，对对齐后的所述N幅图像分别进行预设部位关键点检测；
提取单元73，根据所述预设部位关键点检测的结果，在所述N幅图像中定位并提取
预设部位的区域图像；
互换单元74，在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到
的新图像存入图像库。
可选地，所述图像为人脸图像，所述对N幅图像进对齐操作包括：
将所述N幅图像中的预设五官对齐至同一水平位置；
调整所述N幅图像的大小，直至所述N幅图像中的预设五官的大小相一致。
可选地，所述预设五官包括双眼，所述调整所述N幅图像的大小，直至所述N幅图像
中的预设五官的大小相一致包括：
调整所述N幅图像的大小，直至所述N幅图像中的双眼间距相同。
可选地，所述对对齐后的所述N幅图像分别进行预设部位关键点检测包括：
通过以下任一算法对对齐后的所述N幅图像分别进行预设部位的关键点检测：由
粗到精的搜索检测方法CFSS、有监督的梯度下降法SDM和局部二值拟合算法LBF。
可选地，所述在所述N幅图像中进行相同所述预设部位的区域图像互换包括：
在所述N幅图像的其中一幅图像中提取所述预设部位的区域图像；
将提取出的所述预设部位的区域图像分别叠加至剩余N-1幅图像的对应位置，以
生成N-1幅新图像。
在本发明实施例中，通过图像对齐操作，预设部位关键点检测，提取预设部位的区
域图像，进行区域图像互换，从而合成新的图像，基于少量图像样本便可以生成大样本量的
图像库。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精
神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。