基于草图检索三维模型的跨模态检索方法.pdf

《基于草图检索三维模型的跨模态检索方法.pdf》由会员分享，可在线阅读，更多相关《基于草图检索三维模型的跨模态检索方法.pdf（16页珍藏版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910449248.9 (22)申请日 2019.05.28 (71)申请人 北方民族大学 地址 750021 宁夏回族自治区银川市西夏 区文昌北街204号 (72)发明人 白静孔德馨周文惠王梦杰 (74)专利代理机构 广州市华学知识产权代理有 限公司 44245 代理人 冯炳辉 (51)Int.Cl. G06F 16/583(2019.01) G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称 基于草图检索三维模型的跨模态检索方法。

2、 (57)摘要 本发明公开了一种基于草图检索三维模型 的跨模态检索方法， 该方法为基于联合特征映射 的端到端三维模型草图检索方法， 输入来自不同 域的草图和三维模型构建共享数据空间， 在共享 数据空间内完成联合特征映射构建共享联合特 征分布， 以缩小域间差异性， 提高检索准确率， 再 根据完成的联合特征分布来进行相似评价检索。 本发明方法检索性能突出， 可有效完成跨模态检 索， 有着更好的准确度， 操作简单， 实用性强。 权利要求书2页 说明书8页 附图5页 CN 110188228 A 2019.08.30 CN 110188228 A 1.基于草图检索三维模型的跨模态检索方法， 其特征在于。

3、， 该方法为基于联合特征映 射的端到端三维模型草图检索方法， 输入来自不同域的草图和三维模型构建共享数据空 间， 在共享数据空间内完成联合特征映射构建共享联合特征分布， 以缩小域间差异性， 提高 检索准确率， 再根据完成的联合特征分布来进行相似评价检索； 包括以下步骤： S1、 共享数据空间构建 数据集选用标准的SHREC2013、 SHREC2014数据集， 每个数据集包括三维模型数据子集 和草图数据子集， 分别针对两个数据集划分训练数据集和测试数据集； S2、 数据预处理 针对训练集和测试集的数据， 将其中三维模型处理成满足网络输入尺寸的多视图形 式， 草图大小与其相同； S3、 特征提取。

4、网络构建 针对草图-三维模型检索， 需有效地度量输入样本和库内模型之间的相似性即距离， 拟 利用深度度量学习的方法完成特征嵌入； S4、 构建联合特征分布 引入深度度量学习形成三维模型和草图之间的联合特征映射， 在放松域间同类数据绝 对距离约束的同时， 确保类内数据和类间数据的相对距离， 以更加符合跨模态数据检索的 特性； S5、 相似排序检索 对于同类模型， 因其在高维空间中分布趋近， 令输入草图为query， 所以只需度量query 在检索库中映射位置所属即可， 分别用平均欧式距离、 最小欧式距离、 平均推土机距离和最 小推土机距离四种度量方式， 完成草图-三维模型的有效检索。 2.根据权。

5、利要求1所述的基于草图检索三维模型的跨模态检索方法， 其特征在于： 在步 骤S1中， 选用数据集为SHREC2013和SHREC2014， SHREC2013包含90个类， 7200个草图， 1258个 三维模型； SHREC2014包含171个类， 13680个草图和8978个三维模型。 3.根据权利要求1所述的基于草图检索三维模型的跨模态检索方法， 其特征在于： 在步 骤S2中， 选择了多视图卷积神经网络MVCNN所提出的视图渲染方法， 采用二维投影即视图的 形式来表征三维模型， 至此， 三维模型转换为一组二维视图的集合， 建立了草图和三维模型 之间的共享数据空间。 4.根据权利要求1所述。

6、的基于草图检索三维模型的跨模态检索方法， 其特征在于： 在步 骤S3中， 采用网络模型AlexNet提取输入草图和视图的公共语义特征， 共包含9层， 第一层为 输入层， 第二至八层为隐藏层， 第九层为输出层， 各层结构如下： 第一层， 输入层： 将通过数据增广获得的增广视图作为训练样本输入到网络； 第二层， 隐藏层： 包含一个卷积层、 一个激活函数层、 一个池化层和一个局部相应归一 化层； 第三层， 隐藏层： 包含一个卷积层和一个激活函数层； 第四层， 隐藏层： 包含一个卷积层和一个激活函数层； 第五层， 隐藏层： 包含一个卷积层和一个激活函数层、 一个池化层和一个DropOut层； 第七层，。

7、 隐藏层： 包含一个全连接层、 一个激活函数层和一个DropOut层； 第八层， 隐藏层： 包含一个全连接层、 一个激活函数层； 权利要求书 1/2 页 2 CN 110188228 A 2 第九层， 输出层： 一个全连接层； 该网络应能根据输入的二维图像逐层抽象高层语义属性。 5.根据权利要求1所述的基于草图检索三维模型的跨模态检索方法， 其特征在于： 在步 骤S4中， 在构建联合特征分布时， 对于特征提取网络采取共享权值的方法进行特征提取， 使 得不同分布的数据的特征映射在同一个高维空间之中， 为使二者有着同类相近， 异类相远 的特点， 选择了三元组Triplet度量学习方法以建立跨域数据。

8、的联合特征分布； 基于以上分析， 设正样本对距离和负样本对距离分别为dp|f(s,)-f(vp,)|2和 dn|f(s,)-f(vn,)2， 为使正样本对相对距离近， 负样本对相对距离远， 即dndp， 有 dn-dp ， 0； 则损失函数定义如下： 式中， s为查询库， vp为库内同类视图样本， vn为异类视图样本， N为一个批次中样本总数 为正负样本间相对距离， f为网络学习到的映射函数； 基于Triplet的度量学习方法在学习过程完成了同类数据间不同域数据与相同域数据 的联合特征映射， 形成了跨域数据依据类别呈簇状分布的稳定状态， 对于以特征间距离为 标准的检索起到良好的支撑作用。 6.。

9、根据权利要求1所述的基于草图检索三维模型的跨模态检索方法， 其特征在于： 在步 骤S5中， 对于同类模型， 因其在高维空间中分布趋近， 所以只需度量输入query在检索库中 映射位置所属即可， 在联合特征分布中， 得到了跨域数据的联合特征分布空间F； 对于草图 siS有其特征xf(si,),xF， 对于三维模型mkM， 用l个视图vj来表示模型mk， 其视图 特征yyjf(vj,),yF,vjmk,1jl， 其中F为联合特征分布空间， 为学习的权 重， M为模型数据空间。 权利要求书 2/2 页 3 CN 110188228 A 3 基于草图检索三维模型的跨模态检索方法 技术领域 0001 本。

10、发明涉及计算机图形学、 计算机视觉与智能识别的技术领域， 尤其是指一种基 于草图检索三维模型的跨模态检索方法。 背景技术 0002 近年来,随着计算机辅助设计、 三维扫描和三维打印技术的普及,三维模型的数量 急剧增加、 形式复杂多样,检索需求也愈加急迫.由于实例方法表达准确,基于实例的匹配 及检索难度较低,相关研究得到了广泛关注,产生了一系列工作.然而,这类方法要求用户 预先拥有被检索三维模型,这往往是不现实的.草图对三维模型有一定表征能力,且具有描 述便捷、 普适亲民的特点,于是基于草图的三维模型检索成为了新的研究方向. 0003 基于草图的三维模型检索具有以下几个突出特点:1、 易用性.草。

11、图易于构建,不受 专业和年龄限制,可以非常容易的通过简单的线条表达设计思想； 2、 域间差异性.如图1所 示,左侧一列和右侧三列分别给出了隶属同一类别的三维模型及草图.显然,三维模型和草 图来源于不同的数据域,前者表征准确、 信息丰富,后者表征简洁、 信息抽象,因此彼此之间 具有巨大的域间差异性； 3、 草图域内多样性.受主观意识和环境等因素的影响,同类草图之 间具有显著的域内多样性； 4、 三维模型复杂性.三维模型数据具有非结构化特性,表征复 杂.因此,基于草图的三维模型检索应用潜力巨大但仍然相当困难.现有方法主要通过以跨 域检索显式地构建共享数据空间,将三维模型转换为和草图较为相似的线条图。

12、,以减小域 间差异性.另一类方式提取各域数据的特征并通过深度学习等方法建立跨域数据的共享空 间,以减小域间差异.本发明认为,以上两种方式都只在局部范围内考虑了草图和三维模型 跨域数据之间的差异性,并不能充分利用深度学习机制自动构建 “保留类别属性且减小域 间差异性的特征” ,一定程度影响检索效果. 0004 部分工作将三维模型转换为视图,然后将视图转换为线条图,再分别提取草图和 线条图的特征,最终进行相似评价以完成检索.如基于弥散张量成像的方法Yoon S M, Scherer M,Schreck T,et al.Sketch-based 3D model retrieval using di。

13、ffusion tensor fields of suggestive contoursC/Proceedings of the international conference on Multimedia-MM2010:193,基于词袋模型的方法Eitz M,Richter R, Boubekeur T,et al.Sketch-based shape retrievalJ.ACM Transactions on Graphics,2012,31(4):1-10.,基于高斯混合模型费舍编码的方法Mao D,Yin H,Li H,et al.3D model retrieval based o。

14、n hand-drawn sketchesJ.Journal of system simulation,2015(10):2607-2614.也有工作用传统方式对草图和三维模型的多视图分 别提取描述符,并构建流型空间实现跨模态嵌入Furuya T,Ohbuchi R.Ranking on cross-domain manifold for sketch-based 3D model retrievalC/Proceedings of Cyberworlds(CW),2013International Conference on.IEEE,2013:274-281.该方法在 草图-三维模型检索领。

15、域做出了有益的尝试,取得了一定的效果.然而,由于草图-三维模型 检索的域间差异性、 草图域内多样性、 三维模型复杂性,这些特性相互交织,使得人工方式 说明书 1/8 页 4 CN 110188228 A 4 提取出一种合适的特征非常困难.因而这些方法的检索准确率普遍较低. 0005 基于深度学习的方法.草图-三维模型的检索包括特征提取(如果是将三维模型表 征为多视图,则三维模型的特征提取又可分为视图特征提取和特征融合两个子部分)和特 征跨域嵌入两部分.按照深度学习在检索过程中承担作用的不同,可细分为以下三类. 0006 第一类方法中,用传统方法对数据预先提取特征,然后利用深度学习完成特征嵌 入。

16、.如,DCMLDai G,Xie J,Zhu F,et al.Deep Correlated Metric Learning for Sketch-based 3D Shape RetrievalC/Proceedings of/AAAI.2017:4002-4008.和 DCHMLDai G,Xie J,Fang Y.Deep Correlated Holistic Metric Learning for Sketch- based 3D Shape RetrievalJ.IEEE Transactions on Image Processing,2018:1-1. 利用3D-SIFT对三维。

17、形状进行表征； PCDNN则利用ScSPM和LD-SIFT对草图和三维形状分别表 征14.然后以提取的特征为输入,用深度学习模型完成跨模态数据的嵌入. 0007 第二类方法不考虑跨域数据间的差异性,利用深度学习提取三维模型(或其对应 的多视图)和草图的特征,然后直接基于各自的特征完成跨域相似评价.如刘等人所提出的 融合信息熵和CNN的方法Liu Y,Song Y,Li Z et al.Hand-drawn 3D model retrieval based on fusion information entropy and CNNJ.Journal of Graphics 39.4:735- 7。

18、41. 0008 以上两种方法人为地将特征提取和特征嵌入分为两步,难以充分利用深度学习的 特征学习能力学习一种减小模态差异的特征描述符,检索效果并不理想. 0009 第三类方法利用深度学习完成特征提取和特征嵌入.典型工作有SiameseWang F,Kang L,Li Y.Sketch-based 3D shape retrieval using convolutional neural networksC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015:1875-1883,L。

19、WBRXie J,Dai G,Zhu F,et al.Learning barycentric representations of 3D shapes for sketch-based 3D shape retrieval C/Proceedings of 2017IEEE Conference on Computer Vision and Pattern Recognition(CVPR) .IEEE,MVPRLi H,Wu H,He X et al.Multi-view pairwise relationship learning for sketch based 3D shape re。

20、trievalC/Proceedings of 2017IEEE International Conference on Multimedia and Expo(ICME).IEEE,2017,DCA Chen J,Fang Y.Deep cross-modality adaptation via semantics preserving adversarial learning for sketch-based 3D shape RetrievalJ.2018.由于全局性 地利用深度学习完成特征提取到嵌入,这类方法在特征提取、 特征嵌入的各个阶段均利用 了深度学习良好的学习能力,效果普遍较好。

21、.只是Siamese、 LWBR、 DCA均在特征嵌入之前预 先进行三维模型多视图之间的特征融合,可能造成有益信息的过早丢失.MVPR将特征融合 放在特征嵌入的决策阶段进行,可充分保留三维模型多视图特征的完整信息； 不足之处在 于人为地将特征提取及特征嵌入分为两个阶段独立地进行,可能产生与整体最优解不匹配 的中间决策。 发明内容 0010 本发明的目的在于克服现有技术的缺点与不足， 提出了一种基于草图检索三维模 型的跨模态检索方法， 检索性能突出， 可有效完成跨模态检索， 有着更好的准确度， 操作简 说明书 2/8 页 5 CN 110188228 A 5 单， 实用性强。 0011 为实现上。

22、述目的， 本发明所提供的技术方案为： 基于草图检索三维模型的跨模态 检索方法， 该方法为基于联合特征映射的端到端三维模型草图检索方法， 输入来自不同域 的草图和三维模型构建共享数据空间， 在共享数据空间内完成联合特征映射构建共享联合 特征分布， 以缩小域间差异性， 提高检索准确率， 再根据完成的联合特征分布来进行相似评 价检索； 其包括以下步骤： 0012 S1、 共享数据空间构建 0013 数据集选用标准的SHREC2013、 SHREC2014数据集， 每个数据集包括三维模型数据 子集和草图数据子集， 分别针对两个数据集划分训练数据集和测试数据集； 0014 S2、 数据预处理 0015 。

23、针对训练集和测试集的数据， 将其中三维模型处理成满足网络输入尺寸的多视图 形式， 草图大小与其相同； 0016 S3、 特征提取网络构建 0017 针对草图-三维模型检索， 需有效地度量输入样本和库内模型之间的相似性即距 离， 拟利用深度度量学习的方法完成特征嵌入； 0018 S4、 构建联合特征分布 0019 引入深度度量学习形成三维模型和草图之间的联合特征映射， 在放松域间同类数 据绝对距离约束的同时， 确保类内数据和类间数据的相对距离， 以更加符合跨模态数据检 索的特性； 0020 S5、 相似排序检索 0021 对于同类模型， 因其在高维空间中分布趋近， 令输入草图为query， 所以。

24、只需度量 query在检索库中映射位置所属即可， 分别用平均欧式距离、 最小欧式距离、 平均推土机距 离和最小推土机距离四种度量方式， 完成草图-三维模型的有效检索。 0022 在步骤S1中， 选用数据集为SHREC2013和SHREC2014， SHREC2013包含90个类， 7200 个草图， 1258个三维模型； SHREC2014包含171个类， 13680个草图和8978个三维模型。 0023 在步骤S2中， 选择了多视图卷积神经网络MVCNN所提出的视图渲染方法， 采用二维 投影即视图的形式来表征三维模型， 至此， 三维模型转换为一组二维视图的集合， 建立了草 图和三维模型之间的。

25、共享数据空间。 0024 在步骤S3中， 采用网络模型AlexNet提取输入草图和视图的公共语义特征， 共包含 9层， 第一层为输入层， 第二至八层为隐藏层， 第九层为输出层， 各层结构如下： 0025 第一层， 输入层： 将通过数据增广获得的增广视图作为训练样本输入到网络； 0026 第二层， 隐藏层： 包含一个卷积层、 一个激活函数层、 一个池化层和一个局部相应 归一化层； 0027 第三层， 隐藏层： 包含一个卷积层和一个激活函数层； 0028 第四层， 隐藏层： 包含一个卷积层和一个激活函数层； 0029 第五层， 隐藏层： 包含一个卷积层和一个激活函数层、 一个池化层和一个DropO。

26、ut 层； 0030 第七层， 隐藏层： 包含一个全连接层、 一个激活函数层和一个DropOut层； 0031 第八层， 隐藏层： 包含一个全连接层、 一个激活函数层； 说明书 3/8 页 6 CN 110188228 A 6 0032 第九层， 输出层： 一个全连接层； 0033 该网络应能根据输入的二维图像逐层抽象高层语义属性。 0034 在步骤S4中， 在构建联合特征分布时， 对于特征提取网络采取共享权值的方法进 行特征提取， 使得不同分布的数据的特征映射在同一个高维空间之中， 为使二者有着同类 相近， 异类相远的特点， 选择了三元组Triplet度量学习方法以建立跨域数据的联合特征分 。

27、布； 0035 基于以上分析， 设正样本对距离和负样本对距离分别为dp|f(s,)-f(vp,)| |2和dn|f(s,)-f(vn,)|2， 为使正样本对相对距离近， 负样本对相对距离远， 即dn dp， 有dn-dp ， 0； 则损失函数定义如下： 0036 0037 式中， s为查询库， vp为库内同类视图样本， vn为异类视图样本， N为一个批次中样本 总数 为正负样本间相对距离， f为网络学习到的映射函数； 0038 基于Triplet的度量学习方法在学习过程完成了同类数据间不同域数据与相同域 数据的联合特征映射， 形成了跨域数据依据类别呈簇状分布的稳定状态， 对于以特征间距 离为标。

28、准的检索起到良好的支撑作用。 0039 在步骤S5中， 对于同类模型， 因其在高维空间中分布趋近， 所以只需度量输入 query在检索库中映射位置所属即可， 在联合特征分布中， 得到了跨域数据的联合特征分布 空间F； 对于草图siS有其特征xf(si,),xF， 对于三维模型mkM， 用l个视图vj来表 示模型mk， 其视图特征yyjf(vj,),yF,vjmk,1jl， 其中F为联合特征分布空 间， 为学习的权重， M为模型数据空间。 0040 本发明与现有技术相比， 具有如下优点与有益效果： 0041 1、 提出一种端到端的跨域深度学习架构， 该架构将特征提取、 特征嵌入融于一体， 形成全。

29、局优化策略， 减小域间差异性的同时更好地保留数据内容属性。 0042 2、 引入深度度量学习形成三维模型和草图之间的联合特征映射， 在放松域间同类 数据绝对距离约束的同时， 确保类内数据和类间数据的相对距离， 更加符合跨模态数据检 索的特性。 0043 3、 为了达到更好的相似性排序， 本发明使用了欧式距离来进行相似度衡量。 平均 距离可以更加全面地考虑各个视图的综合特征， 而结合欧式距离达到更好地效果。 0044 4、 为全面评价检索算法的性能， 本文选用三维模型检索领域通用的Precision- Recall曲线(PR曲线)、 Nearest Neighbor(NN)、 First Tie。

30、r(FT)、 Second Tier(ST):、 E- Measure(E)、 Discounted Cumulative Gain(DCG)、 Mean Average Precision(MAP)七个指 标作为评价标准。 0045 5、 本发明在草图检索三维模型方面有着更好的准确度， 操作简单， 实用性强， 具有 很好的利用前景。 0046 6、 网络结构简单， 仅采用修改过的AlexNet为主要特征提取网络。 0047 7、 本发明在网络训练之时无需预训练， 即无需额外训练， 现有的跨模型检索网络 (尤指度量学习方法)通常要对网络进行预训练再进行微调， 本方法只需训练后使用即可， 节省了。

31、大量时间。 说明书 4/8 页 7 CN 110188228 A 7 0048 8、 基于大型标准数据集SHREC13和SHREC14的测试结果表明， 在无需任何预训练的 情况下， 本方法在同类工作中取得了领先水平， 获得了目前最先进的成果。 附图说明 0049 图1为三维模型及所对应的草图示例。 0050 图2为本发明方法框架图。 0051 图3为跨域数据联合特征映射图。 0052 图4为在SHREC2013数据集上的PR曲线比较图。 0053 图5为在SHREC2013数据集上的检索性能比较图。 0054 图6为在SHREC2013数据集上的检索实例展示图。 0055 图7为在SHREC2。

32、014数据集上的PR曲线比较图。 0056 图8为在SHREC2014数据集上的检索性能比较图。 具体实施方式 0057 下面结合具体实施例对本发明作进一步说明。 0058 本实施例所提供的基于草图检索三维模型的跨模态检索方法， 基于联合特征映射 的端到端三维模型草图检索， 建立跨域数据的联合特征分布， 以缩小域间差异性， 提高检索 准确率， 如图2所示框架， 展示了跨域数据联合特征映射算法， 节旨在构建深度学习网络以 提取输入草图和视图的公共语义特征。 该网络应能根据输入的二维图像逐层抽象高层语义 属性， 并建立联合特征映射， 形成联合特征分布。 本文提了出了一种端到端深度学习框架： 在训练。

33、阶段输入草图和三维模型， 经过多视图提取及数据预处理构建其共享数据空间， 经 特征提取及跨域联合特征映射构建跨域数据的联合特征分布。 在检索阶段输入草图， 基于 学习建立的跨域数据联合特征分布进行相似评价， 返回检索结果。 其包括以下步骤： 0059 S1、 共享数据空间构建 0060 选用数据集为SHREC2013和SHREC2014， SHREC2013包含90个类， 7200个草图， 1258 个三维模型； SHREC2014包含171个类， 13680个草图和8978个三维模型。 0061 选每类中50个三维模型为训练数据， 30个为测试数据。 0062 S2、 数据预处理 0063 。

34、S2 .1、 采用MVCNNSu H ,Maji S ,Kalogerakis E ,et al .Multi-view convolutional neural networks for 3d shape recognitionC/Proceedings of the IEEE international conference on computer vision.2015:945-953.的方法， 将三维 模型处理成视图渲染的形式。 0064 S2.2、 针对每一个草图和视图， 将其缩放至256256， 使得图片尺寸一致， 并将视 图转换为灰度图。 0065 S2.3、 将S2.1中数据转。

35、换成LMDB格式， 使得网络易于读取。 0066 S2.4、 将S2.2所得图片减去对应图像均值的方式实现图像归一化， 使得数据分布 中心化。 0067 S2.5、 利用顺时针或逆时针旋转30 及随机裁剪的方式获取225225的扩增图像。 由于裁剪和旋转是随机的， 本操作可增加训练数据并提高训练样本的多样性， 进而减小网 说明书 5/8 页 8 CN 110188228 A 8 络的过拟合， 提高预测的鲁棒性。 0068 S3、 特征提取网络的构建 0069 在构建深度度量学习网络中， 选择所需的深度神经网络， 并构造联合特征映射网 络； 其中， 所述基深度神经网络需要完成特征提取， 综合考虑。

36、三维模型库及其对应二维视图 的规模及复杂性， 选择AlexNet作为面向单个二维视图分类的深度学习模型， 同时也将其应 用于草图。 所述基学习器的AlexNet共包含9层， 第一层为输入层， 第二至八层为隐藏层， 第 九层为输出层， 各层结构如下： 0070 第一层， 输入层： 将通过数据增广获得的增广视图作为训练样本输入到网络； 0071 第二层， 隐藏层： 包含一个卷积层(卷积核尺寸为11*11， 步长为4， 输出维度为96)、 一个激活函数层、 一个池化层(尺寸为3*3,步长为2)和一个局部相应归一化层(size为5*5, Bias,1e-4, 0.75)； 0072 第三层， 隐藏层：。

37、 包含一个卷积层(卷积核尺寸为5*5， 步长为1， 输出维度为256)、 一个激活函数层、 一个池化层(尺寸为3*3,步长为2)和一个局部相应归一化层(size为5*5, Bias,1e-4, 0.75)； 0073 第四层， 隐藏层： 包含一个卷积层(卷积核尺寸为3*3,步长为1， 输出维度为384)和 一个激活函数层； 0074 第五层， 隐藏层： 包含一个卷积层(卷积核尺寸为3*3,步长为1， 输出维度为384)和 一个激活函数层； 0075 第六层， 隐藏层： 包含一个卷积层(卷积核尺寸为3*3,步长为1， 输出维度为256)和 一个激活函数层、 一个池化层和一个DropOut层(概率。

38、P0.5)； 0076 第七层， 隐藏层： 包含一个全连接层(输出维度为4096)、 一个激活函数层和一个 DropOut层(概率P0.5)； 0077 第八层， 隐藏层： 包含一个全连接层(输出维度为4096)、 一个激活函数层； 0078 第九层， 输出层： 一个全连接层(输出维度为250)。 0079 S4、 构建联合特征分布 0080 在构建联合特征分布时， 对于特征提取网络采取共享权值的方法进行特征提取。 使得不同分布的数据的特征映射在同一个高维空间之中。 为使二者有着同类相近， 异类相 远的特点。 本发明选择共享权值与Triplet度量学习结合的方法建立跨域数据的联合特征 分布， 。

39、跨域数据联合特征映射如图3所示。 0081 假定正样本对距离和负样本对距离分别为dp|f(s,)-f(vp,)|2和dn|f (s,)-f(vn,)|2。 为使正样本对相对距离较近， 负样本对相对距离较远， 即dndp， 有dn- dp ( 0)。 则损失函数定义如下： 0082 0083 式中， s为查询库， vp为库内同类视图样本， vn为异类视图样本， N为一个批次中样本 总数 为正负样本间相对距离， f为网络学习到的映射函数。 0084 基于Triplet的度量学习方法在学习过程完成了同类数据间不同域数据与相同域 数据的联合特征映射， 形成了跨域数据依据类别呈簇状分布的稳定状态， 对于。

40、以特征间距 离为标准的检索起到良好的支撑作用。 在训练时， 和视图的网络选用完全权值共享的方式 说明书 6/8 页 9 CN 110188228 A 9 和随机梯度下降(SGD)+牛顿动量法优化。 这是因为对于大型数据集,SGD法训练和收敛速度 快,但是依赖于鲁棒的初始值和良好的学习速率调整,存在不稳定的问题； 而牛顿动量的加 入可以一定程度的抑制振荡,提高网络学习的稳定性， 更新公式如下： 0085 new - + vt-1 0086 式中， new和 分别表示当前参数和原始参数； 表示参数在当前位置的梯度； vt-1 表示之前所有步骤累计的动量和； 为动量所占权重， 本文取值为0.9； 表。

41、示当前学习速率， 初始化为0.0001,并利用下列公式现自适应调整， 以进一步提高收率速度， 确保训练的稳定 性。 0087 0088 式中， new和 分别表示当前学习速率和原始学习速率； 为迭代次数； k和为学习 速率更新公式中设定的参数,本文中分别取0.75和0.0001。 0089 S5、 相似排序检索 0090 对于同类模型， 因其在高维空间中分布趋近， 所以只需度量输入query在检索库中 映射位置所属即可， 在联合特征分布中， 得到了跨域数据的联合特征分布空间F； 对于草图 siS有其特征xf(si,),xF， 对于三维模型mkM， 用l个视图vj来表示模型mk， 其视图 特征y。

42、yjf(vj,),yF,vjmk,1jl， 其中F为联合特征分布空间， 为学习的权 重， M为模型数据空间。 0091 定 义 草 图 si到 三 维 模 型 mk的 平 均 距 离 为 Da v g( x y ) ， 如 公 式 所示， 式中， d(x,yj)为草图和三维模型第j个视图间的距离。 0092 定义草图si到三维模型mk的最小距离为Dmin(xy)， 如公式Dmin(xy)minjd(x, yj),1jl所示。 0093 给定任一草图或视图， 设其对应的特征fF， 可表征为d维特征向量ff1,f2, fd。 则草图与视图之间的距离计算可分别采用欧氏距离(Euclidean dis。

43、tance)与推土机 距离(Wasserstein distance)， 计算公式为和 式中dim是xi到空间距离， rim是xi到的移动距离。 在本方法中， 我们分别用EUD_avg， EUD_ min， EMD_avg， EMD_min来表示平均欧式距离、 最小欧式距离、 平均推土机距离和最小推土机 距离四种度量方式， 并在表1中给出了SHREC13上的检索结果对比， 充分展示了欧式平均方 法良好表现。 0094 表1不同度量方式的实验结果对比 0095 距离度量NNFTSTEDCGMAP EUD_Ave0.8690.7930.8710.4150.9020.818 EUD_Min0.830。

44、.7490.8500.4050.8750.795 EMD_Ave0.8470.7720.8610.4090.8880.816 EMD_Min0.8260.7450.8480.4040.8730.792 说明书 7/8 页 10 CN 110188228 A 10 0096 基于Triplet的度量学习方法在学习过程完成了同类数据间不同域数据与相同域 数据的联合特征映射， 形成了跨域数据依据类别呈簇状分布的稳定状态， 对于以特征间距 离为标准的检索起到良好的支撑作用。 0097 本发明实验的硬件环境为Intel Core i7 2600k+GTX 1070 8G+8G RAM， 软件环境 为wi。

45、ndows 7x64+CUDA 8。 0+CuDNN 5。 1+Caffe+Python+Matlab。 使用Matlab完成检索指标 评价及部分可视化效果， 使用Python处理数据、 存储图像特征并完成检索实验。 0098 一、 SHREC2013检索结果及对比 0099 图4给出了各种检索方法在SHREC2013数据集上的PR曲线.由图可见:本文方法 拥有最高查准率.在不同召回率下,本文方法的查询准确率均高于其它方法； 平均来看,本 文方法的查准率分别高出LWBR,DCML和Siamese等方法63.0,89.6和77.1.本文方 法的查询准确率非常稳定:在召回率低于85时,准确率稳定在。

46、80以上； 在召回率达到 100时,准确率也高达54。 0100 图5补充给出了各种方法所对应的其它评价指标,包括NN,FT,ST,E,DCG和MAP.由 图可见,本文方法在各个指标上均明显优于其它方法,这也再次验证了本文方法的有效性。 0101 图6给出了本文方法在SHREC2013数据集上的部分检索实例.图中左边一栏给出了 查询时输入的草图,右侧按照距离的升序依次给出了前10个检索结果.正确结果渲染为深 灰色； 错误结果渲染为浅灰色,并标出了真正的标签.由图可见,对于类Airplane,Car和 Hand,10个检索结果均正确； 对于类Ant,Brain,Dragon和Stand-bird。

47、,所有结果都已返回, 在不满足10个检索目标的情况下,又增列返回了其它相似模型(在库内Ant,Brain,Dragon 和Stand-bird分别包含5个、 7个、 6个、 7个三维模型)； 只有类Helicopter的10个返回结果中 包含了1个与其极其相似的飞机模型.整体来看,本文方法检索准确率高,且top-C的召回率 高,对用户检索极其友好。 0102 二、 SHREC2014检索结果及对比 0103 SHREC2014是一个更大的数据集,其三维模型的数量为SHREC2013的七倍有余,类 内模型数量最少为10个,最多达到300个,因此也是一个更具挑战性的测试数据集.本节将 选择该数据集。

48、对本文方法做一个更加全面的测试和比较。 0104 图7和图8分别给出了各种方法在数据集SHREC2014上的PR曲线及其它六项检索指 标。 显然,本文方法在各个性能指标上均优于其它方法,这充分说明本文所提出检索方法性 能突出， 能够有效应用于大型数据集。 0105 以上所述实施例只为本发明之较佳实施例， 并非以此限制本发明的实施范围， 故 凡依本发明之形状、 原理所作的变化， 均应涵盖在本发明的保护范围内。 说明书 8/8 页 11 CN 110188228 A 11 图1 图2 说明书附图 1/5 页 12 CN 110188228 A 12 图3 图4 说明书附图 2/5 页 13 CN 110188228 A 13 图5 说明书附图 3/5 页 14 CN 110188228 A 14 图6 图7 说明书附图 4/5 页 15 CN 110188228 A 15 图8 说明书附图 5/5 页 16 CN 110188228 A 16 。