《跨媒体多视角非完美标签学习方法.pdf》由会员分享，可在线阅读，更多相关《跨媒体多视角非完美标签学习方法.pdf（12页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102945255 A (43)申请公布日 2013.02.27 C N 1 0 2 9 4 5 2 5 5 A *CN102945255A* (21)申请号 201210396335.0 (22)申请日 2012.10.18 G06F 17/30(2006.01) (71)申请人浙江大学 地址 310027 浙江省杭州市西湖区浙大路 38号 (72)发明人祁仲昂 杨名 张仲非 张正友 (74)专利代理机构杭州宇信知识产权代理事务 所(普通合伙) 33231 代理人张宇娟 施海寅 (54) 发明名称 跨媒体多视角非完美标签学习方法 (57) 摘要 本发明实施例公开了一。
2、种跨媒体多视角非完 美标签学习方法，包括以下步骤：对非完美标签 训练集进行预处理，在两个相互条件独立的视角 上提取训练集的两组特征；利用两组特征和训练 集现有的非完美标签，利用一种新的多标签二视 角柔性支持向量机中进行训练，得到一组训练参 数；利用这组训练参数对训练集在两个视角和中 分别独立进行再分类，得到训练集在两个视角中 的两组独立的分类结果；对这两组分类结果和进 行概率化处理，得到训练集在两个视角中的两组 独立的概率化的分类结果；利用提出的一组新的 补全和去噪算法，得到训练集新的非完美标签； 直到得到的训练集新的非完美标签和原有的非完 美标签变化小于设定的阈值，则终止迭代过程。 (51)。
3、Int.Cl. 权利要求书3页 说明书7页 附图1页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 7 页 附图 1 页 1/3页 2 1.一种跨媒体多视角非完美标签学习方法，其特征在于，包括以下步骤： 步骤1，对非完美标签训练集进行预处理，在两个相互条件独立的视角上提取训练集的 两组特征，其中对非完美标签训练集进行预处理的方法为：将非完美标签训练集表示为 训练集的两个相互条件独立的视角分别表示为和训练集中的每个点都 被标上了多种多样的标签，整个训练集的标签字典组成了S维的多标签空间当任何一个 标签T r (1rS)作为二分类的目标时，其余的标签就会组。
4、成一个S-1维的标签特征空间 训练集中的每个点在两个视角中的特征向量分别表示为和在标签字典中 的标签向量表示为d i (d i，1 ，d i，2 ，.，d i，S )，其中d i，r 0，1，1rS表示字典中 的第r个标签T r 是否在I i 中出现，对于每一个标签T r ，1rS，一个包含有D r 个点的非 完美标签训练集表示为对于中的每一个点I i ，用y i，r 表 示I i 的权重，用和分别表示分类器对I i 在两个视角和中的输出值，用和 分别表示I i 在两个视角和中的校准后验概率，权重y i，r -1，1，值越大代表 标签T r 出现在数据点I i 中的概率越大，反之值越小代表标签。
5、T r 不会出现在数据点I i 中的 概率越大； 步骤2，利用所述两组特征和训练集现有的非完美标签，利用提出的一种新的多标签 二视角柔性支持向量机中进行训练，得到一组训练参数，其中所述多标签二视角柔性支持 向量机的建立方法为：在多标签一对多One Vs All的分类模式中，当一个标签T r 被作为 分类目标时，标签字典中其余的标签就会组成一个S-1维的标签特征空间在空间中 距离越近的点他们的分类相似度也越高，用L i 表示I i 在空间中的特征向量，L i (d i， 1 ，.，d i，r -1，d i，r+1 ，.，d i，s )，L i 在空间中的领域，包括L i 自己，表示为L i 和 。
6、其领域中数据点的分类结果相似度高，和非邻域数据点的分类结果相似度低，令 多标签二视角柔性支持向量机MSS-2K分类器的优化式如下所示； 其中w (z) ，分别是分类器MSS-2K在视角za，b上的系数和偏置，C (a) ，C (b) ，C， 和C * 都是常数； 步骤3，在分类器MSS-2K在每个标签T r (1rS)上都完成训练之后，得到训练器的 一组参数za，b，利用这组训练参数对训练集在两个视角和中分别独 权 利 要 求 书CN 102945255 A 2/3页 3 立进行再分类，得到训练集在两个视角中的两组独立的分类结果和训练集中每个 数据点在分类器上的输出值都可以通过计算得到 步骤4。
7、，对这两组分类结果和进行概率化处理，得到训练集在两个视角 和中的两组独立的概率化的分类结果和其中对分类结果进行概率化处理时， 利用Sigmoid模型来计算数据点分类结果的后验概率后验概率可以通过下式得到： za，b，其中A，B是模型的回归系数，可以通过最大化训 练集的后验对数似然函数得到， 其中 步骤5，综合这两组概率化的分类结果，结合训练集现有的非完美标签，利用提 出的一组新的补全和去噪算法，进行标签补全和标签去噪，得到训练集新的非完美 标签，其中处理噪声标签的算法为：对于每一个都进行下列步骤，第一步，计 算第二步，进行条件判断：如果且 且则否则其中处理不完 整标签的算法为：第一步，对于每一。
8、个计算第二步， 在且的条件下，找出和 第三步，对于每一个都进行下列条件判断：(1)如果且 且则(2)否则如果 且则其中(3)否则， 步骤6，迭代步骤2至5，直到得到的训练集新的非完美标签和原有的非完美标签 变化小于设定的阈值，则终止迭代过程，非完美标签学习MITL算法如下所示：首先，初 始化其中初始化的方法为：对于每一个T r ，1rS，且对于每一个 然后令t0，当t最大迭代次数时，对于每一个T r ，1rS都分别 进行下列步骤：(1)从中随机挑选三分之二的数据点组成集合(2) 用每一个数据点的和来训练分类器MSS-2K；(3)对于每一个 权 利 要 求 书CN 102945255 A 3/3。
9、页 4 在视角上计算I i 在分类器MSS-2K中的输出值za，b；(4)在视角上用每一 个数据点的和来训练Sigmoid模型，za，b；(5)对于每一个在视 角上用Sigmoid模型计算每个数据点I i 的za，b，且用和来 更新每个点I i 的权重(6)令tt+1，判断t是否小于最大迭代次数，如果是，则重复 (1)至(6)，如果不是，则算法结束。 权 利 要 求 书CN 102945255 A 1/7页 5 跨媒体多视角非完美标签学习方法 技术领域 0001 本发明属于标签技术领域，特别地涉及一种跨媒体多视角非完美标签学习方法。 背景技术 0002 随着信息时代的到来，多媒体数据已经实现了。
10、爆炸性的增长。标签，作为多媒体的 内容形式之一，能帮助解决数据挖掘方面很多重要的现实应用，特别是在跨媒体领域，体现 出非常重要的作用。例如，利用合适的标签作为图像注释的一部分，可以开发出强大的图像 标注和图像检索技术；利用合适的标签作为电影评论的一部分，可以开发出有效的电影推 荐系统；利用合适的标签作为网页标记的一部分，可以开发出更有效率的搜索引擎。 0003 然而，由于数据量日新月异爆炸性的增长，仅仅依靠数据处理人员对所有的数据 手工加标签是不现实的。在这种前提下，社会标签就应运而生了。社会标签，又称合作标 签，社会分类法，是一种让普通大众用户能将在线的数字资源和自己提供的标签做关联的 方法。
11、，是由用户产生的、对网络内容进行组织和共享的自下而上的组织分类体系。在这里， 普通民众都可以通过在线环境在相应的系统中为自己感兴趣的数字资源添加自己觉得合 适的标签。正是基于这种特点，社会标签的结果往往是不完美的，因为每一位参与社会标签 的普通用户都不能排除自己的主观性，粗心大意，甚至是缺乏耐心去提供一个完美的标签。 社会标签的非完美性一般可以体现在两个子问题：一、不完整标签；二、噪声标签。不完整 标签表示给定的标签都是正确的，但是不能完整的描述数字资源的所有的细节，即数字资 源中的一些对象被漏标了标签。而噪声标签表示给定的标签中包含有噪声，即数字资源中 的一些对象被标上了错误的标签或者被漏标。
12、了标签。事实上，不完整标签是噪声标签的一 个特例，即不完整标签是只有漏标标签没有错误标签的噪声标签。 0004 为了更好的利用社会标签为进一步的数据处理分析服务，必须尽可能的改正错误 标签和补全漏标标签，即尽可能的降低标签的非完美性。因此，非完美标签学习算法应运而 生，并且有着非常广阔的应用前景和非常重要的实用价值。数据被标上的标签越多，标签空 间中包含的信息也就越多，这些信息可以被利用起来。当判断数据点是否应该标上某个标 签时，该数据点已有的其他标签会对判断起到一定的帮助作用。例如，当一幅包含动物的图 像已有的标签为天空，云，草地，树木的时候，它更可能被标上的标签是鸟而不是鱼。多标签 空间中。
13、包含的信息在某种程度上可以帮助我们更好的进行标签补全和纠错。 0005 随着获取数据的终端的多样化，数据一般都拥有多视角的特征，尤其是在跨媒体 领域，一个事件会被文本，图像，声音，视频等多个视角进行记录和描述。即使是只有一种媒 体，也可以把该媒体的多个相互条件独立的特征看作为多视角的特征。例如图像，可以从纹 理，颜色，区域形状等多个视角进行分析。多个视角类似于多个独立的历史学家对于同一个 历史事件的记录，尽管在这些记录中存在着一定的重叠部分，但是这些记录中的非重叠部 分却是最有价值的，能够帮助后人尽可能的系统性的恢复整个历史事件，甚至纠正单个历 史学家关于该历史事件的一些零星出现的主观性的错误。
14、描述。同样，利用跨媒体多视角对 非完美标签进行学习，也能达到补全标签，纠正标签，恢复标签原本面貌的目的，以降低标 说 明 书CN 102945255 A 2/7页 6 签的非完美性。因此，跨媒体多视角非完美标签学习已经成为当前数据挖掘领域一个非常 前沿的研究方向。 发明内容 0006 为解决上述问题，本发明的目的在于提供一种跨媒体多视角非完美标签学习方 法，用于利用多视角对原始的非完美标签训练集进行标签补全和标签去噪，对标签进行补 全和纠错的同时，得到一种更准确的分类方法。 0007 为实现上述目的，本发明的技术方案为： 0008 一种跨媒体多视角非完美标签学习方法，包括以下步骤： 0009 。
15、步骤1，对非完美标签训练集进行预处理，在两个相互条件独立的视角上提取训 练集的两组特征，其中对非完美标签训练集进行预处理的方法为：将非完美标签训练集 表示为训练集的两个相互条件独立的视角分别表示为和训练集中的每个点 都被标上了多种多样的标签，整个训练集的标签字典组成了S维的多标签空间当 任何一个标签T r (1rS)作为二分类的目标时，其余的标签就会组成一个S-1维的标签 特征空间训练集中的每个点在两个视角中的特征向量分别表示为和在标 签字典中的标签向量表示为d i (d i，1 ，d i，2 ，.，d i，S )，其中d i，r 0，1，1rS表 示字典中的第r个标签T r 是否在I i 中。
16、出现，对于每一个标签T r ，1rS，一个包含有D r 个点的非完美标签训练集表示为对于中的每一个点I i ， 用y i，r 表示I i 的权重，用和分别表示分类器对I i 在两个视角和中的输出值， 用和分别表示I i 在两个视角和中的校准后验概率，权重y i，r -1，1，值 越大代表标签T r 出现在数据点I i 中的概率越大，反之值越小代表标签T r 不会出现在数据 点I i 中的概率越大； 0010 步骤2，利用所述两组特征和训练集现有的非完美标签，利用提出的一种新的多 标签二视角柔性支持向量机中进行训练，得到一组训练参数，其中所述多标签二视角柔性 支持向量机的建立方法为：在多标签一对。
17、多One VsAll的分类模式中，当一个标签T r 被作 为分类目标时，标签字典中其余的标签就会组成一个S-1维的标签特征空间在空间 中距离越近的点他们的分类相似度也越高，用L i 表示I i 在空间中的特征向量，L i (d i， 1 ，.，d i，r-1 ，d i，r+1 ，.，d i，s )，L i 在空间中的领域，包括L i 自己，表示为L i 和 其领域中数据点的分类结果相似度高，和非邻域数据点的分类结果相似度低，令 多标签二视角柔性支持向量机MSS-2K分类器的优化式如下所示： 0011 0012 0013 说 明 书CN 102945255 A 3/7页 7 0014 0015 。
18、0016 0017 其中w (z) ，分别是分类器MSS-2K在视角za，b上的系数和偏置，C (a) ，C (b) ， C，和C * 都是常数； 0018 步骤3，在分类器MSS-2K在每个标签T r (IrS)上都完成训练之后，得到训练 器的一组参数za，b，利用这组训练参数对训练集在两个视角和中分 别独立进行再分类，得到训练集在两个视角中的两组独立的分类结果和训练集中 每个数据点在分类器上的输出值都可以通过计算得到 0019 步骤4，对这两组分类结果和进行概率化处理，得到训练集在两个视角 和中的两组独立的概率化的分类结果和其中对分类结果进行概率化处理 时，利用Sigmoid模型来计算数据。
19、点分类结果的后验概率后验概率可以通过下式得到： za，b，其中A，B是模型的回归系数，可以通过最大化训 练集的后验对数似然函数得到， 0020 0021 0022 其中 0023 步骤5，综合这两组概率化的分类结果，结合训练集现有的非完美标签，利用 提出的一组新的补全和去噪算法，进行标签补全和标签去噪，得到训练集新的非完美 标签，其中处理噪声标签的算法为：对于每一个都进行下列步骤，第一步，计 算第二步，进行条件判断：如果且 且则否则其中处理不完 整标签的算法为：第一步，对于每一个计算第二步， 在且的条件下，找出和 第三步，对于每一个都进行下列条件判断：(1)如果且 且则(2)否则如果 且则其中。
20、(3)否则， 说 明 书CN 102945255 A 4/7页 8 0024 步骤6，迭代步骤2至5，直到得到的训练集新的非完美标签和原有的非完美标 签变化小于设定的阈值，则终止迭代过程，非完美标签学习MITL算法如下所示：首先， 初始化其中初始化均方法为：对于每一个T r ，1rS，且对于每一个 然后令t0，当t最大迭代次数时，对于每一个T r ，1rS都分别进 行下列步骤：(1)从中随机挑选三分之二的数据点组成集合(2) 用每一个数据点的和来训练分类器MSS-2K；(3)对于每一个 在视角上计算I i 在分类器MSS-2K中的输出值za，b；(4)在视角上用每一 个数据点的和来训练Sigm。
21、oid模型，za，b；(5)对于每一个在视 角上用Sigmoid模型计算每个数据点I i 的za，b，且用和来 更新每个点I i 的权重(6)令tt+1，判断t是否小于最大迭代次数，如果是，则重复 (1)至(6)，如果不是，则算法结束。 0025 与现有技术相比，本发明具有以下有益效果： 0026 (1)创新性提出非完美标签训练集学习的问题，能同时解决非完美标签的两个子 问题：不完整标签和噪声标签，本发明提出的算法既能对噪声标签进行纠错，又能对不完整 标签进行补全； 0027 (2)能够从跨媒体多视角的角度进行分析，利用跨媒体多视角中存在的信息互补 性，挖掘出更准确更全面的信息，更好的提升算法。
22、的表现，能有效的解决非完美标签训练集 学习问题； 0028 (3)能充分利用多标签空间中包含的信息量更好的解决非完美标签训练集学习问 题； 0029 (4)发明了MITL算法和MSS-2K分类器，MSS-2K分类器可以作为MITL算法的核心 分类器，也可以单独使用更有效的解决一般性的分类问题。 附图说明 0030 图1为本发明实施例的跨媒体多视角非完美标签学习方法的步骤流程图。 具体实施方式 0031 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。 0032 相反，本。
23、发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修 改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细 节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的 描述也可以完全理解本发明。 说 明 书CN 102945255 A 5/7页 9 0033 参考图1，所示为本发明实施例的跨媒体多视角非完美标签学习方法的步骤流程 图，包括以下步骤： 0034 S01，对非完美标签训练集进行预处理，在两个相互条件独立的视角上提取训练集 的两组特征； 0035 其中对非完美标签训练集进行预处理的方法为：将非完美标签训练集表示为 训练集的两个。
24、相互条件独立的视角分别表示为和训练集中的每个点都被 标上了多种多样的标签，整个训练集的标签字典组成了S维的多标签空间当任何一个标 签T r (1rS)作为二分类的目标时，其余的标签就会组成一个S-1维的标签特征空间 训练集中的每个点在两个视角中的特征向量分别表示为和在标签字典中 的标签向量表示为d i (d i，1 ，d i，2 ，.，d i，S )，其中d i，r 0，1，1rS表示字典中 的第r个标签T r 是否在I i 中出现，对于每一个标签T r ，1rS，一个包含有D r 个点的非 完美标签训练集表示为对于中的每一个点I i ，用y i，r 表 示I i 的权重，用和分别表示分类器对。
25、I i 在两个视角和中的输出值，用 和分别表示I i 在两个视角和中的校准后验概率，权重y i，r -1，1，值越大代 表标签T r 出现在数据点I i 中的概率越大，反之值越小代表标签T r 不会出现在数据点I i 中 的概率越大。 0036 S02，利用所述两组特征和训练集现有的非完美标签，利用提出的一种新的多标签 二视角柔性支持向量机中进行训练，得到一组训练参数； 0037 其中所述多标签二视角柔性支持向量机的建立方法为：在多标签一对多One VsAll的分类模式中，当一个标签T r 被作为分类目标时，标签字典中其余的标签就会组成 一个S-1维的标签特征空间在空间中距离越近的点他们的分类。
26、相似度也越高，用L i 表 示I i 在空间中的特征向量，L i (d i，1 ，.，d i，r-1 ，d i，r+1 ，.，d i，S )，L i 在空间中的领 域，包括L i 自己，表示为L i 和其领域中数据点的分类结果相似度高，和非 邻域数据点的分类结果相似度低，令多标签二视角柔性支持向量机 MSS-2K分类器的优化式如下所示： 0038 0039 0040 0041 0042 0043 0044 其中w (z) ，分别是分类器MSS-2K在视角za，b上的系数和偏置，C (a) ，C (b) ， 说 明 书CN 102945255 A 6/7页 10 C，和C * 都是常数。 004。
27、5 通过拉格朗日乘数法，我们可以得到下述的对偶问题： 0046 0047 0048 0049 0050 0051 S03，在分类器MSS-2K在每个标签T r (1rS)上都完成训练之后，得到训练器 的一组参数za，b，利用这组训练参数对训练集在两个视角和中分别独 立进行再分类，得到训练集在两个视角中的两组独立的分类结果和训练集中每个 数据点在分类器上的输出值都可以通过计算得到 0052 S04，对这两组分类结果和进行概率化处理，得到训练集在两个视角 和中的两组独立的概率化的分类结果和 0053 其中对分类结果进行概率化处理时，利用Sigmoid模型来计算数据点分类结果的 后验概率后验概率可以。
28、通过下式得到：za，b，其中 A，B是模型的回归系数，可以通过最大化训练集的后验对数似然函数得到， 0054 0055 0056 其中 0057 S05，综合这两组概率化的分类结果，结合训练集现有的非完美标签，利用提出的 一组新的补全和去噪算法，进行标签补全和标签去噪，得到训练集新的非完美标签； 0058 其中处理噪声标签的算法为：对于每一个都进行下列步骤，第一步， 说 明 书CN 102945255 A 10 7/7页 11 计算第二步，进行条件判断：如果且 且则否则其中处理不完 整标签的算法为：第一步，对于每一个计算第二步， 在且的条件下，找出和 第三步，对于每一个都进行下列条件判断：(1。
29、)如果且 且则(2)否则如果 且则其中(3)否则， 0059 S06，迭代S02至S05，直到得到的训练集新的非完美标签和原有的非完美标签变 化小于设定的阈值，则终止迭代过程； 0060 其中非完美标签学习MITL算法如下所示：首先，初始化其中初始化的方法 为：对于每一个T r ，1rS，且对于每一个然后令t0，当t 最大迭代次数时，对于每一个T r ，1rS都分别进行下列步骤：(1)从中随机挑选三 分之二的数据点组成集合(2)用每一个数据点的 和来训练分类器MSS-2K；(3)对于每一个在视角上计算I i 在分类器MSS-2K 中的输出值za，b；(4)在视角上用每一个数据点的和来训练 Sigmoid模型，za，b；(5)对于每一个在视角上用Sigmoid模型计算每个数 据点I i 的za，b，且用和来更新每个点I i 的权重(6)令t t+1，判断t是否小于最大迭代次数，如果是，则重复(1)至(6)，如果不是，则算法结束。 0061 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 说 明 书CN 102945255 A 11 1/1页 12 图1 说 明 书 附 图CN 102945255 A 12 。