基于邻域与距离度量学习的图像语义自动标注方法.pdf

摘要
申请专利号：	CN201410588442.2	申请日：	2014.10.28
公开号：	CN104317912A	公开日：	2015.01.28
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):G06F 17/30申请日:20141028\|\|\|公开
IPC分类号：	G06F17/30	主分类号：	G06F17/30
申请人：	华中师范大学
发明人：	金聪; 金枢炜
地址：	430079 湖北省武汉市洪山区珞瑜路152号
优先权：
专利代理机构：	武汉科皓知识产权代理事务所(特殊普通合伙) 42222	代理人：	严彦
PDF下载：	PDF下载

内容摘要

本发明提供一种基于邻域与距离度量学习的图像语义自动标注方法，包括通过引入变换矩阵，从训练集中随机取任意两幅图像求得距离度量；计算标注词的先验概率，对于训练集中的每个图像获取邻域，记录训练集中标注词出现与不出现的次数，计算条件概率；对于测试集中的每个图像获取邻域，通过计算图像系数得到标准词向量并输出。本发明无需事先确定标注词的个数比较现有技术智能化程度更高，标注结果更准确。而且，本发明的图像邻域完全是通过学习所获得的距离度量得到的，精确度更高。

权利要求书

权利要求书
1. 一种基于邻域与距离度量学习的图像语义自动标注方法，其特征在于：设训练集Tr为有标注词的图像集合{I1,I2,...,IN1}，N1为训练集Tr中图像个数，测试集Te为无标注词的图像集合{I1,I2,...,IN2}，N2为测试集Te中图像个数；任一幅图像I由M个视觉特征x1,x2,...,xM表示成M维向量I＝(x1,x2,...,xM)，L＝{k1,k2,...,km}是标注词集合，每幅图像I∈Tr都与对应，Y＝(y1,y2,...,ym)，Y称为图像I的标注词向量；yj＝1表示图像I有标注词kj，yj＝0表示图像I没有标注词kj，j的取值为1,2,…,m；训练集表示为Tr＝{(Iu,Yu)|u＝1,2,...N1}，表示第j个标注词kj属于图像Iu，表示第j个标注词kj不属于图像Iu，Yu为图像Iu的标注词向量；
执行以下步骤，
步骤一，从训练集中随机取任意两幅图像Iu,Iv∈Tr，求得距离度量Δ(Iu,Iv)，实现如下，
令S＝ATA，其中A是变换矩阵；对于训练集中的任意两幅图像Iu,Iv∈Tr，它们之间的距离Δ(Iu,Iv)是
Δ(Iu,Iv)＝(Iu,Iv)TS(Iu,Iv)＝(AIu,AIv)T(AIu,AIv)
其中，S＝ATA是由变换矩阵A生成的度量矩阵，(Iu,Iv)T是图像Iu与Iv向量之间欧几里得距离的转置，AIu是A与Iu的内积，AIv是A与Iv的内积，(AIu,AIv)是计算两个内积AIu、AIv的欧几里得距离后所获得的向量，(Iu,Iv)TS(Iu,Iv)是(Iu,Iv)T、S和(Iu,Iv)的内积；
图像Iu选择训练集Tr中的另一图像Iv作为自己近邻的概率Puv按下式计算，
Puv=w(Iv)exp(-||AIu-AIv||2)Σk&NotEqual;uw(Ik)exp(-||AIu-AIk||2)]]>
其中，w(I)＝P2(I)/P1(I)是待定向量，其中P1(I)和P2(I)分别是训练集Tr和测试集Te的概率密度函数，Ik表示训练集Tr中图像Iu以外的任意图像，则Iu、Ik相应的待定向量w(Iv)＝P2(Iv)/P1(Iv)、w(Ik)＝P2(Ik)/P1(Ik)；记训练集Tr中所有与Iu具有相同标注词的图像集合为Ωu，则Ωu中的图像都是图像Iu的近邻的概率Pu是
Pu=ΣIv&Element;ΩuPuv]]>
概率Pu的加权均值f(A)如下，
f(A)=Σu=1N1w(Iu)logPu]]>
其中，Iu相应的待定向量w(Iu)＝P2(Iu)/P1(Iu)；
按下式计算f(A)的梯度
&PartialD;f&PartialD;A=2AΣu=1N2w(Iu)(Σk&NotEqual;uPuk(Iu-Ik)(Iu-Ik)T-ΣIv&Element;ΩuPuv(Iu-Iv)(Iu-Iv)TΣIv&Element;ΩuPuv)]]>
利用梯度下降法求得变换矩阵A，由此得到图像距离Δ(Iu,Iv)；
步骤二，对于标注词kj∈L和训练集Tr中的每个图像Iu∈Tr，按照下式分别计算标注词的先验概率和：
P(kj+)=1+Σu=1N1yuj1+N1,P(kj-)=1-P(kj+)]]>
其中，和分别表示标注词kj出现或不出现；
步骤三，对于训练集Tr中的每个图像Iu∈Tr，利用步骤一所获得的距离度量Δ(Iu,Iv)，获得Iu的邻域δ(Iu)，实现如下，
δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Tr}
其中，τ是预设的邻域半径，τ＞0；
步骤四，对于标注词kj∈L，记录训练集Tr中标注词kj出现与不出现的次数aj和bj；
步骤五，计算条件概率
P(Ckj|kj+)=1+ajM+Σaj,P(Ckj|kj-)=1+bjM+Σbj]]>
其中，是训练集Tr中在图像Iu的邻域δ(Iu)内有标注词kj的图像的个数，M是图像视觉特征的个数；
步骤六，对于测试集Te中的任意图像Iu∈Te，获得图像Iu的邻域δ(Iu)，实现如下，
首先，对于测试集中任意图像Iu∈Te，利用步骤一所获得的距离度量Δ(Iu,Iv)，获得Iu的邻域δ(Iu)，实现如下，
δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Te}
其中，τ是预设的邻域半径，τ＞0，Iv表示测试集Te中图像Iu以外的任意图像；
步骤七，通过计算图像系数得到标准词向量并输出，实现如下，
对于每个标注词kj∈L，计算测试集中任一图像Iu∈Te的邻域δ(Iu)内所包含的图像中有标注词kj的图像系数如果则，其中│δ(Iu)│表示邻域δ(Iu)内所有图像的数目；否则，如果则；否则，按照下式计算
ω(Iu,kj)=P(kj+|Ckj)=argmaxz&Element;{+,-}P(kjz)P(Ckj|kjz)]]>
其中，为计算获得的后验概率，
如果新计算的ω(Iu,kj)＞λ，则否则λ为预设阈值，λ∈(0,1)。

2. 如权利要求1所述基于邻域与距离度量学习的图像语义自动标注方法，其特征在于：步骤一中对于训练集中任意两幅图像Iu,Iv∈Tr求得距离度量Δ(Iu,Iv)时，
对w(I)进行如下建模

其中，β＝(β1,β2,...,βS)T是参数向量，是基函数；
选择为高斯函数如下，

Ii是Ωu中与第i个聚类中心最近的图像，i＝1,2,…,S，是第i个聚类类别中所有图像的方差，S是聚类类别的预设个数；
根据下面的目标函数J(β)
J(β)=12&Integral;(I)2P1(I)dI-&Integral;w(I)P2(I)dI]]>
计算J(β)的梯度按照梯度下降法得到参数向量的估计值

说明书

说明书基于邻域与距离度量学习的图像语义自动标注方法
技术领域
本发明涉及图像检索领域，特别涉及基于邻域与距离度量学习的图像语义自动标注方法。
背景技术
随着网络技术的飞速发展和数码相机与移动设备的快速普及，越来越多的人能够方便地使用和传输数字图像，使得图像网站上数字图像的数量得到指数性增长。如何在海量图像网站上有效地检索图像以便快速、有效地发现感兴趣的图像资源已经成为一个具有挑战性的任务。
然而，作为图像检索的重要环节，图像标注的性能决定着图像检索的效果。基于语义的图像检索能够有效地弥补基于文本和基于内容两种图像检索方法的缺陷，使检索结果与用户所需信息尽可能一致。
利用语义检索图像时，人们通常通过图像的高水平语义来检索。已有的很多图像标注方法多采用低水平视觉特征来描述图像，然而图像的低水平视觉特征与图像的高水平语义之间存在鸿沟，因此，现存的很多图像语义标注方法的性能并不令人满意。
当前，现存的图像语义自动标注方法有一定的局限性。经过对现有技术的文献检索发现，Zhixin Li等2011年在Patter Recognition Letters上发表的论文“Modeling continuous visual features for semantic image annotation and retrieval”(面向语义图像标注和检索的连续视觉特征建模，简称“文献1”)中提出了一种图像标注和检索方法，图像标注词个数是事先预定的。通过文献检索还发现，Songhao Zhu等2013年在Journal of Visual Communication and Image Representation上发表的论文“Image annotation using high order statistics in non-Euclidean spaces”(用于图像标注的非欧几里得距离高阶统计量，简称“文献2”)中提到的图像邻域是由K近邻方法构成的，这导致对于每幅图像，其邻域中图像的个数都是相同的。
发明内容
本发明针对现有图像语义标注方法性能的不足，提供了一种基于图像语义的自动标注方法。
本发明的技术方案提供一种基于邻域与距离度量学习的图像语义自动标注方法，：设训练集Tr为有标注词的图像集合{I1,I2,...,IN1}，N1为训练集Tr中图像个数，测试集Te为无标注词的图像集合{I1,I2,...,IN2}，N2为测试集Te中图像个数；任一幅图像I由M个视觉特征x1, x2,...,xM表示成M维向量I＝(x1,x2,...,xM)，L＝{k1,k2,...,km}是标注词集合，每幅图像I∈Tr都与对应，Y＝(y1,y2,...,ym)，Y称为图像I的标注词向量；yj＝1表示图像I有标注词kj，yj＝0表示图像I没有标注词kj，j的取值为1,2,…,m；训练集表示为Tr＝{(Iu,Yu)|u＝1,2,...N1}，表示第j个标注词kj属于图像Iu，表示第j个标注词kj不属于图像Iu，Yu为图像Iu的标注词向量；
执行以下步骤，
步骤一，从训练集中随机取任意两幅图像Iu,Iv∈Tr，求得距离度量Δ(Iu,Iv)，实现如下，
令S＝ATA，其中A是变换矩阵；对于训练集中的任意两幅图像Iu,Iv∈Tr，它们之间的距离Δ(Iu,Iv)是
Δ(Iu,Iv)＝(Iu,Iv)TS(Iu,Iv)＝(AIu,AIv)T(AIu,AIv)
其中，S＝ATA是由变换矩阵A生成的度量矩阵，(Iu,Iv)T是图像Iu与Iv向量之间欧几里得距离的转置，AIu是A与Iu的内积，AIv是A与Iv的内积，(AIu,AIv)是计算两个内积AIu、AIv的欧几里得距离后所获得的向量，(Iu,Iv)TS(Iu,Iv)是(Iu,Iv)T、S和(Iu,Iv)的内积；
图像Iu选择训练集Tr中的另一图像Iv作为自己近邻的概率Puv按下式计算，
Puv=w(Iv)exp(-||AIu-AIv||2)Σk&NotEqual;uw(Ik)exp(-||AIu-AIk||2)]]>
其中，w(I)＝P2(I)/P1(I)是待定向量，其中P1(I)和P2(I)分别是训练集Tr和测试集Te的概率密度函数，Ik表示训练集Tr中图像Iu以外的任意图像，则Iu、Ik相应的待定向量w(Iv)＝P2(Iv)/P1(Iv)、w(Ik)＝P2(Ik)/P1(Ik)；记训练集Tr中所有与Iu具有相同标注词的图像集合为Ωu，则Ωu中的图像都是图像Iu的近邻的概率Pu是
Pu=ΣIv&Element;ΩuPuv]]>
概率Pu的加权均值f(A)如下，
f(A)=Σu=1N1w(Iu)logPu]]>
其中，Iu相应的待定向量w(Iu)＝P2(Iu)/P1(Iu)；
按下式计算f(A)的梯度
&PartialD;f&PartialD;A=2AΣu=1N2w(Iu)(Σk&NotEqual;uPuk(Iu-Ik)(Iu-Ik)T-ΣIv&Element;ΩuPuv(Iu-Iv)(Iu-Iv)TΣIv&Element;ΩuPuv)]]>
利用梯度下降法求得变换矩阵A，由此得到图像距离Δ(Iu,Iv)；
步骤二，对于标注词kj∈L和训练集Tr中的每个图像Iu∈Tr，按照下式分别计算标注词的先验概率和
P(kj+)=1+Σu=1N1yuj1+N1,P(kj-)=1-P(kj+)]]>
其中，和分别表示标注词kj出现或不出现；
步骤三，对于训练集Tr中的每个图像Iu∈Tr，利用步骤一所获得的距离度量Δ(Iu,Iv)，获得Iu的邻域δ(Iu)，实现如下，
δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Tr}
其中，τ是预设的邻域半径，τ＞0；
步骤四，对于标注词kj∈L，记录训练集Tr中标注词kj出现与不出现的次数aj和bj；
步骤五，计算条件概率
P(Ckj|kj+)=1+ajM+Σaj,P(Ckj|kj-)=1+bjM+Σbj]]>
其中，是训练集Tr中在图像Iu的邻域δ(Iu)内有标注词kj的图像的个数，M是图像视觉特征的个数；
步骤六，对于测试集Te中的任意图像Iu∈Te，获得图像Iu的邻域δ(Iu)，实现如下，
首先，对于测试集中任意图像Iu∈Te，利用步骤一所获得的距离度量Δ(Iu,Iv)，获得Iu的邻域δ(Iu)，实现如下，
δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Te}
其中，τ是预设的邻域半径，τ＞0，Iv表示测试集Te中图像Iu以外的任意图像；
步骤七，通过计算图像系数得到标准词向量并输出，实现如下，
对于每个标注词kj∈L，计算测试集中任一图像Iu∈Te的邻域δ(Iu)内所包含的图像中有标注词kj的图像系数如果则其中│δ(Iu)│表示邻域δ(Iu)内所有图像的数目；否则，如果则否则，按照下式计算
ω(Iu,kj)=P(kj+|Ckj)=argmaxz&Element;{+,-}P(kjz)P(Ckj|kjz)]]>
其中，为计算获得的后验概率，
如果重新计算所得ω(Iu,kj)＞λ，则否则λ为预设阈值，λ∈(0,1)。
而且，步骤一中对于训练集中任意两幅图像Iu,Iv∈Tr求得距离度量Δ(Iu,Iv)时，对w(I)进行如下建模

其中，β＝(β1,β2,...,βS)T是参数向量，是基函数；
选择为高斯函数如下，

Ii是Ωu中与第i个聚类中心最近的图像，i＝1,2,…,S，是第i个聚类类别中所有图像的方差，S是聚类类别的预设个数；
根据下面的目标函数J(β)
J(β)=12&Integral;w(I)2P1(I)dI-&Integral;w(I)P2(I)dI]]>
计算J(β)的梯度按照梯度下降法得到参数向量的估计值
本发明对每幅待标注的图像，事先没有确定标注词的个数。也就是说，每幅图像的标注词个数完全由图像内容本身决定，不是人为决定，比较现有技术智能化程度更高，标注结果更准确。而且，本发明的图像邻域完全是通过学习所获得的距离度量得到的，精确度更高。
附图说明
图1为本发明实施例的流程图。
具体实施方式
本发明通过引入变换矩阵A来定义图像的距离度量Δ，利用从训练集Tr与测试集Te中学习到的信息，按照梯度下降法求解变换矩阵A后即可得到图像距离度量Δ，这种定义图像距离度量的方法与已有的方法是不同的；在获得图像距离度量Δ后，通过计算可以得到每幅图像的邻域，这种构造邻域的方法与已有的应用K近邻算法构造邻域的方法是不同的；利用训练集的标注词集合以及训练集每幅图像的邻域，分别计算每个标注词出现或不出现的先验概率和次数，然后对于测试集的图像，计算每幅图像邻域内有标注词k的图像系数，根据系数的情况就可以自动获得标注词k的标注情况。
以下结合附图和实施例对本发明技术方案进行说明。
本发明实施例提供了图像语义的自动标注方法，并提供了其中用到的图像距离度量的学习方法和图像邻域的计算方法具体设计。本发明通过三部分内容进行详细说明：
内容1.图像距离度量的学习方法；
内容2.图像邻域的计算方法；
内容3.图像语义的自动标注方法。
实施例中，图像距离度量的学习方法的具体实现方案设计如下：
在已有的图像语义标注方法中，图像语义的相似性是通过图像视觉相似性来判断。事实上，语义相似性不等同于视觉相似性；另外，已有的图像语义标注方法中，图像之间的相似性通常用欧几里得距离来度量。虽然传统的欧几里得距离计算简单、方便，但在很多情况下并不能精确地度量两幅图像之间的相似性。为使图像语义标注方法更有针对性，需要根据图像训练集与图像测试集的信息来学习图像的距离度量。
假设图像训练集Tr为有标注词的图像集合{I1,I2,...,IN1}，N1为训练集Tr中图像个数，图像测试集Te为无标注词的图像集合{I1,I2,...,IN2}，N2为测试集Te中图像个数，N1+N2＝n，n为图像训练集和图像测试集的图像总数，U＝Tr∪Te，U为图像训练集和图像测试集的总和。一幅图像I可由M个视觉特征x1,x2,...,xM表示成M维向量I＝(x1,x2,...,xM)，L＝{k1,k2,...,km}是标注词集合。每幅图像I∈Tr都与对应。这里，Y是m维向量，即Y＝(y1,y2,...,ym)。yj＝1表示图像I有标注词kj，yj＝0表示图像I没有标注词kj，j的取值为1,2,…,m。因此，图像训练集可以表示为Tr＝{(Iu,Yu)|u＝1,2,...N1}，这里表示第j个标注词kj属于图像Iu，表示第j个标注词kj不属于图像Iu；Y称为图像I的标注词向量，即Yu为图像Iu的标注词向量。图像标注的任务是自动获得图像的标注词向量。
本发明“内容1”是从训练集中随机取任意两幅图像Iu,Iv∈Tr，求得距离度量Δ(Iu,Iv)，具体步骤如下。
步骤1.令S＝ATA，其中A是变换矩阵；对于图像训练集中的任意两幅图像Iu,Iv∈Tr，它们之间的距离Δ(Iu,Iv)是
Δ(Iu,Iv)＝(Iu,Iv)TS(Iu,Iv)＝(AIu,AIv)T(AIu,AIv)          (1)
这里，S＝ATA是由变换矩阵A生成的度量矩阵，(Iu,Iv)T是图像Iu与Iv向量之间欧几里得距离的转置，AIu是A与Iu的内积，AIv是A与Iv的内积，(AIu,AIv)是计算两个内积AIu、AIv的欧几里得距离后所获得的向量，(Iu,Iv)TS(Iu,Iv)是(Iu,Iv)T、S、(Iu,Iv)的内积。
步骤2.图像Iu选择训练集Tr中的另一图像Iv作为自己近邻的概率Puv按下式计算，
Puv=w(Iv)exp(-||AIu-AIv||2)Σk&NotEqual;uw(Ik)exp(-||AIu-AIk||2)---(2)]]>
这里w(I)＝P2(I)/P1(I)是待定向量，其中P1(I)和P2(I)分别是训练集Tr和测试集Te的概率密度函数，Ik表示图像训练集Tr中图像Iu以外的任意图像，则Iv、Ik相应的待定向量w(Iv)＝P2(Iv)/P1(Iv)、w(Ik)＝P2(Ik)/P1(Ik)；记训练集Tr中所有与Iu具有相同标注词的图像集合为Ωu，则Ωu中的图像都是图像Iu的近邻的概率Pu是
Pu=ΣIv&Element;ΩuPuv---(3)]]>
因此，其加权均值f(A)是
f(A)=Σu=1N1w(Iu)logPu---(4)]]>
其中，Iu相应的待定向量w(Iu)＝P2(Iu)/P1(Iu)。
步骤3.按下式计算f(A)的梯度
&PartialD;f&PartialD;A=2AΣu=1N2w(Iu)(Σk&NotEqual;uPuk(Iu-Ik)(Iu-Ik)T-ΣIv&Element;ΩuPuv(Iu-Iv)(Iu-Iv)TΣIv&Element;ΩuPuv)---(5)]]>
利用现有的梯度下降法可以求得变换矩阵A，由此可以得到图像距离Δ(Iu,Iv)。
在上述“图像距离度量的学习方法”的计算中，需要解决w(I)的估计问题；在本发明中，对 w(I)进行如下建模

其中，β＝(β1,β2,...,βS)T是参数向量，是基函数。
本发明选为高斯函数

图像Ii(i＝1,2,…,S)由聚类算法C-mean确定：Ii是Ωu中与第i个聚类中心最近的图像；是第i个聚类类别中所有图像的方差；S是聚类类别的个数，具体实施时可由用户预先确定；
根据下面的目标函数J(β)
J(β)=12&Integral;w(I)2P1(I)dI-&Integral;w(I)P2(I)dI---(8)]]>
计算J(β)的梯度按照现有的梯度下降法可得到参数向量的估计值β^=(β^1,β^2,...,β^S)T.]]>
实施例中，图像邻域的计算方法具体实现方案设计如下：
已有的邻域定义均依赖于距离的概念，然而在实际应用中却并非如此。在具体应用中，最一般的方法是利用K近邻算法计算每幅图像I的K个近邻图像，然后由这K幅图像构成图像I的邻域。这种确定邻域的方法有不足之处。例如，为了构造图像的邻域，这种方法只关注凑够每个邻域的K幅图像(这导致每个邻域内包含图像的个数都是相同的)，而忽略了这K幅图像到底与邻域中心的距离，这其实与邻域的定义不符。本发明中的邻域，是建立在“内容1”的基础上，即本发明的图像邻域完全通过所获得的距离度量Δ得到。以训练集为例，具体计算方法如下：
对于任意给定的图像Iu∈Tr和学习获得的距离度量Δ，Iu的邻域δ(Iu)由下式计算决定
δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Tr}              (9)
这里τ是邻域的半径，可由用户预先确定，τ＞0。
参见图1，实施例中，基于邻域与距离度量学习的图像语义自动标注的具体操作过程如下：
步骤一.从训练集中随机取任意两幅图像Iu,Iv∈Tr，按照本发明“内容1”的方法可获得距离度量，即对任意两幅图像Iu,Iv∈Tr，求得距离度量Δ(Iu,Iv)；
步骤二.对于标注词kj∈L和训练集Tr中的每个图像Iu∈Tr，按照下式分别计算标注词的先验概率和
P(kj+)=1+Σu=1N1yuj1+N1,P(kj-)=1-P(kj+)---(10)]]>
这里和分别表示标注词kj出现或不出现；
步骤三.对于训练集Tr中的每个图像Iu∈Tr，按照本发明“内容1”和“内容2”的方法可获得Iu的邻域δ(Iu)，即直接利用步骤一所获得的距离度量Δ(Iu,Iv)，根据式(9)获得Iu的邻域δ(Iu)；
步骤四.对于标注词kj∈L，按照下述方式计算训练集Tr中标注词kj出现的次数：
可依次令u＝1,2,…N1，
如果则aj＝aj+1，否则bj＝bj+1；其中初始值aj＝0,bj＝0；      (11)
这里，aj和bj分别是训练集Tr中标注词kj出现与不出现的次数；
步骤五.用Ck表示训练集上的一个事件，该事件是训练集Tr中在图像Iu的邻域δ(Iu)内有标注词k的图像的个数，M是图像视觉特征的个数；计算条件概率
P(Ckj|kj+)=1+ajM+Σaj,P(Ckj|kj-)=1+bjM+Σbj---(12)]]>
其中，是训练集Tr中在图像Iu∈Tr的邻域δ(Iu)内有标注词kj的图像的个数；
步骤六.对于测试集Te中的任意图像Iu∈Te，按照本发明“内容1”和“内容2”的方法可获得图像Iu的邻域δ(Iu)；实现如下，
首先，对于测试集中任意图像Iu∈Te，利用步骤一所获得的距离度量Δ，可获得Iu的邻域δ(Iu)，实现如下，
δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Te}              (13)
其中，τ是预设的邻域半径，τ＞0，Iv表示测试集Te中图像Iu以外的任意图像，此处Δ(Iu,Iv)直接采用步骤一从训练集中随机取任意两幅图像Iu,Iv∈Tr所求得距离度量Δ(Iu,Iv)；
步骤七.可以用│δk(I)│表示在测试集Te中任意某图像I的邻域δ(I)内有标注词k的图像个数；对于每个标注词kj∈L，统计测试集中任一图像Iu∈Te的邻域δ(Iu)内所包含的图像中有标注词kj的图像个数(这里也称为图像系数，记为ω(Iu,kj))；
如果ω(Iu,kj)＝│δ(Iu)│，则其中，│δ(Iu)│表示测试集Te中任意某图像Iu的邻域δ(Iu)内所有图像的数目，这种情况是邻域δ(Iu)内所有图像都含有标注词kj；
如果ω(Iu,kj)＝0，则即这种情况是测试集Te中任意某图像Iu的邻域δ(Iu)内所有图像都不含有标注词kj；
否则，按照公式(14)计算图像系数：
ω(Iu,kj)=P(kj+|Ckj)=argmaxz&Element;{+,-}P(kjz)P(Ckj|kjz)---(14)]]>
其中，为计算获得的后验概率。
如果，新计算的ω(Iu,kj)＞λ，则否则λ为预设阈值，λ∈(0,1)，具体实施时可由用户预先给定。
具体实施时，本发明技术方案可采用计算机软件技术实现自动运行。
为便于实施参考起见，选择6幅图像(依次为a,b,c,d,e,f)为实例说明本发明的实施过程。其中，选取前4幅图像作为训练样本集，其余2幅图像作为测试样本集。取S＝2。
表1给出每幅图像的标注情况。
表1.每幅图像的标注集

(1)将每幅图像表示成由18维颜色、12维纹理、18维形状特征构成的向量。因此，每幅图像均由48维的向量表示，即M＝48。
(2)利用训练集和测试集，通过计算可获得每幅图像的邻域δ(a),δ(b),δ(c),δ(d),δ(e),δ(f)。
(3)对于训练集中的每幅图像，按公式(10)计算和
P(k1+)=35,P(k1-)=25;P(k2+)=25,P(k2-)=35]]>
P(k3+)=35,P(k3-)=25;P(k4+)=35,P(k4-)=25]]>
P(k5+)=25,P(k5-)=35;P(k6+)=15,P(k6-)=45]]>
P(k7+)=25,P(k7-)=35;P(k8+)=25,P(k8-)=35]]>
P(k9+)=25,P(k9-)=35]]>
(4)按公式(11)计算a1＝2，b1＝2；a2＝1，b2＝3；a3＝2，b3＝2；a4＝2，b4＝2；a5＝1，b5＝3；a6＝0，b6＝3；a7＝1，b7＝3；a8＝1，b8＝3；a9＝1，b9＝3。
(5)按公式(12),对每个标注词计算：
P(Ck1|k1+)=1+a1M+Σa1=350,P(Ck1|k1-)=1+b1M+Σb1=350]]>
P(Ck2|k2+)=1+a2M+Σa2=249,P(Ck2|k2-)=1+b2M+Σb2=451]]>
P(Ck3|k3+)=1+a3M+Σa3=350,P(Ck3|k3-)=1+b3M+Σb3=350]]>
P(Ck4|k4+)=1+a4M+Σa4=350,P(Ck4|k4-)=1+b4M+Σb4=350]]>
P(Ck5|k5+)=1+a5M+Σa5=249,P(Ck5|k5-)=1+b5M+Σb5=451]]>
P(Ck6|k6+)=1+a6M+Σa6=148,P(Ck6|k6-)=1+b6M+Σb6=451]]>
P(Ck7|k7+)=1+a7M+Σa7=249,P(Ck7|k7-)=1+b7M+Σb7=451]]>
P(Ck8|k8+)=1+a8M+Σa8=249,P(Ck8|k8-)=1+b8M+Σb8=451]]>
P(Ck9|k9+)=1+a9M+Σa9=249,P(Ck9|k9-)=1+b9M+Σb9=451]]>
(6)对于测试图像e，按照邻域δ(e)，计算ω(e,kj)：
ω(e,k1)＝1；ω(e,k2)＝0；ω(e,k3)＝1；ω(e,k4)＝0.036；ω(e,k5)＝0；
ω(e,k6)＝0.06275；ω(e,k7)＝0.04706；ω(e,k8)＝0.04706；ω(e,k9)＝0。
取阈值λ＝0.04，当ω(e,kj)>λ时，图像e的标注词集合为Ye＝{1,0,1,0,0,1,1,1,0}。
对于测试图像f，按照邻域δ(f)，计算ω(f,kj)：
ω(e,k1)＝0；ω(e,k2)＝0；ω(e,k3)＝0；ω(e,k4)＝0.036；ω(e,k5)＝0；
ω(e,k6)＝0；ω(e,k7)＝0；ω(e,k8)＝0.04706；ω(e,k9)＝0。
取阈值λ＝0.03，当ω(f,kj)>λ时，图像f的标注词集合为Yf＝{0,0,0,1,0,0,0,1,0}。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

资源描述

《基于邻域与距离度量学习的图像语义自动标注方法.pdf》由会员分享，可在线阅读，更多相关《基于邻域与距离度量学习的图像语义自动标注方法.pdf（15页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 104317912 A (43)申请公布日 2015.01.28 CN 104317912 A (21)申请号 201410588442.2 (22)申请日 2014.10.28 G06F 17/30(2006.01) (71)申请人华中师范大学地址 430079 湖北省武汉市洪山区珞瑜路 152 号 (72)发明人金聪金枢炜 (74)专利代理机构武汉科皓知识产权代理事务所 ( 特殊普通合伙 ) 42222 代理人严彦 (54) 发明名称基于邻域与距离度量学习的图像语义自动标注方法 (57) 摘要本发明提供一种基于邻域与距离度量学习的图像语义自动。

2、标注方法，包括通过引入变换矩阵，从训练集中随机取任意两幅图像求得距离度量；计算标注词的先验概率，对于训练集中的每个图像获取邻域，记录训练集中标注词出现与不出现的次数，计算条件概率；对于测试集中的每个图像获取邻域，通过计算图像系数得到标准词向量并输出。本发明无需事先确定标注词的个数比较现有技术智能化程度更高，标注结果更准确。而且，本发明的图像邻域完全是通过学习所获得的距离度量得到的，精确度更高。 (51)Int.Cl. 权利要求书 3 页说明书 10 页附图 1 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书3页说明书10。

3、页附图1页 (10)申请公布号 CN 104317912 A CN 104317912 A 1/3 页 2 1. 一种基于邻域与距离度量学习的图像语义自动标注方法，其特征在于：设训练集 Tr 为有标注词的图像集合 I1,I2,.,IN1， N1 为训练集 Tr 中图像个数，测试集 Te 为无标注词的图像集合 I1,I2,.,IN2， N2 为测试集 Te 中图像个数；任一幅图像 I 由 M 个视觉特征 x1,x2,.,xM表示成 M 维向量 I (x1,x2,.,xM)， L k1,k2,.,km 是标注词集合，每幅图像 I Tr 都与对应， Y (y1,y2,.,ym)，。

4、 Y 称为图像 I 的标注词向量； yj 1 表示图像 I 有标注词 kj， yj 0 表示图像 I 没有标注词 kj， j 的取值为 1,2,m ；训练集表示为 Tr (Iu,Yu)|u 1,2,.N1，表示第 j 个标注词 kj属于图像 Iu，表示第 j 个标注词 kj不属于图像 Iu， Yu为图像 Iu的标注词向量；执行以下步骤，步骤一，从训练集中随机取任意两幅图像 Iu,Iv Tr，求得距离度量 (Iu,Iv)，实现如下，令 S ATA，其中 A 是变换矩阵；对于训练集中的任意两幅图像 Iu,Iv Tr，它们之间的距离 (Iu,Iv) 是 (Iu,I。

5、v) (Iu,Iv)TS(Iu,Iv) (AIu,AIv)T(AIu,AIv) 其中， S ATA 是由变换矩阵 A 生成的度量矩阵， (Iu,Iv)T是图像 Iu与 Iv向量之间欧几里得距离的转置， AIu是A与Iu的内积， AIv是A与Iv的内积， (AIu,AIv)是计算两个内积AIu、 AIv的欧几里得距离后所获得的向量， (Iu,Iv)TS(Iu,Iv) 是 (Iu,Iv)T、 S 和 (Iu,Iv) 的内积；图像 Iu选择训练集 Tr 中的另一图像 Iv作为自己近邻的概率 Puv按下式计算，其中， w(I) P2(I)/P1(I) 是待定向量，其中 P1(I) 和 P2(。

6、I) 分别是训练集 Tr 和测试集 Te 的概率密度函数， Ik表示训练集 Tr 中图像 Iu以外的任意图像，则 Iu、 Ik相应的待定向量 w(Iv) P2(Iv)/P1(Iv)、 w(Ik) P2(Ik)/P1(Ik) ；记训练集 Tr 中所有与 Iu具有相同标注词的图像集合为 u，则 u中的图像都是图像 Iu的近邻的概率 Pu是概率 Pu的加权均值 f(A) 如下，其中， Iu相应的待定向量 w(Iu) P2(Iu)/P1(Iu) ；按下式计算 f(A) 的梯度权利要求书 CN 104317912 A 2 2/3 页 3 利用梯度下降法求得变换矩阵 A，由此得到。

7、图像距离 (Iu,Iv) ；步骤二，对于标注词 kj L 和训练集 Tr 中的每个图像 Iu Tr，按照下式分别计算标注词的先验概率和：其中，和分别表示标注词 kj出现或不出现；步骤三，对于训练集 Tr 中的每个图像 Iu Tr，利用步骤一所获得的距离度量 (Iu,Iv)，获得 Iu的邻域 (Iu)，实现如下， (Iu) Iv|(Iu,Iv) ,Iv Tr 其中，是预设的邻域半径， 0 ；步骤四，对于标注词 kj L，记录训练集 Tr 中标注词 kj出现与不出现的次数 aj和 bj；步骤五，计算条件概率其中，是训练集 Tr 中在图像 Iu的邻域 (Iu) 内。

8、有标注词 kj的图像的个数， M 是图像视觉特征的个数；步骤六，对于测试集 Te 中的任意图像 Iu Te，获得图像 Iu的邻域 (Iu)，实现如下，首先，对于测试集中任意图像 Iu Te，利用步骤一所获得的距离度量 (Iu,Iv)，获得 Iu的邻域 (Iu)，实现如下， (Iu) Iv|(Iu,Iv) ,Iv Te 其中，是预设的邻域半径， 0， Iv表示测试集 Te 中图像 Iu以外的任意图像；步骤七，通过计算图像系数得到标准词向量并输出，实现如下，对于每个标注词 kj L，计算测试集中任一图像 Iu Te 的邻域 (Iu) 内所包含的图像中有标注词。

9、kj的图像系数如果则，其中 (Iu) 表示邻域 (Iu) 内所有图像的数目；否则，如果则；否则，按照下式计算其中，为计算获得的后验概率，如果新计算的 (Iu,kj) ，则否则为预设阈值， (0,1)。 2. 如权利要求 1 所述基于邻域与距离度量学习的图像语义自动标注方法，其特征在权利要求书 CN 104317912 A 3 3/3 页 4 于：步骤一中对于训练集中任意两幅图像 Iu,Iv Tr 求得距离度量 (Iu,Iv) 时，对 w(I) 进行如下建模其中， (1,2,.,S)T是参数向量，是基函数；选择为高斯函数如下， Ii是 u中与第 i 。

10、个聚类中心最近的图像， i 1,2,S，是第 i 个聚类类别中所有图像的方差， S 是聚类类别的预设个数；根据下面的目标函数 J() 计算 J() 的梯度按照梯度下降法得到参数向量的估计值权利要求书 CN 104317912 A 4 1/10 页 5 基于邻域与距离度量学习的图像语义自动标注方法技术领域 0001 本发明涉及图像检索领域，特别涉及基于邻域与距离度量学习的图像语义自动标注方法。背景技术 0002 随着网络技术的飞速发展和数码相机与移动设备的快速普及，越来越多的人能够方便地使用和传输数字图像，使得图像网站上数字图像的数量得到指数性增长。如何在海量图像。

11、网站上有效地检索图像以便快速、有效地发现感兴趣的图像资源已经成为一个具有挑战性的任务。 0003 然而，作为图像检索的重要环节，图像标注的性能决定着图像检索的效果。基于语义的图像检索能够有效地弥补基于文本和基于内容两种图像检索方法的缺陷，使检索结果与用户所需信息尽可能一致。 0004 利用语义检索图像时，人们通常通过图像的高水平语义来检索。已有的很多图像标注方法多采用低水平视觉特征来描述图像，然而图像的低水平视觉特征与图像的高水平语义之间存在鸿沟，因此，现存的很多图像语义标注方法的性能并不令人满意。 0005 当前，现存的图像语义自动标注方法有一定的局限性。经过对。

12、现有技术的文献检索发现， Zhixin Li 等 2011 年在 Patter Recognition Letters 上发表的论文 “Modeling continuous visual features for semantic image annotation and retrieval” ( 面向语义图像标注和检索的连续视觉特征建模，简称 “文献 1” ) 中提出了一种图像标注和检索方法，图像标注词个数是事先预定的。通过文献检索还发现， Songhao Zhu 等 2013 年在 Journal of Visual Communication and Image Repres。

13、entation 上发表的论文 “Image annotation using high order statistics in non-Euclidean spaces” ( 用于图像标注的非欧几里得距离高阶统计量，简称 “文献 2” ) 中提到的图像邻域是由 K 近邻方法构成的，这导致对于每幅图像，其邻域中图像的个数都是相同的。发明内容 0006 本发明针对现有图像语义标注方法性能的不足，提供了一种基于图像语义的自动标注方法。 0007 本发明的技术方案提供一种基于邻域与距离度量学习的图像语义自动标注方法，：设训练集 Tr 为有标注词的图像集合 I1,I2,.,IN1，。

14、 N1 为训练集 Tr 中图像个数，测试集 Te 为无标注词的图像集合 I1,I2,.,IN2， N2 为测试集 Te 中图像个数；任一幅图像 I 由 M 个视觉特征 x1,x2,.,xM表示成 M 维向量 I (x1,x2,.,xM)， L k1,k2,.,km 是标注词集合，每幅图像 I Tr 都与对应， Y (y1,y2,.,ym)， Y 称为图像 I 的标注词向量； yj 1 表示图像 I 有标注词 kj， yj 0 表示图像 I 没有标注词 kj， j 的取值为 1,2,m ；训练集表示为 Tr (Iu,Yu)|u 1,2,.N1，表说明书 CN 1043179。

15、12 A 5 2/10 页 6 示第 j 个标注词 kj属于图像 Iu，表示第 j 个标注词 kj不属于图像 Iu， Yu为图像 Iu的标注词向量； 0008 执行以下步骤， 0009 步骤一，从训练集中随机取任意两幅图像 Iu,Iv Tr，求得距离度量 (Iu,Iv)，实现如下， 0010 令 S ATA，其中 A 是变换矩阵；对于训练集中的任意两幅图像 Iu,Iv Tr，它们之间的距离 (Iu,Iv) 是 0011 (Iu,Iv) (Iu,Iv)TS(Iu,Iv) (AIu,AIv)T(AIu,AIv) 0012 其中， S ATA 是由变换矩阵 A 生成的度量矩阵，。

16、 (Iu,Iv)T是图像 Iu与 Iv向量之间欧几里得距离的转置， AIu是 A 与 Iu的内积， AIv是 A 与 Iv的内积， (AIu,AIv) 是计算两个内积 AIu、 AIv的欧几里得距离后所获得的向量， (Iu,Iv)TS(Iu,Iv) 是 (Iu,Iv)T、 S 和 (Iu,Iv) 的内积； 0013 图像 Iu选择训练集 Tr 中的另一图像 Iv作为自己近邻的概率 Puv按下式计算， 0014 0015 其中， w(I) P2(I)/P1(I) 是待定向量，其中 P1(I) 和 P2(I) 分别是训练集 Tr 和测试集 Te 的概率密度函数， Ik表示训练集 Tr 。

17、中图像 Iu以外的任意图像，则 Iu、 Ik相应的待定向量 w(Iv) P2(Iv)/P1(Iv)、 w(Ik) P2(Ik)/P1(Ik) ；记训练集 Tr 中所有与 Iu具有相同标注词的图像集合为 u，则 u中的图像都是图像 Iu的近邻的概率 Pu是 0016 0017 概率 Pu的加权均值 f(A) 如下， 0018 0019 其中， Iu相应的待定向量 w(Iu) P2(Iu)/P1(Iu) ； 0020 按下式计算 f(A) 的梯度 0021 0022 利用梯度下降法求得变换矩阵 A，由此得到图像距离 (Iu,Iv) ； 0023 步骤二，对于标注词 kj L 和训练集。

18、 Tr 中的每个图像 Iu Tr，按照下式分别计算标注词的先验概率和说明书 CN 104317912 A 6 3/10 页 7 0024 0025 其中，和分别表示标注词 kj出现或不出现； 0026 步骤三，对于训练集 Tr 中的每个图像 Iu Tr，利用步骤一所获得的距离度量 (Iu,Iv)，获得 Iu的邻域 (Iu)，实现如下， 0027 (Iu) Iv|(Iu,Iv) ,Iv Tr 0028 其中，是预设的邻域半径， 0 ； 0029 步骤四，对于标注词 kj L，记录训练集 Tr 中标注词 kj出现与不出现的次数 aj和 bj； 0030 步骤五，计算条件。

19、概率 0031 0032 其中，是训练集 Tr 中在图像 Iu的邻域 (Iu) 内有标注词 kj的图像的个数， M 是图像视觉特征的个数； 0033 步骤六，对于测试集 Te 中的任意图像 Iu Te，获得图像 Iu的邻域 (Iu)，实现如下， 0034 首先，对于测试集中任意图像 Iu Te，利用步骤一所获得的距离度量 (Iu,Iv)，获得 Iu的邻域 (Iu)，实现如下， 0035 (Iu) Iv|(Iu,Iv) ,Iv Te 0036 其中，是预设的邻域半径， 0， Iv表示测试集 Te 中图像 Iu以外的任意图像； 0037 步骤七，通过计算图像系数得到标准词向。

20、量并输出，实现如下， 0038 对于每个标注词 kj L，计算测试集中任一图像 Iu Te 的邻域 (Iu) 内所包含的图像中有标注词 kj的图像系数如果则其中 (Iu) 表示邻域 (Iu) 内所有图像的数目；否则，如果则否则，按照下式计算 0039 0040 其中，为计算获得的后验概率， 0041 如果重新计算所得 (Iu,kj) ，则否则为预设阈值， (0,1)。 0042 而且，步骤一中对于训练集中任意两幅图像 Iu,Iv Tr 求得距离度量 (Iu,Iv) 时，对 w(I) 进行如下建模 0043 说明书 CN 104317912 A 7 4/10 页 8 0。

21、044 其中， (1,2,.,S)T是参数向量，是基函数； 0045 选择为高斯函数如下， 0046 0047 Ii是 u中与第 i 个聚类中心最近的图像， i 1,2,S，是第 i 个聚类类别中所有图像的方差， S 是聚类类别的预设个数； 0048 根据下面的目标函数 J() 0049 0050 计算 J() 的梯度按照梯度下降法得到参数向量的估计值 0051 本发明对每幅待标注的图像，事先没有确定标注词的个数。也就是说，每幅图像的标注词个数完全由图像内容本身决定，不是人为决定，比较现有技术智能化程度更高，标注结果更准确。而且，。

22、本发明的图像邻域完全是通过学习所获得的距离度量得到的，精确度更高。附图说明 0052 图 1 为本发明实施例的流程图。具体实施方式 0053 本发明通过引入变换矩阵A来定义图像的距离度量，利用从训练集Tr与测试集 Te 中学习到的信息，按照梯度下降法求解变换矩阵 A 后即可得到图像距离度量，这种定义图像距离度量的方法与已有的方法是不同的；在获得图像距离度量后，通过计算可以得到每幅图像的邻域，这种构造邻域的方法与已有的应用 K 近邻算法构造邻域的方法是不同的；利用训练集的标注词集合以及训练集每幅图像的邻域，分别计算每个标注词出现或不出现的先验概率和次数，。

23、然后对于测试集的图像，计算每幅图像邻域内有标注词 k 的图像系数，根据系数的情况就可以自动获得标注词 k 的标注情况。 0054 以下结合附图和实施例对本发明技术方案进行说明。 0055 本发明实施例提供了图像语义的自动标注方法，并提供了其中用到的图像距离度量的学习方法和图像邻域的计算方法具体设计。本发明通过三部分内容进行详细说明： 0056 内容 1. 图像距离度量的学习方法； 0057 内容 2. 图像邻域的计算方法；说明书 CN 104317912 A 8 5/10 页 9 0058 内容 3. 图像语义的自动标注方法。 0059 实施例中，图像距离度量的学习方法。

24、的具体实现方案设计如下： 0060 在已有的图像语义标注方法中，图像语义的相似性是通过图像视觉相似性来判断。事实上，语义相似性不等同于视觉相似性；另外，已有的图像语义标注方法中，图像之间的相似性通常用欧几里得距离来度量。虽然传统的欧几里得距离计算简单、方便，但在很多情况下并不能精确地度量两幅图像之间的相似性。为使图像语义标注方法更有针对性，需要根据图像训练集与图像测试集的信息来学习图像的距离度量。 0061 假设图像训练集 Tr 为有标注词的图像集合 I1,I2,.,IN1， N1 为训练集 Tr 中图像个数，图像测试集 Te 为无标注词的图像集合 I1,I。

25、2,.,IN2， N2 为测试集 Te 中图像个数， N1+N2 n， n 为图像训练集和图像测试集的图像总数， U Tr Te， U 为图像训练集和图像测试集的总和。一幅图像 I 可由 M 个视觉特征 x1,x2,.,xM表示成 M 维向量 I (x1,x2,.,xM)， L k1,k2,.,km 是标注词集合。每幅图像 I Tr 都与对应。这里， Y 是 m 维向量，即 Y (y1,y2,.,ym)。yj 1 表示图像 I 有标注词 kj， yj 0 表示图像 I 没有标注词 kj， j 的取值为 1,2,m。因此，图像训练集可以表示为 Tr (Iu,Yu)|u 1,2,.N1，。

26、这里表示第 j 个标注词 kj属于图像 Iu，表示第 j 个标注词 kj不属于图像 Iu； Y 称为图像 I 的标注词向量，即 Yu为图像 Iu的标注词向量。图像标注的任务是自动获得图像的标注词向量。 0062 本发明 “内容 1” 是从训练集中随机取任意两幅图像 Iu,Iv Tr，求得距离度量 (Iu,Iv)，具体步骤如下。 0063 步骤 1. 令 S ATA，其中 A 是变换矩阵；对于图像训练集中的任意两幅图像 Iu,Iv Tr，它们之间的距离 (Iu,Iv) 是 0064 (Iu,Iv) (Iu,Iv)TS(Iu,Iv) (AIu,AIv)T(AIu,AIv) (1。

27、) 0065 这里， S ATA 是由变换矩阵 A 生成的度量矩阵， (Iu,Iv)T是图像 Iu与 Iv向量之间欧几里得距离的转置， AIu是 A 与 Iu的内积， AIv是 A 与 Iv的内积， (AIu,AIv) 是计算两个内积 AIu、 AIv的欧几里得距离后所获得的向量， (Iu,Iv)TS(Iu,Iv) 是 (Iu,Iv)T、 S、 (Iu,Iv) 的内积。 0066 步骤 2. 图像 Iu选择训练集 Tr 中的另一图像 Iv作为自己近邻的概率 Puv按下式计算， 0067 0068 这里 w(I) P2(I)/P1(I) 是待定向量，其中 P1(I) 和 P2(I) 分。

28、别是训练集 Tr 和测试集 Te 的概率密度函数， Ik表示图像训练集 Tr 中图像 Iu以外的任意图像，则 Iv、 Ik相应的待定向量 w(Iv) P2(Iv)/P1(Iv)、 w(Ik) P2(Ik)/P1(Ik) ；记训练集 Tr 中所有与 Iu具有相同标注词的图像集合为 u，则 u中的图像都是图像 Iu的近邻的概率 Pu是 0069 说明书 CN 104317912 A 9 6/10 页 10 0070 因此，其加权均值 f(A) 是 0071 0072 其中， Iu相应的待定向量 w(Iu) P2(Iu)/P1(Iu)。 0073 步骤 3. 按下式计算 f(A) 。

29、的梯度 0074 0075 利用现有的梯度下降法可以求得变换矩阵 A，由此可以得到图像距离 (Iu,Iv)。 0076 在上述 “图像距离度量的学习方法” 的计算中，需要解决 w(I) 的估计问题；在本发明中，对 w(I) 进行如下建模 0077 0078 其中， (1,2,.,S)T是参数向量，是基函数。 0079 本发明选为高斯函数 0080 0081 图像 Ii(i 1,2,S) 由聚类算法 C-mean 确定： Ii是 u中与第 i 个聚类中心最近的图像；是第 i 个聚类类别中所有图像的方差； S 是聚类类别的个数，具体实施时可由用户预先确定； 0082 根据。

30、下面的目标函数 J() 0083 0084 计算 J() 的梯度按照现有的梯度下降法可得到参数向量的估计值 0085 实施例中，图像邻域的计算方法具体实现方案设计如下： 0086 已有的邻域定义均依赖于距离的概念，然而在实际应用中却并非如此。在具体应用中，最一般的方法是利用 K 近邻算法计算每幅图像 I 的 K 个近邻图像，然后由这 K 幅图像构成图像 I 的邻域。这种确定邻域的方法有不足之处。例如，为了构造图像的邻域，这种方法只关注凑够每个邻域的K幅图像(这导致每个邻域内包含图像的个数都是相同的)，而忽略了这 K 幅图像到底与邻域中心的距离，这其实与邻域的定义不符。。

31、本发明中的邻域，是建说明书 CN 104317912 A 10 7/10 页 11 立在 “内容 1” 的基础上，即本发明的图像邻域完全通过所获得的距离度量得到。以训练集为例，具体计算方法如下： 0087 对于任意给定的图像 Iu Tr 和学习获得的距离度量， Iu的邻域 (Iu) 由下式计算决定 0088 (Iu) Iv|(Iu,Iv) ,Iv Tr (9) 0089 这里是邻域的半径，可由用户预先确定， 0。 0090 参见图 1，实施例中，基于邻域与距离度量学习的图像语义自动标注的具体操作过程如下： 0091 步骤一 . 从训练集中随机取任意两幅图像 I。

32、u,Iv Tr，按照本发明 “内容 1” 的方法可获得距离度量，即对任意两幅图像 Iu,Iv Tr，求得距离度量 (Iu,Iv) ； 0092 步骤二 . 对于标注词 kj L 和训练集 Tr 中的每个图像 Iu Tr，按照下式分别计算标注词的先验概率和 0093 0094 这里和分别表示标注词 kj出现或不出现； 0095 步骤三.对于训练集Tr中的每个图像IuTr，按照本发明 “内容1” 和 “内容2” 的方法可获得 Iu的邻域 (Iu)，即直接利用步骤一所获得的距离度量 (Iu,Iv)，根据式 (9) 获得 Iu的邻域 (Iu) ； 0096 步骤四 . 对于标注词。

33、 kj L，按照下述方式计算训练集 Tr 中标注词 kj出现的次数： 0097 可依次令 u 1,2,N1， 0098 如果则 aj aj+1，否则 bj bj+1 ；其中初始值 aj 0,bj 0 ； (11) 0099 这里， aj和 bj分别是训练集 Tr 中标注词 kj出现与不出现的次数； 0100 步骤五 . 用 Ck表示训练集上的一个事件，该事件是训练集 Tr 中在图像 Iu的邻域 (Iu) 内有标注词 k 的图像的个数， M 是图像视觉特征的个数；计算条件概率 0101 0102 其中，是训练集 Tr 中在图像 Iu Tr 的邻域 (Iu) 内有标注词 kj的。

34、图像的个数； 0103 步骤六 . 对于测试集 Te 中的任意图像 Iu Te，按照本发明 “内容 1” 和 “内容 2” 的方法可获得图像 Iu的邻域 (Iu) ；实现如下， 0104 首先，对于测试集中任意图像 Iu Te，利用步骤一所获得的距离度量，可获得 Iu的邻域 (Iu)，实现如下， 0105 (Iu) Iv|(Iu,Iv) ,Iv Te (13) 说明书 CN 104317912 A 11 8/10 页 12 0106 其中，是预设的邻域半径， 0， Iv表示测试集 Te 中图像 Iu以外的任意图像，此处 (Iu,Iv) 直接采用步骤一从训练集中随机取任。

35、意两幅图像 Iu,Iv Tr 所求得距离度量 (Iu,Iv) ； 0107 步骤七.可以用k(I)表示在测试集Te中任意某图像I的邻域(I)内有标注词 k 的图像个数；对于每个标注词 kj L，统计测试集中任一图像 Iu Te 的邻域 (Iu) 内所包含的图像中有标注词 kj的图像个数 ( 这里也称为图像系数，记为 (Iu,kj) ； 0108 如果 (Iu,kj) (Iu) ，则其中， (Iu) 表示测试集 Te 中任意某图像 Iu的邻域 (Iu) 内所有图像的数目，这种情况是邻域 (Iu) 内所有图像都含有标注词 kj； 0109 如果 (Iu,kj) 0，则即这种情。

36、况是测试集 Te 中任意某图像 Iu的邻域 (Iu) 内所有图像都不含有标注词 kj； 0110 否则，按照公式 (14) 计算图像系数： 0111 0112 其中，为计算获得的后验概率。 0113 如果，新计算的 (Iu,kj) ，则否则为预设阈值， (0,1)，具体实施时可由用户预先给定。 0114 具体实施时，本发明技术方案可采用计算机软件技术实现自动运行。 0115 为便于实施参考起见，选择 6 幅图像 ( 依次为 a,b,c,d,e,f) 为实例说明本发明的实施过程。其中，选取前 4 幅图像作为训练样本集，其余 2 幅图像作为测试样本集。取 S。

37、 2。 0116 表 1 给出每幅图像的标注情况。 0117 表 1. 每幅图像的标注集 0118 0119 (1)将每幅图像表示成由18维颜色、 12维纹理、 18维形状特征构成的向量。因此，每幅图像均由 48 维的向量表示，即 M 48。说明书 CN 104317912 A 12 9/10 页 13 0120 (2) 利用训练集和测试集，通过计算可获得每幅图像的邻域 (a),(b),(c),(d),(e),(f)。 0121 (3) 对于训练集中的每幅图像，按公式 (10) 计算和 0122 0123 0124 0125 0126 0。

38、127 (4) 按公式 (11) 计算 a1 2， b1 2 ； a2 1， b2 3 ； a3 2， b3 2 ； a4 2， b4 2 ； a5 1， b5 3 ； a6 0， b6 3 ； a7 1， b7 3 ； a8 1， b8 3 ； a9 1， b9 3。 0128 (5) 按公式 (12), 对每个标注词计算： 0129 0130 0131 0132 0133 0134 0135 0136 说明书 CN 104317912 A 13 10/10 页 14 0137 0138 (6) 对于测试图像 e，按照邻域 (e)，计算 (e,kj) ： 0139 (e,k1) 1。

39、； (e,k2) 0 ； (e,k3) 1 ； (e,k4) 0.036 ； (e,k5) 0 ； 0140 (e,k6) 0.06275 ； (e,k7) 0.04706 ； (e,k8) 0.04706 ； (e,k9) 0。 0141 取阈值 0.04，当 (e,kj) 时，图像 e 的标注词集合为 Ye 1,0,1,0,0,1,1,1,0。 0142 对于测试图像 f，按照邻域 (f)，计算 (f,kj) ： 0143 (e,k1) 0 ； (e,k2) 0 ； (e,k3) 0 ； (e,k4) 0.036 ； (e,k5) 0 ； 0144 (e,k6) 0。

40、； (e,k7) 0 ； (e,k8) 0.04706 ； (e,k9) 0。 0145 取阈值 0.03，当 (f,kj) 时，图像 f 的标注词集合为 Yf 0,0,0,1,0,0,0,1,0。 0146 本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。 0147 本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。说明书 CN 104317912 A 14 1/1 页 15 图 1 说明书附图 CN 104317912 A 15 。

展开阅读全文