确定词语相似度的方法及装置.pdf

本公开是关于一种确定词语相似度的方法及装置。所述方法，包括：从短文本中获取多个结构词；针对多个结构词中的每两个结构词，将两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；确定两个结构词共同匹配成功的模板的共同模板数量；根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词之间的结构相似度；在预设短文本集合中，确定两个结构词共同匹配成功的短文本的共同短文本数量；根据共同短文本数量，确定两个结构词之间的校正值；根据结构相似度及校正值，计算两个结构词之间的相似度。利用简单的算法计算两个词之间的相似度，节约了大量的计算量，并且提高了计算的准确度。

权利要求书
1.  一种确定词语相似度的方法，其特征在于，包括：
从短文本中获取多个结构词；
针对所述多个结构词中的每两个结构词，将所述两个结构词分别与预设 的模板进行匹配，确定匹配成功的模板和模板数量；
确定所述两个结构词共同匹配成功的模板的共同模板数量；
根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所 述两个结构词之间的结构相似度；
在预设短文本集合中，确定所述两个结构词共同匹配成功的短文本的共 同短文本数量；
根据所述共同短文本数量，确定所述两个结构词之间的校正值；
根据所述结构相似度及校正值，计算所述两个结构词之间的相似度。

2.  如权利要求1所述的方法，其特征在于，所述根据所述共同模板数量 和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的结构相 似度是通过以下公式计算，所述公式包括：
S s = 1 2 ( T T a + T T b ) ; ]]>
其中，Ss为两个结构词之间的结构相似度，T为两个结构词共同匹配成 功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为另 一个结构词匹配成功的模板的数量。

3.  如权利要求1所述的方法，其特征在于，所述根据所述共同短文本数 量，确定所述两个结构词之间的校正值是通过以下公式计算，所述公式包括：
C＝(W+1)θ；
其中，C为两个结构词之间的校正值，W为所述两个结构词共同匹配成 功的短文本的共同短文本数量，θ为校正系数，θ为正整数。

4.  如权利要求1-3中任一权利要求所述的方法，其特征在于，所述根据 所述结构相似度及校正值，计算所述两个结构词之间的相似度是通过以下公 式计算，所述公式包括：
S = S s C ; ]]>
其中，S为所述两个结构词之间的相似度。

5.  如权利要求1所述的方法，其特征在于，所述确定匹配成功的模板和 模板数量，还包括：
获得模板出现的次数；
当模板出现的次数大于预设阈值时，根据所述模板出现的次数从多到少 的顺序进行排列；
确定所述模板出现的次数从多到少的顺序中排在前N位的模板为匹配成 功的模板，其中，N为预设的正整数。

6.  如权利要求1所述的方法，其特征在于，所述模板是通过以下方式生 成的：
从预设的短文本集合中获取短文本；
在所述短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的 文本段为短句；
确定所述短句中的结构词；
根据所述结构词及所述短句中词语的词性，生成模板。

7.  一种确定词语相似度的装置，其特征在于，包括：
第一获取模块，用于从短文本中获取多个结构词；
第一确定模块，用于针对所述多个结构词中的每两个结构词，将所述两 个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量；
第二确定模块，用于确定所述两个结构词共同匹配成功的模板的共同模 板数量；
第三确定模块，用于根据所述共同模板数量和所述两个结构词分别对应 的模板数量，确定所述两个结构词之间的结构相似度；
第四确定模块，用于在预设短文本集合中，确定所述两个结构词共同匹 配成功的短文本的共同短文本数量；
第五确定模块，用于根据所述共同短文本数量，确定所述两个结构词之 间的校正值；
计算模块，用于根据所述结构相似度及校正值，计算所述两个结构词之 间的相似度。

8.  如权利要求7所述的装置，其特征在于，所述第一确定模块，还包括：
获得子模块，用于获得模板出现的次数；
排序子模块，用于当模板出现的次数大于预设阈值时，根据所述模板出 现的次数从多到少的顺序进行排列；
确定子模块，用于确定所述模板出现的次数从多到少的顺序中排在前N 位的模板为匹配成功的模板，其中，N为预设的正整数。

9.  如权利要求7所述的装置，其特征在于，所述模板是通过以下装置生 成的：
第二获取模块，用于从预设的短文本集合中获取短文本；
第六确定模块，用于在所述短文本中根据除顿号以外的分隔符号，确定 两个分隔符号之间的文本段为短句；
第七确定模块，用于确定所述短句中的结构词；
生成模块，用于根据所述结构词及所述短句中词语的词性，生成模板。

10.  一种确定词语相似度的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
从短文本中获取多个结构词；
针对所述多个结构词中的每两个结构词，将所述两个结构词分别与预设 的模板进行匹配，确定匹配成功的模板和模板数量；
确定所述两个结构词共同匹配成功的模板的共同模板数量；
根据所述共同模板数量和所述两个结构词分别对应的模板数量，确定所 述两个结构词之间的结构相似度；
在预设短文本集合中，确定所述两个结构词共同匹配成功的短文本的共 同短文本数量；
根据所述共同短文本数量，确定所述两个结构词之间的校正值；
根据所述结构相似度及校正值，计算所述两个结构词之间的相似度。

说明书确定词语相似度的方法及装置
技术领域
本公开涉及计算机领域，尤其涉及确定词语相似度的方法及装置。
背景技术
相关技术中，在人工智能中的自然语言处理领域中，自然语言的处理内 容，包括：命名实体识别，词性标注，短文本聚类，知识抽提，信息检索等。 其中，短文本聚类是知识抽提的必要环节，可以用短文本的模板来抽取短文 本中的知识点。短文本聚类的依据就是短文本的相似度。而短文本之间的相 似度则是短文本中每个词的相似度所决定的。
发明内容
为克服相关技术中存在的问题，本公开提供一种确定词语相似度的方法。 利用简单的算法计算两个词之间的相似度，节约了大量的计算量，并且提高 了计算的准确度。
根据本公开实施例的第一方面，提供一种确定词语相似度的方法，包括： 从短文本中获取多个结构词；针对所述多个结构词中的每两个结构词，将所 述两个结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量； 确定所述两个结构词共同匹配成功的模板的共同模板数量；根据所述共同模 板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的 结构相似度；在预设短文本集合中，确定所述两个结构词共同匹配成功的短 文本的共同短文本数量；根据所述共同短文本数量，确定所述两个结构词之 间的校正值；根据所述结构相似度及校正值，计算所述两个结构词之间的相 似度。
本公开的实施例提供的技术方案可以包括以下有益效果：通过根据两个 结构词上下文的信息计算两个结构词的结构相似度，再根据两个结构词出现 在相同短文本中的次数，计算两个结构词之间的校正值，根据结构相似度及 校正值，计算两个结构词之间的相似度。利用简单的算法计算两个结构词之 间的相似度，节约了大量的计算量，并且提高了计算的准确度。
所述根据所述共同模板数量和所述两个结构词分别对应的模板数量，确 定所述两个结构词之间的结构相似度是通过以下公式计算，所述公式包括： 其中，Ss为两个结构词之间的结构相似度，T为两个结构词 共同匹配成功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数 量，Tb为另一个结构词匹配成功的模板的数量。
本公开的实施例提供的技术方案可以包括以下有益效果：通过计算公式 计算出的结构相似度时，只需要获得两个结构词共同匹配成功的模板的共同 模板数量及与两个结构词分别匹配成功的模板的数量，即可计算两个结构词 之间的结构相似度，节省了计算相似度时所需要的大量运算资源。
所述根据所述共同短文本数量，确定所述两个结构词之间的校正值是通 过以下公式计算，所述公式包括：C＝(W+1)θ；其中，C为两个结构词之间 的校正值，W为所述两个结构词共同匹配成功的短文本的共同短文本数量，θ 为校正系数，θ为正整数。
本公开的实施例提供的技术方案可以包括以下有益效果：根据用词习惯， 在同一个短文本中同一意思使用相同的结构描述，因此，在同一个短文本中 出现的两个结构词认为这两个词的意思不相同。通过两个结构词共同匹配成 功的短文本的共同短文本数量，可以准确的计算出两个结构词之间的校正值， 用以降低在同一短文本中同时出现的两个结构词之间的相似度。
所述根据所述结构相似度及校正值，计算所述两个结构词之间的相似度 是通过以下公式计算，所述公式包括：其中，S为所述两个结构词 之间的相似度。
本公开的实施例提供的技术方案可以包括以下有益效果：通过结构相似 度及校正值，计算两个结构词之间的相似度，节省了计算相似度时所需要的 大量运算资源。
所述确定匹配成功的模板和模板数量，还包括：获得模板出现的次数； 当模板出现的次数大于预设阈值时，根据所述模板出现的次数从多到少的顺 序进行排列；确定所述模板出现的次数从多到少的顺序中排在前N位的模板 为匹配成功的模板，其中，N为预设的正整数。
本公开的实施例提供的技术方案可以包括以下有益效果：由于不同的短 文本可能生成相同的模块，通过模板出现次数可以确定不同的短文本的次数， 因此，确定的匹配成功的模板更具有代表性，使计算结构相似度时更准确。
所述模板是通过以下方式生成的：从预设的短文本集合中获取短文本； 在所述短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本 段为短句；确定所述短句中的结构词；根据所述结构词及所述短句中词语的 词性，生成模板。
本公开的实施例提供的技术方案可以包括以下有益效果：通过结构词及 短句中词语的记性，生成模板。可以仅利用简单的数据结构生成模板，减少 了模板生成时所需的运算资源。
根据本公开实施例的第二方面，提供一种确定词语相似度的装置，包括： 第一获取模块，用于从短文本中获取多个结构词；第一确定模块，用于针对 所述多个结构词中的每两个结构词，将所述两个结构词分别与预设的模板进 行匹配，确定匹配成功的模板和模板数量；第二确定模块，用于确定所述两 个结构词共同匹配成功的模板的共同模板数量；第三确定模块，用于根据所 述共同模板数量和所述两个结构词分别对应的模板数量，确定所述两个结构 词之间的结构相似度；第四确定模块，用于在预设短文本集合中，确定所述 两个结构词共同匹配成功的短文本的共同短文本数量；第五确定模块，用于 根据所述共同短文本数量，确定所述两个结构词之间的校正值；计算模块， 用于根据所述结构相似度及校正值，计算所述两个结构词之间的相似度。
所述第一确定模块，还包括：获得子模块，用于获得模板出现的次数； 排序子模块，用于当模板出现的次数大于预设阈值时，根据所述模板出现的 次数从多到少的顺序进行排列；确定子模块，用于确定所述模板出现的次数 从多到少的顺序中排在前N位的模板为匹配成功的模板，其中，N为预设的 正整数。
所述模板是通过以下装置生成的：第二获取模块，用于从预设的短文本 集合中获取短文本；第六确定模块，用于在所述短文本中根据除顿号以外的 分隔符号，确定两个分隔符号之间的文本段为短句；第七确定模块，用于确 定所述短句中的结构词；生成模块，用于根据所述结构词及所述短句中词语 的词性，生成模板。
根据本公开实施例的第三方面，提供一种确定词语相似度的装置，其特 征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述 处理器被配置为：从短文本中获取多个结构词；针对所述多个结构词中的每 两个结构词，将所述两个结构词分别与预设的模板进行匹配，确定匹配成功 的模板和模板数量；
确定所述两个结构词共同匹配成功的模板的共同模板数量；根据所述共同模 板数量和所述两个结构词分别对应的模板数量，确定所述两个结构词之间的 结构相似度；在预设短文本集合中，确定所述两个结构词共同匹配成功的短 文本的共同短文本数量；根据所述共同短文本数量，确定所述两个结构词之 间的校正值；根据所述结构相似度及校正值，计算所述两个结构词之间的相 似度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性 的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公 开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种确定词语相似度的方法的流程 图。
图2是根据一示例性实施例示出的一种确定词语相似度的方法的详细流 程图。
图3是根据一示例性实施例示出的一种确定词语相似度的方法的模板生 成方法的流程图。
图4是根据一示例性实施例示出的一种确定词语相似度的装置的框图。
图5是根据一示例性实施例示出的一种确定词语相似度的装置中第一确 定模块的框图。
图6是根据一示例性实施例示出的一种确定词语相似度的装置中模板生 成的装置的框图。
图7是根据一示例性实施例示出的一种确定词语相似度的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的 描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的 要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所 有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一 些方面相一致的装置和方法的例子。
相关技术中，人工智能中的自然语言处理领域。自然语言处理包括命名 实体识别，词性标注，短文本聚类，知识抽提，信息检索等。其中，短文本 聚类是知识抽提的必要环节，我们可以用短文本的模板来抽取短文本中的知 识点。短文本聚类的依据就是短文本的相似度。而短文本之间的相似度则短 文本中每个词的相似度所决定的。
在相关技术中，计算两个结构词之间的相似度的方法有SimRank算法及 基于搭配词语向量的余弦值的方法。
其中，SimRank算法是一种基于图的拓扑结构信息来衡量任意两个对象 间相似程度的模型，该模型的核心思想为：如果两个对象被其相似的对象所 引用(即若两个对象有相似的入邻边结构)，那么这两个对象也相似。
基于搭配词语向量的余弦值的方法是对于一个词语，用与之搭配出现过 的词语做成向量。两个词语之间的相似度用对应向量的余弦值表示。
但是，相关技术中，SimRank算法更多地应用于网页相似性的计算，对 于短文本来说，无法认为出现在同一个短文本中的词语是相似的(甚至，很 多情况下存在一些语义相反的词语)。SimRank算法本质上得到的是两个对 象的关联性，而不是短文本需要的词语语义的一致性。
而基于搭配词语向量的余弦值的方法只能描述词语结构上的相似性。比 如对于描述流量的领域“使用”、“剩余”的搭配的词语就相近。但是这两个词 语在语义上是不同的。并且，使用向量本身就失去了动词所处上下文的结构 信息。需要做精确的语义识别时，该方法也不能满足需求。
本公开实施例提供了一种确定词语相似度的方法，通过根据两个结构词 上下文的信息计算两个结构词的结构相似度，再根据两个结构词出现在相同 短文本中的次数，计算两个结构词之间的校正值，根据结构相似度及校正值， 计算两个结构词之间的相似度。利用简单的算法计算两个结构词之间的相似 度，节约了大量内存空间。
图1是根据一示例性实施例示出的一种确定词语相似度的方法的流程 图，如图1所示，确定词语相似度的方法用于服务器或者终端中，包括以下 步骤。
在步骤S101中，从短文本中获取多个结构词。结构词包括动词。由于 在一个短文本动词的语义决定该短文本的语义，因此结构词选择为动词。当 两个短文本中的两个动词之间相似时，可以判断这两个短文本所表达的意思 相似。
在步骤S102中，针对多个结构词中的每两个结构词，将两个结构词分 别与预设的模板进行匹配，确定匹配成功的模板和模板数量。
在步骤S103中，确定两个结构词共同匹配成功的模板的共同模板数量。
在步骤S104中，根据共同模板数量和两个结构词分别对应的模板数量， 确定两个结构词之间的结构相似度。
在步骤S105中，在预设短文本集合中，确定两个结构词共同匹配成功 的短文本的共同短文本数量。
在步骤S106中，根据共同短文本数量，确定两个结构词之间的校正值。
在步骤S107中，根据结构相似度及校正值，计算两个结构词之间的相 似度。
本公开实施例提供了一种确定词语相似度的方法，通过根据两个结构词 上下文的信息计算两个结构词的结构相似度，再根据两个结构词出现在相同 短文本中的次数，计算两个结构词之间的校正值，根据结构相似度及校正值， 计算两个结构词之间的相似度。利用简单的算法计算两个结构词之间的相似 度，节约了大量的计算量，并且提高了计算的准确度。
在一个实施例中，在步骤S104中的两个结构词之间的结构相似度是通 过以下公式计算，公式包括：
其中，Ss为两个结构词之间的结构相似度，T为两个结 构词共同匹配成功的模板的共同模板数量，Ta为一个结构词匹配成功的模板 的数量，Tb为另一个结构词匹配成功的模板的数量。
通过计算公式计算出的结构相似度时，只需要获得两个结构词共同匹配 成功的模板的共同模板数量及与两个结构词分别匹配成功的模板的数量，其 中，结构相似度是指两个结构词分别位于的模板相似的概率，通过计算两个 结构词共同出现在同一模板中的概率的平均值得出两个结构词之间的结构相 似度。通过将结构词放入模板中进行比较，可以使比较两个结构词的结构相 似度时，考虑到结构词上下文的语境，因此，通过上述公式计算的结构相似 度更符合两个结构词之间的语义。
在一个实施例中，在步骤S106中两个结构词之间的校正值是通过以下 公式计算，公式包括：
C＝(W+1)θ；其中，C为两个结构词之间的校正值，W为两个结构词共 同匹配成功的短文本的共同短文本数量，θ为校正系数，θ为正整数。
根据用词习惯，在同一个短文本中描述同一个意思时使用同一个词语， 因此，在同一个短文本中出现的两个不同的结构词认为这两个词的意思不相 同或不相似。由于在计算结构相似度时，计算的是两个结构词共同出现在同 一模板中的概率的平均值，而此时有这两个结构词用于同一短文本中的情况， 而根据上述用户词语习惯可知当两个结构词用于同一短文本中时，两个结构 词不相似或不相同，因此，应该排除两个结构词共同出现在同一短文本中的 这一情况。而通过校正值则可以确定当两个结构词共同出现在同一个短文本 中时，这两个结构词的相似度低。通过两个结构词共同匹配成功的短文本的 共同短文本数量，可以准确的计算出两个结构词之间的校正值，用以降低在 同一短文本中同时出现的两个结构词之间的相似度。
在一个实施例中，在步骤S107中两个结构词之间的相似度是通过以下 公式计算，公式包括：
其中，S为两个结构词之间的相似度。
通过结构相似度及校正值，计算两个结构词之间的相似度。由于结构相 似度表示两个结构词在使用时的上下文本结构相似，但此时两个结构词的词 义并不一定相似，因为如果两个结构词共同出现在同一短文本中时，则这两 个结构词的词义不相同或不相似，因此通过引入校正值排除此类的两个结构 词，提高了计算两个结构词之间的相似度的准确性，而且由于只需简单的算 法进行计算，所以也节约了大量的计算量。
在一个实施例中，在步骤102中，确定匹配成功的模板和模板数量，还 可实施为：
在步骤A1中，获得模板出现的次数。
在步骤A2中，当模板出现的次数大于预设阈值时，根据模板出现的次 数从多到少的顺序进行排列。
在步骤A3中，确定模板出现的次数从多到少的顺序中排在前N位的模 板为匹配成功的模板，其中，N为预设的正整数。
举例而言，针对“使用”及“剩余”在预设的模板中进行匹配，确定与两个 结构词匹配模板数量为40个。其中，“使用”有15个，“剩余”有25个。获得 每个模板出现的次数为，“使用”的模板出现的次数大于预设阈值的有10个， “剩余”的模板出现的次数大于预设阈值的有20个。当模板出现的次数大于预 设阈值时，根据模板出现的次数从多到少的顺序进行排列。在以模板出现的 次数从多到少的排序中取排在前25位的模板，而“使用”及“剩余”与之匹配的 模板的模板数量均小于25。则确定“使用”及“剩余”的模板均为匹配成功的模 板。即与“使用”匹配的模板数有10个，与“剩余”匹配的模板数有20个。
由于不同的短文本可能生成相同的模块，通过模板出现次数可以确定不 同的短文本的次数，因此，确定的匹配成功的模板更具有代表性，使计算结 构相似度时更准确。
在一个实施例中，模板是通过以下方式生成的：
在步骤B1中，从预设的短文本集合中获取短文本。
在步骤B2中，在短文本中根据除顿号以外的分隔符号，确定两个分隔 符号之间的文本段为短句。
在步骤B3中，确定短句中的结构词。
在步骤B4中，根据结构词及短句中词语的词性，生成模板。
举例而言，将通过动词找出的短句进行分词，动词本身用“[self]”代替， 其他非动词词语用该词语本身的词性代替，其他动词或者数据信息就直接填 自身做成模板。例如，对于动词“使用”，“套餐流量已使用40Mb”分词结果“套 餐流量/n，已/d，使用/v，40/m，Mb/qt”，n表示名词，d表示副词，v表示 动词，m表示数词，qt表示时间量词，做成模板为“n,d,[self],m,qt”。
通过结构词及短句中词语的记性，生成模板。可以仅利用简单的数据结 构生成模板，减少了模板生成时所需的运算资源。
如图2所示，本公开实施例提供了一种确定词语相似度的方法，具体实 施步骤如下：
在步骤S201中，从短文本中获取多个结构词。
短文本为“本用套餐流量为100Mb，套餐流量已使用40Mb，套餐剩余流 量60Mb。”其中，结构词为动词“为”、“使用”及“剩余”。
在步骤S202中，针对多个结构词中的每两个结构词，将两个结构词分 别与预设的模板进行匹配，获得模板出现的次数。
针对“使用”及“剩余”在预设的模板中进行匹配，确定与两个结构词匹配 模板数量为40个。其中，“使用”有15个，“剩余”有25个。获得每个模板出 现的次数为，“使用”的模板出现的次数大于预设阈值的有10个，“剩余”的模 板出现的次数大于预设阈值的有20个。
在步骤S203中，当模板出现的次数大于预设阈值时，根据模板出现的 次数从多到少的顺序进行排列。
在步骤S204中，确定模板出现的次数从多到少的顺序中排在前N位的 模板为匹配成功的模板。
本公开实施例中N为25，在以模板出现的次数从多到少的排序中取排在 前25位的模板，而“使用”及“剩余”与之匹配的模板的模板数量均小于25。 则确定“使用”及“剩余”的模板均为匹配成功的模板。即与“使用”匹配的模板 数有10个，与“剩余”匹配的模板数有20个。
在步骤S205中，确定两个结构词共同匹配成功的模板的共同模板数量。
“使用”及“剩余”共同匹配成功的模板的共同模板数量为10个。
在步骤S206中，通过公式计算两个结构词之间的结构相 似度；其中，Ss为两个结构词之间的结构相似度，T为两个结构词共同匹配 成功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为 另一个结构词匹配成功的模板的数量。
根据公式计算为则“使用”与“剩余”的结构相似 度为
在步骤S207中，在预设短文本集合中，确定两个结构词共同匹配成功 的短文本的共同短文本数量。
在预设的短文本集合中，确定“使用”与“剩余”共同匹配成功的短文本的 共同短文本数量为9。
在步骤S208中，通过公式C＝(W+1)θ计算两个结构词之间的校正值； 其中，C为两个结构词之间的校正值，W为两个结构词共同匹配成功的短文 本的共同短文本数量，θ为校正系数，θ为正整数。
根据公式计算为C＝10θ。其中，θ＝3，C＝1000。
在步骤S209中，根据公式计算两个结构词之间的相似度；其中， S为两个结构词之间的相似度。
根据公开计算所以“使用”与“剩余”的相似度为可以认为“使用”与“剩余”不相似。
本公开实施例提供了一种确定词语相似度的方法。在本公开实施例中“使 用”与“剩余”的结构相似度为说明“使用”与“剩余”在短文本的结构上判断 是相似的。但根据用词习惯，在同一个短文本中会用相同的词表示一个意思， 而如果在同一个短文本中出现两个词时，则这两个词的词意不相似，因此， 用结构相似度除以校正值，可以使两个出现在相同短文本中的结构词的相似 度下降，最终可以确认这两个结构词不相似。利用结构相似度及校正值，可 以减少计算相似度时所消耗的运算资源，并且由于校正值，可以使计算两个 结构词的相似度更能体现出两个结构词的词意是否相似。
如图3所示，本公开实施例提供一种确定词语相似度的方法，具体实施 步骤如下：
在步骤S301中，从预设的短文本集合中获取短文本。
获取的短文本为“本用套餐流量为100Mb，套餐流量已使用40Mb，套餐 剩余流量60Mb。”
在步骤S302中，在短文本中根据除顿号以外的分隔符号，确定两个分 隔符号之间的文本段为短句。
确定的短句为“本用套餐流量为100Mb”，“套餐流量已使用40Mb”，“套 餐剩余流量60Mb”。
在步骤S303中，确定短句中的结构词。
结构词为动词。确定短句中的动词分别为“为”，“使用”，“剩余”。
在步骤S304中，根据结构词及短句中词语的词性，生成模板。
动词本身用“[self]”代替，其他非动词词语用该词语本身的词性代替，其 他动词或者数据信息就直接填自身做成模板。例如，对于动词“使用”，“套餐 流量已使用40Mb”分词结果“套餐流量/n，已/d，使用/v，40/m，Mb/qt”，n 表示名词，d表示副词，v表示动词，m表示数词，qt表示时间量词，做成 模板为“n,d,[self],m,qt”。同理“本用套餐流量为100Mb”为“n,d,[self],m,qt”，“套 餐剩余流量60Mb”为“n,d,[self],m,qt”。
本公开实施例提供了一种确定词语相似度的方法。通过结构词及短句中 词语的记性，生成模板。可以仅利用简单的数据结构生成模板，减少了模板 生成时所需的运算资源。
图4是根据一示例性实施例示出的一种确定词语相似度的装置框图。参 照图4，该装置包括：
第一获取模块S41被配置为从短文本中获取多个结构词。
第一确定模块S42被配置为针对多个结构词中的每两个结构词，将两个 结构词分别与预设的模板进行匹配，确定匹配成功的模板和模板数量。
第二确定模块S43被配置为确定两个结构词共同匹配成功的模板的共同 模板数量。
第三确定模块S44被配置为根据共同模板数量和两个结构词分别对应的 模板数量，确定两个结构词之间的结构相似度。
第四确定模块S45被配置为在预设短文本集合中，确定两个结构词共同 匹配成功的短文本的共同短文本数量。
第五确定模块S46被配置为根据共同短文本数量，确定两个结构词之间 的校正值。
计算模块S47被配置为根据结构相似度及校正值，计算两个结构词之间 的相似度。
如图5所示，第一确定模块S42，还包括：
获得子模块S51被配置为获得模板出现的次数。
排序子模块S52被配置为当模板出现的次数大于预设阈值时，根据模板 出现的次数从多到少的顺序进行排列。
确定子模块S53被配置为确定模板出现的次数从多到少的顺序中排在前 N位的模板为匹配成功的模板，其中，N为预设的正整数。
如图6所示，模板是通过以下装置生成的：
第二获取模块S61被配置为从预设的短文本集合中获取短文本。
第六确定模块S62被配置为在短文本中根据除顿号以外的分隔符号，确 定两个分隔符号之间的文本段为短句。
第七确定模块S63被配置为确定短句中的结构词。
生成模块S64被配置为根据结构词及短句中词语的词性，生成模板。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有 关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种用于确定词语相似度的装置700 的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收 发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储 器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O) 的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫， 数据通信，相机操作和记录操作相关联的操作。处理元件702可以包括一个 或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外， 处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间 的交互。例如，处理部件702可以包括多媒体模块，以方便多媒体组件708 和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在设备700的操作。这 些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联 系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型 的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器 (SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读 存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)， 磁存储器，快闪存储器，磁盘或光盘。
电力组件706为装置700的各种组件提供电力。电力组件706可以包括 电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电 力相关联的组件。
多媒体组件708包括在该装置700和用户之间的提供一个输出接口的屏 幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。 如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入 信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上 的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触 摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包 括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式 或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每 个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光 学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包 括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式 和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号 可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中， 音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围 接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按 钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为装置700提供各个方面 的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态， 组件的相对定位，例如组件为装置700的显示器和小键盘，传感器组件714 还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触 的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器 组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附 近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图 像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还 可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感 器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的 通信。装置700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或 它们的组合。在一个示例性实施例中，通信部件716经由广播信道接收来自 外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通 信部件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC 模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB) 技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置700可以被一个或多个应用专用集成电路 (ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编 程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微 处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储 介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执 行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随 机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的 处理器执行时，使得移动终端能够执行一种确定词语相似度的方法，该方法 包括：
从短文本中获取多个结构词；
针对多个结构词中的每两个结构词，将两个结构词分别与预设的模板进 行匹配，确定匹配成功的模板和模板数量；
确定两个结构词共同匹配成功的模板的共同模板数量；
根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词 之间的结构相似度；
在预设短文本集合中，确定两个结构词共同匹配成功的短文本的共同短 文本数量；
根据共同短文本数量，确定两个结构词之间的校正值；
根据结构相似度及校正值，计算两个结构词之间的相似度。
在非临时性计算机可读存储介质中存储；
根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词 之间的结构相似度是通过以下公式计算，公式包括：
S s = 1 2 ( T T a + T T b ) ; ]]>
其中，Ss为两个结构词之间的结构相似度，T为两个结构词共同匹配成 功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为另 一个结构词匹配成功的模板的数量。
在非临时性计算机可读存储介质中存储：
根据共同短文本数量，确定两个结构词之间的校正值是通过以下公式计 算，公式包括：
C＝(W+1)θ；
其中，C为两个结构词之间的校正值，W为两个结构词共同匹配成功的 短文本的共同短文本数量，θ为校正系数，θ为正整数。
在非临时性计算机可读存储介质中存储：
其特征在于，根据结构相似度及校正值，计算两个结构词之间的相似度 是通过以下公式计算，公式包括：
S = S s C ; ]]>
其中，S为两个结构词之间的相似度。
在非临时性计算机可读存储介质中存储：
确定匹配成功的模板和模板数量，还包括：
获得模板出现的次数；
当模板出现的次数大于预设阈值时，根据模板出现的次数从多到少的顺 序进行排列；
确定模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的 模板，其中，N为预设的正整数。
在非临时性计算机可读存储介质中存储：
模板是通过以下方式生成的：
从预设的短文本集合中获取短文本；
在短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本 段为短句；
确定短句中的结构词；
根据结构词及短句中词语的词性，生成模板。
一种确定词语相似度的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为：
从短文本中获取多个结构词；
针对多个结构词中的每两个结构词，将两个结构词分别与预设的模板进 行匹配，确定匹配成功的模板和模板数量；
确定两个结构词共同匹配成功的模板的共同模板数量；
根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词 之间的结构相似度；
在预设短文本集合中，确定两个结构词共同匹配成功的短文本的共同短 文本数量；
根据共同短文本数量，确定两个结构词之间的校正值；
根据结构相似度及校正值，计算两个结构词之间的相似度。
该处理器还可被配置为：
根据共同模板数量和两个结构词分别对应的模板数量，确定两个结构词 之间的结构相似度是通过以下公式计算，公式包括：
S s = 1 2 ( T T a + T T b ) ; ]]>
其中，Ss为两个结构词之间的结构相似度，T为两个结构词共同匹配成 功的模板的共同模板数量，Ta为一个结构词匹配成功的模板的数量，Tb为另 一个结构词匹配成功的模板的数量。
该处理器还可被配置为：
根据共同短文本数量，确定两个结构词之间的校正值是通过以下公式计 算，公式包括：
C＝(W+1)θ；
其中，C为两个结构词之间的校正值，W为两个结构词共同匹配成功的 短文本的共同短文本数量，θ为校正系数，θ为正整数。
该处理器还可被配置为：
根据结构相似度及校正值，计算两个结构词之间的相似度是通过以下公 式计算，公式包括：
S = S s C ; ]]>
其中，S为两个结构词之间的相似度。
该处理器还可被配置为：
确定匹配成功的模板和模板数量，还包括：
获得模板出现的次数；
当模板出现的次数大于预设阈值时，根据模板出现的次数从多到少的顺 序进行排列；
确定模板出现的次数从多到少的顺序中排在前N位的模板为匹配成功的 模板，其中，N为预设的正整数。
该处理器还可被配置为：
模板是通过以下方式生成的：
从预设的短文本集合中获取短文本；
在短文本中根据除顿号以外的分隔符号，确定两个分隔符号之间的文本 段为短句；
确定短句中的结构词；
根据结构词及短句中词语的词性，生成模板。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本 公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性 变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公 开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被 视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确 结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所 附的权利要求来限制。