一种在中文文本中识别汽车昵称的方法和装置.pdf

本发明公开了一种在中文文本中识别汽车昵称的方法和装置；所述方法包括：选择多个含有至少一种汽车昵称的文本作为训练集，标注出训练集中各文本中出现的汽车昵称，并根据所述训练集确定对应于各种昵称组成方式的多个状态模板；抓取网页中的文本，将该文本分割为句子，分别对各句中包含的每个字标注其观察类型，得到分别对应于各句的观察序列；根据所述训练集为所得到的各观察序列分别选择最大可能的状态序列；分别根据所计算出的状态序列中每个词的状态，将各状态序列与所述状态模板进行匹配，确认状态序列中与所述状态模板中的一种相匹配的部分为昵称。本发明可以准确识别出文本中出现的昵称。

1、  一种在中文文本中识别汽车昵称的方法，包括：
选择多个含有至少一种汽车昵称的文本作为训练集，标注出训练集中各文本中出现的汽车昵称，并根据所述训练集确定对应于各种昵称组成方式的多个状态模板；
抓取网页中的文本，将该文本分割为句子，分别对各句中包含的每个字标注其观察类型，得到分别对应于各句的观察序列；
根据所述训练集为所得到的各观察序列分别选择最大可能的状态序列；
分别根据所计算出的状态序列中每个词的状态，将各状态序列与所述状态模板进行匹配，确认状态序列中与所述状态模板中的一种相匹配的部分为昵称。

2、  如权利要求1所述的方法，其特征在于，还包括：
建立一个单字形容词库；
对各句中包含的每个字进行标注时，将每个字标注为以下观察类型中的一种：主体词、单字形容词、字母序列、数字序列、语气词以及其他；当一个字在所述单字形容词库中存在时，标注为单字形容词。

3、  如权利要求1所述的方法，其特征在于，所述状态序列中的状态包括以下类型：
前缀、主体词、后缀及其它；
所述状态模板包括：
前缀加后缀、前缀加主体词、主体词加后缀、前缀加主体词加后缀、以及主体词。

4、  如权利要求1到3中任一项所述的方法，其特征在于，根据所述训练集为所得到的各观察序列分别选择最大可能的状态序列是指：
采用基于HMM-Viterbi的模型，用所述训练集进行模型训练，得到状态转移矩阵及状态发射矩阵；通过Viterbi算法寻优计算出各观察序列最大可能的状态序列。

5、  如权利要求4所述的方法，其特征在于，通过Viterbi算法寻优计算出各观察序列最大可能的状态序列是指：
对于各所述观察序列T＝(t₁，t₂，...t_m)，m＞0，其状态序列S为(s₁，s₂，...s_m)，m＞0；则
S1#=argmaxSΠi=1m{lnP(ti|si)+lnP(si|Si-1)}]]>
分别得到各个T最匹配的状态序列S^#，S^#为最接近S₁^#的状态序列。

6、  一种在中文文本中识别汽车昵称的装置，其特征在于，包括：
存储单元，用于保存训练集；所述训练集包含多个含有至少一种汽车昵称的文本，并且各所述文本中出现的汽车昵称已标注出；以及保存对应于各种昵称组成方式的多个状态模板；
提取单元，用于抓取网页中的文本，将该文本分割为句子，分别对各句中包含的每个字标注其观察类型，得到分别对应于各句的观察序列；
选择单元，用于根据所述训练集为所得到的各观察序列分别计算最大可能的状态序列；
匹配单元，用于分别根据所计算出的状态序列中每个词的状态，将各状态序列与所述状态模板进行匹配，确认状态序列中与所述状态模板中的一种相匹配的部分为昵称。

7、  如权利要求6所述的装置，其特征在于：
所述存储单元还用于保存单字形容词库；
所述提取单元对各句中包含的每个字进行标注时，将每个字标注为以下观察类型中的一种：主体词、单字形容词、字母序列、数字序列、语气词以及其他；当一个字在所述单字形容词库中存在时，标注为单字形容词。

8、  如权利要求6所述的装置，其特征在于，所述状态序列中的状态包括以下类型：
前缀、主体词、后缀及其它；
所述存储单元保存的状态模板包括：
前缀加后缀、前缀加主体词、主体词加后缀、前缀加主体词加后缀、以及主体词。

9、  如权利要求6到8中任一项所述的装置，其特征在于，所述选择单元具体包括：
训练模块，用于根据所述训练集进行模型训练，得到状态转移矩阵及状态发射矩阵；所述模型为基于HMM-Viterbi的模型；
计算模块，用于通过Viterbi算法寻优计算出各观察序列最大可能的状态序列。

10、  如权利要求9所述的装置，其特征在于，所述计算模块通过Viterbi算法寻优计算出各观察序列最大可能的状态序列是指：
所述计算模块对于各所述观察序列T＝(t₁，t₂，...t_m)，m＞0，其状态序列S为(s₁，s₂，...s_m)，m＞0；得到T最匹配的状态序列S^#为最接近S₁^#的状态序列；S₁^#为：
S1#=argmaxSΠi=1m{lnP(ti|si)+lnP(si|Si-1)}.]]>

一种在中文文本中识别汽车昵称的方法和装置
技术领域
本发明涉及信息检索领域，尤其涉及一种在中文文本中识别汽车昵称的方法和装置。
背景技术
伴随着互联网的高速发展，人们的生活越来越依赖于网络。而一种新的文化正在渐渐的形成。人们越来越多地使用昵称以及简短的称呼来代替一些物品的原有名称。昵称，也就是俗称的小名。昵称一般用于日常生活中，多见于口语。用以表达一种喜爱之情。昵称和简称是有重叠的，有时候简称也是一种昵称。人们为了简化某些复杂的称呼便用昵称来代替。
随着经济的发展，拥有私人汽车的人越来越多，人们越来越多地在网上交流对车的使用心得。不仅仅是和汽车有关的新闻，人们在买车的时候会更多地注重已拥有同款车型的车主的感受，而不是很多记者写的介绍基本型号、性能的新闻评论类文章。并且人们的车如果遇见问题，也经常会上网求助大家，所以，论坛上车主的帖子往往会有极高的价值。可问题也随之而来，绝大部分车主都会给自己心爱的汽车起昵称或者用别名来称呼。车名、型号这些数据都可以直接抓取，建立对应的库便可以轻松的处理。可汽车昵称却多种多样。比如在某个论坛的马自达子论坛中有如下文本：
马六音响精彩升级
马六车型用的是美国BOSE的音响。不过BOSE的音响现在基本都是贴牌生产的。而且BOSE的汽车音响远没有在家庭音响中影响力那么大，可以说是性价比很低的产品，在汽车音响中属于入门级的产品，因而缺乏竞争力，这也是为什么在零售市场上很难看到BOSE汽车音响的原因。
据4S店的人员介绍，马六轿跑的原车音响价值超过一万元。刚开始听的时候确实比其他车效果要好。但听久了发现也很一般，主要是高中音层次感不强，声音容易混，低音下潜不够。后来把原车喇叭拆下来后发现了原因所在。
在本例中，马六即马自达六的昵称。
现有的命名实体识别的技术很多已经比较成熟，命名实体(NamedEntity，简称NE)是指识别文本中具有特定意义的实体。主要包括人名、地名、机构名、时间、数字以及专有名词等六种。但是，现有的命名实体识别的技术基本都集中在传统的命名实体识别问题上，譬如人名、地名、机构名、时间、数字等等。而现在人们已经开始关注一些特殊的命名实体识别问题，譬如产品名命名实体识别、缩略语识别以及生物学领域内的术语变形识别。但是，这些方法在昵称识别的时候都不适用。
发明内容
本发明要解决的技术问题是提供一种在中文文本中识别汽车昵称的方法和装置，能够根据昵称独有的特征来进行文本中昵称的识别。
为了解决上述问题，本发明提供了一种在中文文本中识别汽车昵称的方法，包括：
选择多个含有至少一种汽车昵称的文本作为训练集，标注出训练集中各文本中出现的汽车昵称，并根据所述训练集确定对应于各种昵称组成方式的多个状态模板；
抓取网页中的文本，将该文本分割为句子，分别对各句中包含的每个字标注其观察类型，得到分别对应于各句的观察序列；
根据所述训练集为所得到的各观察序列分别选择最大可能的状态序列；
分别根据所计算出的状态序列中每个词的状态，将各状态序列与所述状态模板进行匹配，确认状态序列中与所述状态模板中的一种相匹配的部分为昵称。
进一步地，所述的方法还包括：
建立一个单字形容词库；
对各句中包含的每个字进行标注时，将每个字标注为以下观察类型中的一种：主体词、单字形容词、字母序列、数字序列、语气词以及其他；当一个字在所述单字形容词库中存在时，标注为单字形容词。
进一步地，所述状态序列中的状态包括以下类型：
前缀、主体词、后缀及其它；
所述状态模板包括：
前缀加后缀、前缀加主体词、主体词加后缀、前缀加主体词加后缀、以及主体词。
进一步地，根据所述训练集为所得到的各观察序列分别选择最大可能的状态序列是指：
采用基于HMM-Viterbi的模型，用所述训练集进行模型训练，得到状态转移矩阵及状态发射矩阵；通过Viterbi算法寻优计算出各观察序列最大可能的状态序列。
进一步地，通过Viterbi算法寻优计算出各观察序列最大可能的状态序列是指：
对于各所述观察序列T＝(t₁，t₂，...t_m)，m＞0，其状态序列S为(s₁，s₂，...s_m)，m＞0；则
S1#=argmaxSΠi=1m{lnP(ti|si)+lnP(si|Si-1)}]]>
分别得到各个T最匹配的状态序列S^#，S^#为最接近S₁^#的状态序列。
本发明还提供了一种在中文文本中识别汽车昵称的装置，包括：
存储单元，用于保存训练集；所述训练集包含多个含有至少一种汽车昵称的文本，并且各所述文本中出现的汽车昵称已标注出；以及保存对应于各种昵称组成方式的多个状态模板；
提取单元，用于抓取网页中的文本，将该文本分割为句子，分别对各句中包含的每个字标注其观察类型，得到分别对应于各句的观察序列；
选择单元，用于根据所述训练集为所得到的各观察序列分别计算最大可能的状态序列；
匹配单元，用于分别根据所计算出的状态序列中每个词的状态，将各状态序列与所述状态模板进行匹配，确认状态序列中与所述状态模板中的一种相匹配的部分为昵称。
进一步地，所述存储单元还用于保存单字形容词库；
所述提取单元对各句中包含的每个字进行标注时，将每个字标注为以下观察类型中的一种：主体词、单字形容词、字母序列、数字序列、语气词以及其他；当一个字在所述单字形容词库中存在时，标注为单字形容词。
进一步地，所述状态序列中的状态包括以下类型：
前缀、主体词、后缀及其它；
所述存储单元保存的状态模板包括：
前缀加后缀、前缀加主体词、主体词加后缀、前缀加主体词加后缀、以及主体词。
进一步地，所述选择单元具体包括：
训练模块，用于根据所述训练集进行模型训练，得到状态转移矩阵及状态发射矩阵；所述模型为基于HMM-Viterbi的模型；
计算模块，用于通过Viterbi算法寻优计算出各观察序列最大可能的状态序列。
进一步地，所述计算模块通过Viterbi算法寻优计算出各观察序列最大可能的状态序列是指：
所述计算模块对于各所述观察序列T＝(t₁，t₂，...t_m)，m＞0，其状态序列S为(s₁，s₂，...s_m)，m＞0；得到T最匹配的状态序列S^#为最接近S₁^#的状态序列；S₁^#为：
S1#=argmaxSΠi=1m{lnP(ti|si)+lnP(si|Si-1)}.]]>
本发明针对昵称的命名规则，昵称的特点等设计了昵称识别的技术方案，可以准确识别出文本中出现的昵称。使用该模型识别出的汽车昵称可以建立汽车昵称知识库；然后应用该汽车昵称知识库在汽车领域内进行数据挖掘、信息提取等，还可以用于改进汽车领域内的搜索引擎。
附图说明
图1为实施例一中例子里维特比算法I的转移矩阵的示意图；
图2为实施例一中例子里维特比算法II的角色选择示意图；
图3为实施例二中在中文文本中识别汽车昵称的装置的示意框图。
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
本发明的技术方案首先给定汽车昵称一个数学定义，通过对该定义的分析，使用机器学习的方法来得到模型，使用该模型识别出的汽车昵称可以建立汽车昵称知识库；然后应用该汽车昵称知识库在汽车领域内进行数据挖掘、信息提取等，还可以用于改进汽车领域内的搜索引擎。
实施例一，一种在中文文本中识别汽车昵称的方法，包括：
A、采集数据，选择多个含有至少一种汽车昵称的文本作为训练集，手动标注出训练集中各文本中出现的汽车昵称和昵称所对应的标准名，并根据所述训练集确定对应于各种昵称组成方式的多个状态模板；
本实施例中，选取国内比较著名的几大汽车论坛，从中选取了若干篇文章。经过手动筛选，选出含有至少一种汽车昵称的文章，作为训练集。对训练集的数据手动标注出现在各文章中的汽车昵称和昵称所对应的标准名，并确定对应于各种昵称组成方式的多个状态模板。
比如一些汽车厂家的汽车的常见昵称如下：
一汽马自达——马自达六：马六(马6)；
一汽马自达——马自达三：马三(马3，马叁，马III)；
长安福特马自达福克斯——小福，小红福；
一汽大众——迈腾：小迈，MT，小M，小T，小MT，TT，MM；
一汽大众——宝来：宝宝，小宝，小BB；
一汽丰田——锐志：小R，RZ；
东风雪铁龙——C2：小C；
长安铃木——羚羊：小羊，羊羊；
先对昵称进行一个详细的定义。本实施例中，定义昵称包括3个部分：前缀、主体词、后缀；昵称定义方式及例子如表1所示：
表1、昵称定义