一种基于百科数据提取集成的查询系统.pdf

本发明涉及一种基于百科数据提取集成的查询系统，其特征在于：它包括数据提取模块、数据集成模块和数据查询模块；数据提取模块用于从因特网上提取百科网页，定位和初步过滤各类百科网页中的表格，之后进行基于视觉特征的定位和提取；将提取的表格统一转换成行表的形式，将具有相同特征参数的表格归为一类，提取和识别出每类表格的分类信息，将分类信息保存在信息数据库和XML数据库中；数据集成模块对表格进行分类并按类别打分；之后采用集成的方法，将具有相同属性的表格归并到同一个模式库中；对各模式库中的模式信息进行聚类，输出模式聚类和推荐模式；数据查询模块在信息数据库中查找对应的表格信息；输出查询结果和推荐模式。

1、  一种基于百科数据提取集成的查询系统，其特征在于：它包括数据提取模块、数据集成模块和数据查询模块；所述数据提取模块用于从因特网上提取百科网页，定位和初步过滤各类百科网页中的表格，之后进行基于视觉特征的定位和提取；将提取的表格统一转换成行表的形式，将解析得到的行表的参数数据缓存在系统的内存中并进行归类；将具有相同特征参数的表格归为一类，提取和识别出每类表格的分类信息，将分类信息保存在信息数据库和XML数据库中；
所述数据集成模块对表格进行分类并按类别打分；之后采用集成的方法，将具有相同属性的表格归并到同一个模式库中；对各模式库中的模式信息进行聚类，输出模式聚类和推荐模式；
所述数据查询模块对用户输入的查询条件进行解释，提取出关键词，根据关键词的类型在所述XML数据库中查找分类目录，在信息数据库中查找对应的表格信息；输出查询结果和推荐模式。

2、  如权利要求1所述的一种基于百科数据提取集成的查询系统，其特征在于：所述基于视觉特征的定位和提取方法为，利用网页中表格包含的标记定位并过滤无效表格；再通过辨别所述标记内的表格结构标记来提取表格。

3、  如权利要求1所述的一种基于百科数据提取集成的查询系统，其特征在于：所述特征函数的归类方法为，采用机器学习的分类模型对判断表格是否符合各项设定的一致性特征的要求，将具有相同参数数据的表格归纳为一类。

4、  如权利要求2所述的一种基于百科数据提取集成的查询系统，其特征在于：所述特征函数的归类方法为，采用机器学习的分类模型对判断表格是否符合各项设定的一致性特征的要求，将具有相同参数数据的表格归纳为一类。

5、  如权利要求1或2或3或4所述的一种基于百科数据提取集成的查询系统，其特征在于：所述分类信息包括表格的参数数据、单元格内容数据和分类目录，所述参数数据和单元格内容数据存储在所述信息数据库中，所述分类目录存储在所述XML数据库中。

6、  如权利要求1或2或3或4所述的一种基于百科数据提取集成的查询系统，其特征在于：所述集成的方法为，首先创建一个结果集合，集成开始之前所述结果集合中只包含有分数最高的表格；之后从一个类别中读取出所有表格，对所有表格进行打分，再将表格按照分数从高到低进行排序，然后放入结果集合中；将所述结果集合内外的表格的属性进行比较判断，将具有相同属性的表格归并到同一个模式库中。

7、  如权利要求5所述的一种基于百科数据提取集成的查询系统，其特征在于：所述集成的方法为，首先创建一个结果集合，集成开始之前所述结果集合中只包含有分数最高的表格；之后从一个类别中读取出所有表格，对所有表格进行打分，再将表格按照分数从高到低进行排序，然后放入结果集合中；将所述结果集合内外的表格的属性进行比较判断，将具有相同属性的表格归并到同一个模式库中。

一种基于百科数据提取集成的查询系统
技术领域
本发明涉及一种数据检索系统，特别是一种基于百科数据提取集成的查询系统。
背景技术
随着网络信息技术的迅速发展，互联网的数据量发生了爆炸式的增长，用户越来越多地希望在查询信息的同时，查询系统能够直接将信息以结构化的表格形式呈现出来，例如：对同一类别的某种产品各个性能参数的查询，对气象信息的查询等。因此，如何快速、有效地检索到需要的网络数据受到了广泛的关注，目前的查询技术为基于关键词的信息检索技术。
传统的基于关键词的信息检索技术具有几下几种缺陷：一方面，网页中的内容组织形式越来越多样化，基于关键词的查找不能反映出结构化数据的信息特征；另一方面，越来越多的数据以结构化的形式存在于网页中，特别是描述性网页文件中，比如百科网页等。因此，传统的基于关键词的信息检索技术已经满足不了查找结构化信息的要求。
发明内容
针对上述问题，本发明的目的是提供一种能够直接将查询到的结构化表格呈现出来的基于百科数据提取集成的查询系统。
为实现上述目的，本发明采取以下技术方案：一种基于百科数据提取集成的查询系统，其特征在于：它包括数据提取模块、数据集成模块和数据查询模块；所述数据提取模块用于从因特网上提取百科网页，定位和初步过滤各类百科网页中的表格，之后进行基于视觉特征的定位和提取；将提取的表格统一转换成行表的形式，将解析得到的行表的参数数据缓存在系统的内存中并进行归类；将具有相同特征参数的表格归为一类，提取和识别出每类表格的分类信息，将分类信息保存在信息数据库和XML数据库中；所述数据集成模块对表格进行分类并按类别打分；之后采用集成的方法，将具有相同属性的表格归并到同一个模式库中；对各模式库中的模式信息进行聚类，输出模式聚类和推荐模式；所述数据查询模块对用户输入的查询条件进行解释，提取出关键词，根据关键词的类型在所述XML数据库中查找分类目录，在信息数据库中查找对应的表格信息；输出查询结果和推荐模式。
所述基于视觉特征的定位和提取方法为，利用网页中表格包含的标记定位并过滤无效表格；再通过辨别所述标记内的表格结构标记来提取表格。
所述特征函数的归类方法为，采用机器学习的分类模型对判断表格是否符合各项设定的一致性特征的要求，将具有相同参数数据的表格归纳为一类。
所述分类信息包括表格的参数数据、单元格内容数据和分类目录，所述参数数据和单元格内容数据存储在所述信息数据库中，所述分类目录存储在所述XML数据库中。
所述集成的方法为，首先创建一个结果集合，集成开始之前所述结果集合中只包含有分数最高的表格；之后从一个类别中读取出所有表格，对所有表格进行打分，再将表格按照分数从高到低进行排序，然后放入结果集合中；将所述结果集合内外的表格的属性进行比较判断，将具有相同属性的表格归并到同一个模式库中。
本发明由于采取以上技术方案，其具有以下优点：1、本发明通过提取网络中百科数据中的表格信息，采用了基于类别的表格集成技术，能够将不同网页中相同类别的信息聚合起来，与现有的信息检索技术相比，查询的结果更加具有可显示特性和可展示特性，数据质量比传统网页的数据质量更高。2、本发明提供了多种检索方法，用户不仅可以输入关键词进行信息检索，而且可以通过输入标签检索格式和结构化查询语言的方式进行信息检索。3、本发明对底层的数据采取信息数据库的存储方式，并使用XML数据库辅助查询，与传统的XML数据库查询相比，不仅能够保留结构化信息，还具有查询速度快，操作简单的优点。本发明可广泛用于网络的数据检索领域。
附图说明
图1是本发明的百科数据提取模块结构示意图
图2是本发明的百科数据集成模块结构示意图
图3是本发明的查询模块结构示意图
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本发明的系统包括：数据提取模块1、数据集成模块2和数据查询模块3。如图1所示，数据提取模块1包括文档提取和过滤模块11、元数据类别识别模块12、表格数据定位模块13、定位和提取模块14、识别类型模块15、表格解析模块16、特征函数模块17和关系类型识别模块18。其中，文档提取和过滤模块11用于从因特网上的百科数据库中提取出用户需要的百科网页，然后对百科网页文档进行过滤，即去掉主题与用户查询的主题不相关的网页，如广告、带有垃圾信息的网页等。元数据类别识别模块12用于对过滤后的百科网页文档进行元数据类别的识别，即提取出百科网页的主题和百科网页中表格标题的中心词，之后根据这些中心词将相同类别主题的百科网页归并在一起。表格数据定位模块13利用因特网的配置文件定位经过过滤并归类过的百科网页中的表格信息，即找到各类百科网页中符合要求的表格，同时过滤掉一些不符合要求的表格，即对表格进行一次过滤；比如，如果表格的行和列的数目都比较小，则一般不是有用的表格数据。本发明的实施例中，表格数据定位模块13过滤掉不符合以下条件的表格：行和列的数目分别大于等于3，表格内部图片的数目不能超过一个定值，每一个单元格的内容不能超过设定的最大长度值。
定位和提取模块14用于将初步过滤后的表格进行基于视觉性特征的表格数据的定位和提取，即对表格进行二次过滤。本发明对表格进行基于视觉规则的定位和提取的方法是：由于百科网页中的结构化表格信息主要采用HTML的表格形式，即一个表格由多个单元格组成，而HTML页面中网页显示符合规范的表格通常包含在标记<table>与</table>之间；因此本发明利用这些标记定位并过滤掉表格中的无效表格。无效表格通常为表格格式不整齐、结构复杂、本身表格一般不具备实际意义的表格，如(1)框架表格：这种表格不含有实际的内容，仅起到装饰网页的作用；(2)无<table>标记的表格：不是以<table>标记而是利用其他标记如<div>、<li>等表示的表格；(3)嵌套表格：即在一个大的表格中，再嵌进去一个或几个小的表格，即插入到表格单元格中的表格。
对表格定位并过滤后，通过辨别<table>标记内的表格结构标记来提取表格。如<caption>表示表格标题信息；<th>表示表格内的表头单元格信息；<tr>表示表格行信息；<td>表示数据项信息；<NULL>表示表格中的无意义的单元格；还有一些像<td bgcolor>、<font>等用作装饰的表格结构标记，这些表格结构标记均用来标识表格的显示信息。本发明的实施例中采用的表格结构标记如表1所示，通过对表1中的7项表格结构标记进行设定，然后按照这7项表格结构标记对表格进行提取，表格结构标记可以任意选取及组合，不限于表1中的组合形式。
表1：表格结构标记