面向广域网的多源应急信息自动整合系统及方法 【技术领域】
本发明涉及一种面向广域网的多源应急信息自动整合系统及方法。
背景技术
数据是组成信息的基本元素，各种原始数据的积累与集中是一个组织机构开展业务的底层基础，而这些数据大多数是由各种应用系统所生成的结构化数据。企业的结构化数据存放在各种不同的数据库中，新增加的每个企业应用系统都会带来一系列新的结构化数据。数据整合就是对分散异构的多数据源实现统一的访问，实时地、智能地将有价值的数据传递给分析系统或其他应用系统，进行信息的进一步加工。数据整合的目的是将不同的数据库集成起来，提供一种单一的虚拟数据库，这样就不会出现与核心业务不一致的多个数据库。信息整合已经从组织行为上升到国家信息化发展战略。信息渗透并被应用到社会的各个层面，信息化水平高低已经成为衡量一个国家现代化水平和综合国力的重要标志。
信息整合是指运用整合的思想和方法，创造性地对各种信息资源进行优化并按照一定的整合模式将信息资源构造成为一个有机整体，从而更大程度地提升灾害信息资源的整体效能，更加有效地支持特定目标实现的动态过程。信息整合也可以定义为依据信息化发展趋势在一定组织的领导下，实现对信息资源进行序洁化、共享化、协调化，进而拓宽信息资源应用领域和挖掘信息价值的管理过程。
信息整合的概念，最早来自企业信息化应用，由J Harrington在1973年提出，J Harrington首次提出计算机集成制造(CIM)的概念，即以集成思想为指导，通过信息技术的方法和手段，将企业的生产经营过程有机地整合起来。20世纪90年代，伴随着信息技术的飞速发展、信息系统的广泛使用以及全球化经济环境的逐步形成，在以企业合并、精简规模和电子商务为特征的新经济时代，信息技术已成为推动国家发展和社会进步的最重要的力量之一，以信息整合为特征的集成化信息系统体系结构研究逐渐成为研究热点。
灾害信息与突发事件对社会经济发展提出了挑战，应急管理正逐步成为政府的重要职责，面向应急管理的信息技术体系在突发事件监测监控、预测预警、辅助决策和总体评估等各个环节正发挥着越来越重要的作用。地理信息是整合各种突发事件相关信息的基础和框架，尤其是河流、地名等基础地理信息，不仅成为各专业应急部门在进行信息加载、分析、展示不可缺少的基础性信息资源，而且在跨部门信息互联互通和共享整合应用中起着“桥梁”的作用。
灾情与突发事件发生后，来自不同应急部门的信息，缺乏统一的规范和数据格式，造成信息共享之间存在“鸿沟”，为部门之间数据共享带来障碍，迫切的需要应急信息自动交换与整合的平台软件来整合这些异构、异地、多源的信息。
地理空间信息在信息资源中占有重要地位，据统计约有80％的信息与地理位置有关。各个空间数据生产单位在数据组织格式上有着各自的数据标准，一个部门的数据拿到另一个部门往往就不能就不能够使用，随着信息化建设的不断提高，这种矛盾越来越突出，空间信息整合的需求也就越来越迫切，需要建立一个“桥梁”连接各个地理空间数据源。面向广域网的多源应急信息自动整合方法实现整合广域网中多源应急信息，以满足应急部门之间信息的快速交换的需求。
空间数据整合属于数据整合的范畴，如何实现异地、异构、多源的空间信息访问和应用问题，一直以来成为研究的热点和难点。在灾情发生时来源与不同部门的应急信息，迫切需要实现快速交换与自动整合。
【发明内容】
在考虑现有技术存在上述问题的基础上，设计了本发明。本发明的目的在于解决分布式网络环境下跨部门的多源应急信息自动整合问题。
为实现上述目的，本发明提供一种面向广域网的多源应急信息自动整合方法，一种面向广域网的多源应急信息自动整合系统，所述系统包括地理空间信息整合模块和运行管理工具模块，其中，所述地理空间信息整合模块集成ETL引擎，并负责地理空间信息的不同类型数据的抽取、转换和装载，从而实现地理空间信息从源数据库到目标数据库的交换和整合；所述运行管理工具模块将所有与地理空间信息整合相关的运行管理功能通过服务调用的方式统一管理，对系统的服务、安全、运行等各环节进行实时监控，对系统运行的关键信息进行记录，对系统的基础性运行资源进行管理。
优选的，所述面向广域网的多源应急信息自动整合系统包括有创建任务模块、任务列表模块、系统配置模块，在创建任务模块中，创建来源于广域网的不同部门、不同类型的应急信息，成功创建后任务会加入到任务列表中；任务列表模块进行任务运行状态的控制；系统配置模块，提供远程数据连接、本地数据库配置、以及交换目录设置。
优选的，所述面向广域网的多源应急信息自动整合系统还包括有应急平台，在需要进行应急信息整合的多台应用服务器上部署交换节点，通过数据抽取、数据转换和数据清洗，实现基于广域网的多源应急信息的自动交换与整合，转换结果存储于统一时间参考、逻辑属性和空间参照的应急平台数据中心的数据库中。
优选的，所述应急平台包括数据资源接入层、空间数据整合平台、数据发布与服务层和应用层，通过空间数据整合平台实现地理空间信息基于网络的自动传输、加载与整合，形成参照一致、格式统一、内容完备的应急平台地理空间信息整合数据库。
优选的，所述地理空间信息整合模块具有Casm.Base，Casm.Data.Trans，File2db，FileGrabber，其中，Casm.Base是多源数据模型的基类，该基类定义了ETL引擎所能识别的典型数据模型，Casm.Data.Trans完成数据格式的转换，File2db实现将转换得到的文件统一录入到相应数据库中，FileCrabber负责远程数据获取。
优选的，所述运行管理工具模块包括有AgentViewer、TaskManager、以及MainApp，其中，AgentViewer是运行界面相关操作类，TaskManager实现任务运行状态的管理和控制，MainApp是运行管理工具的主控制模块。
另外，提供一种面向广域网的多源应急信息自动整合系统的整合方法，所述整合方法包括地理信息数据抽取阶段、数据转换阶段、以及数据装载阶段；其中在地理信息数据抽取阶段，源数据库中符合条件的地理空间信息被提取出来；在数据转换阶段，提取出的地理空间信息按照指定的映射模型被转换为指定参照格式和模型的地理信息；在数据装载阶段，经转换后的地理空间信息被装入指定的目标数据库。
优选的，所述整合方法在广域网中的各个节点上分布进行，并接受人工干预。
【附图说明】
图1是根据本发明的面向广域网的多源应急信息自动整合系统的ETL引擎模型图；
图2是根据本发明的面向广域网的多源应急信息自动整合系统的地理空间信息整合模块运行示意图；
图3是根据本发明的面向广域网的多源应急信息自动整合系统的功能模块图；
图4a-4c是根据本发明的面向广域网的多源应急信息自动整合系统的地理空间信息整合模块的类图；
图5是根据本发明的面向广域网的多源应急信息自动整合系统的运行管理工具模块的类图；
图6是根据本发明的面向广域网的多源应急信息自动整合系统的数据整合平台示意图。
【具体实施方式】
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
根据本发明的面向广域网的多源应急信息自动整合系统包括地理空间信息整合模块和运行管理工具模块。
其中，地理空间信息整合模块集成ETL引擎，该模块的设计采用面向对象编程思想，设计有Casm.Base，Casm.Data.Trans，File2db，FileGrabber等类，分别负责不同类型数据的抽取、转换和装载。其中，Casm.Base是多源数据模型的基类，其中定义了ETL引擎所能识别的典型数据模型，Casm.Data.Trans完成数据格式的转换，File2db实现将转换得到的文件统一录入到应急中心数据库中，FileCrabber负责远程数据获取，数据源可以是Http网址、FTP远程文件、本地目录、本地文件、SQL数据库、Oracle数据库。
图1是根据本发明的面向广域网的多源应急信息自动整合系统的ETL引擎模型图。
如图1所示，面向广域网的多源应急信息自动整合系统采用基于ETL的数据整合引擎。ETL(Extract-Transfer-Load，即数据抽取-转换-装载)模型较好地解决了异地、多源、异构地理空间信息的访问和应用问题。在地理信息数据抽取阶段，源数据库中符合条件的地理空间信息被提取出来；在数据转换阶段，提取出的地理空间信息按照指定的映射模型被转换为指定参照格式和模型的地理信息；在数据装载阶段，经转换后的地理空间信息被装入指定的目标数据库，该过程实现了地理空间信息从源数据库到目标数据库的交换和整合，在广域网中的各个节点上分布进行，也可接受人工干预。
另外，如图2所示，地理空间信息整合模块包括数据格式转换、空间参照与投影坐标体系变换、空间数据模型变换与数据清洗等功能，支持常规空间数据如Shapefile文件(ESRI)、Coverage文件(ESRI)等、非空间数据如文本文件、Excel表格、DBF文件、数据库、在线数据服务等，通过相应格式适配器模块进行识别，利用模式适配器进行转换，使其具有统一空间参照、时间参照和逻辑属性。在图2中，源数据可以是上述常规空间数据或上述非空间数据，所述源数据经过ETL数据整合引擎1的整合，变换为具有统一空间参照、时间参照和逻辑属性的目标数据。所述ETL数据整合引擎1包括适配器模块2以及数据转换模块3。所述适配器模块2包括与需转换源数据对应的适配器，比如与Shapefile对应的Shapefile适配器，与Coverage对应的Coverage适配器，与DBF对应的DBF适配器，与数据库对应的数据库适配器等等。数据转换模块3包括数据清洗器、空间参照与投影转换器、逻辑属性转换器、以及空间数据模型转换器。
运行管理工具模块将所有与地理空间信息整合相关的运行管理功能通过服务调用的方式统一管理起来，对系统的服务、安全、运行等各环节进行实时监控，对系统运行的关键信息进行记录，对系统的基础性运行资源进行管理。
根据本发明的面向广域网的多源应急信息自动整合系统是针对广域网中来自多个应急部门的灾情信息实现自动交换与整合，主要用于各个应急信息处理部门。根据应急信息部门的需求，系统可以实现来自水利部门的江河水情信息、水库水情信息、气象部门的气象信息的自动交换与整合。
如图3所示，所述面向广域网的多源应急信息自动整合系统包括三个功能模块，即创建任务、任务列表、系统配置。在创建任务模块中，用户可以创建来源于广域网的不同部门、不同类型的应急信息，成功创建后任务会加入到任务列表中；任务列表可以进行任务运行状态的控制，包括启动、暂停、停止、删除；系统配置功能模块，提供远程数据连接、本地数据库配置、交换目录设置等内容。
本发明的软件设计遵循国家相关技术标准和软件工程有关规范，系统体系架构清晰合理，具有较高的扩展性。设计中以MVC(Model-View-Control，模型-视图-控制)设计模式为指导，以“高内聚、低耦合”为开发原则，软件各个功能模块均经过严格单元测试，确保软件质量。核心ETL引擎具有较高的匹配效率，并提供对外二次开发接口，便于集成到其他应用系统中。
地理空间信息整合模块是面向广域网的多源应急信息自动整合软件的核心部分。地理空间信息整合模块集成ETL引擎，该模块的设计采用面向对象编程思想，设计有Casm.Base，Casm.Data.Trans，File2db，FileGrabber等类，分别负责不同类型数据的抽取、转换和装载。其中，Casm.Base是多源数据模型的基类，其中定义了ETL引擎所能识别的典型数据模型；Casm.Data.Trans完成数据格式的转换，该类库实现多种不同格式转换成统一格式的过程；File2db实现将转换得到的文件统一录入到应急中心数据库中，该类库中ParseDBF类负责读取DBF类型的属性文件，SqlConn是对应急数据库进行连接与操作，File2dbAgent是对江河水情和河道水情任务的抽象描述，其子类Sk2Db类用于将水库水情数据录入到应急数据库中、子类Hd2Db类完成河道水情数据的录入；FileCrabber类库负责数据获取包括本地数据获取和远程数据抽取，数据源可以是Http网址、FTP远程文件、本地目录、本地文件、SQL数据库、Oracle数据库，设计中将多源数据抽象为URL资源，DirectoryURL、FileURL、MsdbURL是URL资源的子类，代表目录资源、文件资源和数据库资源。
地理空间信息整合模块中任务的管理采用基于Agent代理的模式来实现，每一个任务都可以看作是一个Agent的实例，实现对Agent的分布式调度与运行状态管理。软件可以利用交互式菜单快速创建任务，包括任务运行的周期、频率和运行参数。软件Agent与其他软件技术相比具有如下优点：(1)系统的数据、控制、专家知识和资源可以分布存储处理。(2)对Agent组成的系统可以进行自然的描述，有利于各有关人员对软件系统的理解。(3)Agent软件系统具有灵活性，有利于现有软件的集成。(4)具有开放性和复杂性。
在设计上，TransAgentMeta类是对Agent的元数据描述，包括任务的名称、描述、创建时间、版本等信息；AgentGroup是Agent实例的集合及对集合的操作，例如增加、移出、清空；AgentManager类实现对Agent的创建、调度、销毁等操作，该类是负责对Agent实例进行管理，包括全部启动、全部暂停、移出某任务等。
关于地理空间信息整合模块的详细设计部分类图如图4a至4c所示。
运行管理工具模块，将所有与地理空间信息整合相关的运行管理功能通过服务调用的方式统一管理起来，该模块的设计采用面向对象编程思想和MVC设计模式为指导来实现。其中，AgentViewer是运行界面相关操作类，TaskManager实现任务运行状态的管理和控制，MainApp是运行管理工具的主程序。
在设计上，MainApp类是运行管理工具的主界面，它采用Office2007的界面风格，美观且操作方便；AgentViewer控件继承自UserControl控件，控件中包含菜单、列表、树、状态栏等其他基础控件，该控件是用户操作的界面，具有创建任务、任务列表、系统配置等子界面，界面设计美观，易操作性强，便于用户对任务的管理；TaskManager类继承自Form类，是AgentViewer控件中的子控件，利用列表的形式实现对任务的可视化调度，包括任务的启动、暂停、删除、全部启动、全部暂停、全部删除、任务描述查询等，列表中有包括序号、任务名称、当前状态和描述信息在内的内容，便于用户了解任务运行的详细情况。其相关部分设计类图如5所示。
所述面向广域网的多源应急信息自动整合系统还包括有应急平台。如图6所示，在实际应用中，在多台应用服务器上部署交换节点，通过数据抽取、数据转换和数据清洗，实现基于广域网的多源应急信息的自动交换与整合，转换结果存储于统一时间参考、逻辑属性和空间参照的应急平台数据中心的数据库。
应急平台由数据资源接入层、空间数据整合平台、数据发布与服务层和应用层四部分组成。通过空间数据整合平台实现多部门和受灾地区应急地理空间信息基于网络的自动传输、加载与整合，形成参照一致、格式统一、内容完备的应急平台地理空间信息整合数据库，为应急服务决策提供有力的辅助工具。平台在应急地理信息集成发布中发挥了显著作用。
尽管已示出和描述了本发明的优选实施例，可以设想，本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改。