《海量数据融合及实时监视系统.pdf》由会员分享，可在线阅读，更多相关《海量数据融合及实时监视系统.pdf（6页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102916844 A (43)申请公布日 2013.02.06 C N 1 0 2 9 1 6 8 4 4 A *CN102916844A* (21)申请号 201210476353.X (22)申请日 2012.11.22 H04L 12/24(2006.01) H04L 29/08(2006.01) G06F 17/30(2006.01) (71)申请人南京恩瑞特实业有限公司 地址 211106 江苏省南京市江宁区将军大道 39号 (72)发明人张伟 王晖 (74)专利代理机构南京知识律师事务所 32207 代理人汪旭东 (54) 发明名称 海量数据融合及实时监。
2、视系统 (57) 摘要 本发明涉及一种海量数据融合及实时监视系 统，其基于日志网关的数据接收模块与基于日志 网关的数据处理模块相连，基于日志网关的数据 处理模块与基于日志网关的数据入库模块、海量 数据分布式缓存模块相连，基于日志网关的数据 入库模块与基于离线统计的数据融合模块之间设 有数据库，基于离线统计的数据融合模块与海量 数据分布式缓存模块相连，海量数据分布式缓存 模块与海量数据实时展现模块相连；本发明与以 往系统相比，解决海量气象资料的数据融合及监 视的高时效难题，可广泛应用于海量数据的实时 处理与实时展现。 (51)Int.Cl. 权利要求书1页 说明书3页 附图1页 (19)中华人民。
3、共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 3 页 附图 1 页 1/1页 2 1.一种海量数据融合及实时监视系统，其特征在于：包括基于日志网关的数据接收模 块、基于日志网关的数据处理模块、基于日志网关的数据入库模块、基于离线统计的数据融 合模块、海量数据分布式缓存模块和海量数据实时展现模块； 基于日志网关的数据接收模块与基于日志网关的数据处理模块相连，基于日志网关的 数据处理模块与基于日志网关的数据入库模块、海量数据分布式缓存模块相连，基于日志 网关的数据入库模块与基于离线统计的数据融合模块之间设有数据库，基于离线统计的数 据融合模块与海量数据分布式缓存模块相连，。
4、海量数据分布式缓存模块与海量数据实时展 现模块相连； 基于日志网关的数据接收模块用于获取的气象数据，并对该气象数据根据待处理类型 进行消息封装，并通过查找配置文件获取该处理类型对应的日志网关消息队列名，并向该 指定的消息队列发送信息； 基于日志网关的数据处理模块从配置文件中获取要监听的消息队列名，实时监听该消 息队列；当消息队列中有待处理的消息时，从该消息队列中获取优先级高的消息，对该消息 进行处理；如果消息需要进行入库操作，则将处理后的消息传递给基于日志网关的数据入 库模块；如果消息需要及时展现，则将处理后的消息传递给海量数据分布式缓存模块； 基于日志网关的数据入库模块接收基于日志网关的数据。
5、处理模块传递过来的消息，并 从数据库连接池中申请一个数据库连接，当申请成功后，对该消息进行入库操作； 基于离线统计的数据融合模块通过基于时间/事件触发，对数据库中的数据进行复杂 的操作，形成实时监视所需要的数据，并将该数据传递给海量数据分布式缓存模块； 海量数据分布式缓存模块接收来自基于日志网关的数据处理模块或基于离线统计的 数据融合模块传递过来的数据； 海量数据实时展现模块从海量数据分布式缓存模块获取待监视的数据，并实时将获取 的数据进行显示。 权 利 要 求 书CN 102916844 A 1/3页 3 海量数据融合及实时监视系统 技术领域 0001 本发明涉及一种监视系统，尤其涉及一种海。
6、量数据融合及实时监视系统。 背景技术 0002 目前，国家级气象信息网络传输业务需要收集全国和全球范围的各类气象信息、 为各级气象部门及相关部门提供及时可靠的经过预处理的各类气象信息，并对各类气象信 息进行分发。它收集的资料包括区域/省级气象信息业务部门上传数据、同城用户资料、国 家级其他气象业务部门资料、国外气象资料，每天收集的数据总量多达上千GB；它分发的 资料包括区域/省级气象信息数据、同城用户资料、国家级气象业务部门资料、国外气象交 换资料，每天分发的数据总量也多达上千GB。此外，气象资料还具有突发性高（即：在某个 时刻会出现数据量陡增）等特点，从而影响了气象资料在收集、处理、分发过程。
7、中的信息存 储和监视的高时效性需求。 发明内容 0003 针对目前气象资料收发系统中海量气象资料融合性差、业务流程监视时效性不高 的问题，本发明提供了一种高时效的海量数据融合及实时监视系统。 0004 为了解决以上问题本发明提供了一种海量数据融合及实时监视系统，其特征在 于：包括基于日志网关的数据接收模块、基于日志网关的数据处理模块、基于日志网关的数 据入库模块、基于离线统计的数据融合模块、海量数据分布式缓存模块和海量数据实时展 现模块； 基于日志网关的数据接收模块与基于日志网关的数据处理模块相连，基于日志网关的 数据处理模块与基于日志网关的数据入库模块、海量数据分布式缓存模块相连，基于日志 。
8、网关的数据入库模块与基于离线统计的数据融合模块之间设有数据库，基于离线统计的数 据融合模块与海量数据分布式缓存模块相连，海量数据分布式缓存模块与海量数据实时展 现模块相连； 基于日志网关的数据接收模块用于获取的气象数据，并对该气象数据根据待处理类型 进行消息封装，并通过查找配置文件获取该处理类型对应的日志网关消息队列名，并向该 指定的消息队列发送信息； 基于日志网关的数据处理模块从配置文件中获取要监听的消息队列名，实时监听该消 息队列；当消息队列中有待处理的消息时，从该消息队列中获取优先级高的消息，对该消息 进行处理；如果消息需要进行入库操作，则将处理后的消息传递给基于日志网关的数据入 库模块。
9、；如果消息需要及时展现，则将处理后的消息传递给海量数据分布式缓存模块； 基于日志网关的数据入库模块接收基于日志网关的数据处理模块传递过来的消息，并 从数据库连接池中申请一个数据库连接，当申请成功后，对该消息进行入库操作； 基于离线统计的数据融合模块通过基于时间/事件触发，对数据库中的数据进行复杂 的操作，形成实时监视所需要的数据，并将该数据传递给海量数据分布式缓存模块； 说 明 书CN 102916844 A 2/3页 4 海量数据分布式缓存模块接收来自基于日志网关的数据处理模块或基于离线统计的 数据融合模块传递过来的数据； 海量数据实时展现模块从海量数据分布式缓存模块获取待监视的数据，并实时。
10、将获取 的数据进行显示。 0005 有益效果：本发明支持集群部署，可实现多台机器共同完成数据的加工、融合、展 现，从而解决了一台机器所带来的处理瓶颈，极大的提高任务处理的吞吐量，满足海量数据 实时处理的需求，且本发明支持多线程技术。 0006 本发明采用共享消息队列、分布式缓存来缓存数据处理结果，尽可能减少磁盘I/ O读写操作，满足系统时效性的需求，同时，利用共享消息队列、分布式缓存的可靠性机制来 提高系统的可靠性。 0007 本发明与以往系统相比，解决海量气象资料的数据融合及监视的高时效难题，可 广泛应用于海量数据的实时处理与实时展现。 附图说明 0008 图1是本发明的系统组成框图示意图。。
11、 具体实施方式 0009 下面结合附图对本发明作进一步的描述。 0010 如图1所示， 本海量数据融合及实时监视系统包括基于日志网关的数据接收模 块、基于日志网关的数据处理模块、基于日志网关的数据入库模块、基于离线统计的数据融 合模块、海量数据分布式缓存模块和海量数据实时展现模块。 0011 基于日志网关的数据接收模块用于获取的气象数据，并对该气象数据根据待处理 类型进行消息封装，并通过查找配置文件获取该处理类型对应的日志网关消息队列名，并 向该指定的消息队列发送信息。 0012 基于日志网关的数据处理模块从配置文件中获取要监听的消息队列名，实时监听 该消息队列。当消息队列中有待处理的消息时，。
12、从该消息队列中获取优先级高的消息，对该 消息进行处理。如果消息需要进行入库操作，则将处理后的消息传递给基于日志网关的数 据入库模块；如果消息需要及时展现，则将处理后的消息传递给海量数据分布式缓存模块。 0013 基于日志网关的数据入库模块接收基于日志网关的数据处理模块传递过来的消 息，并从数据库连接池中申请一个数据库连接，当申请成功后，对该消息进行入库操作。 0014 基于离线统计的数据融合模块通过基于时间/事件触发，对数据库中的数据进行 复杂的操作，如：多表联合操作、单表多条件筛选汇总等，形成实时监视所需要的数据，并将 该数据传递给海量数据分布式缓存模块。 0015 海量数据分布式缓存模块接。
13、收来自基于日志网关的数据处理模块或基于离线统 计的数据融合模块传递过来的数据，并将其写入到分布式缓存Memcached中，实现基于内 存读写、分布式存储的数据传递和数据存取机制，提高数据访问效率。 0016 海量数据实时展现模块从分布式缓存Memcached中定位并获取待监视的数据，并 通过Ajax实时将获取的数据显示在Web页面中。 0017 以上所述仅为本发明的优选实施例而已，并不限制于本发明，对于本领域的技术 说 明 书CN 102916844 A 3/3页 5 人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的权利要求范围之内。 说 明 书CN 102916844 A 1/1页 6 图1 说 明 书 附 图CN 102916844 A 。