《基于海量数据的综合管理分析系统.pdf》由会员分享，可在线阅读，更多相关《基于海量数据的综合管理分析系统.pdf（6页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 (43)申请公布日 (21)申请号 201510046328.1(22)申请日 2015.01.29G06F 17/30(2006.01)H04L 29/08(2006.01)(71)申请人 云南电网公司带电作业分公司地址 650000 云南省昆明市经济技术开发区云大西路 105 号申请人 昆明能讯科技有限责任公司(72)发明人 陈义忠 邓华 赵维谚 李思俊马荣昆 杨晴 吴清华 张浩任莹 陈恩邦 孙帮念 苏凤鸣(54) 发明名称基于海量数据的综合管理分析系统(57) 摘要本发明涉及数据管理技术领域，具体涉及基于海量数据的综合管理分析系统 ；包括依次连接的因特网、防火墙、核心。
2、交换机、负载均衡服务器、交换机及服务器集群，所述服务器集群包括多台服务器，数据分散存储在多台独立的服务器上，多台独立的服务器分担存储负荷，利用位置服务器定位存储信息，采用基于 MapReduce 的计算模型，通过分布式计算可以充分利用闲置计算机的计算能力把一个需要巨大的计算能力才能解决的问题分成多个部分，然后再将这些部分分配给多台服务器进行处理，最终将这些计算结果综合起来得到最终结果 ；通过对带电作业专业领域的海量数据进行存储和分析，为提高带电作业工艺质量和决策支持提供快速、高效、可靠的辅助决策支持手段。(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书1。
3、页 说明书3页 附图1页(10)申请公布号 CN 104504165 A(43)申请公布日 2015.04.08CN 104504165 A1/1 页21.基于海量数据的综合管理分析系统，其特征在于 ：包括依次连接的因特网、防火墙、核心交换机、负载均衡服务器、交换机及服务器集群，所述服务器集群包括多台服务器，数据分散存储在多台独立的服务器上，多台独立的服务器分担存储负荷，利用位置服务器定位存储信息，采用基于 MapReduce 的计算模型，通过分布式计算可以充分利用闲置计算机的计算能力把一个需要巨大的计算能力才能解决的问题分成多个部分，然后再将这些部分分配给多台服务器进行处理，最终将这些计算结。
4、果综合起来得到最终结果。2.根据权利要求 1 所述的基于海量数据的综合管理分析系统，其特征在于 ：所述系统采用分布式部署的架构，采用负载均衡技术，均衡每一台服务器的负载，从而保证每一个用户请求的访问速度。3.根据权利要求 2 所述的基于海量数据的综合管理分析系统，其特征在于 ：所述负载均衡技术为将用户发送的请求，经过系统分析后转发到负载小的服务器上，同时响应用户的 HTTP 请求，分析请求，并转发到 Web 前端机上。4.根据权利要求 3 所述的基于海量数据的综合管理分析系统，其特征在于 ：所述系统采用分布式任务调度技术，所述分布式任务调度技术采用分布式任务队列服务，用来以异步 HTTP 方式。
5、执行用户任务，所述系统创建任务队列，并插入任务，插入队列的任务随即会执行。5.根据权利要求 1 所述的基于海量数据的综合管理分析系统，其特征在于 ：所述服务器集群中选任一台服务器作为总服务器，该总服务器管理服务器集群中其它服务器的服务状态以及服务器集群中服务器的增减，一旦有机器不能提供服务，总服务器重新分配服务策略。权 利 要 求 书CN 104504165 A1/3 页3基于海量数据的综合管理分析系统技术领域0001 本发明涉及数据管理技术领域，具体涉及基于海量数据的综合管理分析系统。背景技术0002 在带电作业管理过程中由于带电作业专业工作的专业性要求，往往会存在大量的作业数据和培训数据，。
6、在以往的管理中，对这些历史数据只能作为存档保留，无法很好的进行查询，更别说进行数据的挖掘和分析，因此需要通过建立一种基于海量数据的综合性管理和分析系统，以满足带电作业专业管理的要求，提高带电作业工艺质量和决策提供快速、高效、可靠的辅助决策支持手段。0003 系统主要以下几个方面考虑 ：0004 (1) 带电作业是一项专业的管理技术，需要通过信息系统把带电作业专业标准进行规范化固化和管理，实现带电作业的自动化、智能化管理，以提高带电作业管理的规范化水平和管理效率 ；0005 (2) 带电作业具有较高的专业性特点，对带电作业专业人员技能要求较高需要通过信息系统建设完善的专业知识共享和培训沟通平台，。
7、以帮助带电作业人员提高专业技能，降低作业风险 ；0006 (3) 带电作业是电网生产作业的重要组成部分，作业过程中产生的海量的各类数对设备状态评价和分析具有重要作用，需要建立基于海量数据分析的专业分析系统，对这些数据进行综合管理和分析应用 ；0007 (4) 随着电网规模的急剧增长，电网范围内越来越多的带电作业工作，传统的管理模式规范性低、时效性差，已不能满足带电作业专业化管理的需要，但是由于其专业性的特点，目前尚缺少基于海量数据的特殊综合性的管理分析系统 ；0008 (5) 随着公司信息化建设步伐的日趋加快，信息化建设要求越来越高，带电作业分公司作为电网公司新成立的分公司，在信息化建设方面基。
8、本为零，为 了满足信息化应用覆盖等要求，迫切需要建立分公司专业的综合分析系统，通过信息系统的推广应用，帮助提升分公司带电作业管理水平。发明内容0009 本发明为了解决上述现有的技术缺点，提供一种基于海量数据的综合管理分析系统，其通过对带电作业专业领域的海量数据进行存储和分析为提高带电作业工艺质量和决策支持提供快速、高效、可靠的辅助决策支持手段。0010 为实现上述目的，本发明提供一种基于海量数据的综合管理分析系统包括依次连接的因特网、防火墙、核心交换机、负载均衡服务器、交换机及服务器集群，所述服务器集群包括多台服务器，数据分散存储在多台独立的服务器上，多台独立的服务器分担存储负荷，利用位置服务。
9、器定位存储信息，采用基于 MapReduce 的计算模型，通过分布式计算可以充分利用闲置计算机的计算能力把一个需要巨大的计算能力才能解决的问题分成多个部说 明 书CN 104504165 A2/3 页4分，然后再将这些部分分配给多台服务器进行处理，最终将这些计算结果综合起来得到最终结果。0011 进一步的，所述系统采用分布式部署的架构，采用负载均衡技术，均衡每一台服务器的负载，从而保证每一个用户请求的访问速度。0012 所述负载均衡技术为将用户发送的请求，经过系统分析后转发到负载小的服务器上，同时响应用户的 HTTP 请求，分析请求，并转发到 Web 前端机上。0013 所述系统采用分布式任务。
10、调度技术，所述分布式任务调度技术采用分布式任务队列服务，用来以异步 HTTP 方式执行用户任务，所述系统创建任务队列，并插入任务，插入队列的任务随即会执行。0014 所述服务器集群中选任一台服务器作为总服务器，该总服务器管理服务器集群中其它服务器的服务状态以及服务器集群中服务器的增减，一旦有机器不能提供服务，总服务器重新分配服务策略。0015 本发明具有以下有益效果 ：0016 1、通过信息系统把带电作业专业标准进行规范化固化和管理，实现带电作业的自动化、智能化管理，以提高带电作业管理的规范化水平和管理效率。0017 2、通过信息系统建设完善的专业知识共享和培训沟通平台，以帮助带电作业人员提高。
11、专业技能，降低作业风险 ；0018 3、建立基于海量数据分析的专业分析系统，对作业过程中产生的海量的各类数据进行综合管理和分析应用，对设备状态评价和分析具有重要作用。0019 4、满足信息化应用覆盖等要求，通过信息系统的推广应用，帮助提升分公司带电作业管理水平。附图说明0020 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。0021 图 1 为本发明物理网络结构框图 ；0022 图 2。
12、 为发明分布式任务调度示意图。具体实施方式0023 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。0024 参见图 1、图 2，本发明专利提供一种基于海量数据的综合管理分析系统，包括依次连接的因特网1、防火墙2、核心交换机3、负载均衡服务器4、交换机5及服务器集群6，在带电作业管理的过程中，会积累大量的结构化数据和非结构化数据，在传统的管理方法中，数据的存放和读取一直一个管理的难题，。
13、所以我们在这个专利中采用基于分布式文件系统说 明 书CN 104504165 A3/3 页5的存储方案，将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。从文件系统的客户使用的角度来看，它就是一个标准的文件系统，提供了一系列 API，由此进行文件或目录的创建、移动、删除，以及对文件的读写等操作。从内部实现来看，分布式 的。
14、系统则不再和普通文件系统一样负责管理本地磁盘，它的文件内容和目录结构都不一定存储在本地磁盘上，而是可能通过网络传输到远端系统上。同时，同一个文件存储不只是在一台机器上，而是在一簇机器上分布式存储，协同提供服务。0025 海量数据分析、计算模型 ：在使用了分布式存储的管理手段解决了数据的存储和查找问题，我们还需要一套可以对这些大数据进行处理的分析、计算模型。所以我们采用基于 MapReduce 的计算模型，通过分布式计算可以充分利用闲置计算机的计算能力把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。00。
15、26 负载均衡技术 ：系统采用分布式部署的架构，这就需要均衡每一台服务器的负载，从而保证每一个请求的访问速度。实现用户请求的代理和转发，即将用户发送的请求，经分析后转发到负载相对较小的服务器上。负载均衡负责响应用户的 HTTP 请求，分析请求，并转发到前端的 Web 服务器 7 上。0027 分布式任务调度技术 ：采用分布式任务队列服务，用来以异步 HTTP 方式执行用户任务。在线管理平台创建任务队列，并插入任务，插入队列的任务随即会执行。任务队列服务是分布式环境部署的，具有高可靠性，每个任务工作相互隔离，并且主动负任务执行。0028 进一步的，所述服务器集群中选任一台服务器作为总服务器，该总服务器管理服务器集群中其它服务器的服务状态以及服务器集群中服务器的增减，一旦有机器不能提供服务，总服务器重新分配服务策略。0029 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。说 明 书CN 104504165 A1/1 页6图1图2说 明 书 附 图CN 104504165 A。