一种大数据管理方法.pdf

本发明提供一种大数据管理方法，所述方法为：将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为：用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。

权利要求书
1.  一种大数据管理方法，其特征在于：所述方法为：将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为：用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。

2.  根据权利要求1所述的一种大数据管理方法，其特征在于：所述将数据库数据抽取或文本文件作为输入具体为：配置数据库数据源信息，并使用sqoop工具，将数据库的表数据按一设定格式直接抽取到分布式文件系统中；或者允许业务程序将数据结果放于文件服务器的指定目录，文件服务器将监控该目录，一旦发现新文件将自动上传到分布式文件系统。

3.  根据权利要求2所述的一种大数据管理方法，其特征在于：所述设定格式为：以制表符为字段分割符，以回车符为记录分割符。

4.  根据权利要求1所述的一种大数据管理方法，其特征在于：所述方法还包括处理的结果的数据输出，该数据输出具体为：由用户指定数据库数据源信息，通过sqoop工具，将缓存中的数据直接写入数据库的表中；或者将缓存的数据写入分布式文件系统的制定目录，并根据用户需要，传送到指定的文件服务器。

5.  根据权利要求1所述的一种大数据管理方法，其特征在于：所述数据处理流程定期执行，由调度服务进行资源分配和任务管理。

说明书一种大数据管理方法
技术领域
本发明涉及通信技术领域，尤其涉及一种大数据管理方法。
背景技术
大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。进年来随着技术发展和开源软件的盛行，大数据领域涌现出越来越多的优秀软件，为实际应用解决了许多问题。但这些软件都存在技术门槛较高，使用复杂等问题。本专利申请致力于降低大数据使用难度，利用简单普及的SQL语句描述业务，提供可视化工具描述流程，能快速完成业务部署。
现有技术公开了“一种基于云计算技术的电压暂降数据分析方法”，见公开号为：103412942A，公开日为：2013-11-27的中国专利；该方法采用基于hadoop1.1.2的云计算平台，通过MapReduce编程机制，将关系型数据库中的波形数据利用转移工具Sqoop转移到KV数据库中，以键值对形式存储一个特定周波的数据；每一个Mapper(映射类)从KV数据库中读出一个键值对作为输入；遍历一个周波数据，计算出RMS(方均根值)值；将所有Mapper(映射类)的输出结果进行排序；Reducer合并同一事件同一相的RMS数据曲线，并遍历该曲线，计算出各暂降特征值。该发明使电压暂降的相关数据可以直接通过Hadoop云计算平台，在多台计算机上并行地计算，真正实现了多台物理计算机计算能力的迭加，从而大大提高了计算效率，云平台的容错性也提升了暂降计算结果的可靠性。该发明所采用的技术方案与本发明并不相同；本专利申请是利用简单普及的SQL语句描述业务，提供可视化工具描述流程。
发明内容
本发明要解决的技术问题，在于提供一种大数据管理方法，有效降低大数据的适用门槛，能根据业务需要进行快速部署，并实现一键安装集群、在线管理服务器的上线和下线、可视化集群监控，从而大大降低了运营成本。
本发明是这样实现的：一种大数据管理方法，所述方法为：将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为：用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。
进一步地，所述将数据库数据抽取或文本文件作为输入具体为：配置数据库数据源信息，并使用sqoop工具，将数据库的表数据按一设定格式直接抽取到分布式文件系统中；或者允许业务程序将数据结果放于文件服务器的指定目录，文件服务器将监控该目录，一旦发现新文件将自动上传到分布式文件系统。
进一步地，所述设定格式为：以制表符为字段分割符，以回车符为记录分割符。
进一步地，所述方法还包括处理的结果的数据输出，该数据输出具体为：由用户指定数据库数据源信息，通过sqoop工具，将缓存中的数据直接写入数据库的表中；或者将缓存的数据写入分布式文件系统的制定目录，并根据用户需要，传送到指定的文件服务器。
进一步地，所述数据处理流程定期执行，由调度服务进行资源分配和任务管理。
本发明具有如下优点：本发明致力于降低大数据使用难度，利用简单普及的SQL语句描述业务，提供可视化工具描述流程，将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；有效降低大数据的适用门槛，能根据业务需要进行快速部署，并实现一键安装集群、在线管理 服务器的上线和下线、可视化集群监控，从而大大降低了运营成本。
附图说明
图1为本发明方法流程示意图。
图2为本发明数据流的走向原理图。
具体实施方式
请参阅图1和图2所示，本发明的一种大数据管理方法，所述方法为：将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为：用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。所述数据处理流程定期执行，由调度服务进行资源分配和任务管理，可7×24小时提供数据服务。
其中，所述将数据库数据抽取或文本文件作为输入具体为：配置数据库数据源信息，并使用sqoop工具，将数据库的表数据按一设定格式直接抽取到分布式文件系统中；或者允许业务程序将数据结果放于文件服务器的指定目录，文件服务器将监控该目录，一旦发现新文件将自动上传到分布式文件系统。该设定格式为：以制表符为字段分割符，以标准的回车符为记录分割符。此外，也支持自定义格式。
所述方法还包括处理的结果的数据输出，该数据输出具体为：由用户指定数据库数据源信息，通过sqoop工具，将缓存中的数据直接写入数据库的表中；或者将缓存的数据写入分布式文件系统的制定目录，并根据用户需要，传送到指定的文件服务器。
总之，本发明致力于降低大数据使用难度，利用简单普及的SQL语句描述业务，提供可视化工具描述流程，将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将 处理的结果保存到数据库或大数据集群中；有效降低大数据的适用门槛，能根据业务需要进行快速部署，并实现一键安装集群、在线管理服务器的上线和下线、可视化集群监控，从而大大降低了运营成本。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。