一种基于文件类SQL功能处理海量数据的方法.pdf

本发明涉及电信网络中的数据处理领域，具体提供一种基于文件类SQL功能处理海量数据的方法。本发明的一种基于文件类SQL功能处理海量数据的方法包括以下步骤：A.对采集后产生的文本文件进行标准化格式处理；B.基于标准化后的文本文件进行海量数据处理，使用类SQL语句的方式进行相关数据操作；C.操作的结果可以定义输出为最终结果或者中间结果，对于中间结果符合标准化后的格式，继续对该文件进行数据操作，直至达到结果要求。本发明结合了文件和数据库方式的各自优点，既保证了海量数据处理的高效率，也使操作非常方便、灵活并具有很强的扩展能力。

1、  一种基于文件类SQL功能处理海量数据的方法，包括以下步骤：
A、对采集后产生的文本文件进行标准化格式处理；
B、基于标准化后的文本文件进行海量数据处理，使用类SQL语句的方式进行相关数据操作；
C、操作的结果可以定义输出为最终结果或者中间结果，对于中间结果符合标准化后的格式，继续对该文件进行数据操作，直至达到结果要求。

2、  根据权利要求1所述的一种基于文件类SQL功能处理海量数据的方法，其特征在于，所述步骤A使用的数据文件格式如下：
##STAR|HEADER
COMPANY|DEPARTMENT
Inspur|oss
##END|HEADER
##START|DATA_BLOCK
CELL|TRX|COUNT1|COUNT2|COUNT3
DF0001|1|1|2|3
DF0001|2|1|2|3
DF0001|3|1|2|3
DF0001|4|1|2|3
DF0002|1|1|2|3
DF0002|2|1|2|3
DF0002|3|1|2|3
DF0002|4|1|2|3
##END|DATA_BLOCK
。

3、  根据权利要求1所述的一种基于文件类SQL功能处理海量数据的方法，其特征在于，所述步骤B中针对海量数据使用脱离数据库方案，进行基于文本文件的操作，在此操作过程中使用了类SQL语句的方式，即通过SQL语句的谓词实现对数据的处理。

4、  根据权利要求1所述的一种基于文件类SQL功能处理海量数据的方法，其特征在于，所述步骤C中采用了对输出结果的重定义，即可以对一个原始输入，重复利用任何操作的输出，通过类SQL操作实现对数据输出结果的要求。

一种基于文件类SQL功能处理海量数据的方法
技术领域
本发明涉及电信网络中的数据处理领域，具体提供一种基于文件类SQL功能处理海量数据的方法。
背景技术
计算机技术的发展是与适应数据处理同步的，是互相促进的。初期的数据处理都是以数据文件方式存在的：文件方式存储数据有很多缺点，比如操作不便、不能复用、缺少标准。所以在发展过程中产生了各种关系型数据库，促进了数据处理应用的发展。
对海量数据的处理，针对数据的特点，选择相应的处理方式，是提高处理效率的关键。目前海量数据处理提高效率的措施主要有：
●选用优秀的数据库工具；
●编写优良的程序代码；
●对海量数据进行分区操作；
●建立广泛的索引；
●提高硬件条件，加大CPU和内存；
●建立缓存机制；
●加大虚拟内存；
●分批处理；
●优化查询SQL语句；
●使用文本格式进行处理；
●定制强大的清洗规则和出错处理机制；
●建立视图或者物化视图；
●避免使用32位服务器(极端情况)；
●考虑操作系统问题；
●使用数据仓库和多维数据库存储；
●使用采样数据，进行数据挖掘；
●内存数据库。
我国幅员辽阔，并且电力、通信等网络是一体化经营，导致网络规模巨大。但是这些网络都有其结构特点，可以选择合适的海量数据处理方式来提高数据处理的效率。电信网络的管理有其规律性，组成网络的每个节点是管理的基本单位，按照行政区、区域网络、整体网络分别进行统计分析，称之为网元粒度的管理；数据的产生是按照时间组织的，可以是5分钟、15分钟、60分钟等间隔方式，在统计分析中一般要求60分钟(1小时)、日、周、月、年等，称之为时间粒度。
在数据产生上按照不同的节点(网元)产生某个时间的数据，整个网络中的网元数据可能由于一些原因在数据产生上存在时延。
网络管理要求数据必须是实时的，分析的数据必须是完整的。基于网络数据产生的特点，在采用数据库进行的数据采集、汇总等操作中需要做大量的标记，如记录标志数据采集、数据汇总的时间点。并且数据汇总本身的大数据量操作，占用了数据库本身的大量资源，使数据库对用户提供服务的能力减弱；数据产生的延时，导致在数据汇总触发上的差异，从而可能导致数据的不完整。所有基于数据库的优化和操作，都离不开数据库；数据库操作的限制，导致了数据的不及时、不完整、对外服务提供能力弱。
在网元产生的数据中，网元粒度关系有明确的标志，并且网元是产生数据的基本单位，按照这个特点对这些海量数据实现基于文件方式的数据累加、删除、关联、最大、最小、平均等数据库的SQL常用操作。
随着服务器技术的发展，对于直接的数据计算非常快，这为数据处理提供了硬件基础；哈希数组的描述性数组直接定位，为数据的计算方式提供了软件基础。按照开闭原则设计的实现方案具有优秀的扩展性，可以方便的扩展数据操作(比如增加数据的某种特殊的公式计算)。
发明内容
本发明的一种基于文件类SQL功能处理海量数据的方法是针对以上情况，以电信网络为基础，采用文件方式，模仿数据库操作的方便性，实现的一种海量数据处理方案，借以保证海量数据处理的高效率，也使操作非常方便、灵活并具有很强的扩展能力。
本发明解决其技术问题所采用的技术方案是：
一种基于文件类SQL功能处理海量数据的方法，包括以下步骤：
A、对采集后产生的文本文件进行标准化格式处理；
B、基于标准化后的文本文件进行海量数据处理，使用类SQL语句的方式进行相关数据操作；
C、操作的结果可以定义输出为最终结果或者中间结果，对于中间结果符合标准化后的格式，继续对该文件进行数据操作，直至达到结果要求。
步骤A使用的数据文件格式如下：
##STAR|HEADER
COMPANY|DEPARTMENT
Inspur|oss
##END|HEADER
##START|DATA_BLOCK
    CELL|TRX|COUNT1|COUNT2|COUNT3
    DF0001|1|1|2|3
    DF0001|2|1|2|3
    DF0001|3|1|2|3
    DF0001|4|1|2|3
    DF0002|1|1|2|3
    DF0002|2|1|2|3
    DF0002|3|1|2|3
    DF0002|4|1|2|3
##END|DATA_BLOCK
。
步骤B中针对海量数据使用脱离数据库方案，进行基于文本文件的操作，在此操作过程中使用了类SQL语句的方式，即通过SQL语句的谓词实现对数据的处理。
步骤C中采用了对输出结果的重定义，即可以对一个原始输入，重复利用任何操作的输出，通过类SQL操作实现对数据输出结果的要求。
本发明的实现采用开闭原则设计，实现类SQL语句的灵活扩充和客户化开发。
开闭原则是面向对象设计方法之一，‘对需求开放，对修改关闭’，意思是实现的系统具有极高的灵活扩展能力，对于用户提出的需求能够无限度的接纳，但是不需要修改原来的程序，只需要针对用户新提出的需求进行实现即可。实现的内容通过原功能的调用即可以实现用户需要的功能。实现对新扩展功能调用的主功能，称之为引擎方式。在本例中，可以理解为如果需要添加其他的SQL语句中使用的聚合函数或其他特殊要求，可以通过编码实现该功能，然后按照配置描述，就可以在该功能中使用。本专利的目的是实现对海量数据的高效、方便处理，方便就是指模拟了SQL操作这种大家熟悉的方式。
本发明的一种基于文件类SQL功能处理海量数据的方法，既保证了海量数据处理的高效率，也使操作非常方便、灵活并具有很强的扩展能力。其特点主要有：
1、脱离数据库的数据处理
海量数据的及时、完整处理，是实现网络管理的关键。但基于数据库方式的处理，不仅大量占用数据库资源，并且由于数据库处理能力的限制，无法获得及时数据。影响了用户对其他应用功能的使用，而且也影响了基于派生数据(通过基础数据和一定判断规则产生的数据称为派生数据)的应用使用。通过基于文件方式的类数据库语言操作，可以提高使用效率，把数据库的使用尽量给予最终使用用户，节约投资。
数据处理指数据的累加、删除、关联、最大、最小、平均等操作。这些操作也是数据库中数据处理的常用操作。
2、基于文件的类SQL操作
通过程序编程可以实现对数据文件中某些数据的任意处理，但是这些处理就有个性化并不容易被调用，使用也不方便。
本发明中通过开闭原则设计架构，便于调用和使用，主要实现功能如下表：