日志统计方法和系统.pdf

本发明公开了一种日志统计方法，包括日志收集和解析步骤、日志保存步骤、定期生成中间结果步骤和生成统计结果步骤；具体是从设备收集日志，将收到的设备发出的原始日志解析为能够被日志统计系统所识别的日志；收集日志的统计维度数据并保存到字典表中，将日志作为记录添加到日志表中；将日志按照时间以及统计维度数据划分集合，对所述集合计算中间结果并将结果保存到中间表；确定统计条件并从中间表计算出统计结果。本发明可以应用于信息安全领域，能够加快日志的统计速度、降低对日志统计维度数据维护的复杂性。

1、  一种日志统计方法，包括：
日志收集和解析步骤，从设备收集日志，将收到的设备发出的原始日志解析为能够被日志统计系统所识别的日志；
日志保存步骤，收集日志的统计维度数据并保存到字典表中，将日志作为记录添加到日志表中；
定期生成中间结果步骤，将日志按照时间以及统计维度数据划分集合，对所述集合计算中间结果并将结果保存到中间表；
生成统计结果步骤，确定统计条件并从中间表计算出统计结果。

2、  根据权利要求1所述的日志统计方法，其特征在于：所述日志保存步骤包括建立日志表的外键与字典表主键的对应。

3、  根据权利要求1所述的日志统计方法，其特征在于：所述定期生成中间结果步骤包括确定最小时间段以及开始时间和结束时间。

4、  根据权利要求3所述的日志统计方法，其特征在于：所述定期生成中间结果步骤包括删除在开始时间和结束时间之间已有的中间结果，用于存入新的中间结果。

5、  根据权利要求1至4任一项所述的日志统计方法，其特征在于：所述中间结果包括分布的统计结果和代数的统计结果的各个分布的参数。

6、  根据权利要求5所述的日志统计方法，其特征在于：所述生成统计结果步骤中采用SQL语句处理中间表。

7、  一种日志统计系统，包括用于从设备收集日志的日志收集单元、用于将收到的设备发出的原始日志解析为能够被日志统计系统所识别的日志的日志解析单元、用于将日志作为记录添加到日志表中的日志保存单元和日志统计单元，其特征在于：
所述日志保存单元还用于收集日志的统计维度数据并保存到字典表中；
所述日志统计单元用于将日志按照时间以及统计维度数据划分集合，对所述集合计算中间结果并将结果保存到中间表，确定统计条件并从中间表计算出统计结果。

8、  根据权利要求7所述的日志统计系统，其特征在于：所述日志保存单元还用于建立日志表的外键与字典表主键的对应。

9、  根据权利要求7或8所述的日志统计系统，其特征在于：所述统计单元还用于确定最小时间段以及开始时间和结束时间。

10、  根据权利要求9所述的日志统计方法，其特征在于：所述统计单元还用于删除在开始时间和结束时间之间已有的中间结果并存入新的中间结果。

日志统计方法和系统
技术领域
本发明涉及计算机信息安全领域，特别是涉及一种对日志数据的处理方法和系统。
背景技术
随着信息技术的发展，数据量迅速增长，数据的积累也越来越大。在进行数据的传输、交换和处理时，安全性是一个重要的考虑因素，为此，许多与信息处理相关的设备(如防火墙、入侵监测系统、路由器和服务器等)都会产生日志，其中记录了设备上和网络中每天发生的各种各样的事情，可以通过对日志的查询和统计来了解各个设备和整个网络的状况。
如果日志量相对较少(几百条或更少)，有经验的管理员可以通过逐条阅读，发现其中的异常，查找到所关心的事件日志并统计出数据。但是，由于在信息安全领域，为数众多的前述设备每天、甚至每时每刻都在产生日志，日志的数量已经达到每天几万条、甚至上百万条记录，这样的数量已经超出了管理员能处理的范围，管理员通过逐条阅读和处理已经无法在限定的时间内处理完这些日志了。而从这些日志中统计出的宏观数据，如：流量、非授权访问次数和入侵攻击次数等等，对于管理员了解整个网络的状况，发现问题是非常重要的。因此在审计系统中实现日志数据的统计功能是非常必要的。
日志的统计结果通常都是分布的(Distributive)或代数的(Algebraic)。所谓统计结果是分布的，是指其可以通过如下分布方式进行统计得到：将需要统计的日志数据划分为多个日志数据部分，在每一部分上都可以利用运算函数获得一个统计结果，而所有日志数据的统计结果可以通过两种途径实现：使用运算函数对所有日志数据进行统计或者将每一部分日志数据用同样的运算函数进行计算，获得的统计结果是相同的。所谓统计结果是代数地，是指其能够通过一个具有多个参数的代数函数进行计算，而每个参数都是一个分布的统计结果。例如，流量、非授权访问次数和被入侵攻击次数等日志数据的统计结果就属于分布的，可以通过将日志分成多个部分来分别统计，然后再对各个统计结果进行统计，获得的结果与对所有日志同时进行统计的结果相同；而某个用户访问的流量占总流量的百分比的统计结果则属于代数的，不能像分布的统计结果那样对各部分日志分别统计再在此结果的基础上进行统计，只能通过对全部日志数据的两个分布的参数计算得到。
在对日志进行统计时，需要根据统计维度数据统计出在各个不同统计条件下的统计结果，不同的日志，有不同的统计维度。例如，对入侵攻击事件的报警日志进行统计时，统计的结果可以是入侵攻击的次数，统计维度包括时间范围、入侵攻击名等，统计维度可能的取值称之为统计维度数据，可以根据这些维度数据统计出在各个不同统计条件(如时间范围、入侵攻击名等)下的统计结果。统计维度数据包括两种：第一种是供用户输入的，例如时间；第二种是供用户从列表中选择的，例如入侵攻击名。第二种统计维度数据可以进一步分为两类：一类是稳定的，在系统运行期间不会变化的，例如网络协议，这类统计维度数据的处理方法比较简单；另一类是不断变化的，例如用户名、病毒名和入侵攻击名等等，由于各个设备在使用的时候存在用户的增删、病毒特征库及入侵攻击特征库的升级，这些统计维度数据是不断变化的，可以称之为动态统计维度数据，现有技术由于直接对日志表进行处理，从日志表直接进行统计计算，使得对动态统计维度数据的处理较为复杂且审计系统的运算速度较低。
同时，随着网络的发展，以及大量的服务器采用DNS轮循来实现负载均衡，使得通常无法简单地从单一设备的日志全面地了解情况。所谓DNS轮循是指使用多个同样角色的服务器进行前台的服务，方便了服务的分布规划和扩展性，但多个服务器的分布使得日志的统计变得更为复杂。现有技术使用webalizer等日志分析工具对每台机器分别做日志统计，再进行复杂的数据汇总，将较大地影响审计系统的运算效率和对属于代数的日志统计结果的计算。因此，对多种设备的日志进行集中收集处理变得越来越重要，而这会造成需要统计的日志量急剧增加，使得管理员将花费大量的时间进行统计操作，而且在审计系统中维护与各个设备完全相同的动态统计维度数据列表是非常困难的，将增加审计系统的复杂性并影响其运算速度。因此解决如何加快对海量日志统计的速度问题变得越来越迫切。
发明内容
由于现有技术统计日志数据时运算速度较低且对动态统计维度数据的维护较为困难，本发明解决的技术问题在于提供一种日志统计方法和系统，可以加快日志的统计速度，同时降低对日志统计维度数据维护的复杂性。
为此，本发明解决技术问题的技术方案是：提供一种日志统计方法，包括：
日志收集和解析步骤，从设备收集日志，将收到的设备发出的原始日志解析为能够被日志统计系统所识别的日志；
日志保存步骤，收集日志的统计维度数据并保存到字典表中，将日志作为记录添加到日志表中；
定期生成中间结果步骤，将日志按照时间以及统计维度数据划分集合，对所述集合计算中间结果并将结果保存到中间表；
生成统计结果步骤，确定统计条件并从中间表计算出统计结果。
本发明进一步的改进在于：所述日志保存步骤包括建立日志表的外键与字典表主键的对应。
其中，所述定期生成中间结果步骤包括确定最小时间段以及开始时间和结束时间。
其中，所述定期生成中间结果步骤包括删除在开始时间和结束时间之间已有的中间结果，用于存入新的中间结果。
其中，所述中间结果包括分布的统计结果和代数的统计结果的各个分布的参数。
其中，所述生成统计结果步骤中采用SQL语句处理中间表。
本发明还提供一种日志统计系统，包括用于从设备收集日志的日志收集单元、用于将收到的设备发出的原始日志解析为能够被日志统计系统所识别的日志的日志解析单元、用于将日志作为记录添加到日志表中的日志保存单元和日志统计单元，所述日志保存单元还用于收集日志的统计维度数据并保存到字典表中；所述日志统计单元用于将日志按照时间以及统计维度数据划分集合，对所述集合计算中间结果并将结果保存到中间表，确定统计条件并从中间表计算出统计结果。
其中，所述日志保存单元还用于建立日志表的外键与字典表主键的对应。
其中，所述统计单元还用于确定最小时间段以及开始时间和结束时间。
其中，所述统计单元还用于删除在开始时间和结束时间之间已有的中间结果并存入新的中间结果。
相对于现有技术，本发明的有益效果是：由于本发明确定一个有统计意义的最小时间段，同时利用统计维度数据对一个最小时间段的日志进一步划分集合，每经过一个最小时间段就对上一个最小时间段中形成的各个日志集合进行统计，计算出在该最小时间段中的中间结果，即分布的统计结果和代数的统计结果的分布的参数，并将该中间结果保存到中间表中，当确定统计条件进行统计时，就可以利用这些中间结果从中间表直接进行统计计算，从而较大地提高了效率和统计速度。
另外，由于在每条日志中都会包含与该条日志相关的统计维度数据，因此在保存日志到数据库的日志表时，通过动态收集日志中包含的统计维度数据并将其保存到对应的字典表就可以获得与所有保存的日志相关的统计维度数据，便于对动态统计维度数据的维护，降低日志统计系统的复杂性，提高其统计效率。
附图说明
图1是本发明日志统计系统的原理框图；
图2是本发明日志统计方法的流程图；
图3是本发明日志统计方法中保存日志的流程图；
图4是本发明日志统计方法中保存统计维度数据的流程图；
图5是本发明日志统计方法中生成中间结果的流程图；
图6是本发明日志统计方法中生成统计结果的流程图。
具体实施方式
请参阅图1，本发明日志统计系统100可以对从多种设备当然也可以是一种设备收集到的海量日志的内容进行统计，同时利用对日志进行统计的特点加快海量日志统计速度，包括日志收集单元110、日志解析单元120、日志保存单元130、日志统计单元140。
本发明所述设备包括但不限于防火墙、入侵监测系统、路由器和服务器等生成日志的设备。
所述日志收集单元110对设备200发送过来的日志进行收集，并传送给日志解析单元120。
所述日志解析单元120对设备200的日志进行实时解析。
所述日志保存单元130将日志保存到数据库300的日志表310中，以便后面进行处理。本发明日志统计系统100对于每种类型的日志都建立一个日志表300，例如所有的入侵攻击事件的报警日志都保存在入侵攻击日志表中。每一条从设备200收到的日志对应着日志表300中的一条记录，将日志保存到数据库300中的日志表310时，可能需要收集相关的统计维度数据并保存到字典表320中，所述字典表320是数据库300中的附属表，用来说明日志的某一方面的属性，例如对于入侵攻击事件的报警日志，就存在多个字典表320，其中协议字典表列出了所有的协议类型，在日志表310中采用一个字段保存各条日志对应着协议字典表的哪条记录，从而表示各日志的协议属性。
所述日志统计单元140每过一段预定时间将收集到的日志进行处理生成统计的中间结果，并保存到中间表330中。在统计阶段，日志统计单元140可以中间表300获得中间结果，进行处理并显示于统计界面150，从而加快日志的统计速度。
请参阅图2，本发明日志统计方法包括日志收集和解析步骤D1、日志保存步骤D2、定期生成中间表步骤D3和生成统计结果步骤D4。图2所示为对一段预定时间内的日志数据进行处理的流程。通常，日志统计系统100对不同时间段的日志数据并行实施步骤D1、D2、和D4。
日志可以通过日志收集单元110从多个或一个设备200获得，主要是通过Syslog或SNMP协议等将日志从多个设备200发送到日志统计系统100。
然后日志解析单元120对日志进行解析，解析的方法可以采用现有的日志解析技术，如基于插件的技术。通常，设备200发出的日志或事件是一个有一定格式的字符串，日志统计系统100接收到这些字符串以后，日志解析单元120按照格式的规则解释这些字符串，将收到的设备200发出的原始日志输出为能够被日志统计系统100所识别的日志，从中分析出所期望的内容。例如对于日志：
“<1>LX-NIDS[11174]：|web-attacks_6|WEB攻击：id command attempt[Classification： Web Application Attack][Priority：0]：{TCP}202.210.0.1：1090->10.50.10.8：80”可以解析出如下信息：
入侵攻击名：               WEB攻击：id command attempt
入侵攻击主机IP地址：       202.210.0.1
入侵攻击端口：             1090
被入侵攻击主机IP地址：     10.50.10.8
被入侵攻击端口：           80
事件级别：                 0
协议类型：                 TCP。
请参阅图3，是日志保存步骤的流程图。
日志保存单元130接收到一条已经解析好的设备的日志后，实施步骤S1，按照日志的内容确定所要保存的日志表310。日志表310可以根据处理日志的种类的不同而存在多个，例如入侵攻击日志表、病毒事件日志表和用户访问日志表等等。
同时，实施步骤S2，在将具体日志内容保存到日志表310之前，收集动态统计维度数据。请一并参阅图4，当解析后的日志中还存在未处理的动态统计维度数据时，实施步骤S21，获取下面第一个未处理的动态统计维度数据，并将其与保存在对应字典表320中已经收集到的动态统计维度数据进行比较，如果字典表320中不存在该条日志包含的动态统计维度数据，则实施步骤S22，将该动态统计维度数据保存到字典表310中。
随后实施步骤S3，对于解析后的日志，分别存入数据库300中不同的日志表310。并继续处理直到所有日志保存完毕。
为了更清楚的对本发明进行说明，下面以对入侵攻击事件的报警日志的统计为例进行描述，但是本方法并不局限于对入侵攻击事件的报警日志的统计，还可以应用于对其它日志(如病毒事件报警日志、用户访问日志)的统计。
所有入侵攻击事件的报警日志都将保存在入侵攻击日志表中，该日志表310的结构如表1所示。
                         表1  入侵攻击日志表结构