一种跨平台日志收集处理框架技术领域
本发明涉及一种跨平台日志收集处理框架，属于计算机领域。
背景技术
随着各个系统平台的发展，各自发展出一批忠实的用户，由于各个系统平台所具
有的特点，能够适应特定的技术需求，因此在一个大的系统中，可能需要不同的平台实现各
种特点的功能，同时，通过对网络中所产生的日志进行收集得到的。可见，日志收集系统所
收集到的日志情况关系到针对基础数据进行分析所得结果的可靠性。也就是说，日志收集
是一个非常重要的环节。
现有的技术主要是面对同一平台的日志进行收集，在面对不同平台的日志时，难
以满足各个平台对应的日志文件的同时收集整理，因此需要一个面向不同平台的日志收集
框架。
发明内容
为了解决上述问题，本发明通过提供一种跨平台日志收集处理框架。
本发明采用的技术方案一方面为一种跨平台日志收集处理框架，包括：异平台收
集代理模块和日志处理服务器；所述异平台收集代理模块获取并加密各平台的日志，将加
密日志保存在收集代理的本地数据库，所述日志处理服务器根据预设的规则从本地数据库
拉取加密日志。
优选地，还包括日志备份服务器，所述基于备份策略从日志处理服务器获取日志
并存储。
优选地，所述日志处理服务器包括密钥处理单元和MongoBD单元，其中，所述密钥
单元处理单元用于更新异平台收集代理模块的密钥和解密加密日志，所述MongoBD单元用
于存储解密后的日志。
优选地，所述日志处理服务器从本地数据库拉取加密日志，同时发送上传成功信
息至异平台代理模块，异平台代理模块确认上传成功信息则删除已上传的加密日志。
优选地，所述本地数据库为SQLite数据库。
优选地，所述各平台通过对应的异平台收集代理模块从日志服务器获取日志模
板，异平台收集代理模块基于该模块生成日志保存文件。
优选地，所述日志服务器基于https连接异平台收集代理模块和日志备份服务器。
本发明的有益效果为通过设置与不同平台的收集模块，基于同样的日志模板进行
信息的收集和处理，同时对日志信息进行加密处理以保证安全性，可以实现对不同系统平
台的日志的收集和安全保护。
附图说明
图1所示为基于本发明实施例的一种跨平台日志收集处理框架示意图；
图2所示为基于本发明实施例的日志收集流程的示意图。
具体实施方式
以下结合实施例对本发明进行说明。
基于发明的实施例1，如图1所示一种跨平台日志收集处理框架，包括：异平台收集
代理模块和日志处理服务器；所述异平台收集代理模块获取并加密各平台的日志，将加密
日志保存在收集代理的本地数据库，所述日志处理服务器根据预设的规则从本地数据库拉
取加密日志。
系统还包括日志备份服务器，所述基于备份策略从日志处理服务器获取日志并存
储。
所述日志处理服务器包括密钥处理单元和MongoBD单元，其中，所述密钥单元处理
单元用于更新异平台收集代理模块的密钥和解密加密日志，所述MongoBD单元用于存储解
密后的日志。
所述日志处理服务器从本地数据库拉取加密日志，同时发送上传成功信息至异平
台代理模块，异平台代理模块确认上传成功信息则删除已上传的加密日志。
所述本地数据库为SQLite数据库。
所述各平台通过对应的异平台收集代理模块从日志服务器获取日志模板，异平台
收集代理模块基于该模块生成日志保存文件。
不同的平台的日志文件的格式和内容不尽相同，而同时保存不同文件格式在存储
上不是有利的做法，因此，通过对各个平台对应的日志文件进行处理，即获取关键的信息，
例如时间、事件类型等信息，然后整合成一个通用的格式，有利于存储。
所述日志服务器基于https连接异平台收集代理模块和日志备份服务器。
基于发明的实施例2，如图2所示的日志收集流程。
客户端日志收集代理启动，根据配置文件连接日志服务器，如果连接成功则发送
本机密钥种子；日志服务器接收密钥种子并生产一组密钥及使用策略，将使用策略发送至
客户端；客户端保存密钥种子和使用策略，请求日志本地保存的DB模版文件；日志服务器接
收请求并发送本地DB模版文件至客户端；客户端根据模板文件复制生成日记本地保存DB文
件，然后进行日记上传策略的交互，获取本地日志侦听端口并上传端口信息至日志服务器，
完成客户端收集代理启动。
通过密钥和使用策略的定制控制客户端以规定的顺序和方式处理日志的加密工
作；基于数据库模板来实现统一格式的日志的保存；通过日志上传策略的交互，使日志的上
传能够按照规定的方式进行；通过上传端口信息的上传使日志服务器能够获取客户端的端
口信息以支持第三方对客户端/服务器的访问。
本平台的日志收集代理接收到日志后使用启动时接收到的密钥及使用策略对日
志内容进行加密，并保存到本地的SQLite数据库中。在保存时日志收集代理会根据年/月/
日的方式建立多个SQLite数据库，根据日志写入的日志决定将日志内容写入对应的SQLite
数据库中。
当日志收集代理根据上传策略要求到达上传日志时机时，会将日志内容通过
HTTPS的方式上传到日志服务器。日志服务器接收到日志内容后，根据之前传送给日志收集
代理的密钥策略及密钥对日志进行解密之后，使用服务器端自己的密钥对日志内容进行加
密并保存到MongoDB中，同时通知日志收集代理上传成功，日志收集代理删除本地已上传的
日志内容，对SQLite数据库进行压缩。
根据服务器端配置的备份策略，服务器端将日志内容通过服务器端密钥加密后导
出为文本文件，并再导出文件进行加密以及压缩，以年/月/日/时/分/秒为文件名通过
HTTPS的方式备份到日志备份服务器。
在日志服务器端除接收日志收集代理上传日志内容的进程以及日志备份进程以
外，会根据配置启动一个分析进程，该进程可根据第3方日志分析软件的需求，将已保存到
服务器的日志通过指定的格式发送到指定IP的指定端口。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要
其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范
围内其技术方案和/或实施方式可以有各种不同的修改和变化。