一种发送日志信息的方法及装置.pdf

一种发送日志信息的方法及装置
技术领域
本发明涉及通信技术领域，尤其涉及一种发送日志信息的方法及装置。
背景技术
日志是监控计算机和网络安全的重要手段，同时也是评估计算机和网络安全的重要途径。在实际应用中，日志系统往往采用分布式部署，即将多种服务和/或设备产生的日志收集到一起进行分析和处理，在这种情形下，产生日志的一方称之为日志发送方，收集日志的一方称之为日志接收方，日志发送方将日志消息传输给日志接收方，日志接收方则接收来自不同地理位置的日志发送方。
Syslog是被业界广泛接收的日志标准，IETF制订的新的Syslog标准允许更大容量的日志消息。Syslog/TLS标准和Syslog-sign标准在增加Syslog安全性和可靠性的同时，也增加了大量证书、签名等传输数据；与此同时，一些应用，例如医药工业，需求大日志量的传输。这一切都增加了Syslog日志传输量，也增高了日志延迟和网络拥塞的可能性。如何及时应对Syslog日志传输过程中发生的各种事件是保证日志系统可靠性和安全性的有效手段。
日志发送方在极端情况下(例如网络拥塞或流量控制或日志产生量突增时，将会造成缓冲队列的大负荷甚至溢出)，可能采取一些对日志的预处理措施，例如优先发送重要日志或过滤次要日志，以保证重要日志的及时报警。这些措施都不可避免地将造成日志的丢失或乱序，对日志的完整性有损害。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：日志接收方不能及时察觉日志传输事件(例如过滤或者乱序)的发生，在对收集到的日志在日后审计时，不知道日志在上述场景中的丢失情况和乱序情况，对日志的审计和分析的正确性有一定的影响。
发明内容
本发明实施例提供一种发送日志信息的方法及装置，可使得日志接收方能及时察觉发送方对日志的预处理事件信息，提高后续对日志的审计和分析的正确性。
本发明实施例提供一种发送日志信息的方法，包括：
检测日志发送方的缓冲队列的负载是否达到预设的异常阈值；
当日志发送方的缓冲队列的负载达到预设的异常阈值时，日志发送方生成包括预处理事件开始消息的日志信息并发送至日志接收方；
日志发送方在对其缓冲队列的日志作预处理操作时，若检测到缓冲队列的负载没有达到预设的异常阈值，则生成包括预处理事件结束消息的日志信息并发送至日志接收方。
本发明实施例还提供一种发送日志信息的装置，包括：
缓冲单元，用于存储待发送的日志队列；
检测单元，用于检所述测缓冲单元的日志队列的负载是否达到预设的异常阈值；
第一日志信息生成单元，用于在所述检测单元检测到所述缓冲单元的日志队列的负载达到预设的异常阈值时，生成包括预处理事件开始消息的日志信息；发送日志信息的装置在对所述缓冲单元的日志信息作预处理操作时，当所述检测单元检测到所述缓冲单元的日志队列的负载没有达到预设的异常阈值时，所述第一日志信息生成单元生成包括预处理事件结束消息的日志信息；
日志发送单元，用于将所述包括预处理事件开始消息的日志信息及所述包括预处理事件结束消息的日志信息发送至日志接收方。
本发明实施例通过日志发送方生成包括预处理事件开始消息或预处理事件结束消息的日志信息发送至日志接收方，可使得日志接收方及时获取日志发送方在其缓冲队列的负载达到预设的异常阈值时对待发送日志所作的预处理信息，知道日志其缓冲队列的负载达到预设的异常阈值时的丢失情况或乱序情况，提高了后续对日志信息进行审计和分析时的正确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发送日志信息的方法发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是Syslog协议报文的报文头的结构示意图；
图2是本发明实施例一发送日志信息的方法的流程示意图；
图3是本发明实施例二发送日志信息的方法的流程示意图；
图4是本发明实施例一发送日志信息的装置的结构示意图；
图5是本发明实施例二发送日志信息的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用于解释本发明，并不用于限定本发明。
本发明实施例中，所述日志信息以Syslog协议报文为例进行说明。
Syslog协议采用Client/Server(客户端/服务器)模式的通信方式，Client是事件报文的接收者。Client可以是事件的产生者，比如一个设备或进程，也可能是一个中继的实体，中继的实体对从其他发送者(事件产生者或者其他中继实体)收到的Syslog时间进行处理后发给其他的接收者。
Syslog协议报文包括三个部分：报文头、结构化数据(Structured DataElement，SDE)和消息正文。如图1所示，所述报文头包括如下字段：PRI、VERSION、TIMESTAMP、HOSTNAME、APP-NAME、PROCID和MSGID。其中PRI表示优先级，VERSION表示Syslog协议版本号，TIMESTAMP表示日志产生的时间戳，HOSTNAME表示日志发送方的主机域名或地址，APP-NAME表示表示产生日志的应用名称，PROCID表示表示日志系统的进程号，MSGID表示日志的消息类别。
所述结构化数据是由一系列结构化元素构成，每个结构化元素包括结构化元素名称以及一系列的参数名和参数值对组成。
所述消息正文是自由形式的文本信息，一条Syslog日志信息可以不包括消息正文。
请参考图2，为本发明实施例一发送日志信息的方法的流程示意图，其步骤包括：
步骤S10：检测日志发送方的缓冲队列的负载是否达到预设的异常阈值。
日志发送方将待发送的日志存储在其缓冲队列中，日志发送方实时检测其缓冲队列的负载是否达到预设的异常阈值，例如检测缓冲队列的长度是否达到预先设置的阈值，如果达到则进入步骤S12。
如果日志发送方的缓冲队列的负载已经达到预设的异常阈值，则日志发送方将会对缓冲队列中的日志信息进行预处理操作，例如过滤次要日志、将重要日志优先传输或覆盖旧日志等。
步骤S12：日志发送方生成包括预处理事件开始消息的日志信息并发送至日志接收方，所述预处理事件消息包括预处理的开始时间消息及预处理策略消息。
在步骤S10检测出日志发送方的缓冲队列的负载达到预设的异常阈值后，日志发送方产生一个包括预处理事件开始消息的日志信息，所述包括预处理事件开始消息的日志信息与所述日志发送方的缓冲队列中的日志信息的格式一致，本发明实施例以Syslog日志信息为例进行说明。
所述包括预处理事件开始消息的日志信息可以通过设置Syslog日志信息中的结构化数据(SDE)来实现。一个SDE由一个结构化元素名称以及一系列的参数名和参数值对组成，其语法如下：
[SD-ID NAME1＝“VALUE1”......NAMEn＝“VALUEn”]
例如将结构化数据的SD-ID设为preprocess，参数名及其属性描述如下：
 

FieldDescriptionType预处理动作timeType时间类型timeValue时间点Criteria策略类型Threshold阈值
“预处理动作”用以说明日志发送方对其缓冲队列中待发送日志的预处理动作：过滤、乱序传输等，其中过滤可以包括过滤次要日志，乱序传输可以包括将重要日志优先传输或覆盖旧日志等。“时间类型”指示后续的“时间点”是最早被预处理日志的时间戳或者最迟被预处理的日志的时间戳，“策略类型”和“阈值”表示重要日志的条件，例如Criteria＝“severity”，Threshold＝“3”表示头部字段PRI所对应的severity小于3的日志是重要日志。
例如：
[preprocess Type＝“filter”timeType＝“start”timeValue＝“2009-02-1315:00:00”Criteria＝“severity”Threshold＝“3”]，表示一个预处理事件已经发生，预处理策略是对所有severity大于3的日志(次要日志)过滤掉，最早被过滤的日志于“2009-02-1315:00:00”产生。
日志接收方接收到所述包括预处理事件开始消息的日志信息后，经过解析可以实时获取发送方的预处理信息，在后续对日志的审计和分析时可获悉的发送方对日志的预处理时间发生的时间、预处理策略，通过分析预处理事件发生的时间、预处理策略可获悉日志发送方从什么时间开始对日志做了什么处理，可以提高审计和分析的正确性；另外日志接收方获取到包括预处理事件开始消息的日志信息后，可以及时获取网络拥塞或大量日志突增等极端情况的发生，从而及时反应。
步骤S14：日志发送方在对其缓冲队列的日志作预处理操作时，若检测到缓冲队列的负载没有达到预设的异常阈值，则生成包括预处理事件结束消息的日志信息并发送至日志接收方，所述预处理事件结束消息包括预处理的结束时间消息及预处理策略消息。
日志发送方在对其缓冲队列的日志作预处理操作时，比如对所有severity大于3的日志(次要日志)过滤掉，在预处理操作中缓冲队列中的日志会越来越少，若一段时间过后检测到其缓冲队列的负载(例如换缓冲队列中日志的长度)下降到预设的异常阈值以下，即没有达到预设的异常阈值，则日志发送方将结束之前的预处理操作，产生包括预处理事件结束消息的日志信息并发送至日志接收方。
所述包括预处理事件结束消息的日志信息也可以通过设置Syslog日志信息中的结构化数据(SDE)来实现。例如：
[preprocess Type＝“filter”timeType＝“end”timeValue＝“2009-02-1315:20:00”]，表示当前的预处理事件(过滤)已经结束，最迟被过滤的日志于“2009-02-1315:20:00”产生。
日志接收方接收到所述包括预处理事件结束消息的日志信息后，经过解析可以实时获取发送方的预处理信息，在后续对日志的审计和分析时可获悉的发送方对日志的预处理时间结束的时间、预处理策略，过分析预处理事件结束的时间、预处理策略可获悉日志发送方从什么时间对日志做的预处理已经结束，可以提高审计和分析的正确性。
本发明实施例通过日志发送方生成包括预处理事件开始消息或预处理事件结束消息的日志信息发送至日志接收方，可使得日志接收方及时获取日志发送方在其缓冲队列的负载达到预设的异常阈值时对待发送日志所作的预处理信息，知道日志其缓冲队列的负载达到预设的异常阈值时的丢失情况或乱序情况，提高了后续对日志信息进行审计和分析时的正确性；另外日志接收方能够通过日志系统本身及时获知例如网络拥塞或大量日志突增等极端情况的发生，从而及时反应。
请参考图3，为本发明实施例二发送日志信息的方法的流程示意图，其与本发明实施例一发送日志信息的方法步骤类似，其不同在于在步骤S10前还包括：
步骤S8：日志发送方生成包括描述日志重要性的消息的日志信息并发送至日志接收方，所述包括描述日志重要性的消息的日志信息用以日志接收方解析后根据所述描述日志重要性的消息对接收的日志做相应处理。
所述包括描述日志重要性消息的日志信息也可以通过设置Syslog日志信息中的结构化数据(SDE)来实现。例如：
[preprocess Criteria＝“severity”Threshold＝”3”]，表示日志发送方发送的显示severity小于3的日志是重要日志。
日志接收方接收到所述包括描述日志重要性的消息的日志信息后，经过解析获得所述描述日志重要性的消息，则日志接收方通过所述描述日志重要性的消息鉴别哪些日志是重要日志，例如日志发送方发送的显示severity小于3的日志是重要日志，当日志接收方同时处理大量日志时，可以优先处理这些severity小于3的重要日志，保证重要日志的安全可靠的接收和处理。
本发明实施例日志发送方生成包括预处理事件开始消息或预处理事件结束消息的日志信息发送至日志接收方，可使得日志接收方及时获取日志发送方在其缓冲队列的负载达到预设的异常阈值时对待发送日志所作的预处理信息，知道日志方是否在其缓冲队列的负载达到预设的异常阈值时的丢失情况或乱序情况，提高了后续对日志信息进行审计和分析时的正确性；另外日志接收方能够通过日志系统本身及时获知例如网络拥塞或大量日志突增等极端情况的发生，从而及时反应；而且日志发送方生成包括描述日志重要性的消息的日志信息并发送至日志接收方，可使得日志接收方识别出重要日志，保证重要日志的安全可靠的接收和处理。
请参考图4，为本发明实施例一发送日志信息的装置的结构示意图，所述发送日志信息的装置可包括Syslog协议中Client/Server(客户端/服务器)模式中的客户端。
所述发送日志信息的装置包括缓冲单元52、检测单元54、第一日志信息生成单元56及日志发送单元58。
所述缓冲单元52，用于存储待发送的日志队列；
所述检测单元54，用于检测缓冲单元52的日志队列的负载是否达到预设的异常阈值；所述检测单元54实时检测缓冲单元52的负载是否达到预设的异常值，例如检测缓冲单元52中日志队列的长度是否达到预先设置的阈值。
所述第一日志信息生成单元56，用于在所述检测单元54检测到所述缓冲单元52的日志队列的负载达到预设的异常阈值时，生成包括预处理事件开始消息的日志信息，所述预处理事件消息包括预处理的开始时间消息及预处理策略消息；所述日志发送单元58用于将所述第一日志信息生成单元56生成的包括预处理事件开始消息的日志信息发送至日志接收方。
所述包括预处理事件开始消息的日志信息与所述缓冲单元52的日志队列中的日志信息的格式一致，本发明实施例以Syslog日志信息为例进行说明。
所述包括预处理事件开始消息的日志信息可以通过设置Syslog日志信息中的结构化数据(SDE)来实现。一个SDE由一个结构化元素名称以及一系列的参数名和参数值对组成，其语法如下：
[SD-IDNAME1＝“VALUE1”......NAMEn＝“VALUEn”]
例如将结构化数据的SD-ID设为preprocess，参数名及其属性描述如下：
 FieldDescriptionType预处理动作timeType时间类型timeValue时间点Criteria策略类型Threshold阈值
“预处理动作”用以说明日志发送方对其缓冲队列中待发送日志的预处理动作：过滤、乱序传输等，其中过滤可以包括过滤次要日志，乱序传输可以包括将重要日志优先传输或覆盖旧日志等。“时间类型”指示后续的“时间点”是最早被预处理日志的时间戳或者最迟被预处理的日志的时间戳，“策略类型”和“阈值”表示重要日志的条件，例如Criteria＝“severity”，Threshold＝“3”表示头部字段PRI所对应的severity小于3的日志是重要日志。
例如：
[preprocess Type＝“filter”timeType＝“start”timeValue＝“2009-02-1315:00:00”Criteria＝“severity”Threshold＝“3”]，表示一个预处理事件已经发生，预处理策略是对所有severity大于3的日志(次要日志)过滤掉，最早被过滤的日志于“2009-02-1315:00:00”产生。
日志接收方接收到所述包括预处理事件开始消息的日志信息后，经过解析可以实时获取发送方的预处理信息，在后续对日志的审计和分析时可获悉的发送方对日志的预处理时间发生的时间、预处理策略，通过分析预处理事件发生的时间、预处理策略可获悉日志发送方从什么时间开始对日志做了什么处理，可以提高审计和分析的正确性；另外日志接收方获取到包括预处理事件开始消息的日志信息后，可以及时获取网络拥塞或大量日志突增等极端情况的发生，从而及时反应。
所述第一日志信息生成单元56，还用于发送日志信息的装置在对所述缓冲单元52的日志信息作预处理操作时，当所述检测单元54检测到所述缓冲单元52的日志队列的负载没有达到预设的异常阈值时，生成包括预处理事件结束消息的日志信息，所述预处理事件结束消息包括预处理的结束时间消息及预处理策略消息；所述日志发送单元58还用于将所述第一日志信息生成单元56生成的包括预处理事件结束消息的日志信息发送至日志接收方。
发送日志信息的装置在对所述缓冲单元52的日志信息作预处理操作时，比如对所有severity大于3的日志(次要日志)过滤掉，在预处理操作中缓冲队列中的日志会越来越少，若一段时间过后检测到其缓冲队列的负载(例如换缓冲队列中日志的长度)下降到预设的异常阈值以下，即没有达到预设的异常阈值，则发送日志信息的装置将结束之前的预处理操作，产生包括预处理事件结束消息的日志信息并发送至日志接收方。
所述包括预处理事件结束消息的日志信息也可以通过设置Syslog日志信息中的结构化数据(SDE)来实现。例如：
[preprocess Type＝“filter”timeType＝“end”timeValue＝“2009-02-1315:20:00”]，表示当前的预处理事件(过滤)已经结束，最迟被过滤的日志于“2009-02-1315:20:00”产生。
日志接收方接收到所述包括预处理事件结束消息的日志信息后，经过解析可以实时获取发送方的预处理信息，在后续对日志的审计和分析时可获悉的发送方对日志的预处理时间结束的时间、预处理策略，过分析预处理事件结束的时间、预处理策略可获悉日志发送方从什么时间对日志做的预处理已经结束，可以提高审计和分析的正确性提高审计和分析的正确性。
本发明实施例通过所述第一日志信息生成单元56生成包括预处理事件开始消息或预处理事件结束消息的日志信息发送至日志接收方，可使得日志接收方及时获取所述缓冲单元52的负载达到预设的异常阈值时对待发送日志所作的预处理信息，知道所述缓冲单元52的负载达到预设的异常阈值时的丢失情况或乱序情况，提高了后续对日志信息进行审计和分析时的正确性；另外日志接收方能够通过日志系统本身及时获知例如网络拥塞或大量日志突增等极端情况的发生，从而及时反应。
请参考图5，为本发明实施例二发送日志信息的装置的结构示意图，其与本发明实施例一发送日志信息的装置的结构类似，其区别在于还包括：第二日志信息生成单元60。
所述第二日志信息生成单元60，用于生成包括描述日志重要性的消息的日志信息并发送至日志接收方，所述包括描述日志重要性的消息的日志信息用以日志接收方解析后根据所述描述日志重要性的消息对接收的日志做相应处理。
所述包括描述日志重要性消息的日志信息也可以通过设置Syslog日志信息中的结构化数据(SDE)来实现。例如：
[preprocess Criteria＝“severity”Threshold＝”3”]，表示日志发送方发送的显示severity小于3的日志是重要日志。
日志接收方接收到所述包括描述日志重要性的消息的日志信息后，经过解析获得所述描述日志重要性的消息，则日志接收方通过所述描述日志重要性的消息鉴别哪些日志是重要日志，例如日志发送方发送的显示severity小于3的日志是重要日志，当日志接收方同时处理大量日志时，可以优先处理这些severity小于3的重要日志，保证重要日志的安全可靠的接收和处理。
本发明实施例通过所述第一日志信息生成单元56生成包括预处理事件开始消息或预处理事件结束消息的日志信息发送至日志接收方，可使得日志接收方及时获取所述缓冲单元52的负载达到预设的异常阈值时对待发送日志所作的预处理信息，知道所述缓冲单元52的负载达到预设的异常阈值时的丢失情况或乱序情况，提高了后续对日志信息进行审计和分析时的正确性；另外日志接收方能够通过日志系统本身及时获知例如网络拥塞或大量日志突增等极端情况的发生，从而及时反应；而且所述第二日志信息生成单元60生成包括描述日志重要性的消息的日志信息并发送至日志接收方，可使得日志接收方识别出重要日志，保证重要日志的安全可靠的接收和处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述程序可以存储于一计算机可读取存储介质中，所述存储介质为ROM/RAM、磁碟、光盘等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。