一种集群存储系统的日志收集方法技术领域
本发明涉及一种计算机存储，具体地说是一种集群存储系统的日志收集方法。
背景技术
随着的互联网的发展,每一刻都在产生各种各样的海量数据；集群存储为海量数据的存储提供了解决方案。集群存储系统的运维工作就越来越被重视；考虑考虑到集群存储系统的可维护性，其中非常重要的一点是日志。由于集群存储系统的log日志一般是记录在本地的特定目录下,所以集群存储系统的Log日志分布在集群的各个节点上；运维人员要想了解这个集群的运行情况，查询集群的Log日志时就会非常的不方便。
发明内容
本发明的技术任务是提供一种一种集群存储系统的日志收集方法，来解决以上技术问题。
本发明解决其技术问题所采用的技术方案是：该方法所包含的模块有日志管理模块、日志收集模块、日志代理模块；
所述的日志管理模块运行在集群中主监控器节点上，负责管理协调日志收集模块和日志代理模块，该模块以嵌入式的方式，整合到集群存储系统的业务流程中；
所述的日志收集模块运行在集群中主监控器节点上，负责收集管理多个日志代理模块推送来的数据，并将数据分类存储到指定的目录下，根据根据集群的规模动态配置日志收集模块的大小；
所述的日志代理模块运行在集群中的各个节点上，负责收集所在节点上的集群存储系统的Log日志，并将日志推送给日志收集模块。
所述的每一个日志代理模块可监听1024个文件。
所述的日志代理模块配置文件中有发送日志安全级别属性为E2E和SendOnly。
本发明的一种集群存储系统的日志收集方法和现有技术相比，具有以下有益效果：
1、该方法实现了将日志收集模块和日志代理模块由日志管理模块统一管理，使得系统便于维护；
2、该方法可以根据存储集群的规模动态的配置日志代理模块的多少,来满足集群日志收集的需要具有较高的可扩展性；
3、该方法提供了两种级别的可靠性保障,E2E（数据代理模块发现有新的日志时首先将日志数据写到本地磁盘上，当日志数据传送成功后，再删除本地记录；如果日志数据发送失败，可以定时重新发送）；SendOnly（数据代理模块发现有新的日志时,将日志数据发送到接收方后，不会进行确认），根据集群存储系统的log日志的重要性进行设置日志收集级别，这样确保重要的日志收集成功的可靠性。
具体实施方式
具体实施例对本发明作进一步说明。
本发明的一种集群存储系统的日志收集方法，该方法所包含的模块有日志管理模块、日志收集模块、日志代理模块；所述的日志管理模块运行在集群中主监控器节点上，负责管理协调日志收集模块和日志代理模块，该模块以嵌入式的方式，整合到集群存储系统的业务流程中，每一个日志代理模块可监听1024个文件，日志代理模块配置文件中有发送日志安全级别属性为E2E和SendOnly；所述的日志收集模块运行在集群中主监控器节点上，负责收集管理多个日志代理模块推送来的数据，并将数据分类存储到指定的目录下，根据根据集群的规模动态配置日志收集模块的大小；所述的日志代理模块运行在集群中的各个节点上，负责收集所在节点上的集群存储系统的Log日志，并将日志推送给日志收集模块。
具体工作原理为：
每一个日志代理模块可监听1024个文件；日志代理模块将记录每一个log日志文件的收集位置。当日志文件有新的记录产生，日志代理模块根据收集位置进行读取增量记录；根据日志代理模块的配置文件将日志数据发送到指定的日志收集模块。一个日志代理模块在配置文件中一般指定至少两个日志收集模块，当主日志收集在一定的时间内容无法连接时，日志代理模块将连接备用的日志收集模块。日志代理模块配置文件中有发送日志安全级别属性E2E和SendOnly。
当日志代理模块的配置文件中发送日志安全级别属性是E2E的情况,那么日志代理模块首先将推送的日志内容写入到本地特定的文件中，然后日志的内容推送给日志收集模块；日志收集模块收到该日志代理模块推送的日志数据，并成功的保存下来后；将反馈给日志代理模块日志内容保存成功的确认信息。当日志代理模块收到确认信息后，会将删除之前写入的本地特定文件。如果没有收到日志收集模块的确认信息，那么就保留本地特定文件；并继续推送日志数据。
当日志代理模块的配置文件中发送日志安全级别属性是SendOnly的情况，那么数据代理模块发现有新的日志时,将日志数据发送给日志收集模块就退出该次日志推送过程。
如果日志代理模块出现问题，需要重新启动，日志代理模块会根据重新启动的时间点减去最大的心跳间隔作为起始点来进行日志重新获取的时间点。这样虽然数据有重复的可能，但能保证日志数据的完成性。日志代理模块重新连接日志收集模块后，日志收集模块收到的日志内容时，日志收集模块进行简单的数据重复性检查！即日志收集模块在写入日志内容前，会读出日志文件中的最后一条记录，进行时间比对；将大于日志文件中的最后一条日志时间的日志写入日志文件，否则认为是重复的数据。
应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。