《一种数据监控系统和方法.pdf》由会员分享，可在线阅读，更多相关《一种数据监控系统和方法.pdf（14页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104065540A43申请公布日20140924CN104065540A21申请号201410331540822申请日20140711H04L12/26200601G06F17/3020060171申请人网之易信息技术（北京）有限公司地址100084北京市海淀区中关村东路1号院清华科技园8号楼启迪科技大厦D座26层72发明人崔坤曹鲁董海疆张红泽74专利代理机构北京信远达知识产权代理事务所普通合伙11304代理人赵百令刘大玲54发明名称一种数据监控系统和方法57摘要本发明的实施方式提供了一种数据监控系统。该系统包括数据发送模块、消息队列模块、数据处理模块，其中所述数据发送模块。
2、，配置用于向所述消息队列模块发送待处理数据；所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。本系统实现了对海量数据的实时处理，显著提高了系统对实时数据的处理能力。此外，本发明的实施方式提供了一种数据监控方法。51INTCL权利要求书2页说明书8页附图3页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书8页附图3页10申请公布号CN104065540ACN104065540A1/2页2。
3、1一种系统，包括数据发送模块、消息队列模块、数据处理模块，其中所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。2根据权利要求1所述的系统，其中所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数据。3根据权利要求1所述的系统，其中所述数据处理模块配置用于当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待处理数据；。
4、所述消息队列模块配置用于当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送待处理数据。4根据权利要求1所述的系统，其中所述消息队列模块配置用于根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处理数据。5根据权利要求1所述的系统，其中所述数据处理模块包括数据聚合单元和数据收集单元，所述数据聚合单元配置用于当所述预置的监控规则包括监控对象和监控指标时，按照预置的监控规则将待处理数据聚合处理成以监控对象为键、监控指标为值的键值对数据，以及，对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地址，将所述聚合处理后的数据发送到相应位置；所述数据收。
5、集单元配置用于接收所述数据聚合单元聚合处理后的数据，对具有相同键的键值对数据进行合并得到合并结果。6根据权利要求5所述的系统，其中，所述数据处理模块包括至少两个数据聚合单元以及至少两个数据收集单元。7根据权利要求6所述的系统，还包括统一配置模块，配置用于对所述数据处理模块进行统一配置。8根据权利要求1所述的系统，其中所述系统包括至少两个数据发送模块；和/或所述系统包括至少两个消息队列模块。9根据权利要求1所述的系统，还包括报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的统计结果满足预置的报警条件时，输出报警提示信息。10一种方法，应用于数据监控系统，所述系统包括数据发送模。
6、块、消息队列模块、以及数据处理模块，所述方法包括权利要求书CN104065540A2/2页3所述数据发送模块向所述消息队列模块发送待处理数据；所述消息队列模块接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；所述数据处理模块接收所述消息队列模块发送的待处理数据，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。权利要求书CN104065540A1/8页4一种数据监控系统和方法技术领域0001本发明的实施方式涉及数据处理领域，更具体地，本发明的实施方式涉及一种数据监控系统和方法。背景技术0002本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或。
7、上下文。此处的描述不因为包括在本部分中就承认是现有技术。0003随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，产生了大量待处理的实时数据，例如网络监测数据、电信呼叫记录、金融应用数据、WEB日志及点击流数据等。这些实时数据具有数据量极大、生成速度快和生成速率随时间变化等特点。如何在资源有限的情况下，实现对这些实时数据的快速、有效处理成为一个亟需解决的问题。0004传统的关系数据库管理系统在处理有限的存储数据方面是高效的，但是处理大量的实时数据时则效率低下。发明内容0005因此在现有技术中，如何高效地处理海量实时数据，是非常令人烦恼的过程。0006为此，非常需要一种改进的数据监控系统和方法。
8、，以高效地处理海量实时数据。0007在本上下文中，本发明的实施方式期望提供一种数据监控系统和方法。0008在本发明实施方式的第一方面中，提供了一种系统，包括数据发送模块、消息队列模块、数据处理模块，其中0009所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；0010所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；0011所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。0012优选地，所述数据发送模块配置用于异步地向所述消息队列模块发送待处。
9、理数据。0013优选地，所述数据处理模块配置用于0014当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待处理数据；0015所述消息队列模块配置用于0016当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送待处理数据。0017优选地，所述消息队列模块配置用于0018根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处理数据。说明书CN104065540A2/8页50019优选地，所述数据处理模块包括数据聚合单元和数据收集单元，0020所述数据聚合单元配置用于当所述预置的监控规则包括监控对象和监控指标时，按照预置的监控规则将待处理。
10、数据聚合处理成以监控对象为键、监控指标为值的键值对数据，以及，对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地址，将所述聚合处理后的数据发送到相应位置；0021所述数据收集单元配置用于接收所述数据聚合单元聚合处理后的数据，对具有相同键的键值对数据进行合并得到合并结果。0022优选地，所述数据处理模块包括至少两个数据聚合单元以及至少两个数据收集单元。0023优选地，所述系统包括至少两个数据发送模块；和/或0024所述系统包括至少两个消息队列模块。0025优选地，所述系统还包括0026报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的统计结果满足预置的报警条件。
11、时，输出报警提示信息。0027优选地，所述系统还包括0028统一配置模块，配置用于对所述数据处理模块进行统一配置。0029在本发明实施方式的第二方面中，提供了一种方法，应用于数据监控系统，所述系统包括数据发送模块、消息队列模块、以及数据处理模块，所述方法包括0030所述数据发送模块向所述消息队列模块发送待处理数据；0031所述消息队列模块接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；0032所述数据处理模块接收所述消息队列模块发送的待处理数据，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。0033本发明实施例提供的系统和方法可以对实时产生的。
12、待处理数据，通过数据发送模块、消息队列模块发送给数据处理模块，由数据处理模块实现数据的实时处理，以输出处理结果，实现了对海量数据的实时处理，显著提高了对实时数据的处理能力。附图说明0034通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中0035图1示意性地示出了本发明实施例的一种应用场景；0036图2示意性地示出了根据本发明实施方式的数据监控系统的一种实现；0037图3示意性地示出了根据本发明另一实施例的数据监控系统；0038图4示意性地示出了根据本发明又一实施例的数据监控方法。。
13、0039在附图中，相同或对应的标号表示相同或对应的部分。具体实施方式0040下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这说明书CN104065540A3/8页6些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。0041本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即完全的硬件、完全的软件包括固件、驻留软件、微代码等，或者硬件和软件结合的形式。0042根据本发明的实施方式，提出了一种数据监控系统和方法。0043在本文中，需要理解的是，所涉及的。
14、术语“消息队列”用于表示在消息的传输过程中保存消息的容器。一般地，“消息”是在两台计算机间传送的数据单位。“消息队列”的主要作用在于提供路由并保证消息的传递。例如，发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。0044此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。0045下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。0046发明概述0047本发明人发现，传统的关系数据库管理系统在处理有限的存储数据方面是高效的，但是处理大量的实时数据时则效率低下。0048根据本发明实施方式，提供了一种数据监控系统和方法，当有待。
15、处理数据时，通过数据发送模块，向消息队列模块发送待处理数据，消息队列模块用于接收并存储待处理数据，并向数据处理模块发送待处理数据，所述数据处理模块用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。本发明实施例提供的系统和方法可以对实时产生的待处理数据，通过数据发送模块、消息队列模块发送给数据处理模块，由数据处理模块实现数据的实时处理，以输出处理结果，实现了对海量数据的实时处理，显著提高了系统对实时数据的处理能力。0049在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。0050应用场景总览0051首先参考图1，对本发。
16、明实施例的一种应用场景进行说明。其中，如图1所示，线上数据系统100生成待处理数据，数据监控系统200用于实时处理所述线上数据系统100生成的待处理数据。例如，线上数据系统100是一个WEB网站服务器，其可以记录用户对这个WEB网站服务器的访问信息。当然，本领域技术人员可以理解的是，图1所示仅为本发明一种应用场景的示意性说明，并不视为对本发明应用场景的限制。0052示例性设备0053下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的数据监控系统。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用。
17、于适用的任何场景。0054一种数据监控系统200，包括数据发送模块201、消息队列模块202、数据处理模块203，其中0055所述数据发送模块201，配置用于向所述消息队列模块发送待处理数据。说明书CN104065540A4/8页70056所述消息队列模块202，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据。0057所述数据处理模块203，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。0058其中，数据发送模块201配置用于当确定存在待处理数据时，向消息队列模块202发送待处理数据。
18、。优选地，所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数据。为了实现数据发送模块异步地向消息队列发送数据，在数据发送模块中可以存在一个内存队列，用于缓存数据发送模块中的待处理数据。这样，解耦了生成数据的线上数据系统对应待处理数据的来源和消息队列，数据发送模块发送待处理数据或者消息不会影响到线上数据系统的数据处理。具体实现时，所述内存队列可以采用生产者/消费者模式处理数据，以保证线上数据系统的稳定运行。进一步地，在数据发送模块中设置数据接口以及配置单元，所述数据接口用于与数据源设备数据连接，接收来自数据源设备生成待处理数据的设备的待处理数据。所述数据接口也用于与消息队列模块数据连接。
19、，发送待处理数据到消息队列模块。因此，可以通过配置单元对相关参数进行配置，例如配置接收参数、发送参数等。根据该架构，各种数据源设备可以方便地接入本发明实施例提供的数据监控系统，从而实现对待处理数据的实时处理。0059在本发明具体实现时，使用了消息队列模块接收并存储所述数据发送模块发送的所述待处理数据。其中，消息队列MESSAGEQUEUE用于把那些复杂的数据处理业务跟在线主要业务分离，提供丰富的特性和可扩展性。在一种可能的实现方式中，可以采用ACTIVEMQ消息队列，其中，消息队列模块202为服务器，在数据发送模块和数据处理模块两个模块上分别有两个客户端，用来发布和订阅消息。具体实现时，为了提。
20、高系统的可靠性，消息队列模块可以采用集群的方式，例如系统可以包括至少两个消息队列模块。当系统包括至少两个消息队列模块时，可以创建负载均衡系统，用于实现各消息队列模块的负载均衡，任何一个消息队列模块发生故障或者宕机时，不会影响整个消息队列模块集群的正常运行。0060具体实现时，消息队列模块配置用于向数据处理模块发送待处理数据，所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。0061其中，数据处理模块可以主动拉取消息队列模块中保存的待处理数据。当数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待处理数。
21、据。消息队列模块当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送待处理数据。也就是说，在这种实现方式中，数据处理模块可以根据自身的数据处理情况，灵活选择时机向消息队列模块请求发送待处理数据。相对于消息队列模块推送数据给数据处理模块的方式，这种方式更加灵活，由于是在数据处理模块空闲时主动拉取数据，因此可以保证数据处理模块可以有能力处理数据，而不会出现数据处理模块繁忙时仍向其推送数据导致的数据不能及时处理的情况。0062当然，本领域技术人员可以理解的是，在一种可能的实现方式中，消息队列模块还可以接收数据处理模块的数据订阅信息，根据存储的数据订阅信息，向数据处理模块发送与所。
22、述数据订阅信息对应的待处理数据。当然，消息队列模块存储的数据订阅信息也可以是系统预先配置好的。消息队列模块可以实时地或者定时地向数据处理模块发送与数据订说明书CN104065540A5/8页8阅信息对应的待处理数据。0063具体实现时，数据处理模块配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。其中，所述数据处理模块可以包括数据聚合单元和数据收集单元，所述数据聚合单元配置用于当所述预置的监控规则包括监控对象和监控指标时，按照预置的监控规则将待处理数据聚合处理成以监控对象为键、监控指标为值的键值对数据，以及，对聚合处理后的数据进行哈希。
23、运算，得到与其对应的数据收集单元的访问地址，将所述聚合处理后的数据发送到相应位置；所述数据收集单元配置用于接收所述数据聚合单元聚合处理后的数据，对具有相同键的键值对数据进行合并得到合并结果。下面结合图3会举例描述数据聚合单元和数据收集单元的上述工作情形。0064具体实现时，数据处理模块中的数据聚合单元根据预置的监控对象监控指标和监控规则，对接收的待处理数据聚合成以监控对象为键、监控指标为值的键值对数据。其中，监控对象可以根据系统需要预先设置，监控指标可以是监控对象的某一属性或特征。例如对于监控对象为URL为例，监控指标可以是URL的访问次数，URL的最大访问时长、URL的平均访问时长等。监控规。
24、则可以是规定统计预定时间段内的监控数据，也可以是规定统计预定类型的监控数据等。监控规则还可以包括过滤规则，例如通过过滤规则过滤掉明显是恶意访问的网址，减少数据统计量以及提高数据处理的正确性。例如，当URL包括类似波浪线等特殊字符时，则有可能是恶意网址，则将这类数据过滤掉，不进行处理。0065具体实现时，数据收集单元可以对数据聚合单元聚合处理后的数据进行处理，将具有相同键的键值对数据进行合并得到合并结果。数据聚合单元和数据收集单元的对应关系可以是一一对应的，也可以是其他的对应关系。0066参见图3，其示意性地示出了根据本发明另一实施例的分布式实时数据监控系统。0067在图3所示的分布式实时数据监。
25、控系统中，包括三个数据发送模块301，一个消息队列模块302，三个数据聚合单元303、两个数据收集单元304即数据处理模块包括三个数据聚合单元303和两个数据收集单元304，两个报警模块305，以及一个统一配置模块图中未示出。当然，本领域的技术人员应当理解，图3所示的分布式实时数据监控系统中的模块和单元的数目只是示意性的而不是限制性的。0068需要注意的是，在这一实施例中，线上系统或者称为在线应用系统、在线数据系统生成待处理数据，数据发送模块可以包括多个节点，这些多个节点可以位于同一个线上系统，也可以位于不同的线上系统上。数据发送模块负责向消息队列模块异步发送数据。为了使得数据发送时不依赖于消。
26、息队列模块的稳定性，因此在本发明实施例中采用异步的方式，具体地，在数据发送模块中增加内存队列采用生产者消费者的模式来保证线上系统的稳定运行。由于数据发送模块中引入缓存队列内存队列的机制，解耦了在线应用系统和消息队列模块的依赖关系，避免了消息队列模块出现问题情况下对在线应用系统的影响。0069在这一实施例中，消息队列模块也可以是分布式的，可以包括多个消息队列子模块，用于存储来自不同来源或者不同类型的待处理数据。从而使得消息队列模块可以存储更多的数据，而且配置更为灵活，一个消息队列子模块发生故障，不会影响整个消息队列模块的运行。例如，其中一个消息队列子模块宕机时，可以将其剔除；或者，可以新增一个消。
27、息说明书CN104065540A6/8页9队列子模块用于替代发生故障的消息队列子模块，从而保证消息队列模块的可靠运行。0070下面举例进行说明数据聚合单元和数据收集单元的工作原理。假设预置的监控对象为URLUNIFORMRESOURCELOCATOR，统一资源定位符，监控指标为URL的访问次数。0071首先，从消息队列模块302中接收到的待处理数据分成3份，3个数据聚合单元中的每一个处理相应一份待处理数据。假设待处理数据中包含URL1、URL2以及URL3的数据，预置的监控对象为URL1和URL2。假设在3个数据聚合单元中，数据聚合单元1处理的待处理数据包含访问地址是URL1和URL3的数据，。
28、数据聚合单元2处理的待处理数据包括访问地址是URL1和URL2的数据，数据聚合单元3处理的待处理数据包括访问地址是URL2和URL3的数据。这时，数据聚合单元1处理这些数据后得到KEY为URL1的键值对；数据聚合单元2处理这些数据后得到KEY为URL1和URL2的键值对；数据聚合单元3处理这些数据后得到KEY为URL2的键值对。以监控指标为URL的访问次数为例，数据聚合单元1进行聚合处理后产生的结果就是中间键值对，例如URL1900，其中900代表URL的访问次数。数据聚合单元2进行聚合处理后产生的结果就是中间键值对URL1400、URL2600。数据聚合单元3进行聚合处理后产生的结果就是中间。
29、键值对URL21000。这时，各数据聚合单元可以将产生的中间键值对中键相同的值传递给同一个数据收集单元。具体实现时，各数据聚合单元根据键值对中的键KEY进行哈希运算，从而得到数据收集单元的访问地址例如，数据聚合单元中的某个特定于一个数据收集单元的缓存或内存地址，然后把相应键值对传送到相应缓存或内存地址，从而相应数据收集单元可以在稍后通过访问相应缓存或内存地址，得到相应键值对。例如，数据聚合单元1可以把KEY为URL1的键值对URL1900传送到特定于数据收集单元1的缓存或内存地址R1。数据聚合单元2可以把KEY为URL1的键值对URL1400传送到特定于数据收集单元1的缓存或内存地址R1，把K。
30、EY为URL2的键值对URL2600传送到特定于数据收集单元2的缓存或内存地址R2。数据聚合单元3可以把KEY为URL2的键值对URL21000传送到特定于数据收集单元2的缓存或内存地址R2。这样，具有相同键KEYURL1的键值对最终均被传递给相同的数据收集单元1，由数据收集单元1接收同一个键KEYURL1的值900、400，然后将这组值合并以产生合并结果，即合并结果为URL11300。也就是说，通过数据聚合单元和数据收集单元的处理，从众多URL中统计出KEY为URL1的总访问次数为1300。类似的，具有相同键KEYURL2的键值对最终均被传递给相同的数据收集单元2，由数据收集单元2接收同一个。
31、键KEYURL2的值600、1000，然后将这组值合并以产生合并结果，即合并结果为URL21600。也就是说，通过数据聚合单元和数据收集单元的处理，从众多URL中统计出KEY为URL2的总访问次数为1600。需要说明的是，以上仅为示例性说明，不视为对本发明的限制。0072在本实施例中，所述系统还可以包括统一配置模块图3未示出，配置用于对所述数据处理模块进行统一配置。由于采用分布式的技术，数据聚合单元和数据收集单元有多个，所以如果在每个单元上进行配置文件部署会很不方便。因此在本发明实施例中利用统一配置模块对数据聚合单元和数据收集单元进行统一管理配置。例如，当数据聚合单元或者数据收集单元所在的机器。
32、负载较高时，可以立即注册一个新的机器成为新的数据收集单元或数据聚合单元。如果数据聚合单元或者数据收集单元所在的机器宕机，也可以迅速将宕掉的机器剔除，不影响整个系统的运行。又例如，由统一配置模块将来自消息队列模块的数据分成与数据聚合单元的数目相对应的份数。又例如，由统一配置模块确定监控规则、说明书CN104065540A7/8页10监控对象和监控指标、具体的哈希函数等等。0073进一步地，本发明实施例的系统还可以包括报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的统计结果满足预置的报警条件时，输出报警提示信息。其中，报警模块根据数据处理模块统计后的结果进行对比分析。报警规则。
33、可配置，支持多个维度多个层次的配置项，并提供邮件报警、短信报警等机制。0074在本发明这一实施例中，数据聚合单元和数据收集单元采用分布式的设计，数据聚合单元通过对待监控对象的哈希得到数据收集单元的访问地址。这样系统可以无限水平扩展，而且不需要整个架构做过多调整。各个数据聚合单元和数据收集单元并行地工作，实现了对海量数据的实时处理，显著提高了对实时数据的处理能力。并且，由于数据聚合单元和数据收集单元采用分布式的设计，整个系统的抗故障能力大幅度提高，不会出现集中式设计中会出现的瓶颈。0075示例性方法0076在介绍了本发明示例性实施方式的设备之后，接下来，参考图4对本发明示例性实施方式的、用于数据。
34、监控的方法进行介绍。0077一种方法，应用于数据监控系统，所述系统包括数据发送模块、消息队列模块、以及数据处理模块，所述方法包括0078S401，数据发送模块向所述消息队列模块发送待处理数据。0079S402，所述消息队列模块接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据。0080S403，所述数据处理模块接收所述消息队列模块发送的待处理数据，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。0081其中，所述数据发送模块异步地向所述消息队列模块发送待处理数据。0082进一步地，所述方法还包括0083当所述数据处理模块处于空闲状态时，向所述消息队。
35、列模块发送数据请求用于请求待处理数据；0084消息队列模块向所述数据处理模块发送待处理数据包括0085当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送待处理数据。0086其中，所述消息队列模块向所述数据处理模块发送待处理数据包括0087根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅消息对应的待处理数据。0088其中，当所述数据处理模块包括数据聚合单元和数据收集单元时，则所述接收所述消息队列模块发送的待处理数据，按照预置的监控规则对所述待处理数据进行处理，输出处理结果包括0089当所述预置的监控规则包括监控对象和监控指标时，所述数据聚合单元按照预置的监控规则将。
36、待处理数据聚合处理成以监控对象为键，监控指标为值的键值对数据，以及，对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地址，将所述聚合处理后的数据发送到相应位置；0090所述数据收集单元接收所述数据聚合单元聚合处理后的数据，对具有相同键的键说明书CN104065540A108/8页11值对数据进行合并得到合并结果。0091进一步地，所述方法还包括0092对经过数据处理模块处理后的处理结果进行统计，当获得的统计结果满足预置的报警条件时，输出报警提示信息。0093进一步地，在所述数据处理模块包括多个数据聚合单元和数据收集单元的情况下，所述方法还包括0094对所述数据处理模块进行统一设。
37、置。0095需要说明的是，以上对设备实施例进行了详细地介绍，方法实施例可以参照设备实施例实现。0096应当注意，尽管在上文详细描述中提及了数据监控系统的若干装置或子装置，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。0097此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。0098虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。说明书CN104065540A111/3页12图1图2说明书附图CN104065540A122/3页13图3说明书附图CN104065540A133/3页14图4说明书附图CN104065540A14。