一种分布式节点的数据处理方法及网关设备.pdf

上传人:54 文档编号:6376802 上传时间:2019-06-05 格式:PDF 页数:14 大小:946.27KB
返回 下载 相关 举报
摘要
申请专利号:

CN201510407553.3

申请日:

2015.07.10

公开号:

CN105007317A

公开日:

2015.10.28

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):H04L 29/08申请日:20150710|||公开

IPC分类号:

H04L29/08; G06F17/30; H04L12/66

主分类号:

H04L29/08

申请人:

深圳市创梦天地科技有限公司

发明人:

李雪冰; 袁清; 吕明阳; 蓝应志

地址:

518000广东省深圳市南山区科苑路15号科兴科学园A3栋16层16/F

优先权:

专利代理机构:

广州三环专利代理有限公司44202

代理人:

郝传鑫; 熊永强

PDF下载: PDF下载
内容摘要

本发明实施例公开了一种分布式节点的数据处理方法,包括:当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个待处理节点;根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令;当接收到所有所述待处理节点返回的聚合结果时,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。本发明实施例还公开了一种网关设备。采用本发明,这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。

权利要求书

权利要求书
1.  一种分布式节点的数据处理方法,其特征在于,所述方法包括:
当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点,其中,所述待处理节点为需进行数据聚合的节点;
根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;
当接收到所有所述待处理节点返回的聚合结果时,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。

2.  如权利要求1所述的方法,其特征在于,所述数据聚合操作请求携带聚合函数;
所述根据所述数据聚合操作请求生成聚合操作指令包括:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。

3.  如权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理;
当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。

4.  如权利要求3所述的方法,其特征在于,所述数据包包括所述聚合结果;
所述当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理包括:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;
所述当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理包括:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。

5.  如权利要求1所述的方法,其特征在于,当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点之前包括:
建立与网关设备连接的所有节点的数据映射的逻辑表,所述逻辑表包括所有所述节点的数据以及所述节点的数据的索引值。

6.  一种网关设备,其特征在于,所述设备包括:
确定单元,用于当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点,其中,所述待处理节点为需进行数据聚合的节点;
生成传输单元,用于根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;
处理传输单元,用于接收所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。

7.  如权利要求6所述的设备,其特征在于,所述数据聚合操作请求携带聚合函数;
所述生成传输单元具体用于:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。

8.  如权利要求6所述的设备,其特征在于,所述方法还包括:
判断单元,用于当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理;
传输单元,用于当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。

9.  如权利要求8所述的设备,其特征在于,所述数据包包括所述聚合结果
所述判断单元具体用于:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;
所述传输单元具体用于:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。

10.  如权利要求6所述的设备,其特征在于,当设备包括:
建立单元,用于建立与网关设备连接的节点的数据映射的逻辑表,所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。

说明书

说明书一种分布式节点的数据处理方法及网关设备
技术领域
本发明涉及通信领域,尤其涉及一种分布式节点的数据处理方法及网关设备。
背景技术
数据库一般通过数据表来存储数据,但数据量不一定是可控的,随着时间和业务的发展,数据库中的数据表会越开越多,数据表中的数据量也会越来越大。另外,一台服务器的硬件资源也是有限的,最终数据库所能承载的数据量、数据处理能力都讲遭遇硬件资源的瓶颈,因此需进行分库分表。即是原本把存储于一个服务器的数据库的数据分块存储于多个服务器的多个数据数据库中,把原本存储于一个数据表中的数据分块存储到多个数据表,或多个服务器的数据库中,可称为节点。
但是,进行分库分表后,由于数据原本集中存储于一个数据表中或一个节点中,现在分布在多个数据表甚至多个节点中,故网关设备常需对来自多个节点的数据进行聚合汇总的操作。
而目前对数据进行聚合汇总的方案中,大多是采用网关从各个数据库获取所需聚合的数据,再在网关上根据聚合指令进行聚合的方案,但是,当网关是采用大量数据进行聚合时,网关与节点间需进行大量的数据传输,这不仅浪费了资源,也影响了其他数据的传输,造成传输效率过低。
发明内容
本发明实施例所要解决的技术问题在于,提供一种分布式节点的数据处理方法及设备。可这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。为了解决上述技术问题,本发明实施例提供了一种分布式节点的数据处理方法,包括:
当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点,其中,所述待处理节点为需进行数据聚合的节点;
根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;
接收所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
其中,所述数据聚合操作请求携带聚合函数;
所述根据所述数据聚合操作请求生成聚合操作指令包括:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
其中,所述方法还包括:
当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理;
当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。
其中,所述数据包包括所述聚合结果;
所述当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理包括:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;
所述当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理包括:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。
其中,当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点之前包括:
建立与网关设备连接的所有节点的数据映射的逻辑表,所述逻辑表包括所有所述节点的数据以及所述节点的数据的索引值。
相应地,本发明实施例还提供了一种网关设备,包括:
确定单元,用于当接收到客户端发送的数据聚合操作请求时,根据所述请 求确定至少两个个待处理节点,其中,所述待处理节点为需进行数据聚合的节点;
生成传输单元,用于根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;
处理传输单元,用于接收所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
其中所述数据聚合操作请求携带聚合函数;
所述生成传输单元具体用于:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
其中,所述方法还包括:
判断单元,用于当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理;
传输单元,用于当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。
其中,所述判断单元具体用于:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;、
所述传输单元具体用于:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。
其中,当设备包括:
建立与网关设备连接的节点的数据映射的逻辑表,所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。
实施本发明实施例,具有如下有益效果:
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可根据数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚 合获得聚合结果的指令;当接收到所有所述待处理节点返回的聚合结果时,可对所有聚合结果进行聚合处理,获得聚合数据,并将所述聚合数据返回给所述客户端,这使得网关设备可让每个节点对其存储的待聚合数据进行聚合,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一种分布式节点的数据处理方法的第一实施例流程示意图;
图2是本发明一种分布式节点的数据处理方法的第二实施例流程示意图;
图3是本发明一种网关设备的第一实施结构图;
图4是本发明一种网关设备的第二实施结构图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,为本发明一种分布式节点的数据处理方法的第一实施例流程示意图。如图1所示,本实施例所述的一种分布式节点的数据处理方法包括步骤:
S100,当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点。
在本发明实施例中,节点可包括主数据库和备数据库,每个节点可以是同个逻辑集合,不同的逻辑集合可组成一个集群,其中,当主数据库的数据更新时,同个节点的备数据库也同步进行更新,以保证主备数据库的数据一致性。执行主体网关设备可设置在客户端和节点之间,客户端可通过浏览器访问网关设备实现对节点的操作,即是,网关设备为客户端操作节点提供了接口。网关 设备可根据客户端的操作请求对节点进行操作以及返回操作结果的功能。其中,节点可以分布在多个服务器中。
在具体应用中,可例如,节点可以是MYSQL节点。随着MYSQL节点存储的数据越来越大,一个MYSQL节点可能无法存储所有数据,因而需进行扩容增加新的MYSQL节点,使得数据可存储在若干个MYSQL节点中。进一步的,当一个服务器无法存储若干个MYSQL节点时,MYSQL节点可分布在多个服务器中,因此,MYSQL节点可以实现跨机器的数据库分布。
在本发明实施例中,数据库由一张或多张数据库表组成,其中数据库表又由行组成,而行又可由多个字段或列组成,数据库的数据最终保存在一张或多张数据库表的相应行的相应字段中,由此可获知,每个数据都有其相应的存储位置。在本发明实施例中,网关设备可建立于网关设备连接的所有节点的数据映射的逻辑表,其中,逻辑表包括所有节点的数据以及每个数据对应的索引值。其中,索引值可以是对应的数据的存储位置。这使得客户端可通过该逻辑表操作节点,使得终端用户只需像操作单表一样访问数据,而不需知道节点的结构,关心数据在节点的存放位置,仅需对数据进行操作即可,有效提高用户操作便捷度。
在本发明实施例中,由于节点分布于多个服务器中,即把原本存储于一个服务器的节点中的数据分区存储到多个服务器中,数据原本集中存储于一个数据表中的某一个或多个列将会转移到多个数据表,甚至多个数据库中,进行散列分布,故客户端常需对数据进行聚合来汇总来自多行信息的操作。
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可对客户端进行权限验证。当网关设备对客户端的权限验证不通过时,网关设备可向客户端返回访问失败的提示信息。当网关设备对客户端的权限验证通过时,网关设备可根据数据聚合操作请求确定所请求的待聚合数据所存储的待处理节点,并且,由于数据聚合操作请求是针对于多个节点的操作请求,故待处理节点为至少两个。其中,数据聚合操作请求携带待处理数据的索引值,网关设备可根据待处理数据的索引值获取数据所存储的具体位置。进一步的,数据聚合操作请求可包括:求和操作、求最大值操作、求最小值操作和求平均数操作等。其中,求和操作可以是SQL中的SUM聚合函数,求最大值操作可以是SQL中的MAX聚合函数,求最小值可以是SQL中的MIN聚合函数,求 平均数可以是SQL中的AVG聚合函数,即是,数据聚合操作请求可携带所述聚合函数。其中,数据聚合操作请求可以是SQL语句。
S101,根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令。
在本发明实施例中,网关设备可根据数据聚合操作请求生成聚合操作指令,聚合操作指令指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据,并对获得的待聚合数据进行聚合获得聚合结果的指令。进一步的,聚合操作指令可携带聚合函数,此时,聚合操作指令可指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据,并根据聚合函数对待聚合数据进行聚合,获得聚合结果的指令。其中,当网关设备生成聚合操作指令后,网关设备可将聚合操作指令发送给待处理节点,以使待处理节点响应所述聚合操作指令。其中,聚合操作指令可以是SQL语句。
在本发明实施例中,当待处理节点接收到聚合操作指令后,待处理节点可根据聚合操作指令在存储的数据中获取数据聚合操作请求所请求的待聚合数据,并根据聚合操作指令对待聚合数据进行聚合,如对待聚合数据进行SUM函数操作获得聚合结果,例如:当待处理节点获取待聚合数据为1,2,3时,则对待聚合数据进行SUM函数操作获得聚合结果可为6。
S102,当接收到所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
在本发明实施例中,当各待处理节点对待聚合数据进行聚合获得聚合结果后,各待处理节点可将获得的聚合结果返回给网关设备。
在本发明实施例中,当网关设备接收到各待处理节点返回的聚合结果后,网关设备可对各聚合结果进行聚合处理,获得聚合数据。优选的,网关设备可根据聚合函数对各聚合结果进行聚合处理,获得聚合数据。如网关设备可对各聚合结果进行SUM函数操作。
在本发明实施例中,当网关设备获得聚合数据后,网关设备将聚合数据返回给客户端。其中,网关设备可通过TCP的传输方式将聚合数据返回给客户端。
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可根据数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理 节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;当接收到所有所述待处理节点返回的聚合结果时,可对所有聚合结果进行聚合处理,获得聚合数据,并将所述聚合数据返回给所述客户端,这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。
请参见图2,为本发明一种分布式节点的数据处理方法的第一实施例流程示意图。如图2所示,本实施例所述的一种分布式节点的数据处理方法包括步骤:
S200,当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理。
在本发明实施例中,网关设备可向节点发送数据包请求,此时节点可响应数据包请求返回网关设备所请求的数据包。当网关设备接收到节点发送的数据包时,网关设备可判断是否需对数据包进行操作处理,如需等待其他节点返回的数据包进行聚合处理,如需对数据包进行修改数据等,若网关设备判断不需对数据包进行操作处理时,网关设备可确定不需对数据包进行操作处理。优选的,网关设备可查询是否存储有对该数据包进行操作处理的操作指令,当网关设备没有查询到存储有对该数据包进行操作处理的操作指令时,网关设备可确定不需对数据包进行操作处理。
优选的,在本发明实施例中,数据包可包括以上实施例所描述的聚合结果,当网关设备接收到任意一个待处理节点返回的聚合结果时,网关设备可判断是否需对该聚合结果进行聚合处理或其他操作处理等,其中,网关设备可查询是否存储有对该聚合结果进行操作处理的操作指令,如聚合函数操作等指令。当网关设备没有查询到存储有对该聚合结果进行操作处理的操作指令时,网关设备可确定不需对该聚合结果进行操作处理。
S201,当确定不需对数据包进行操作处理时,将所述数据包进行传输处理。
在本发明实施例中,当网关设备确定不需对数据包进行操作处理时,网关设备不需等待其他节点返回数据包,再一起将数据包进行传输处理,而是网关设备可直接将数据包进行转发。
优选的,在本发明实施例中,当网关设备确定待处理节点返回的聚合结果不需进行操作处理时,网关设备可将该聚合结果返回给客户端,而不需等待其 他待处理节点返回的聚合结果。
在本发明实施例中,当网关设备接收到与网关设备连接的节点发送的数据包时,可判断是否需对所述数据包进行操作处理,当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理,这使得网关设备可将所需发送的数据进行错开发送,有效利用传输资源,并可提高传输效率。
参见图3,是本发明实施例的一种网关设备的第一实施例结构示意图。本实施例中所描述的网关设备,包括:
确定单元100,用于当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点。
生成传输单元200,用于根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令。
处理传输单元300,用于接收所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
其中,所述生成传输单元200具体用于:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
所述终端还包括建立单元,用于建立与网关设备连接的节点的数据映射的逻辑表,所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。
在本发明实施例中,节点可包括主数据库和备数据库,每个节点可以是同个逻辑集合,不同的逻辑集合可组成一个集群,其中,当主数据库的数据更新时,同个节点的备数据库也同步进行更新,以保证主备数据库的数据一致性。执行主体网关设备可设置在客户端和节点之间,客户端可通过浏览器访问网关设备实现对节点的操作,即是,网关设备为客户端操作节点提供了接口。网关设备可根据客户端的操作请求对节点进行操作以及返回操作结果的功能。其中,节点可以分布在多个服务器中。
在具体应用中,可例如,节点可以是MYSQL节点。随着MYSQL节点存储的数据越来越大,一个MYSQL节点可能无法存储所有数据,因而需进行扩容增加新的MYSQL节点,使得数据可存储在若干个MYSQL节点中。进一步的,当一个服务器无法存储若干个MYSQL节点时,MYSQL节点可分布在多个服务器中,因此,MYSQL节点可以实现跨机器的数据库分布。
在本发明实施例中,数据库由一张或多张数据库表组成,其中数据库表又由行组成,而行又可由多个字段或列组成,数据库的数据最终保存在一张或多张数据库表的相应行的相应字段中,由此可获知,每个数据都有其相应的存储位置。在本发明实施例中,建立单元可建立于网关设备连接的所有节点的数据映射的逻辑表,其中,逻辑表包括所有节点的数据以及每个数据对应的索引值。其中,索引值可以是对应的数据的存储位置。这使得客户端可通过该逻辑表操作节点,使得终端用户只需像操作单表一样访问数据,而不需知道节点的结构,关心数据在节点的存放位置,仅需对数据进行操作即可,有效提高用户操作便捷度。
在本发明实施例中,由于节点分布于多个服务器中,即把原本存储于一个服务器的节点中的数据分区存储到多个服务器中,数据原本集中存储于一个数据表中的某一个或多个列将会转移到多个数据表,甚至多个数据库中,进行散列分布,故客户端常需对数据进行聚合来汇总来自多行信息的操作。
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可对客户端进行权限验证。当网关设备对客户端的权限验证不通过时,网关设备可向客户端返回访问失败的提示信息。当网关设备对客户端的权限验证通过时,确定单元100可根据数据聚合操作请求确定所请求的待聚合数据所存储的待处理节点,并且,由于数据聚合操作请求是针对于多个节点的操作请求,故待处理节点为至少两个。其中,数据聚合操作请求携带待处理数据的索引值,网关设备可根据待处理数据的索引值获取数据所存储的具体位置。进一步的,数据聚合操作请求可包括:求和操作、求最大值操作、求最小值操作和求平均数操作等。其中,求和操作可以是SQL中的SUM聚合函数,求最大值操作可以是SQL中的MAX聚合函数,求最小值可以是SQL中的MIN聚合函数,求平均数可以是SQL中的AVG聚合函数,即是,数据聚合操作请求可携带所述聚合函数。其中,数据聚合操作请求可以是SQL语句。
在本发明实施例中,生成传输单元200可根据数据聚合操作请求生成聚合操作指令,聚合操作指令指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据,并对获得的待聚合数据进行聚合获得聚合结果的指令。进一步的,聚合操作指令可携带聚合函数,此时,聚合操作指令可指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据,并根据聚合函数对待聚合数据进行 聚合,获得聚合结果的指令。其中,当生成传输单元200生成聚合操作指令后,生成传输单元200可将聚合操作指令发送给待处理节点,以使待处理节点响应所述聚合操作指令。其中,聚合操作指令可以是SQL语句。
在本发明实施例中,当待处理节点接收到聚合操作指令后,待处理节点可根据聚合操作指令在存储的数据中获取数据聚合操作请求所请求的待聚合数据,并根据聚合操作指令对待聚合数据进行聚合,如对待聚合数据进行SUM函数操作获得聚合结果,例如:当待处理节点获取待聚合数据为1,2,3时,则对待聚合数据进行SUM函数操作获得聚合结果可为6。
在本发明实施例中,当各待处理节点对待聚合数据进行聚合获得聚合结果后,各待处理节点可将获得的聚合结果返回给网关设备。
在本发明实施例中,当处理传输单元300接收到各待处理节点返回的聚合结果后,处理传输单元300可对各聚合结果进行聚合处理,获得聚合数据。优选的,处理传输单元300可根据聚合函数对各聚合结果进行聚合处理,获得聚合数据。如网关设备可对各聚合结果进行SUM函数操作。
在本发明实施例中,当处理传输单元300获得聚合数据后,处理传输单元300将聚合数据返回给客户端。其中,处理传输单元300可通过TCP的传输方式将聚合数据返回给客户端。
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可根据数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;当接收到所有所述待处理节点返回的聚合结果时,可对所有聚合结果进行聚合处理,获得聚合数据,并将所述聚合数据返回给所述客户端,这使得网关设备可让每个节点对其存储的待聚合数据进行聚合,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。
参见图4,是本发明实施例的一种网关设备的第二实施例结构示意图。本实施例中所描述的网关设备,包括:
判断单元400,用于当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理。
传输单元500,用于当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。
其中,所述判断单元400具体用于:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;
所述传输单元500具体用于:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。
在本发明实施例中,网关设备可向节点发送数据包请求,此时节点可响应数据包请求返回网关设备所请求的数据包。当网关设备接收到节点发送的数据包时,判断单元400可判断是否需对数据包进行操作处理,如需等待其他节点返回的数据包进行聚合处理,如需对数据包进行修改数据等,若判断单元400判断不需对数据包进行操作处理时,判断单元400可确定不需对数据包进行操作处理。优选的,判断单元400可查询是否存储有对该数据包进行操作处理的操作指令,当判断单元400没有查询到存储有对该数据包进行操作处理的操作指令时,判断单元400可确定不需对数据包进行操作处理。
优选的,在本发明实施例中,数据包可包括以上实施例所描述的聚合结果,当网关设备接收到任意一个待处理节点返回的聚合结果时,判断单元400可判断是否需对该聚合结果进行聚合处理或其他操作处理等,其中,判断单元400可查询是否存储有对该聚合结果进行操作处理的操作指令,如聚合函数操作等指令。当判断单元400没有查询到存储有对该聚合结果进行操作处理的操作指令时,判断单元400可确定不需对该聚合结果进行操作处理。
在本发明实施例中,当传输单元500确定不需对数据包进行操作处理时,传输单元500不需等待其他节点返回数据包,再一起将数据包进行传输处理,而是传输单元500可直接将数据包进行转发。
优选的,在本发明实施例中,当传输单元500确定待处理节点返回的聚合结果不需进行操作处理时,传输单元500可将该聚合结果返回给客户端,而不需等待其他待处理节点返回的聚合结果。
在本发明实施例中,当网关设备接收到与网关设备连接的节点发送的数据包时,可判断是否需对所述数据包进行操作处理,当确定不需对所述数据包进 行操作处理时,将所述数据包进行传输处理,这使得网关设备可将所需发送的数据进行错开发送,有效利用传输资源,并可提高传输效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

一种分布式节点的数据处理方法及网关设备.pdf_第1页
第1页 / 共14页
一种分布式节点的数据处理方法及网关设备.pdf_第2页
第2页 / 共14页
一种分布式节点的数据处理方法及网关设备.pdf_第3页
第3页 / 共14页
点击查看更多>>
资源描述

《一种分布式节点的数据处理方法及网关设备.pdf》由会员分享,可在线阅读,更多相关《一种分布式节点的数据处理方法及网关设备.pdf(14页珍藏版)》请在专利查询网上搜索。

本发明实施例公开了一种分布式节点的数据处理方法,包括:当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个待处理节点;根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令;当接收到所有所述待处理节点返回的聚合结果时,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。本发明实施例还公开了一种网关设备。采用本发明,这使得网关设。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1