基于负载均衡的分布式数据传输方法和系统.pdf

本发明实施例提供了一种基于负载均衡的分布式数据传输方法和系统。该方法主要包括：将分布式数据传输系统中的各个传输节点分成多个层次，在每个层次中包括多个传输节点，在分布式数据传输系统中设置一个负载均衡管理节点，负载均衡管理节点根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制。本发明实施例实现了对整个数据传输过程进行有效的检测和管理，可以根据各个传输节点的节点状态信息按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制，实时调整分布式数据传输系统的网络架构，从而提高了分布式数据传输系统的数据传输的效率。

权利要求书1.  一种基于负载均衡的分布式数据传输方法，其特征在于，将分布式数据传输系统中的各个传输节点分成多个层次，在每个层次中包括多个传输节点，在分布式数据传输系统中设置一个负载均衡管理节点，所述方法具体包括：所述负载均衡管理节点与每个传输节点进行数据通信，接收每个传输节点发送过来的节点状态信息；所述负载均衡管理节点根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制。2.  根据权利要求1所述的基于负载均衡的分布式数据传输方法，其特征在于，所述负载均衡管理节点与每个传输节点进行数据通信，接收每个传输节点发送过来的节点状态信息，包括：在分布式数据传输系统中的各个传输节点中设置心跳模块，各个传输节点实时获取传输节点自身的节点状态信息；各个传输节点按照设定的时间间隔通过所述心跳模块采用远程过程调用协议向所述负载均衡管理节点发送携带所述节点状态信息的心跳消息，所述负载均衡管理节点通过指定端口接收各个传输节点发送过来的心跳消息，获取所述心跳消息中携带的节点状态信息。3.  根据权利要求2所述的基于负载均衡的分布式数据传输方法，其特征在于，所述节点状态信息包括节点网络流量速率、节点最大带宽、CPU负载、内存使用量。4.  根据权利要求1或2或3所述的基于负载均衡的分布式数据传输方法，其特征在于，所述负载均衡管理节点根据接收到的各个传输节点的节点状态 信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制，包括：所述负载均衡管理节点在一定时间内没有接收到某个传输节点发送过来的心跳信息，所述负载均衡管理节点确认所述某个传输节点的状态为失效；所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点；否则，执行下述处理步骤；所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点。5.  根据权利要求1或2或3所述的基于负载均衡的分布式数据传输方法，其特征在于，所述负载均衡管理节点根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制，包括：所述负载均衡管理节点接收到某个传输节点发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断某个传输节点的CPU使用量超过80%、内存使用量超过80%、缓存数据大小占整个缓存空间大小超过90%和/或网络带宽使用量超过90%，则所述负载均衡管理节点确认所述某个传输节点的状态为过载；所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则所述负载 均衡管理节点选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点；否则，执行下述处理步骤；所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点。6.  根据权利要求5所述的基于负载均衡的分布式数据传输方法，其特征在于，所述负载均衡管理节点根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制，包括：所述负载均衡管理节点接收到某个传输节点后续发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断所述某个传输节点的状态为正常，则所述负载均衡管理节点将发送给所述某个传输节点的数据流量从所述备用传输节点重新导向所述某个传输节点。7.  一种基于负载均衡的分布式数据传输系统，其特征在于，包括：多个传输节点和一个负载均衡管理节点，所述各个传输节点分成多个层次，在每个层次中包括多个传输节点；所述的负载均衡管理节点，用于与每个传输节点进行数据通信，接收每个传输节点发送过来的节点状态信息，根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制。8.  根据权利要求7所述的基于负载均衡的分布式数据传输系统，其特征 在于：所述的传输节点，用于设置心跳模块，实时获取传输节点自身的节点状态信息；按照设定的时间间隔通过所述心跳模块采用远程过程调用协议向所述负载均衡管理节点发送携带所述节点状态信息的心跳消息；所述的负载均衡管理节点，用于通过指定端口接收各个传输节点发送过来的心跳消息，获取所述心跳消息中携带的节点状态信息。9.  根据权利要求7或8所述的基于负载均衡的分布式数据传输系统，其特征在于：所述的负载均衡管理节点，具体用于在一定时间内没有接收到某个传输节点发送过来的心跳信息，确认所述某个传输节点的状态为失效；判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点；否则，执行下述处理步骤；判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点。10.  根据权利要求9所述的基于负载均衡的分布式数据传输系统，其特征在于：所述的负载均衡管理节点，具体用于接收到某个传输节点发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断某个传输节点的CPU使用量超过80%、内存使用量超过80%、缓存数据大 小占整个缓存空间大小超过90%和/或网络带宽使用量超过90%，则所述负载均衡管理节点确认所述某个传输节点的状态为过载；判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点；否则，执行下述处理步骤；判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点。11.  根据权利要求10所述的基于负载均衡的分布式数据传输系统，其特征在于：所述的负载均衡管理节点，具体用于接收到某个传输节点后续发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断所述某个传输节点的状态为正常，则将发送给所述某个传输节点的数据流量从所述备用传输节点重新导向所述某个传输节点。

说明书基于负载均衡的分布式数据传输方法和系统
技术领域
本发明涉及分布式数据传输技术领域，尤其涉及一种基于负载均衡的分布式数据传输方法和系统。
背景技术
近年来信息技术快速发展，网络数据量增长非常迅速。同时云计算、物联网技术的发展也产生了大量的网络数据。在这些网络数据中存在着很大一部分数据需要长距离、长时间的网络传输。例如用于数据挖掘的云计算平台，需要从各个采集点中采集数据并传输到云平台中。基于物联网的城市交通管理系统则需要实时从城市各个关键节点采集数据，并实时对数据进行存储、合并、处理等操作。
当前长距离、长时间的网络数据传输主要有两种，一种就是应用的服务器在网络中开放接口，用于接收数据，各个外网节点均通过该接口向服务器发送数据；另一种则是使用分布式数据传输的方法，通过设置大量的、多层次的中间缓存节点，来对采集到的数据进行汇聚并最终汇集到服务器中。
近年来随着互联网的发展，许多业务应用中均存在着分布式数据传输系统，例如物联网、交通信息管理、网络监控等。然而这些分布式数据传输系统均存在一定的缺点。在这类分布式数据传输系统中，数据需要在不同节点间进行传输、分流、汇聚等操作。伴随着节点的增加，出现节点失效、节点负载过大等情况的概率将大大增加，而这些情况都将会导致数据丢失。这些分布式数据传输系统只有当其中某个节点出现故障失效后才能发现问题，而这时缓存在该节点的数据则很有可能无法找回。同时这些分布式数据传输系 统的网络传输速率也是很大的制约因素，当多个上一节节点同时向某个下一节节点并行传输数据时，该下一节节点可能无法处理接收数据，从而导致数据丢失。
发明内容
本发明的实施例提供了一种基于负载均衡的分布式数据传输方法和系统，以提高分布式数据传输系统的数据传输的效率。
本发明提供了如下方案：
一种基于负载均衡的分布式数据传输方法，将分布式数据传输系统中的各个传输节点分成多个层次，在每个层次中包括多个传输节点，在分布式数据传输系统中设置一个负载均衡管理节点，所述方法具体包括：
所述负载均衡管理节点与每个传输节点进行数据通信，接收每个传输节点发送过来的节点状态信息；
所述负载均衡管理节点根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制。
所述负载均衡管理节点与每个传输节点进行数据通信，接收每个传输节点发送过来的节点状态信息，包括：
在分布式数据传输系统中的各个传输节点中设置心跳模块，各个传输节点实时获取传输节点自身的节点状态信息；
各个传输节点按照设定的时间间隔通过所述心跳模块采用远程过程调用协议向所述负载均衡管理节点发送携带所述节点状态信息的心跳消息，所述负载均衡管理节点通过指定端口接收各个传输节点发送过来的心跳消息，获取所述心跳消息中携带的节点状态信息。
所述节点状态信息包括节点网络流量速率、节点最大带宽、CPU负载、内存使用量。
所述负载均衡管理节点根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制，包括：
所述负载均衡管理节点在一定时间内没有接收到某个传输节点发送过来的心跳信息，所述负载均衡管理节点确认所述某个传输节点的状态为失效；
所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点；否则，执行下述处理步骤；
所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点。
所述负载均衡管理节点根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制，包括：
所述负载均衡管理节点接收到某个传输节点发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断某个传输节点的CPU使用量超过80%、内存使用量超过80%、缓存数据大小占整个缓存空间大小超过90%和/或网络带宽使用量超过90%，则所述负载均衡管理节点确认所述某个传输节点的状态为过载；
所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则所述负载 均衡管理节点选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点；否则，执行下述处理步骤；
所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点。
所述负载均衡管理节点根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制，包括：
所述负载均衡管理节点接收到某个传输节点后续发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断所述某个传输节点的状态为正常，则所述负载均衡管理节点将发送给所述某个传输节点的数据流量从所述备用传输节点重新导向所述某个传输节点。
一种基于负载均衡的分布式数据传输系统，包括：多个传输节点和一个负载均衡管理节点，所述各个传输节点分成多个层次，在每个层次中包括多个传输节点；
所述的负载均衡管理节点，用于与每个传输节点进行数据通信，接收每个传输节点发送过来的节点状态信息，根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制。
所述的传输节点，用于设置心跳模块，实时获取传输节点自身的节点状态信息；按照设定的时间间隔通过所述心跳模块采用远程过程调用协议向所 述负载均衡管理节点发送携带所述节点状态信息的心跳消息；
所述的负载均衡管理节点，用于通过指定端口接收各个传输节点发送过来的心跳消息，获取所述心跳消息中携带的节点状态信息。
所述的负载均衡管理节点，具体用于在一定时间内没有接收到某个传输节点发送过来的心跳信息，确认所述某个传输节点的状态为失效；
判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点；否则，执行下述处理步骤；
判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点。
所述的负载均衡管理节点，具体用于接收到某个传输节点发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断某个传输节点的CPU使用量超过80%、内存使用量超过80%、缓存数据大小占整个缓存空间大小超过90%和/或网络带宽使用量超过90%，则所述负载均衡管理节点确认所述某个传输节点的状态为过载；
判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点；否则，执行下述处理步骤；
判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点。
所述的负载均衡管理节点，具体用于接收到某个传输节点后续发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断所述某个传输节点的状态为正常，则将发送给所述某个传输节点的数据流量从所述备用传输节点重新导向所述某个传输节点。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过在分布式数据传输系统中设置负载均衡管理节点，该负载均衡管理节点通过与各个传输节点进行通信，获取各个传输节点的节点状态信息，从而实现了对整个数据传输过程进行有效的检测和管理，可以根据各个传输节点的节点状态信息按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制，实时调整分布式数据传输系统的网络架构，从而提高了分布式数据传输系统的数据传输的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种基于负载均衡机制的分布式数据传输系统的网络拓扑结构示意图；
图2为本发明实施例一提供的一种负载均衡管理节点对传输节点进行数据流量负载均衡处理的原理示意图；
图3为本发明实施例三提供了一种基于负载均衡的分布式数据传输系统的具体实现结构图。
具体实施方式
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
实施例一
针对上述分析，本发明实施例提出了一种具有负载均衡机制的分布式数据传输方法，通过引入一个负载均衡管理节点来对数据的传输过程进行监控，并根据数据传输速率和节点状态等因素对数据传输流程进行实时调整，保障数据的传输安全，提高数据传输的容错性。
该实施例提供的一种基于负载均衡机制的分布式数据传输系统的网络拓扑结构示意图如图1所示。在图1所示的分布式数据传输系统中，各个传输节点分成多个层次，在每个层次中包括多个传输节点。在分布式数据传输系统中还设置一个负载均衡管理节点，该负载均衡管理节点与各个传输节点进行通信，根据通信结果对整个分布式数据传输系统的数据传输流程进行实时检测，并做到实时调整网络架构，达到保障数据传输安全的目的。
在本发明实施例中，在分布式传输过程中的各个传输节点中设置心跳模块，所述负载均衡管理节点与每个传输节点进行数据通信，接收每个传输节点发送过来的节点状态信息。然后，所述负载均衡管理节点根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制。
上述负载均衡管理节点对分布式数据传输系统中的各个传输节点进行监测的处理过程如下：
1、负载均衡管理节点对分布式传输过程中的各个节点的监测。
在分布式数据传输系统中的各个传输节点中设置心跳模块，各个传输节点实时获取传输节点自身的节点状态信息。各个传输节点按照设定的时间间隔通过所述心跳模块采用RPC（Remote Procedure Call Protocol，远程过程调用协议）向所述负载均衡管理节点发送携带所述节点状态信息的心跳消息，该节点状态信息包括节点网络流量速率、节点最大带宽、CPU负载、内存使用量。同时负载均衡管理节点中开放指定端口用于接收各个传输节点发送的心跳信息。为了提高节点通信效率，各个传输节点与管理节点直接采用RPC进行通信。
在本发明实施例中，传输节点的状态可以分为失效、过载或者有效。当所述负载均衡管理节点在一定时间内没有接收到某个传输节点发送过来的心跳信息时，所述负载均衡管理节点确认所述某个传输节点的状态为失效。然后，上述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点；否则，执行下述处理步骤；
所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点。
当上述其它传输节点的数量为多个时，则负载均衡管理节点随机选择多个其它传输节点中的一个传输节点作为备用节点。在上述处理过程中，优先选择和失效的传输节点位于同一位置单元的备用传输节点，上述同一位置单元可以为同一机房等。
2、分布式数据传输网络架构的实时调整。
该实施例提供的一种负载均衡管理节点对传输节点进行数据流量负载均衡处理的原理示意图如图2所示。所述负载均衡管理节点接收到各个传输节点发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，将各个传输节点的节点状态信息存储在数据库中。
当所述负载均衡管理节点根据上述数据库中存储的某个传输节点的节点状态信息判断某个传输节点的CPU使用量超过80%、内存使用量超过80%、缓存数据大小占整个缓存空间大小超过90%和/或网络带宽使用量超过90%，则所述负载均衡管理节点确认所述某个传输节点的状态为过载；
所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点，从而减轻上述某个传输节点的数据流量压力；否则，执行下述处理步骤；
所述负载均衡管理节点判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则所述负载均衡管理节点选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点，从而减轻上述某个传输节点的数据流量压力。
之后，所述负载均衡管理节点接收到某个传输节点后续发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断所述某个传输节点的状态为正常，则所述负载均衡管理节点将发送给所述某个传输节点的数据流量从所述备用传输节点重新导向所述某个传输节点。
当上述其它传输节点的数量为多个时，则负载均衡管理节点随机选择多个其它传输节点中的一个传输节点作为备用节点。在上述处理过程中，优先选择和失效的传输节点位于同一位置单元的备用传输节点，上述同一位置单元可以为同一机房等。
实施例二
该实施例提供的一种负载均衡管理节点对传输节点进行节点失效问题处理的过程如下，包括如下的处理步骤：
1、各个传输节点以RPC通信方式定时向管理节点发送携带节点状态信息的心跳消息，上述节点状态信息包括节点网络流量速率、节点最大带宽、CPU负载、内存使用量、节点缓存数据大小占整个缓存空间大小；
2、负载均衡管理节点获取各个传输节点发送过来的心跳信息中携带的节点状态信息，将节点状态信息存储在数据库中；
3、当传输节点A在一段时间内未向负载均衡管理节点发送心跳信息，则负载均衡管理节点判决该传输节点A为失效节点；
4、负载均衡管理节点查询是否存在与传输节点A在同一物理位置例如在同一机房的其他传输节点；
5、若存在与传输节点A在同一物理位置的传输节点B，则负载均衡管理节点通知所有传输数据到传输节点A的节点将数据传输到传输节点B；若不存在则随机查找与传输节点A在同一层次的其他传输节点C；
6、负载均衡管理节点通知所有传输数据到传输节点A的节点将数据传输到传输节点C。从而完成传输节点A失效问题的处理过程。
该实施例提供的一种负载均衡管理节点对传输节点进行节点过载问题处理的过程如下，包括如下的处理步骤：
1、各个传输节点以RPC通信方式定时向管理节点发送携带节点状态信息的心跳消息，上述节点状态信息包括节点网络流量速率、节点最大带宽、CPU负载、内存使用量、节点缓存数据大小占整个缓存空间大小；
2、负载均衡管理节点获取各个传输节点发送过来的心跳信息中携带的节点状态信息，将节点状态信息存储在数据库中；
3、负载均衡管理节点根据数据库中存储的各个传输节点的节点状态信息，使用以下四个条件来检测各个传输节点：a）该节点的CPU使用量超过80%；b）该节点的内存使用量超过80%；c）节点缓存数据大小占整个缓存空间大小超过90%，即大量数据还未传输到下一节点；d）该节点的网络带宽使用量超过90%，即往该节点传输的数据流量接近该节点最大带宽。
4、当传输节点A满足上述任意一种条件时，负载均衡管理节点分流传输到该传输节点A的数据流量，以减轻传输节点A的数据流量压力；
5、负载均衡管理节点查询是否存在与传输节点A在同一物理位置例如在同一机房的其他节点；
6、若存在与传输节点A在同一物理位置的传输节点B，则负载均衡管理节点随机选取往该传输节点发送数据的传输节点C，将传输节点C传输到传输节点A的流量转向到与传输节点A同一层次的传输节点B上；若不存在则随机查找与节点A在同一层次的其他传输节点D；
7、负载均衡管理节点随机选取往该传输节点发送数据的传输节点C，将传输节点C传输到传输节点A的流量转向到与传输节点A同一层次的传输节点D上。从而，完成传输节点A过载问题的处理过程。
实施例三
该实施例提供了一种基于负载均衡的分布式数据传输系统，其具体实现结构如图3所示，具体可以包括：多个传输节点和一个负载均衡管理节点， 所述各个传输节点分成多个层次，在每个层次中包括多个传输节点；
所述的负载均衡管理节点，用于与每个传输节点进行数据通信，接收每个传输节点发送过来的节点状态信息；根据接收到的各个传输节点的节点状态信息，按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制。
具体的，所述的传输节点，用于设置心跳模块，实时获取传输节点自身的节点状态信息；按照设定的时间间隔通过所述心跳模块采用远程过程调用协议向所述负载均衡管理节点发送携带所述节点状态信息的心跳消息；
所述的负载均衡管理节点，用于通过指定端口接收各个传输节点发送过来的心跳消息，获取所述心跳消息中携带的节点状态信息。
具体的，所述的负载均衡管理节点，具体用于在一定时间内没有接收到某个传输节点发送过来的心跳信息，确认所述某个传输节点的状态为失效；
判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点；否则，执行下述处理步骤；
判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的数据流量导向到所述备用传输节点。
具体的，所述的负载均衡管理节点，具体用于接收到某个传输节点发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断某个传输节点的CPU使用量超过80%、内存使用量超过80%、缓 存数据大小占整个缓存空间大小超过90%和/或网络带宽使用量超过90%，则所述负载均衡管理节点确认所述某个传输节点的状态为过载；
判断是否存在和所述某个传输节点位于同一层次、同一位置单元，并且状态为有效的其它传输节点，如果是，则选择所述位于同一层次、同一位置单元，并且状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点；否则，执行下述处理步骤；
判断是否存在和所述某个传输节点位于同一层次、状态为有效的其它传输节点，如果是，则选择所述位于同一层次、状态为有效的其它传输节点作为所述某个传输节点的备用传输节点，将发送给所述某个传输节点的全部或者部分数据流量导向到所述备用传输节点。
具体的，所述的负载均衡管理节点，具体用于接收到某个传输节点后续发送过来的心跳信息后，获取该心跳信息中携带的节点状态信息，根据该节点状态信息判断所述某个传输节点的状态为正常，则将发送给所述某个传输节点的数据流量从所述备用传输节点重新导向所述某个传输节点。
用本发明实施例的系统进行基于负载均衡的分布式数据传输的具体过程与前述方法实施例类似，此处不再赘述。
综上所述，本发明实施例通过在分布式数据传输系统中设置负载均衡管理节点，该负载均衡管理节点通过与各个传输节点进行通信，获取各个传输节点的节点状态信息，从而实现了对整个数据传输过程进行有效的检测和管理，可以根据各个传输节点的节点状态信息按照设定的负载均衡策略对各个传输节点之间的数据传输流量进行控制，实时调整分布式数据传输系统的网络架构，从而提高了分布式数据传输系统的数据传输的效率。
本发明实施例中的负载均衡管理节点可以根据传输节点的节点状态信息，及时发现失效传输节点和过载传输节点，并及时对失效传输节点的全部 数据流量进行分流，保证流向失效传输节点的数据流量不会丢失。及时对过载传输节点的全部或者部分数据流量进行分流，减轻过载传输节点的数据流量压力，保证过载传输节点能够处理接收到的数量流量。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明 的保护范围应该以权利要求的保护范围为准。