一种基于空间地理位置的动态负载均衡方法.pdf

一种基于空间地理位置的动态负载均衡方法，其均衡方法为：采用重定向型负载分配模型，选取负载指标，采用一种基于空间地理位置的动态分组调度算法，实现空间数据服务器集群的负载均衡。本发明的优点是：采用基于空间地理位置的动态负载均衡方法来优化空间数据服务器的负载均衡性能，采用重定向型负载分配模型，解决了负载平衡器的瓶颈；采用基于空间地理位置的动态分组调度算法，提高了空间数据服务器的Cache利用率。本发明的实施将为全球地理信息的普及应用奠定坚实的网络基础，为人类生活的各方面应用地理信息带来巨大的方便。

1、  一种基于空间地理位置的动态负载均衡方法，其特征是均衡方法为：采用重定向型负载分配模型，选取负载指标，采用一种基于空间地理位置的动态分组调度算法，实现空间数据服务器集群的负载均衡。

2、  根据权利要求1所述的一种基于空间地理位置的动态负载均衡方法，其特征是重定向型负载分配模型由客户端、负载平衡器和空间数据服务器组成，客户端、负载平衡器和空间数据服务器通过基于TCP/IP的交换网络相连接。

3、  根据权利要求1所述的一种基于空间地理位置的动态负载均衡方法，其特征是负载指标选取CPU利用率、内存利用率和网络利用率的加权平均。

4、  根据权利要求1所述的一种基于空间地理位置的动态负载均衡方法，其特征是基于空间地理位置的动态分组调度算法根据空间数据地理位置的相关性将空间数据集划分为多个空间数据子集，并根据访问热度将空间数据服务器进行动态分组。

5、  根据权利要求2所述的一种基于空间地理位置的动态负载均衡方法，其特征是所述的负载平衡器根据各种查询参数计算出该服务请求的空间数据所在的地理位置信息。

6、  根据权利要求5所述的一种基于空间地理位置的动态负载均衡方法，其特征是根据地理位置相关性，将空间数据集划分为多个子集，每个子集对应一个空间数据服务器组。

7、  根据权利要求6所述的一种基于空间地理位置的动态负载均衡方法，其特征是在负载平衡器上维护一张服务器列表，多张与每个空间数据子集相对应的服务器列表和一张空闲服务器列表。

8、  根据权利要求7所述的一种基于空间地理位置的动态负载均衡方法，其特征是采用中值滤波法从多台满足转发条件的空间数据服务器中选取转发目标。

9、  根据权利要求4所述的一种基于空间地理位置的动态负载均衡方法，其特征是采用双阈值法，对空间数据服务器定义两个负载阈值：上限负载阈值和下限负载阈值，从而将空间数据服务器划分为三种状态：超载状态、备选状态和空闲状态。

10、  根据权利要求4或5或6或7或8或9所述的一种基于空间地理位置的动态负载均衡方法，其特征是调度规则为：
(1)负载平衡器不把服务请求转发给处于超载状态的空间数据服务器；
(2)当某个空间数据子集对应的空间数据服务器子集中有备选空间数据服务器时，按前面所述的中值滤波法来选择空间数据服务器；
(3)当某个空间数据子集对应的空间数据服务器子集中没有备选空间数据服务器时，从空闲服务器列表中选择一台负载最小的处于空闲状态的空间数据服务器；
(4)当空闲服务器列表为空时，该服务请求处于等待状态，每隔时间间隔Δτ后重新转发一次，3次不成功放弃。

一种基于空间地理位置的动态负载均衡方法
技术领域
本发明涉及地理信息技术领域，尤其涉及一种基于空间地理位置的动态负载均衡方法。
背景技术
大型空间数据网络服务系统中，为了提高网络服务的带宽和响应速度，通常采用服务器集群技术对多台空间数据服务器进行集中管理，并采用相应的负载均衡技术来实现系统的负载均衡。设计有效的负载均衡方法来保证空间数据服务器间的负载均衡和提高单个空间数据服务器的Cache命中率，是提高服务器集群负载能力的关键。
国内外对服务器集群中的负载均衡调度算法进行了比较多的研究。在开源的Linux虚拟服务器集群中，实现了多种负载均衡调度算法，比较容易实现的负载均衡调度算法主要有轮叫调度、加权轮叫调度、最小连接调度、加权最小连接调度。这些调度算法可用于服务器集群规模比较小的系统，当系统比较大，服务器数目较多时，它们的效果会明显下降。在大规模服务器集群中，可以采用基于局部性的最小连接调度算法和基于内容的调度算法。基于局部性的最小连接调度是假设后端服务器都是相同的，在后端服务器的负载基本均衡的情况下，尽可能将相同的请求分到同一台服务器，以提高后端服务器的访问局部性，从而提高后端服务器的Cache命中率。基于内容的调度是考虑后端服务器不相同时，若同一类型的请求有多个服务器可以选择时，将请求负载均衡地调度到这些服务器上。
海量空间数据具有多分辨率多数据集的特点，不同的数据集服务器响应服务的速度差异明显，相同数据集服务器响应服务的速度通常差异不大。而且，即使是同一数据集，由于数据量庞大，一般都是覆盖全球的数据，每台服务器都能提供相同的服务，现有的负载均衡方法并不能使系统的负载均衡效果达到最优。
发明内容
本发明的目的在于提供一种基于空间地理位置的动态负载均衡方法，该方法采用重定向型负载分配模型，主要包括以下组成部分：客户端，用于向客户提供空间数据服务请求操作和获得服务结果；负载平衡器，用于响应客户端的空间数据服务请求，并根据调度规则转发该服务请求到相应的空间数据服务器；空间数据服务器，接收负载均衡器转发过来的客户端的空间数据服务请求，并直接响应客户端的服务请求。
本发明是这样来实现的，其特征是均衡方法为：采用重定向型负载分配模型，选取负载指标，采用一种基于空间地理位置的动态分组调度算法，实现空间数据服务器集群的负载均衡。
本发明所述的重定向型负载分配模型由客户端、负载平衡器和空间数据服务器组成，客户端、负载平衡器和空间数据服务器通过基于TCP/IP的交换网络相连接。
本发明所述的负载指标选取CPU利用率、内存利用率和网络利用率的加权平均。
本发明所述的基于空间地理位置的动态分组调度算法根据空间数据地理位置的相关性将空间数据集划分为多个空间数据子集，并根据访问热度将空间数据服务器进行动态分组。
本发明所述的负载平衡器根据各种查询参数计算出该服务请求的空间数据所在的地理位置信息。
本发明所述的地理位置相关性，将空间数据集划分为多个子集，每个子集对应一个空间数据服务器组。
本发明所述的在负载平衡器上维护一张服务器列表，多张与每个空间数据子集相对应的服务器列表和一张空闲服务器列表。
本发明所述的采用中值滤波法从多台满足转发条件的空间数据服务器中选取转发目标。
本发明所述的基于空间地理位置的动态分组调度算法，采用双阈值法，对空间数据服务器定义两个负载阈值：上限负载阈值和下限负载阈值，从而将空间数据服务器划分为三种状态：超载状态、备选状态和空闲状态。
本发明采用的调度规则为：
(1)负载平衡器不把服务请求转发给处于超载状态的空间数据服务器；
(2)当某个空间数据子集对应的空间数据服务器子集中有备选空间数据服务器时，按前面所述的中值滤波法来选择空间数据服务器；
(3)当某个空间数据子集对应的空间数据服务器子集中没有备选空间数据服务器时，从空闲服务器列表中选择一台负载最小的处于空闲状态的空间数据服务器；
(4)当空闲服务器列表为空时，该服务请求处于等待状态，每隔时间间隔Δτ后重新转发一次，3次不成功放弃。
本发明的优点是：采用基于空间地理位置的动态负载均衡方法来优化空间数据服务器的负载均衡性能，采用重定向型负载分配模型，解决了负载平衡器的瓶颈；采用基于空间地理位置的动态分组调度算法，提高了空间数据服务器的Cache利用率。本发明的实施将为全球地理信息的普及应用奠定坚实的网络基础，为人类生活的各方面应用地理信息带来巨大的方便。
附图说明
图1为发明的结构示意图。
在图中，1、客户端  2、负载平衡器  3、空间数据服务器
具体实施方式
如图1所示，本发明提供的重定向型负载分配模型包括以下组成部分，
(1)客户端1，用于向客户提供空间数据服务请求操作；
客户端部分主要是装有空间数据应用系统客户端软件的客户机组成；客户端通过网络(通常采用Internet)和负载平衡器、空间数据服务器相连。客户端部分属于现有技术已有部份。在一个网络空间数据应用系统中，客户端的数量常常是庞大的且不确定的，用户只需在个人计算机上安装客户端软件，即意味着产生一个可供接入的客户端。因此除非安全要求高的空间数据应用系统(例如军事用途)，客户端1和其他部份采用内部局域网连接，其他情况下采用Internet连接是最方便最实用的做法。
(2)负载平衡器2，用于响应客户端的空间数据服务请求，并根据调度规则转发该服务请求到相应的空间数据服务器；
负载平衡器部份实现的功能与现有服务器集群中的负载平衡器类似，用于接收并转发客户端空间数据服务请求。为了分配资源，当客户端1发送空间数据服务请求时，负载平衡器2将根据内置的调度算法将用户的请求转发给空间数据服务器池中的某一空间数据服务器。负载平衡器2是整个空间数据服务器集群的负载均衡核心，具体实施时所有的操作都在Linux操作系统核心空间中完成的，开销很小，具有很高的吞吐率。
(3)空间数据服务器3，用于接收负载均衡器转发过来的客户端的空间数据服务请求，并直接响应客户端的服务请求。
如图1所示，若干空间数据服务器3组成空间数据服务器池(附图中只举出三个空间数据服务器，事实上可以扩展更多)，构成空间数据网络服务的真正提供者。当整个系统收到的负载超过目前所有结点的处理能力时，可以在空间数据服务器池中增加空间数据服务器来满足不断增长的请求负载。本发明中的空间数据服务器可以是现有技术中的各种提供空间数据网络服务的应用服务器，如影像数据服务器、地形数据服务器、WMS服务器(WMS即仓库管理系统)等等。具体实施时可采用使用基于TCP/IP的100M/1000M高速交换网络来连接负载平衡器和空间数据服务器。
如图1所示，本发明提供的重定向型分配模型的工作基本流程为：
(a)客户端向负载平衡器发出空间数据服务请求；
(b)负载平衡器根据空间地理位置的不同将请求发送到调度模块中的调度算法指定的空间数据服务器；
(c)被选中的空间数据服务器直接响应客户端的空间数据请求。
负载指标的选取直接关系到负载均衡的效果。真实节点的真实负载是一个多维数据，也就是节点中各个资源的利用率的总体标识了这个节点的真实负载。为了得到一个负载的评估参数，可以根据各个参量对于节点负载的影响程度进行加权平均。实际应用中，集群的服务不同，各个参量的权重也不同。在空间数据网络服务中，主要是静态文件。而且对同一空间数据集而言，栅格数据通常是划分成大小相等的瓦片，空间数据服务器响应单个瓦片请求服务的时间是相当的。对于这类服务，主要是文件的传输对网络负载的影响最大，其次由于动态请求和读取文件，使得CPU负载和内存负载的影响也比较大。因此，本文空间数据服务器的真实负载用下式计算：
Lreali=α·rcpui+β·rmemi+γ·rneti---(1)]]>
其中：
L_realⁱ是节点i的真实负载；
r_cpuⁱ是节点i的cpu利用率；
r_memⁱ是节点i的内存利用率；
r_netⁱ是节点i的网络利用率；
α，β，γ是各个参量对应的权值。
本发明还总结提供了一种基于空间地理位置的动态分组调度算法：根据空间数据地理位置的相关性将空间数据集划分为多个空间数据子集，并根据访问热度将空间数据服务器进行动态分组，实现空间数据服务器集群的负载均衡。
空间数据的组织，通常是按照全球的经纬度坐标，依照“垂直分层水平剖分”的原则进行管理。客户端对空间数据的访问，通常会集中在某些特定的区域，比如说2008年北京举办奥运会，可能访问北京区域的空间数据的客户端会明显高于其他地区。根据地理位置相关性，将空间数据集划分为k个子集，每个子集Sub_Data_Set(j)对应一个空间数据服务器组Server_Group(j)(j＝0，1，…，k-1)。空间数据服务的请求格式如下：
<scheme>://<host>:<port>/<path>？<query>
<host>:<port>是负载平衡器提供给应用客户端的访问端口。<path>？<query>则包含了空间数据的文件路径、空间数据类型和各种查询参数(比如地形数据的层号、块的横坐标编号和纵坐标编号等)。根据各种查询参数可以计算出该请求的空间数据所在的地理位置(比如所处的经纬度)信息，然后再调度到相应的空间数据服务器组。
在负载平衡器上维护一张服务器列表Server_List，k张与每个空间数据子集相对应的服务器列表Server_List_Group(j)(j＝0，1，…，k-1)和一张空闲服务器列表Idle_Server_List。这样，服务器列表中所有的M台空间数据服务器Spatial_Data_Server(m)(m＝0，1，…，M-1)被划分成k+1个子集，允许有空集。这k+1个子集任意两个的交集为空。Server_List中包含了所有的空间数据服务器，任意一台空间数据服务器属于且只能属于k+1个子集中的一个。
当负载平衡器收到空间数据服务请求，负载平衡器根据请求的空间数据的地理位置，分发给相应空间数据服务器子集Server_List_Group(j)中的某台满足要求的空间数据服务器Spatial_Data_Server(m)。当符合调度规则的空间数据服务器有多个时，需要从中选择一个节点作为转发的目的地。Spatial_Data_Server(m)的选择采用中值滤波法(Median Filtering Algorithm)，即将符合条件的备选空间数据服务器按真实负载排序，选择中间的一台作为Spatial_Data_Server(m)。
采用双阈值法，对空间数据服务器i定义两个负载阈值：L_topⁱ是节点i的上限负载阈值；L_downⁱ是节点i的下限负载阈值。则对空间数据服务器i而言，有以下几种状态：
(a)当Lreali>Ltopi]]>时，处于超载状态，标记为超载空间数据服务器(OverLoading Spatial Data Server，OLSDS)；
(b)当Ldowni≤Lreali≤Ltopi]]>时，处于备选状态，标记为备选空间数据服务器(Candidate Spatial Data Server，CSDS)；
(c)当Lreali<Ldowni]]>时，处于空闲状态，标记为空闲空间数据服务器(IdleSpatial Data Server，ISDS)。
当负载平衡器收到空间数据服务请求，负载平衡器根据请求的空间数据的地理位置的不同确定对应的空间数据子集Sub_Data_Set(j)，从而确定了对应的空间数据服务器组Server_List_Group(j)；然后，根据调度模块中的调度算法来决定将该请求转发给Server_List_Group(j)中的哪一台空间数据服务器。采用的调度规则如下：
(a)负载平衡器不把服务请求转发给处于超载状态的空间数据服务器；
(b)当Sub_Data_Set(j)对应的空间数据服务器子集Server_List_Group(j)中有备选空间数据服务器时，按前面所述的中值滤波法来选择空间数据服务器；
(c)当Sub_Data_Set(j)对应的空间数据服务器子集Server_List_Group(j)中没有备选空间数据服务器时，从空闲服务器列表Idle_Server_List中选择一台负载最小的空闲空间数据服务器；
(d)当空闲服务器列表为空时，该服务请求处于等待状态，每隔时间间隔Δτ后重新转发一次，3次不成功放弃。