一种基于灰色预测的云存储负载均衡方法.pdf

上传人:xia****o6 文档编号:4331012 上传时间:2018-09-13 格式:PDF 页数:8 大小:3.51MB
返回 下载 相关 举报
摘要
申请专利号:

CN201210292504.6

申请日:

2012.08.15

公开号:

CN102833326A

公开日:

2012.12.19

当前法律状态:

驳回

有效性:

无权

法律详情:

发明专利申请公布后的驳回IPC(主分类):H04L 29/08申请公布日:20121219|||实质审查的生效IPC(主分类):H04L 29/08申请日:20120815|||公开

IPC分类号:

H04L29/08

主分类号:

H04L29/08

申请人:

广东工业大学

发明人:

凌捷; 柳毅; 毛宇; 余琦; 郭圣昌; 钱进进

地址:

510090 广东省广州市越秀区东风东路729号

优先权:

专利代理机构:

广州嘉权专利商标事务所有限公司 44205

代理人:

蒋康铭

PDF下载: PDF下载
内容摘要

本发明提供了一种基于灰色预测的云存储负载均衡方法,包括以下步骤:根据客户端文件请求查找文件对应数据块所有副本的位置,对任意数据块生成其所有副本所在的节点集合,并采用基于灰色预测的云存储负载均衡方法完成合适节点的选择以及副本的读取。这种方法通过对下一时刻节点负载状况的预测来动态地选择负载最低的节点,因此降低了同一节点同一时刻被大量访问的可能性,有效地实现了负载的动态均衡,从而保证了系统的稳定和高效。

权利要求书

1.一种基于灰色预测的云存储负载均衡方法,包括以下步骤:根据客户端文件请求查找文件对应数据块所有副本的位置;对任意数据块生成其所有副本所在节点的集合;选择合适的节点并读取副本;其特征在于:采用基于灰色预测的云存储负载均衡方法完成选择合适节点以及读取副本的步骤。2.根据权利要求1所述的一种基于灰色预测的云存储负载均衡方法,其特征在于:所述的采用基于灰色预测的云存储负载均衡方法完成选择合适节点以及读取副本的步骤包括以下步骤:根据系统日志查询所述副本所在节点的集合中节点在前t个时刻的负载率序列;然后根据灰色预测理论对负载率序列进行处理以得到这些节点在第t+1时刻的负载率序列;选取负载率最低的节点并读取副本;如果读取失败则选取负载率次低的节点上的副本,依次直到某一节点上的副本被读取。3.根据权利要求2所述的一种基于灰色预测的云存储负载均衡方法,其特征在于:所述的根据系统日志查询副本所在集合中节点在前t个时刻的负载率序列过程包括以下步骤:首先查询该节点在某一时刻任务负载、带宽负载和存储负载的值;将它们依照预先设定的权值进行加权,得到这一时刻该节点的负载率;然后依照同样的方法计算出前t个时刻的负载率并生成序列。4.根据权利要求3所述的一种基于灰色预测的云存储负载均衡方法,其特征在于:任务负载、带宽负载和存储负载权值的比值为1:2:1。5.根据权利要求3或4所述的一种基于灰色预测的云存储负载均衡方法,其特征在于:所述的根据灰色预测理论处理负载率序列以得到这些节点在第t+1时刻的负载率序列过程包括以下步骤:首先对查询系统日志得到的副本所在集合中节点在前t个时刻负载率序列过程中所得到的负载率序列进行累加生成新的序列;然后对新生成的序列建立基于GM(1,1)的一阶微分方程;接着由原序列得出负载率预测序列,并将其累加;最后根据一阶微分方程的结果以及负载率预测序列依次求出t+1时刻各节点对应的负载率预测序列。

说明书

一种基于灰色预测的云存储负载均衡方法

技术领域

本发明涉及一种云计算存储系统中的副本选择策略方案,特别是
一种基于灰色预测的云储存负载均衡方法。

背景技术

云存储系统中的所有数据都被切分为等大的块,然后每个数据块
复制若干份并分散存储到不同的节点。客户端请求数据时,服务器要
从合适的节点选择对应的副本并将其交送给客户端。传统的副本选择
策略总是选择与客户端拓扑距离最短的节点上的副本,但这种方法有
明显的缺陷,当大量最优副本被放置到同一数据节点上时,就会造成
这些节点负载过高,导致网络拥堵,性能降低。本发明中方法的提出
就是为了解决这种负载不均衡的问题。

发明内容

为了克服上述技术问题,本发明所要解决的技术问题是提供一种
一种基于灰色预测的云存储负载均衡方法。

本发明为解决其技术问题所提出的技术方案为:

提供一种基于灰色预测的云存储负载均衡方法,包括以下步骤:
根据客户端文件请求查找文件对应数据块所有副本的位置;对任意数
据块生成其所有副本所在的节点集合;采用基于灰色预测的云存储负
载均衡方法完成合适节点的选择以及副本的读取。

进一步,所述的采用基于灰色预测的云存储负载均衡方法完成合
适节点的选择以及副本的读取包括以下步骤:根据系统日志查询所述
副本所在节点集合中节点在前t个时刻的负载率序列;然后根据灰色
预测理论对负载率序列进行处理以得到这些节点在第t+1时刻的负
载率序列;选取负载率最低的节点并读取副本;如果读取失败则选取
负载率次低的节点上的副本,依次直到某一节点上的副本被读取。

进一步,所述的根据系统日志查询副本所在集合中节点在前t个
时刻的负载率序列过程包括以下步骤:首先查询该节点在某一时刻任
务负载、带宽负载和存储负载的值;将它们依照预先设定的权值进行
加权,得到这一时刻该节点的负载率;然后依照同样的方法计算出前
t个时刻的负载率并生成序列。

进一步,任务负载、带宽负载和存储负载权值的比值为1:2:1。

进一步,所述的根据灰色预测理论处理负载率序列以得到这些节
点在第t+1时刻的负载率序列过程包括以下步骤:首先对查询系统日
志得到的副本所在集合中节点在前t个时刻负载率序列过程中所得
到的负载率序列进行累加生成新的序列;然后对新生成的序列建立基
于GM(1,1)的一阶微分方程;接着由原序列得出负载率预测序列,
并将其累加;最后根据一阶微分方程的结果以及负载率预测序列依次
求出t+1时刻各节点对应的负载率预测序列。

本发明的有益效果是:

本发明提供了一种基于灰色预测的云存储负载均衡方法,与传统
的副本选择策略,即选择与客户端拓扑距离最短的节点上副本的方法
相比,这种策略通过对下一时刻节点负载状况的预测来动态地选择负
载最低的节点,因此降低了同一节点同一时刻被大量访问的可能性,
有效地实现了负载的动态均衡,从而保证了系统的稳定和高效。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是基于灰色预测的云存储负载均衡方法的流程框图;

图2是查询系统日志得到节点在前t个时刻的负载率的流程框
图;

图3根据灰色预测理论处理负载率序列的流程框图。

具体实施方式

以下结合本发明的一较佳实施例的详细说明以及附图来进一步
了解本发明的技术内容及其目的和功效。图1、图2、图3所示是本
发明一较佳实施例。

如图1,一种基于灰色预测的云存储负载均衡方法,包括以下步
骤:根据客户端文件请求查找文件对应数据块所有副本的位置;对任
意数据块生成其所有副本所在的节点集合;采用基于灰色预测的云存
储负载均衡方法完成合适节点的选择以及副本的读取。详细过程如
下:

1.根据客户端的文件请求,服务器端查找数据库,检索出此文件
对应的数据块的所有副本位置。

2.根据查询结果,对于任意一数据块生成其所有副本所在节点的
集合;对于其中任意一数据块,记其副本数量为k,任意节点为Ni,
则一个数据块的可选副本所在的节点集合可表示为
N={N1,N2,…,Nk}。

根据系统记录的信息查询这些节点在前t个时刻的负载率,并生
成序列。如图2,在该步骤中首先查询系统日志,得到以下信息:节
点Ni在t时刻拥有总数据块数正在进行任务的数据块数
节点总线带宽正在进行任务平均读取速度已用磁盘
空间最大磁盘空间对于节点负载,可以从三个方面
分别考虑,将其分为:任务负载、带宽负载和存储负载。其中任务负
载用公式表示为:带宽负载用公式表示为:存
储负载用公式表示为:得到三个负载的数值后,按照特定的
权值P1、P2、P3对其进行加权,可以得到t时刻Ni节点的负载率:
L N i ( t ) = P 1 × P N i ( t ) T N i ( t ) + P 2 × AS N i ( t ) × P N i ( t ) BW N i ( t ) + P 3 × US N i ( t ) TS N i ( t ) . ]]>由于带宽负载对于副本的
读取效率的影响比任务负载、存储负载更为明显,因此本实施方式中
权值的比值取为P1:P2:P3=1:2:1,即:P1=0.25,P2=0.5,P3=0.25。
再对每个节点前t时刻的数据进行遍历,可以得到这些节点在前t个
时刻的负载率,并生成序列。

3.如图3,根据灰色预测理论对上一步中生成的负载率序列进行
处理。假定生成的负载率序列可以表示为:

L N i ( 0 ) = { L N i ( 0 ) ( 1 ) , L N i ( 0 ) ( 2 ) , . . . , L N i ( 0 ) ( t ) } - - - ( 2 ) ]]>

对(1)式的随机数序列经过依次累加成算子,削弱其随机性,得
到较有规律的生成数:

L N i ( 1 ) ( 1 ) = L N i ( 0 ) ( 1 ) ]]>

L N i ( 1 ) ( 2 ) = L N i ( 0 ) ( 1 ) + L N i ( 0 ) ( 2 ) ]]>

……

L N i ( 1 ) ( t ) = Σ i = 1 t L N i ( 0 ) ( i ) ]]>

L N i ( 1 ) = { L N i ( 1 ) ( 1 ) , L N i ( 1 ) ( 2 ) , . . . , L N i ( 1 ) ( t ) } - - - ( 2 ) ]]>

经累加处理,新生成的比具有平稳性增强而波动性减弱的特
点。然后对(2)式建立基于GM(1,1)的一阶微分方程:

d L N i ( 1 ) ( t ) dt + a L N i ( 1 ) ( t ) = b - - - ( 3 ) ]]>

其中:a为发展系数,b为灰色作用量,这两个参数可以用最小
二乘法拟合求得其估计量,拟合后的结果为:

a ^ b ^ = ( A T A ) - 1 A T B t ]]>

式中: A = - 1 2 [ L N i ( 1 ) ( 1 ) + L N i ( 1 ) ( 2 ) ] 1 - 1 2 [ L N i ( 1 ) ( 2 ) + L N i ( 1 ) ( 3 ) ] 1 . . . . . . - 1 2 [ L N i ( 1 ) ( t - 1 ) + L N i ( 1 ) ( t ) ] 1 ]]>

B t = [ L N i ( 0 ) ( 2 ) , L N i ( 0 ) ( 3 ) , . . . , L N i ( 0 ) ( t ) ] T ]]>

基于上述拟合的结果可以求解得出:

L N i ( 1 ) ^ ( t ) = ( L N i ( 0 ) ( 1 ) - b ^ a ^ ) × e - a ^ ( t - 1 ) + b ^ a ^ - - - ( 4 ) ]]>

由(1)式可得出负载率预测序列:

L N i ( 0 ) ^ = { L N i ( 0 ) ^ ( 1 ) , L N i ( 0 ) ^ ( 2 ) , . . . , L N i ( 0 ) ^ ( t ) } ]]>

其中: L N i ( 0 ) ^ ( 1 ) = L N i ( 0 ) ( 1 ) ]]>

L N i ( 0 ) ^ ( 2 ) = L N i ( 1 ) ^ ( 2 ) - L N i ( 1 ) ^ ( 1 ) ]]>

……

L N i ( 0 ) ^ ( t ) = L N i ( 1 ) ^ ( t ) - L N i ( 1 ) ^ ( t - 1 ) - - - ( 5 ) ]]>

然后将(4)式代入(5)式可以得到:

L N i ( 0 ) ^ ( t ) = ( L N i ( 0 ) ( 1 ) - b ^ a ^ ) × ( 1 - e a ^ ) × e - a ^ ( t - 1 ) - - - ( 6 ) ]]>

根据(6)式,可选副本所在的节点Ni在时刻t+1的负载率:

L N i ( 0 ) ^ ( t + 1 ) = ( L N i ( 0 ) ( 1 ) - b ^ a ^ ) × ( 1 - e a ^ ) × e - at ^ - - - ( 7 ) ]]>

由(7)式我们可以依次求出t+1时刻,k个节点对应的负载率预
测序列为:

{ L N 1 ( t + 1 ) , L N 2 ( t + 1 ) , L N 3 ( t + 1 ) , . . . , L N k ( t + 1 ) } ]]>

4.选取以上步骤中得到的预测负载率最低的节点并读取该节点
对应的副本,如果该副本读取失败,则进一步选择选择预测负载率次
低的节点进行副本的读取,依照这样的步骤直到某一节点对应的副本
被成功读取。

以上是对本发明的较佳实施进行了具体说明,但本发明创造并不
限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提
下还可做出种种的等同变形或替换,这些等同的变型或替换均包含在
本申请权利要求所限定的范围内。

一种基于灰色预测的云存储负载均衡方法.pdf_第1页
第1页 / 共8页
一种基于灰色预测的云存储负载均衡方法.pdf_第2页
第2页 / 共8页
一种基于灰色预测的云存储负载均衡方法.pdf_第3页
第3页 / 共8页
点击查看更多>>
资源描述

《一种基于灰色预测的云存储负载均衡方法.pdf》由会员分享,可在线阅读,更多相关《一种基于灰色预测的云存储负载均衡方法.pdf(8页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102833326 A (43)申请公布日 2012.12.19 C N 1 0 2 8 3 3 3 2 6 A *CN102833326A* (21)申请号 201210292504.6 (22)申请日 2012.08.15 H04L 29/08(2006.01) (71)申请人广东工业大学 地址 510090 广东省广州市越秀区东风东路 729号 (72)发明人凌捷 柳毅 毛宇 余琦 郭圣昌 钱进进 (74)专利代理机构广州嘉权专利商标事务所有 限公司 44205 代理人蒋康铭 (54) 发明名称 一种基于灰色预测的云存储负载均衡方法 (57) 摘要 本发明提供了。

2、一种基于灰色预测的云存储负 载均衡方法,包括以下步骤:根据客户端文件请 求查找文件对应数据块所有副本的位置,对任意 数据块生成其所有副本所在的节点集合,并采用 基于灰色预测的云存储负载均衡方法完成合适节 点的选择以及副本的读取。这种方法通过对下一 时刻节点负载状况的预测来动态地选择负载最低 的节点,因此降低了同一节点同一时刻被大量访 问的可能性,有效地实现了负载的动态均衡,从而 保证了系统的稳定和高效。 (51)Int.Cl. 权利要求书1页 说明书4页 附图2页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 4 页 附图 2 页 1/1页 2 1.一。

3、种基于灰色预测的云存储负载均衡方法,包括以下步骤:根据客户端文件请求查 找文件对应数据块所有副本的位置;对任意数据块生成其所有副本所在节点的集合;选择 合适的节点并读取副本;其特征在于:采用基于灰色预测的云存储负载均衡方法完成选择 合适节点以及读取副本的步骤。 2.根据权利要求1所述的一种基于灰色预测的云存储负载均衡方法,其特征在于:所 述的采用基于灰色预测的云存储负载均衡方法完成选择合适节点以及读取副本的步骤包 括以下步骤:根据系统日志查询所述副本所在节点的集合中节点在前t个时刻的负载率序 列;然后根据灰色预测理论对负载率序列进行处理以得到这些节点在第t+1时刻的负载率 序列;选取负载率最低。

4、的节点并读取副本;如果读取失败则选取负载率次低的节点上的副 本,依次直到某一节点上的副本被读取。 3.根据权利要求2所述的一种基于灰色预测的云存储负载均衡方法,其特征在于:所 述的根据系统日志查询副本所在集合中节点在前t个时刻的负载率序列过程包括以下步 骤:首先查询该节点在某一时刻任务负载、带宽负载和存储负载的值;将它们依照预先设 定的权值进行加权,得到这一时刻该节点的负载率;然后依照同样的方法计算出前t个时 刻的负载率并生成序列。 4.根据权利要求3所述的一种基于灰色预测的云存储负载均衡方法,其特征在于:任 务负载、带宽负载和存储负载权值的比值为1:2:1。 5.根据权利要求3或4所述的一种。

5、基于灰色预测的云存储负载均衡方法,其特征在 于:所述的根据灰色预测理论处理负载率序列以得到这些节点在第t+1时刻的负载率序列 过程包括以下步骤:首先对查询系统日志得到的副本所在集合中节点在前t个时刻负载率 序列过程中所得到的负载率序列进行累加生成新的序列;然后对新生成的序列建立基于 GM(1,1)的一阶微分方程;接着由原序列得出负载率预测序列,并将其累加;最后根据一阶 微分方程的结果以及负载率预测序列依次求出t+1时刻各节点对应的负载率预测序列。 权 利 要 求 书CN 102833326 A 1/4页 3 一种基于灰色预测的云存储负载均衡方法 技术领域 0001 本发明涉及一种云计算存储系统。

6、中的副本选择策略方案,特别是一种基于灰色预 测的云储存负载均衡方法。 背景技术 0002 云存储系统中的所有数据都被切分为等大的块,然后每个数据块复制若干份并分 散存储到不同的节点。客户端请求数据时,服务器要从合适的节点选择对应的副本并将其 交送给客户端。传统的副本选择策略总是选择与客户端拓扑距离最短的节点上的副本,但 这种方法有明显的缺陷,当大量最优副本被放置到同一数据节点上时,就会造成这些节点 负载过高,导致网络拥堵,性能降低。本发明中方法的提出就是为了解决这种负载不均衡的 问题。 发明内容 0003 为了克服上述技术问题,本发明所要解决的技术问题是提供一种一种基于灰色预 测的云存储负载均。

7、衡方法。 0004 本发明为解决其技术问题所提出的技术方案为: 0005 提供一种基于灰色预测的云存储负载均衡方法,包括以下步骤:根据客户端文件 请求查找文件对应数据块所有副本的位置;对任意数据块生成其所有副本所在的节点集 合;采用基于灰色预测的云存储负载均衡方法完成合适节点的选择以及副本的读取。 0006 进一步,所述的采用基于灰色预测的云存储负载均衡方法完成合适节点的选择以 及副本的读取包括以下步骤:根据系统日志查询所述副本所在节点集合中节点在前t个时 刻的负载率序列;然后根据灰色预测理论对负载率序列进行处理以得到这些节点在第t+1 时刻的负载率序列;选取负载率最低的节点并读取副本;如果读。

8、取失败则选取负载率次低 的节点上的副本,依次直到某一节点上的副本被读取。 0007 进一步,所述的根据系统日志查询副本所在集合中节点在前t个时刻的负载率序 列过程包括以下步骤:首先查询该节点在某一时刻任务负载、带宽负载和存储负载的值; 将它们依照预先设定的权值进行加权,得到这一时刻该节点的负载率;然后依照同样的方 法计算出前t个时刻的负载率并生成序列。 0008 进一步,任务负载、带宽负载和存储负载权值的比值为1:2:1。 0009 进一步,所述的根据灰色预测理论处理负载率序列以得到这些节点在第t+1时刻 的负载率序列过程包括以下步骤:首先对查询系统日志得到的副本所在集合中节点在前t 个时刻负。

9、载率序列过程中所得到的负载率序列进行累加生成新的序列;然后对新生成的序 列建立基于GM(1,1)的一阶微分方程;接着由原序列得出负载率预测序列,并将其累加;最 后根据一阶微分方程的结果以及负载率预测序列依次求出t+1时刻各节点对应的负载率 预测序列。 0010 本发明的有益效果是: 说 明 书CN 102833326 A 2/4页 4 0011 本发明提供了一种基于灰色预测的云存储负载均衡方法,与传统的副本选择策 略,即选择与客户端拓扑距离最短的节点上副本的方法相比,这种策略通过对下一时刻节 点负载状况的预测来动态地选择负载最低的节点,因此降低了同一节点同一时刻被大量访 问的可能性,有效地实现。

10、了负载的动态均衡,从而保证了系统的稳定和高效。 附图说明 0012 下面结合附图和实施例对本发明作进一步说明。 0013 图1是基于灰色预测的云存储负载均衡方法的流程框图; 0014 图2是查询系统日志得到节点在前t个时刻的负载率的流程框图; 0015 图3根据灰色预测理论处理负载率序列的流程框图。 具体实施方式 0016 以下结合本发明的一较佳实施例的详细说明以及附图来进一步了解本发明的技 术内容及其目的和功效。图1、图2、图3所示是本发明一较佳实施例。 0017 如图1,一种基于灰色预测的云存储负载均衡方法,包括以下步骤:根据客户端文 件请求查找文件对应数据块所有副本的位置;对任意数据块生。

11、成其所有副本所在的节点集 合;采用基于灰色预测的云存储负载均衡方法完成合适节点的选择以及副本的读取。详细 过程如下: 0018 1.根据客户端的文件请求,服务器端查找数据库,检索出此文件对应的数据块的 所有副本位置。 0019 2.根据查询结果,对于任意一数据块生成其所有副本所在节点的集合;对于其中 任意一数据块,记其副本数量为k,任意节点为N i ,则一个数据块的可选副本所在的节点集 合可表示为N=N 1 ,N 2 ,N k 。 0020 根据系统记录的信息查询这些节点在前t个时刻的负载率,并生成序列。如 图2,在该步骤中首先查询系统日志,得到以下信息:节点Ni在t时刻拥有总数据块数 正在进。

12、行任务的数据块数节点总线带宽正在进行任务平均读取速 度已用磁盘空间最大磁盘空间对于节点负载,可以从三个方面分 别考虑,将其分为:任务负载、带宽负载和存储负载。其中任务负载用公式表示为: 带宽负载用公式表示为:存储负载用公式表示为:得到三个负载 的数值后,按照特定的权值P 1 、P 2 、P 3 对其进行加权,可以得到t时刻N i 节点的负载率: 由于带宽负载对于副本的读取效率的影响 比任务负载、存储负载更为明显,因此本实施方式中权值的比值取为P 1 :P 2 :P 3 =1:2:1,即: P 1 =0.25,P2=0.5,P3=0.25。再对每个节点前t时刻的数据进行遍历,可以得到这些节点在 。

13、前t个时刻的负载率,并生成序列。 说 明 书CN 102833326 A 3/4页 5 0021 3.如图3,根据灰色预测理论对上一步中生成的负载率序列进行处理。假定生成 的负载率序列可以表示为: 0022 0023 对(1)式的随机数序列经过依次累加成算子,削弱其随机性,得到较有规律的生成 数: 0024 0025 0026 0027 0028 0029 经累加处理,新生成的比具有平稳性增强而波动性减弱的特点。然后对(2) 式建立基于GM(1,1)的一阶微分方程: 0030 0031 其中:a为发展系数,b为灰色作用量,这两个参数可以用最小二乘法拟合求得其 估计量,拟合后的结果为: 0032。

14、 0033 式中: 0034 0035 基于上述拟合的结果可以求解得出: 0036 0037 由(1)式可得出负载率预测序列: 0038 0039 其中: 0040 说 明 书CN 102833326 A 4/4页 6 0041 0042 0043 然后将(4)式代入(5)式可以得到: 0044 0045 根据(6)式,可选副本所在的节点N i 在时刻t+1的负载率: 0046 0047 由(7)式我们可以依次求出t+1时刻,k个节点对应的负载率预测序列为: 0048 0049 4.选取以上步骤中得到的预测负载率最低的节点并读取该节点对应的副本,如果 该副本读取失败,则进一步选择选择预测负载率次低的节点进行副本的读取,依照这样的 步骤直到某一节点对应的副本被成功读取。 0050 以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施 例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替 换,这些等同的变型或替换均包含在本申请权利要求所限定的范围内。 说 明 书CN 102833326 A 1/2页 7 图1 说 明 书 附 图CN 102833326 A 2/2页 8 图2 图3 说 明 书 附 图CN 102833326 A 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1