云数据中心新增任务数动态控制装置、系统及方法.pdf

上传人:xia****o6 文档编号:623563 上传时间:2018-02-26 格式:PDF 页数:27 大小:4.63MB
返回 下载 相关 举报
摘要
申请专利号:

CN201410315765.4

申请日:

2014.07.03

公开号:

CN104111875A

公开日:

2014.10.22

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||著录事项变更IPC(主分类):G06F 9/50变更事项:发明人变更前:夏云霓 罗辛 曾令秋 孙天昊 朱庆生变更后:郭坤银 林溪桥 夏云霓 王元斗 朱庆生|||专利申请权的转移IPC(主分类):G06F 9/50登记生效日:20170928变更事项:申请人变更前权利人:重庆大学变更后权利人:重庆大学变更事项:地址变更前权利人:400045 重庆市沙坪坝区沙正街174号变更后权利人:400044 重庆市沙坪坝区沙正街174号变更事项:申请人变更后权利人:广西电网有限责任公司电力科学研究院|||实质审查的生效IPC(主分类):G06F 9/50申请日:20140703|||公开

IPC分类号:

G06F9/50; G06F9/455; H04L29/08

主分类号:

G06F9/50

申请人:

重庆大学

发明人:

夏云霓; 罗辛; 曾令秋; 孙天昊; 朱庆生

地址:

400045 重庆市沙坪坝区沙正街174号

优先权:

专利代理机构:

重庆市前沿专利事务所(普通合伙) 50211

代理人:

郭云

PDF下载: PDF下载
内容摘要

本发明公开了一种云数据中心新增任务数动态控制装置、系统及方法,属于云计算领域,本发明通过跟踪云数据中心实际运行时负载和物理机资源的变化趋势,然后根据对未来系统可承受新增任务量的预测值,动态的决定新任务窗口大小,避免任务拥塞和计算资源空转,达到优化平衡,兼顾了云系统的性能和经济性。

权利要求书

1.  一种云数据中心新增任务数动态控制方法,按照间隔时间t对云数据中心进行任务分配,其特征在于按以下步骤进行:
步骤一、获取系统信息;所述系统信息包括:当前轮数据中心新增的任务数量XZTx、本轮数据中心完成的任务数量WCTx、数据中心上每个物理机当前运行的任务的数量DQTi和每个物理机在本轮出现的任务迁移次数QYTi;其中1≤i≤WLJ,WLJ为数据中心中物理机的数量;
步骤二、对获取的系统信息进行分析及决策;
所述对获取的系统信息进行分析及决策按以下步骤进行:
A1、对获取到的系统信息进行数据预处理;
计算数据中心本轮的任务执行率ZXLx、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi、计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMi
计算数据中心本轮的任务执行率ZXLx
ZXLx=WCTx+Σi=1WLJQYTitifWCTx+Σi=1WLJQYTi>0mean{WCTy|0<y<x}telse;]]>
mean{}为集合求平均的操作,x为当前轮数,1≤x<∞,t为预先设定的每轮之间的间隔时间;
计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi
BLi=ZDTi-DQTiΣi=1WLJ(ZDTi-DQTi);]]>
计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC:
INC=mean{ZLu,u+1|0<ux}ifΠ0<uxYCu,u+1=1mean{ZLu,v|0<u<vx,v-u>1,YCu,v=0}else;]]>
所述YCu,v为判断是否是过量值的标记变量,ZLu,v表示序列中第u和v个记录值之间形成的幂级数等效增量;u和v均为正整数;
接下来计算未来预期云数据中心任务执行率FZXL:
FZXL=Σ1ux(ZXLu+INCx-u)×γx-uΣ1uxγx-u;]]>
所述γ为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;γ满足0.5<γ<1;
计算云数据中心中每个物理机的未来预期执行率FZXLPMi
FZXLPMi=FZXL×BLi
A2、计算控制决策参考值;
计算FZXLPM=ZDT-DQTi-(1-e-t×(tWLJ×XZTx-FZXLPMi))]]>得到每个物理机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;
计算云数据中心下一轮预期新进入任务数KXZT:
KXZT=Σi=1WLJFXZLPM;]]>
A3、发出决策信息;
计算云数据中心下一阶段新增任务窗口控制量KZL:
KZL=0if KXZT+XZTx-WCTx<0Σi=1,ZDT-DQTi-QYTi>0WLJ1if0KXZT+XZTx-WCTx<WLJ×ZDT×βKXZT+XZTx-WCTxelse;]]>
步骤三、新增任务管理:若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。

2.
  如权利要求1所述的云数据中心新增任务数动态控制方法,其特征是:所述幂级数等效增量ZLu,v的计算方法为:
ZLu,v=KJSTv-KJSTuv-uifKJSTv-KJSTu>0--(KJSTv-KJSTu)v-uelse.]]>

3.
  如权利要求1所述的云数据中心新增任务数动态控制方法,其特征是:判断是否是过量值的标记变量YCu,v的取值方法为:
YCu,v=1if|ZLu,v|avg>a,|ZLu,v|>max{ZLs,s+1|usv}0else;]]>
其中a为给定参数,1<a<2;max{}为集合求最大的操作;|ZLu,v|表示ZLu,v的绝对值;avg取值为:avg=mean{|ZLu,v||0<u<v≤x}。

4.
  如权利要求1或2或3所述的云数据中心新增任务数动态控制方法,其特征是:等待设定时间t后,100毫秒<t<1000毫秒,返回执行步骤一,直到云数据中心停止运行。

5.
  一种云数据中心新增任务数动态控制装置,其特征在于:包括信息获取模块(3)、分析决策模块(4)和任务管理模块(5);所述分析决策模块(4)用于对获取的系统信息进行分析及决策;所述分析决策模块(4)由数据预处理 单元(401)、控制量分析单元(402)和控制决策单元(403)组成;所述信息获取模块(3)的第一输出端连接所述数据预处理单元(401)的输入端,所述信息获取模块(3)的第二输出端连接所述控制量分析单元(402)的第一输入端,所述信息获取模块(3)的第三输出端连接所述控制决策单元(403)的第一输入端,所述数据预处理单元(401)的输出端连接所述控制量分析单元(402)的第二输入端,所述控制量分析单元(402)的输出端连接所述控制决策单元(403)的第二输入端,所述控制决策单元(403)的输出端连接所述任务管理模块(5)的输入端;
所述信息获取模块(3)用于获取系统信息并发送给所述数据预处理单元(401)、控制量分析单元(402)和控制决策单元(403);所述系统信息包括:当前轮数据中心新增的任务数量XZTx、本轮数据中心完成的任务数量WCTx、数据中心上每个物理机当前运行的任务的数量DQTi和每个物理机在本轮出现的任务迁移次数QYTi;其中1≤i≤WLJ,WLJ为数据中心中物理机的数量;
所述数据预处理单元(401)用于对获取到的系统信息进行数据预处理:
计算数据中心本轮的任务执行率ZXLx、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi、计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMi
所述数据预处理单元(401)将预处理得到的数据发送给所述控制量分析单元(402);
所述控制量分析单元(402)用于根据接收到的数据计算控制决策参考值:
计算FZXLPM=ZDT-DQTi-(1-e-t×(tWLJ×XZTx-FZXLPMi))]]>得到每个物理机在未来的预 期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;
计算云数据中心下一轮预期新进入任务数KXZT:
KXZT=Σi=1WLJFXZLPMi;]]>
所述控制量分析单元(402)将计算得到的控制决策参考值发送给所述控制决策单元(403);
所述控制决策单元(403)用于根据接收到的控制决策参考值生成决策信息:
计算云数据中心下一阶段新增任务窗口控制量KZL:
KZL=0if KXZT+XZTx-WCTx<0Σi=1,ZDT-DQTi-QYTi>0WLJ1if0KXZT+XZTx-WCTx<WLJ×ZDT×βKXZT+XZTx-WCTxelse;]]>
所述控制决策单元(403)将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块(5);
所述任务管理模块(5)用于新增任务管理:所述任务管理模块(5)根据接收到的决策信息判断KZL是否为0;若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。

6.
  如权利要求5所述的一种云数据中心新增任务数动态控制装置,其特征在于:
所述数据预处理单元(401)通过计算
ZXLx=WCTx+Σi=1WLJQYTitifWCTx+Σi=1WLJQYTi>0mean{WCTy|0<y<x}telse]]>得到数据中心本轮的任务执 行率ZXLx
mean{}为集合求平均的操作,x为当前轮数,1≤x<∞,t为预先设定的每轮之间的间隔时间;
所述数据预处理单元(401)通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLi
所述数据预处理单元(401)通过计算
INC=mean{ZLu,u+1|0<ux}ifΠ0<uxYCu,u+1=1mean{ZLu,v|0<u<vx,v-u>1,YCu,v=0}else]]>得到剔除了过量值干扰后ZXL1到ZXLx序列的步长平均增量INC;
所述YCu,v为判断是否是过量值的标记变量,ZLu,v表示序列中第u和v个记录值之间形成的幂级数等效增量;u和v均为正整数;
所述数据预处理单元(401)通过计算
ZLu,v=KJSTv-KJSTuv-uifKJSTv-KJSTu>0--(KJSTv-KJSTu)v-uelse]]>得到所述幂级数等效增量ZLu,v
所述数据预处理单元(401)通过计算
YCu,v=1if|ZLu,v|avg>a,|ZLu,v|>max{ZLs,s+1|usv}0else]]>得到标记变量YCu,v
其中a为给定参数,1<a<2;max{}为集合求最大的操作;|ZLu,v|表示ZLu,v的绝对值;avg取值为:avg=mean{|ZLu,v||0<u<v≤x};
所述数据预处理单元(401)通过计算得到未来预期云数据中心任务执行率FZXL;
所述γ为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;γ满足0.5<γ<1;
所述数据预处理单元(401)通过计算FZXLPMi=FZXL×BLi得到云数据中心中每个物理机的未来预期执行率FZXLPMi

7.
  一种云数据中心新增任务数动态控制系统,包括IaaS云系统的服务器(1),其特征在于:所述服务器(1)内设置有云数据中心新增任务数动态控制装置(2),所述云数据中心新增任务数动态控制装置(2)包括信息获取模块(3)、分析决策模块(4)和任务管理模块(5);所述分析决策模块(4)用于对获取的系统信息进行分析及决策;所述分析决策模块(4)由数据预处理单元(401)、控制量分析单元(402)和控制决策单元(403)组成;所述信息获取模块(3)的第一输出端连接所述数据预处理单元(401)的输入端,所述信息获取模块(3)的第二输出端连接所述控制量分析单元(402)的第一输入端,所述信息获取模块(3)的第三输出端连接所述控制决策单元(403)的第一输入端,所述数据预处理单元(401)的输出端连接所述控制量分析单元(402)的第二输入端,所述控制量分析单元(402)的输出端连接所述控制决策单元(403)的第二输入端,所述控制决策单元(403)的输出端连接所述任务管理模块(5)的输入端;
所述信息获取模块(3)用于获取系统信息并发送给所述数据预处理单元(401)、控制量分析单元(402)和控制决策单元(403);所述系统信息包括:当前轮数据中心新增的任务数量XZTx、本轮数据中心完成的任务数量WCTx、数据中心上每个物理机当前运行的任务的数量DQTi和每个物理机在本轮出现的任务迁移次数QYTi;其中1≤i≤WLJ,WLJ为数据中心中物理机的数量;
所述数据预处理单元(401)用于对获取到的系统信息进行数据预处理:
计算数据中心本轮的任务执行率ZXLx、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi、计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMi
所述数据预处理单元(401)将预处理得到的数据发送给所述控制量分析单元(402);
所述控制量分析单元(402)用于根据接收到的数据计算控制决策参考值:
计算FZXLPM=ZDT-DQTi-(1-e-t×(tWLJ×XZTx-FZXLPMi))]]>得到每个物理机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;
计算云数据中心下一轮预期新进入任务数KXZT:
KXZT=Σi=1WLJFXZLPMi;]]>
所述控制量分析单元(402)将计算得到的控制决策参考值发送给所述控制决策单元(403);
所述控制决策单元(403)用于根据接收到的控制决策参考值生成决策信息:
计算云数据中心下一阶段新增任务窗口控制量KZL:
KZL=0if KXZT+XZTx-WCTx<0Σi=1,ZDT-DQTi-QYTi>0WLJ1if0KXZT+XZTx-WCTx<WLJ×ZDT×βKXZT+XZTx-WCTxelse;]]>
所述控制决策单元(403)将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块(5);
所述任务管理模块(5)用于新增任务管理:所述任务管理模块(5)根据 接收到的决策信息判断KZL是否为0;若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。

8.
  如权利要求7所述的一种云数据中心新增任务数动态控制系统,其特征在于:所述数据预处理单元(401)通过计算
ZXLx=WCTx+Σi=1WLJQYTitifWCTx+Σi=1WLJQYTi>0mean{WCTy|0<y<x}telse]]>得到数据中心本轮的任务执行率ZXLx
mean{}为集合求平均的操作,x为当前轮数,1≤x<∞,t为预先设定的每轮之间的间隔时间;
所述数据预处理单元(401)通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLi
所述数据预处理单元(401)通过计算
INC=mean{ZLu,u+1|0<ux}ifΠ0<uxYCu,u+1=1mean{ZLu,v|0<u<vx,v-u>1,YCu,v=0}else]]>得到剔除了过量值干扰后ZXL1到ZXLx序列的步长平均增量INC;
所述YCu,v为判断是否是过量值的标记变量,ZLu,v表示序列中第u和v个记录值之间形成的幂级数等效增量;u和v均为正整数;
所述数据预处理单元(401)通过计算
ZLu,v=KJSTv-KJSTuv-uifKJSTv-KJSTu>0--(KJSTv-KJSTu)v-uelse]]>得到所述幂级数等效增量ZLu,v
所述数据预处理单元(401)通过计算
YCu,v=1if|ZLu,v|avg>a,|ZLu,v|>max{ZLs,s+1|usv}0else]]>得到标记变量YCu,v
其中a为给定参数,1<a<2;max{}为集合求最大的操作;|ZLu,v|表示ZLu,v的绝对值;avg取值为:avg=mean{|ZLu,v||0<u<v≤x};
所述数据预处理单元(401)通过计算得到未来预期云数据中心任务执行率FZXL;
所述γ为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;γ满足0.5<γ<1;
所述数据预处理单元(401)通过计算FZXLPMi=FZXL×BLi得到云数据中心中每个物理机的未来预期执行率FZXLPMi

说明书

云数据中心新增任务数动态控制装置、系统及方法
技术领域
本发明属于云计算领域,特别是涉及一种云数据中心新增任务数动态控制装置、系统及方法。
背景技术
云计算是指将任务分布在大量的分布式计算机上,使用云计算平台、通过网络为用户提供信息服务的计算模式。相对于传统的软件形态,云计算具有松散耦合、随需应变、成本可控、资源虚拟、异构协同等显著的优势,使其更适应现今的电子商务、柔性制造、移动互联网等应用。云计算包含两个方面的含义:一个方面是底层构建的云计算平台基础设施,是用来构建上层应用程序的基础;另一方面的含义是构建在这个基础平台之上的云计算应用程序。
云计算进行实体计算资源和计算单元整合的形式是数据中心。数据中心是通过系统虚拟化、多处理器虚拟化、内存虚拟化、I/O虚拟化等虚拟化技术将物理资源虚拟化成资源池,这些资源再由数据中心上的软硬件的管理调度模块进行统筹。
云数据中心的资源池中的主要计算资源,就是物理机(Physical Machine,PM),物理机是不可再细分的一个最基本的云任务执行单元(即一个物理机无法再分裂成多个子物理机),是一定量的计算、存储、和网络通信资源的集合。一个物理机上可以运行一个或多个虚拟机进程,而一个虚拟机进程同一时刻只可能在一个物理机上运行。
云数据中心运行过程中,资源池里的物理机总是处于任务接收、执行、释放的动态变化中。使用者向数据中心提交的新任务后,数据中心的任务管理和分发单元,将可接受的新任务翻译为虚拟机进程(VM process),并分发到非满负载的物理机上执行。
传统的云数据中心任务管理技术,总是设定一个恒定大小的新增可接受任务窗口,这种技术存在一下的缺点:没有考虑物理机负载的动态变化情况,容易在物理机虽有剩余处理能力但负载极速增长的情况下仍然安排较多的新增任务,导致在任务分发之的一段时间后出现任务拥塞,系统性能急剧下降;反过来,也容易在物理机虽负载较高但负载极速下降的情况下仍然安排较少的新增任务,导致在任务分发之的一段时间后出现物理机空转的情况,引起计算资源浪费。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种优化云数据中心任务管理性能和计算资源管理的效率的新增任务数动态控制方法。
为实现上述目的,本发明提供了一种云数据中心新增任务数动态控制方法,按照间隔时间t对云数据中心进行任务分配,按以下步骤进行:
步骤一、获取系统信息;所述系统信息包括:当前轮数据中心新增的任务数量XZTx、本轮数据中心完成的任务数量WCTx、数据中心上每个物理机当前运行的任务的数量DQTi和每个物理机在本轮出现的任务迁移次数QYTi;其中1≤i≤WLJ,WLJ为数据中心中物理机的数量;
步骤二、对获取的系统信息进行分析及决策;
所述对获取的系统信息进行分析及决策按以下步骤进行:
A1、对获取到的系统信息进行数据预处理;
计算数据中心本轮的任务执行率ZXLx、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi、计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMi
计算数据中心本轮的任务执行率ZXLx
ZXLx=WCTx+Σi=1WLJQYTitifWCTx+Σi=1WLJQYTi>0mean{WCTy|0<y<x}telse;]]>
mean{}为集合求平均的操作,x为当前轮数,1≤x<∞,t为预先设定的每轮之间的间隔时间;
计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi
BLi=ZDTi-DQTiΣi=1WLJ(ZDTi-DQTi);]]>
计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC:
INC=mean{ZLu,u+1|0<ux}ifΠ0<uxYCu,u+1=1mean{ZLu,v|0<u<vx,v-u>1,YCu,v=0}else;]]>
所述YCu,v为判断是否是过量值的标记变量,ZLu,v表示序列中第u和v个记录值之间形成的幂级数等效增量;u和v均为正整数;
接下来计算未来预期云数据中心任务执行率FZXL:
FZXL=Σ1ux(ZXLu+INCx-u)×γx-uΣ1uxγx-u;]]>
所述γ为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;γ满足0.5<γ<1;
计算云数据中心中每个物理机的未来预期执行率FZXLPMi
FZXLPMi=FZXL×BLi
A2、计算控制决策参考值;
计算FZXLPM=ZDT-DQTi-(1-e-t×(tWLJ×XZTx-FZXLPMi))]]>得到每个物理机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;
计算云数据中心下一轮预期新进入任务数KXZT:
KXZT=Σi=1WLJFXZLPM;]]>
A3、发出决策信息;
计算云数据中心下一阶段新增任务窗口控制量KZL:
KZL=0if KXZT+XZTx-WCTx<0Σi=1,ZDT-DQTi-QYTi>0WLJ1if0KXZT+XZTx-WCTx<WLJ×ZDT×βKXZT+XZTx-WCTxelse;]]>
步骤三、新增任务管理:若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务;轮数x加1后返回执行步骤一(即x=x+1)。
采用以上技术方案,根据各物理机的实时运行负载,动态的来决定下一阶段可接纳的新增任务数量上限,保证了系统对系统负载的变化做出及时的响应,使数据中心避免任务拥塞和空转的两个极端。
较佳的,所述幂级数等效增量ZLu,v的计算方法为:
ZLu,v=KJSTv-KJSTuv-uifKJSTv-KJSTu>0--(KJSTv-KJSTu)v-uelse.]]>
采用以上方案,幂级数等效增量ZLu,v的取值更加精确,从而大大提高了本发明动态控制的精确度。
较佳的,判断是否是过量值的标记变量YCu,v的取值方法为:
YCu,v=1if|ZLu,v|avg>a,|ZLu,v|>max{ZLs,s+1|usv}0else;]]>
其中a为给定参数,1<a<2;max{}为集合求最大的操作;|ZLu,v|表示ZLu,v的绝对值;avg取值为:avg=mean{|ZLu,v||0<u<v≤x}。
采用以上方案,过量值的标记变量YCu,v的取值更加精确,从而大大提高了本发明动态控制的精确度。
进一步的,等待设定时间t后,100毫秒<t<1000毫秒,返回执行步骤一,直到云数据中心停止运行。
本发明要解决的另一技术问题是提供一种优化云数据中心任务管理性能和计算资源管理的效率的新增任务数动态控制装置。
为实现上述目的,本发明提供了一种云数据中心新增任务数动态控制装置,包括信息获取模块、分析决策模块和任务管理模块;所述分析决策模块用于对获取的系统信息进行分析及决策;所述分析决策模块由数据预处理单元、控制量分析单元和控制决策单元组成;所述信息获取模块的第一输出端连接所述数据预处理单元的输入端,所述信息获取模块的第二输出端连接所述控制量分析单元的第一输入端,所述信息获取模块的第三输出端连接所述控制决策单元的第一输入端,所述数据预处理单元的输出端连接所述控制量分析单元的第二输入端,所述控制量分析单元的输出端连接所述控制决策单元的第二输入端,所述控制决策单元的输出端连接所述任务管理模块的输入端;
所述信息获取模块用于获取系统信息并发送给所述数据预处理单元、控制量分析单元和控制决策单元;所述系统信息包括:当前轮数据中心新增的任务数量XZTx、本轮数据中心完成的任务数量WCTx、数据中心上每个物理机当前运行的任务的数量DQTi和每个物理机在本轮出现的任务迁移次数QYTi;其中1≤i≤WLJ,WLJ为数据中心中物理机的数量;
所述数据预处理单元用于对获取到的系统信息进行数据预处理:
计算数据中心本轮的任务执行率ZXLx、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi、计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMi
所述数据预处理单元将预处理得到的数据发送给所述控制量分析单元;
所述控制量分析单元用于根据接收到的数据计算控制决策参考值:
计算FZXLPM=ZDT-DQTi-(1-e-t×(tWLJ×XZTx-FZXLPMi))]]>得到每个物理机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;
计算云数据中心下一轮预期新进入任务数KXZT:
KXZT=Σi=1WLJFXZLPMi;]]>
所述控制量分析单元将计算得到的控制决策参考值发送给所述控制决策单元;
所述控制决策单元用于根据接收到的控制决策参考值生成决策信息:
计算云数据中心下一阶段新增任务窗口控制量KZL:
KZL=0if KXZT+XZTx-WCTx<0Σi=1,ZDT-DQTi-QYTi>0WLJ1if0KXZT+XZTx-WCTx<WLJ×ZDT×βKXZT+XZTx-WCTxelse;]]>
所述控制决策单元将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块;
所述任务管理模块用于新增任务管理:所述任务管理模块根据接收到的决策信息判断KZL是否为0;若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。
较佳的,所述数据预处理单元通过计算
ZXLx=WCTx+Σi=1WLJQYTitifWCTx+Σi=1WLJQYTi>0mean{WCTy|0<y<x}telse]]>得到数据中心本轮的任务执行率ZXLx
mean{}为集合求平均的操作,x为当前轮数,1≤x<∞,t为预先设定的每轮之间的间隔时间;
所述数据预处理单元通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLi
所述数据预处理单元通过计算
INC=mean{ZLu,u+1|0<ux}ifΠ0<uxYCu,u+1=1mean{ZLu,v|0<u<vx,v-u>1,YCu,v=0}else]]>得到剔除了过量值干扰后ZXL1到ZXLx序列的步长平均增量INC;
所述YCu,v为判断是否是过量值的标记变量,ZLu,v表示序列中第u和v个记录值之间形成的幂级数等效增量;u和v均为正整数;
所述数据预处理单元通过计算
ZLu,v=KJSTv-KJSTuv-uifKJSTv-KJSTu>0--(KJSTv-KJSTu)v-uelse]]>得到所述幂级数等效增量ZLu,v
所述数据预处理单元通过计算
YCu,v=1if|ZLu,v|avg>a,|ZLu,v|>max{ZLs,s+1|usv}0else]]>得到标记变量YCu,v
其中a为给定参数,1<a<2;max{}为集合求最大的操作;|ZLu,v|表示ZLu,v的绝对值;avg取值为:avg=mean{|ZLu,v||0<u<v≤x};
所述数据预处理单元通过计算得到未来预期云数据中心任务执行率FZXL;
所述γ为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;γ满足0.5<γ<1;
所述数据预处理单元通过计算FZXLPMi=FZXL×BLi得到云数据中心中每个物理机的未来预期执行率FZXLPMi
本发明还要解决的技术问题是提供一种优化云数据中心任务管理性能和计算资源管理的效率的新增任务数动态控制系统。
为实现上述目的,本发明提供了一种云数据中心新增任务数动态控制系统,包括IaaS云系统的服务器,所述服务器内设置有云数据中心新增任务数动态控制装置,所述云数据中心新增任务数动态控制装置包括信息获取模块、分析决策模块和任务管理模块;所述分析决策模块用于对获取的系统信息进行分析及 决策;所述分析决策模块由数据预处理单元、控制量分析单元和控制决策单元组成;所述信息获取模块的第一输出端连接所述数据预处理单元的输入端,所述信息获取模块的第二输出端连接所述控制量分析单元的第一输入端,所述信息获取模块的第三输出端连接所述控制决策单元的第一输入端,所述数据预处理单元的输出端连接所述控制量分析单元的第二输入端,所述控制量分析单元的输出端连接所述控制决策单元的第二输入端,所述控制决策单元的输出端连接所述任务管理模块的输入端;
所述信息获取模块用于获取系统信息并发送给所述数据预处理单元、控制量分析单元和控制决策单元;所述系统信息包括:本轮数据中心新增的任务数量XZTx、本轮数据中心完成的任务数量WCTx、数据中心上每个物理机当前运行的任务的数量DQTi和每个物理机在本轮出现的任务迁移次数QYTi;其中1≤i≤WLJ,WLJ为数据中心中物理机的数量;
所述数据预处理单元用于对获取到的系统信息进行数据预处理:
计算数据中心本轮的任务执行率ZXLx、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi、计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMi
所述数据预处理单元将预处理得到的数据发送给所述控制量分析单元;
所述控制量分析单元用于根据接收到的数据计算控制决策参考值:
计算FZXLPM=ZDT-DQTi-(1-e-t×(tWLJ×XZTx-FZXLPMi))]]>得到每个物理机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;
计算云数据中心下一轮预期新进入任务数KXZT:
KXZT=Σi=1WLJFXZLPMi;]]>
所述控制量分析单元将计算得到的控制决策参考值发送给所述控制决策单元;
所述控制决策单元用于根据接收到的控制决策参考值生成决策信息:
计算云数据中心下一阶段新增任务窗口控制量KZL:
KZL=0if KXZT+XZTx-WCTx<0Σi=1,ZDT-DQTi-QYTi>0WLJ1if0KXZT+XZTx-WCTx<WLJ×ZDT×βKXZT+XZTx-WCTxelse;]]>
所述控制决策单元将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块;
所述任务管理模块用于新增任务管理:所述任务管理模块根据接收到的决策信息判断KZL是否为0;若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。
较佳的,所述数据预处理单元通过计算
ZXLx=WCTx+Σi=1WLJQYTitifWCTx+Σi=1WLJQYTi>0mean{WCTy|0<y<x}telse]]>得到数据中心本轮的任务执行率ZXLx
mean{}为集合求平均的操作,x为当前轮数,1≤x<∞,t为预先设定的每轮之间的间隔时间;
所述数据预处理单元通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLi
所述数据预处理单元通过计算
INC=mean{ZLu,u+1|0<ux}ifΠ0<uxYCu,u+1=1mean{ZLu,v|0<u<vx,v-u>1,YCu,v=0}else]]>得到剔除了过量值干扰后ZXL1到ZXLx序列的步长平均增量INC;
所述YCu,v为判断是否是过量值的标记变量,ZLu,v表示序列中第u和v个记录值之间形成的幂级数等效增量;u和v均为正整数;
所述数据预处理单元通过计算
ZLu,v=KJSTv-KJSTuv-uifKJSTv-KJSTu>0--(KJSTv-KJSTu)v-uelse]]>得到所述幂级数等效增量ZLu,v
所述数据预处理单元通过计算
YCu,v=1if|ZLu,v|avg>a,|ZLu,v|>max{ZLs,s+1|usv}0else]]>得到标记变量YCu,v
其中a为给定参数,1<a<2;max{}为集合求最大的操作;|ZLu,v|表示ZLu,v的绝对值;avg取值为:avg=mean{|ZLu,v||0<u<v≤x};
所述数据预处理单元通过计算得到未来预期云数据中心任务执行率FZXL;
所述γ为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;γ满足0.5<γ<1;
所述数据预处理单元通过计算FZXLPMi=FZXL×BLi得到云数据中心中每个 物理机的未来预期执行率FZXLPMi
本发明的有益效果是:本发明通过跟踪云数据中心实际运行时负载和物理机资源的变化趋势,然后根据对未来系统可承受新增任务量的预测值,动态的决定新任务窗口大小,避免任务拥塞和计算资源空转,达到优化平衡,兼顾了云系统的性能和经济性。
附图说明
图1是本发明云数据中心新增任务数动态控制方法一具体实施方式的流程示意图。
图2是本发明云数据中心新增任务数动态控制装置一具体实施方式的电路原理示意图。
图3是本发明云数据中心新增任务数动态控制系统一具体实施方式的电路原理示意图。
图4是云数据中心新增任务数动态控制方法的性能比较图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明:
如图1所示,一种云数据中心新增任务数动态控制方法,按照间隔时间t对云数据中心进行任务分配,按以下步骤进行:
步骤一、获取系统信息,所述系统信息为云数据中心信息。所述系统信息包括:当前轮数据中心新增的任务数量XZTx、本轮数据中心完成的任务数量WCTx、数据中心上每个物理机当前运行的任务的数量DQTi和每个物理机在本轮出现的任务迁移次数QYTi。其中1≤i≤WLJ,WLJ为数据中心中物理机的数量。其中下标x表示轮数,由于按照固定时间间隔进行系统分析和控制,每一次控制 的操作视为一轮,系统从第一轮开始后,只要不停止工作,轮数就不断增加。
步骤二、对获取的系统信息进行分析及决策。
所述对获取的系统信息进行分析及决策按以下步骤进行:
A1、对获取到的系统信息进行数据预处理。
计算数据中心本轮的任务执行率ZXLx、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi、计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMi
计算数据中心本轮的任务执行率ZXLx
ZXLx=WCTx+Σi=1WLJQYTitifWCTx+Σi=1WLJQYTi>0mean{WCTy|0<y<x}telse.]]>
mean{}为集合求平均的操作,x为当前轮数,1≤x<∞,t为预先设定的每轮之间的间隔时间。上述公式的直观意义是,若本轮完成的任务数量加上所有物理机迁移任务数量之和不为0,则以上述数量除以间隔时间t为本轮数据中心的任务执行率,反之则根据以往历史记录的平均任务处理率为本轮的执行率。
计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi
上述公式的直观意义是,每个物理机可接收新任务占数据中心总体新增任务数的比例,可计算为该物理在本轮剩余的可接受任务数除以所有物理机剩余任务数总数的比值。
计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC:
INC=mean{ZLu,u+1|0<ux}ifΠ0<uxYCu,u+1=1mean{ZLu,v|0<u<vx,v-u>1,YCu,v=0}else.]]>
所述YCu,v为判断是否是过量值的标记变量,ZLu,v表示序列中第u和v个记录值之间形成的幂级数等效增量。u和v均为正整数。上述公式的直观意义是:若所有相邻两个幂级数等效增量之间形成的增量都是过量值,则选取非相邻值增量的平均作为剔除了过量值干扰的步长平均增量。反之,则以相邻值增量的平均作为剔除了过量值干扰的步长平均增量。所述过量值干扰包括过大值干扰和过小值干扰。
接下来计算未来预期云数据中心任务执行率FZXL:
FZXL=Σ1ux(ZXLu+INCx-u)×γx-uΣ1uxγx-u.]]>
所述γ为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小。γ满足0.5<γ<1。本实施例中γ取值为0.9。
计算云数据中心中每个物理机的未来预期执行率FZXLPMi
FZXLPMi=FZXL×BLi
A2、计算控制决策参考值。
计算FZXLPM=ZDT-DQTi-(1-e-t×(tWLJ×XZTx-FZXLPMi))]]>得到每个物理机在未来的预期剩余可接受任务数FZXLPM。所述ZDT为单个物理机可支持的最大任务数量。上述公式的直观意义是:第i个物理机下一轮的预期剩余可接受任务数,计算为将单个物理机可支持的最大任务数量,减去本轮第i个物理机上运行的任务数量DQTi,再减去下一轮该物理机从云数据中心分配到的新增任务的数学期望值。
计算云数据中心下一轮预期新进入任务数KXZT:
KXZT=Σi=1WLJFXZLPM.]]>
A3、发出决策信息。
计算云数据中心下一阶段新增任务窗口控制量KZL:
KZL=0if KXZT+XZTx-WCTx<0Σi=1,ZDT-DQTi-QYTi>0WLJ1if0KXZT+XZTx-WCTx<WLJ×ZDT×βKXZT+XZTx-WCTxelse.]]>
上述公式的直观意义是,下一阶段新增任务窗口控制量可计算为:当下一轮预期新进入任务数KXZT加上本轮数据中心新增任务数,再减去本轮数据中心任务完成数,结果小于零时,窗口控制量设置为0。当上述计算结果大于,但小于数据中心最大可支持任务数总和乘以系数β时,则统计本轮未达到单物理机最大支持任务数上限的物理机数量(即),然后将窗口控制量设为这个值。前两种情况都不满足时,窗口控制量设置为“下一轮阶段预期新进入任务数KXZT加上本轮数据中心新增任务数,再减去本轮数据中心任务完成数的结果”。
步骤三、新增任务管理:若KZL为0,则在下一轮,云数据中心拒绝所有新增任务。若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。
步骤四、等待设定时间t后,100毫秒<t<1000毫秒,返回执行步骤一,直到云数据中心停止运行。
所述幂级数等效增量ZLu,v的计算方法为:
ZLu,v=KJSTv-KJSTuv-uifKJSTv-KJSTu>0--(KJSTv-KJSTu)v-uelse.]]>
判断是否是过量值的标记变量YCu,v的取值方法为:
YCu,v=1if|ZLu,v|avg>a,|ZLu,v|>max{ZLs,s+1|usv}0else.]]>
其中a为给定参数,1<a<2,本实施例中,a为1.5。max{}为集合求最大的操作。|ZLu,v|表示ZLu,v的绝对值。avg取值为:avg=mean{|ZLu,v||0<u<v≤x}。
如图2所示,一种云数据中心新增任务数动态控制装置,包括信息获取模块3、分析决策模块4和任务管理模块5。所述分析决策模块4用于对获取的系统信息进行分析及决策。所述分析决策模块4由数据预处理单元401、控制量分析单元402和控制决策单元403组成。所述信息获取模块3的第一输出端连接所述数据预处理单元401的输入端,所述信息获取模块3的第二输出端连接所述控制量分析单元402的第一输入端,所述信息获取模块3的第三输出端连接所述控制决策单元403的第一输入端,所述数据预处理单元401的输出端连接所述控制量分析单元402的第二输入端,所述控制量分析单元402的输出端连接所述控制决策单元403的第二输入端,所述控制决策单元403的输出端连接所述任务管理模块5的输入端。
所述信息获取模块3用于获取系统信息并发送给所述数据预处理单元401、控制量分析单元402和控制决策单元403。所述系统信息包括:本轮数据中心新增的任务数量XZTx、本轮数据中心完成的任务数量WCTx、数据中心上每个物理机当前运行的任务的数量DQTi和每个物理机在本轮出现的任务迁移次数QYTi。其中1≤i≤WLJ,WLJ为数据中心中物理机的数量。
所述数据预处理单元401用于对获取到的系统信息进行数据预处理:
计算数据中心本轮的任务执行率ZXLx、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi、计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMi
所述数据预处理单元401将预处理得到的数据发送给所述控制量分析单元402。
所述控制量分析单元402用于根据接收到的数据计算控制决策参考值:
计算FZXLPM=ZDT-DQTi-(1-e-t×(tWLJ×XZTx-FZXLPMi))]]>得到每个物理机在未来的预期剩余可接受任务数FZXLPM。所述ZDT为单个物理机可支持的最大任务数量。
计算云数据中心下一轮预期新进入任务数KXZT:
KXZT=Σi=1WLJFXZLPMi;]]>
所述控制量分析单元402将计算得到的控制决策参考值发送给所述控制决策单元403。
所述控制决策单元403用于根据接收到的控制决策参考值生成决策信息:
计算云数据中心下一阶段新增任务窗口控制量KZL:
KZL=0if KXZT+XZTx-WCTx<0Σi=1,ZDT-DQTi-QYTi>0WLJ1if0KXZT+XZTx-WCTx<WLJ×ZDT×βKXZT+XZTx-WCTxelse.]]>
所述控制决策单元403将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块5。
所述任务管理模块5用于新增任务管理:所述任务管理模块5根据接收到的决策信息判断KZL是否为0。若KZL为0,则在下一轮,云数据中心拒绝所有 新增任务。若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。
所述数据预处理单元401通过计算
ZXLx=WCTx+Σi=1WLJQYTitifWCTx+Σi=1WLJQYTi>0mean{WCTy|0<y<x}telse]]>得到数据中心本轮的任务执行率ZXLx
mean{}为集合求平均的操作,x为当前轮数,1≤x<∞,t为预先设定的每轮之间的间隔时间。
所述数据预处理单元401通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLi
所述数据预处理单元401通过计算
INC=mean{ZLu,u+1|0<ux}ifΠ0<uxYCu,u+1=1mean{ZLu,v|0<u<vx,v-u>1,YCu,v=0}else]]>得到剔除了过量值干扰后ZXL1到ZXLx序列的步长平均增量INC。
所述YCu,v为判断是否是过量值的标记变量,ZLu,v表示序列中第u和v个记录值之间形成的幂级数等效增量。u和v均为正整数。
所述数据预处理单元401通过计算
ZLu,v=KJSTv-KJSTuv-uifKJSTv-KJSTu>0--(KJSTv-KJSTu)v-uelse]]>得到所述幂级数等效增量ZLu,v
所述数据预处理单元401通过计算
YCu,v=1if|ZLu,v|avg>a,|ZLu,v|>max{ZLs,s+1|usv}0else]]>得到标记变量YCu,v
其中a为给定参数,1<a<2。max{}为集合求最大的操作。|ZLu,v|表示ZLu,v的绝对值。avg取值为:avg=mean{|ZLu,v||0<u<v≤x}。
所述数据预处理单元401通过计算得到未来预期云数据中心任务执行率FZXL。
所述γ为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小。γ满足0.5<γ<1。本实施例中γ取值为0.9。
所述数据预处理单元401通过计算FZXLPMi=FZXL×BLi得到云数据中心中每个物理机的未来预期执行率FZXLPMi
如图3所示,本发明提供的云数据中心新增任务数动态控制装置,可以部署于一个现有的服务器中,也可以部署以一个单独设置的专用于云数据中心新增任务数动态控制的服务器中。为此,本发明提供了一种云数据中心新增任务数动态控制系统,包括IaaS云系统的服务器1,所述服务器1内设置有云数据中心新增任务数动态控制装置2,所述云数据中心新增任务数动态控制装置2包括信息获取模块3、分析决策模块4和任务管理模块5。所述分析决策模块4用于对获取的系统信息进行分析及决策。所述分析决策模块4由数据预处理单元401、控制量分析单元402和控制决策单元403组成。所述信息获取模块3的第一输出端连接所述数据预处理单元401的输入端,所述信息获取模块3的第二输出端连接所述控制量分析单元402的第一输入端,所述信息获取模块3的第三输出端连接所述控制决策单元403的第一输入端,所述数据预处理单元401 的输出端连接所述控制量分析单元402的第二输入端,所述控制量分析单元402的输出端连接所述控制决策单元403的第二输入端,所述控制决策单元403的输出端连接所述任务管理模块5的输入端。
所述信息获取模块3用于获取系统信息并发送给所述数据预处理单元401、控制量分析单元402和控制决策单元403。所述系统信息包括:本轮数据中心新增的任务数量XZTx、本轮数据中心完成的任务数量WCTx、数据中心上每个物理机当前运行的任务的数量DQTi和每个物理机在本轮出现的任务迁移次数QYTi。其中1≤i≤WLJ,WLJ为数据中心中物理机的数量。
所述数据预处理单元401用于对获取到的系统信息进行数据预处理:
计算数据中心本轮的任务执行率ZXLx、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLi、计算ZXL1到ZXLx序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMi
所述数据预处理单元401将预处理得到的数据发送给所述控制量分析单元402。
所述控制量分析单元402用于根据接收到的数据计算控制决策参考值:
计算FZXLPM=ZDT-DQTi-(1-e-t×(tWLJ×XZTx-FZXLPMi))]]>得到每个物理机在未来的预期剩余可接受任务数FZXLPM。所述ZDT为单个物理机可支持的最大任务数量。
计算云数据中心下一轮预期新进入任务数KXZT:
KXZT=Σi=1WLJFXZLPMi.]]>
所述控制量分析单元402将计算得到的控制决策参考值发送给所述控制决策单元403。
所述控制决策单元403用于根据接收到的控制决策参考值生成决策信息:
计算云数据中心下一阶段新增任务窗口控制量KZL:
KZL=0if KXZT+XZTx-WCTx<0Σi=1,ZDT-DQTi-QYTi>0WLJ1if0KXZT+XZTx-WCTx<WLJ×ZDT×βKXZT+XZTx-WCTxelse.]]>
所述控制决策单元403将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块5。
所述任务管理模块5用于新增任务管理:所述任务管理模块5根据接收到的决策信息判断KZL是否为0。若KZL为0,则在下一轮,云数据中心拒绝所有新增任务。若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。
所述数据预处理单元401通过计算
ZXLx=WCTx+Σi=1WLJQYTitifWCTx+Σi=1WLJQYTi>0mean{WCTy|0<y<x}telse]]>得到数据中心本轮的任务执行率ZXLx
mean{}为集合求平均的操作,x为当前轮数,1≤x<∞,t为预先设定的每轮之间的间隔时间。
所述数据预处理单元401通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLi
所述数据预处理单元401通过计算
INC=mean{ZLu,u+1|0<ux}ifΠ0<uxYCu,u+1=1mean{ZLu,v|0<u<vx,v-u>1,YCu,v=0}else]]>得到剔除了过量值干扰后ZXL1到ZXLx序列的步长平均增量INC。
所述YCu,v为判断是否是过量值的标记变量,ZLu,v表示序列中第u和v个记录值之间形成的幂级数等效增量。u和v均为正整数。
所述数据预处理单元401通过计算
ZLu,v=KJSTv-KJSTuv-uifKJSTv-KJSTu>0--(KJSTv-KJSTu)v-uelse]]>得到所述幂级数等效增量ZLu,v
所述数据预处理单元401通过计算
YCu,v=1if|ZLu,v|avg>a,|ZLu,v|>max{ZLs,s+1|usv}0else]]>得到标记变量YCu,v
其中a为给定参数,1<a<2。max{}为集合求最大的操作。|ZLu,v|表示ZLu,v的绝对值。avg取值为:avg=mean{|ZLu,v||0<u<v≤x}。
所述数据预处理单元401通过计算得到未来预期云数据中心任务执行率FZXL。
所述γ为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小。γ满足0.5<γ<1。本实施例中,γ取值为0.9。
所述数据预处理单元401通过计算FZXLPMi=FZXL×BLi得到云数据中心中每个物理机的未来预期执行率FZXLPMi
本发明相对于传统的云系统任务负载控制方法,具有以下优点:实现了柔性的云数据中新增任务窗口和相关的管理策略,根据各物理机的实时运行负载,动态的来决定下一阶段可接纳的新增任务数量上限。能保证系统对系统负载的 变化做出及时的响应,使数据中心避免任务拥塞和空转的两个极端,确保了性能和节能经济性的平衡。
为了验证上述云数据中心新增任务数动态控制方法、装置和系统的实际效果,我们搭建了一个小规模云数据中心系统,系统以4台工作站(具体配置为:DELL T3610工作站,至强E5-1630处理器,8G内存,500GB硬盘)为核心搭建4物理机的云系统。每个物理机的处理能力设定为:可支持最多支持50个虚拟机进程,每个虚拟机进程最多可占用64M内存和200M的硬盘存储,每个虚拟机进程最长允许的业务执行时间为10分钟。在该数据中心上运行一个面向重庆大学本科生的学生查课、选课、课程作业提交、课程设计任务下载等业务的系统。我们记录了该数据中心在采用和不采用本实施例的云数据中心新增任务数动态控制方法两种情况下的性能区别。
图4记录了采取和不采取本实施例云数据中心新增任务数动态控制方法的性能比较图,图中虚线标注曲线为采取本实施例云数据中心新增任务数动态控制方法的选课任务平均响应时间测试值,实线为不采取的平均响应时间测试值。横坐标为,从系统开始运行起,获取平均响应时间测试值的时刻。可见,在30个大课程分类资源设置情况下,虚线显示的任务平均响应时间除了在系统刚开始运行时稍长于实线,之后其平均响应时间均低于实线的对应值,而且差值逐渐拉大,体现出明显的性能优势。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范 围内。

云数据中心新增任务数动态控制装置、系统及方法.pdf_第1页
第1页 / 共27页
云数据中心新增任务数动态控制装置、系统及方法.pdf_第2页
第2页 / 共27页
云数据中心新增任务数动态控制装置、系统及方法.pdf_第3页
第3页 / 共27页
点击查看更多>>
资源描述

《云数据中心新增任务数动态控制装置、系统及方法.pdf》由会员分享,可在线阅读,更多相关《云数据中心新增任务数动态控制装置、系统及方法.pdf(27页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104111875A43申请公布日20141022CN104111875A21申请号201410315765422申请日20140703G06F9/50200601G06F9/455200601H04L29/0820060171申请人重庆大学地址400045重庆市沙坪坝区沙正街174号72发明人夏云霓罗辛曾令秋孙天昊朱庆生74专利代理机构重庆市前沿专利事务所普通合伙50211代理人郭云54发明名称云数据中心新增任务数动态控制装置、系统及方法57摘要本发明公开了一种云数据中心新增任务数动态控制装置、系统及方法,属于云计算领域,本发明通过跟踪云数据中心实际运行时负载和物理机资源的。

2、变化趋势,然后根据对未来系统可承受新增任务量的预测值,动态的决定新任务窗口大小,避免任务拥塞和计算资源空转,达到优化平衡,兼顾了云系统的性能和经济性。51INTCL权利要求书7页说明书15页附图4页19中华人民共和国国家知识产权局12发明专利申请权利要求书7页说明书15页附图4页10申请公布号CN104111875ACN104111875A1/7页21一种云数据中心新增任务数动态控制方法,按照间隔时间T对云数据中心进行任务分配,其特征在于按以下步骤进行步骤一、获取系统信息;所述系统信息包括当前轮数据中心新增的任务数量XZTX、本轮数据中心完成的任务数量WCTX、数据中心上每个物理机当前运行的任。

3、务的数量DQTI和每个物理机在本轮出现的任务迁移次数QYTI;其中1IWLJ,WLJ为数据中心中物理机的数量;步骤二、对获取的系统信息进行分析及决策;所述对获取的系统信息进行分析及决策按以下步骤进行A1、对获取到的系统信息进行数据预处理;计算数据中心本轮的任务执行率ZXLX、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLI、计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMI;计算数据中心本轮的任务执行率ZXLXMEAN为集合求平均的操作,X为当前轮数,1X,T为预先设。

4、定的每轮之间的间隔时间;计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLI计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC所述YCU,V为判断是否是过量值的标记变量,ZLU,V表示序列中第U和V个记录值之间形成的幂级数等效增量;U和V均为正整数;接下来计算未来预期云数据中心任务执行率FZXL所述为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;满足051;计算云数据中心中每个物理机的未来预期执行率FZXLPMI权利要求书CN104111875A2/7页3FZXLPMIFZXLBLI;A2、计算控制决策参考值;计算得到每个物理机在未来的。

5、预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;计算云数据中心下一轮预期新进入任务数KXZTA3、发出决策信息;计算云数据中心下一阶段新增任务窗口控制量KZL步骤三、新增任务管理若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。2如权利要求1所述的云数据中心新增任务数动态控制方法,其特征是所述幂级数等效增量ZLU,V的计算方法为3如权利要求1所述的云数据中心新增任务数动态控制方法,其特征是判断是否是过量值的标记变量YCU,V的取值方法为其中A为给定参数,1A。

6、2;MAX为集合求最大的操作;|ZLU,V|表示ZLU,V的绝对值;AVG取值为AVGMEAN|ZLU,V|0UVX。4如权利要求1或2或3所述的云数据中心新增任务数动态控制方法,其特征是等待设定时间T后,100毫秒T1000毫秒,返回执行步骤一,直到云数据中心停止运行。5一种云数据中心新增任务数动态控制装置,其特征在于包括信息获取模块3、分析决策模块4和任务管理模块5;所述分析决策模块4用于对获取的系统信息进行分析及决策;所述分析决策模块4由数据预处理单元401、控制量分析单元402和控制决策单元403组成;所述信息获取模块3的第一输出端连接所述数据预处理单元401的输入端,所述信息获取模块。

7、3的第二输出端连接所述控制量分析单元402的第一输入端,所述信息获取模块3的第三输出端连接所述控制决策单元403的第一输入端,所述数据预处理单元401的输出端连接所述控制量分析单元402的第二输入端,所权利要求书CN104111875A3/7页4述控制量分析单元402的输出端连接所述控制决策单元403的第二输入端,所述控制决策单元403的输出端连接所述任务管理模块5的输入端;所述信息获取模块3用于获取系统信息并发送给所述数据预处理单元401、控制量分析单元402和控制决策单元403;所述系统信息包括当前轮数据中心新增的任务数量XZTX、本轮数据中心完成的任务数量WCTX、数据中心上每个物理机当。

8、前运行的任务的数量DQTI和每个物理机在本轮出现的任务迁移次数QYTI;其中1IWLJ,WLJ为数据中心中物理机的数量;所述数据预处理单元401用于对获取到的系统信息进行数据预处理计算数据中心本轮的任务执行率ZXLX、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLI、计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMI;所述数据预处理单元401将预处理得到的数据发送给所述控制量分析单元402;所述控制量分析单元402用于根据接收到的数据计算控制决策参考值计算得到每个物理。

9、机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;计算云数据中心下一轮预期新进入任务数KXZT所述控制量分析单元402将计算得到的控制决策参考值发送给所述控制决策单元403;所述控制决策单元403用于根据接收到的控制决策参考值生成决策信息计算云数据中心下一阶段新增任务窗口控制量KZL所述控制决策单元403将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块5;所述任务管理模块5用于新增任务管理所述任务管理模块5根据接收到的决策信息判断KZL是否为0;若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据。

10、中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。6如权利要求5所述的一种云数据中心新增任务数动态控制装置,其特征在于所述数据预处理单元401通过计算权利要求书CN104111875A4/7页5得到数据中心本轮的任务执行率ZXLX;MEAN为集合求平均的操作,X为当前轮数,1X,T为预先设定的每轮之间的间隔时间;所述数据预处理单元401通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLI;所述数据预处理单元401通过计算得到剔除了过量值干扰后ZXL1到ZXLX序列的步长平均增量INC;所述YCU,V为判断是否是过量值的标记变量,ZLU,V表示序列中第U和V。

11、个记录值之间形成的幂级数等效增量;U和V均为正整数;所述数据预处理单元401通过计算得到所述幂级数等效增量ZLU,V;所述数据预处理单元401通过计算得到标记变量YCU,V;其中A为给定参数,1A2;MAX为集合求最大的操作;|ZLU,V|表示ZLU,V的绝对值;AVG取值为AVGMEAN|ZLU,V|0UVX;所述数据预处理单元401通过计算得到未来预期云数据中心任务执行率FZXL;所述为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;满足051;所述数据预处理单元401通过计算FZXLPMIFZXLBLI得到云数据中心中每个物理机的未来预期执行率FZXLPM。

12、I。7一种云数据中心新增任务数动态控制系统,包括IAAS云系统的服务器1,其特征权利要求书CN104111875A5/7页6在于所述服务器1内设置有云数据中心新增任务数动态控制装置2,所述云数据中心新增任务数动态控制装置2包括信息获取模块3、分析决策模块4和任务管理模块5;所述分析决策模块4用于对获取的系统信息进行分析及决策;所述分析决策模块4由数据预处理单元401、控制量分析单元402和控制决策单元403组成;所述信息获取模块3的第一输出端连接所述数据预处理单元401的输入端,所述信息获取模块3的第二输出端连接所述控制量分析单元402的第一输入端,所述信息获取模块3的第三输出端连接所述控制决。

13、策单元403的第一输入端,所述数据预处理单元401的输出端连接所述控制量分析单元402的第二输入端,所述控制量分析单元402的输出端连接所述控制决策单元403的第二输入端,所述控制决策单元403的输出端连接所述任务管理模块5的输入端;所述信息获取模块3用于获取系统信息并发送给所述数据预处理单元401、控制量分析单元402和控制决策单元403;所述系统信息包括当前轮数据中心新增的任务数量XZTX、本轮数据中心完成的任务数量WCTX、数据中心上每个物理机当前运行的任务的数量DQTI和每个物理机在本轮出现的任务迁移次数QYTI;其中1IWLJ,WLJ为数据中心中物理机的数量;所述数据预处理单元401。

14、用于对获取到的系统信息进行数据预处理计算数据中心本轮的任务执行率ZXLX、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLI、计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMI;所述数据预处理单元401将预处理得到的数据发送给所述控制量分析单元402;所述控制量分析单元402用于根据接收到的数据计算控制决策参考值计算得到每个物理机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;计算云数据中心下一轮预期新进入任务数KXZT所述控制量分。

15、析单元402将计算得到的控制决策参考值发送给所述控制决策单元403;所述控制决策单元403用于根据接收到的控制决策参考值生成决策信息计算云数据中心下一阶段新增任务窗口控制量KZL所述控制决策单元403将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块5;权利要求书CN104111875A6/7页7所述任务管理模块5用于新增任务管理所述任务管理模块5根据接收到的决策信息判断KZL是否为0;若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。8如权利要求7所述的一种云数据。

16、中心新增任务数动态控制系统,其特征在于所述数据预处理单元401通过计算得到数据中心本轮的任务执行率ZXLX;MEAN为集合求平均的操作,X为当前轮数,1X,T为预先设定的每轮之间的间隔时间;所述数据预处理单元401通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLI;所述数据预处理单元401通过计算得到剔除了过量值干扰后ZXL1到ZXLX序列的步长平均增量INC;所述YCU,V为判断是否是过量值的标记变量,ZLU,V表示序列中第U和V个记录值之间形成的幂级数等效增量;U和V均为正整数;所述数据预处理单元401通过计算得到所述幂级数等效增量ZLU,V;所述数据预处理单元401通。

17、过计算得到标记变量YCU,V;其中A为给定参数,1A2;MAX为集合求最大的操作;|ZLU,V|表示ZLU,V的绝对值;AVG取值为AVGMEAN|ZLU,V|0UVX;所述数据预处理单元401通过计算得到未来预期权利要求书CN104111875A7/7页8云数据中心任务执行率FZXL;所述为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;满足051;所述数据预处理单元401通过计算FZXLPMIFZXLBLI得到云数据中心中每个物理机的未来预期执行率FZXLPMI。权利要求书CN104111875A1/15页9云数据中心新增任务数动态控制装置、系统及方法技术领。

18、域0001本发明属于云计算领域,特别是涉及一种云数据中心新增任务数动态控制装置、系统及方法。背景技术0002云计算是指将任务分布在大量的分布式计算机上,使用云计算平台、通过网络为用户提供信息服务的计算模式。相对于传统的软件形态,云计算具有松散耦合、随需应变、成本可控、资源虚拟、异构协同等显著的优势,使其更适应现今的电子商务、柔性制造、移动互联网等应用。云计算包含两个方面的含义一个方面是底层构建的云计算平台基础设施,是用来构建上层应用程序的基础;另一方面的含义是构建在这个基础平台之上的云计算应用程序。0003云计算进行实体计算资源和计算单元整合的形式是数据中心。数据中心是通过系统虚拟化、多处理器。

19、虚拟化、内存虚拟化、I/O虚拟化等虚拟化技术将物理资源虚拟化成资源池,这些资源再由数据中心上的软硬件的管理调度模块进行统筹。0004云数据中心的资源池中的主要计算资源,就是物理机PHYSICALMACHINE,PM,物理机是不可再细分的一个最基本的云任务执行单元即一个物理机无法再分裂成多个子物理机,是一定量的计算、存储、和网络通信资源的集合。一个物理机上可以运行一个或多个虚拟机进程,而一个虚拟机进程同一时刻只可能在一个物理机上运行。0005云数据中心运行过程中,资源池里的物理机总是处于任务接收、执行、释放的动态变化中。使用者向数据中心提交的新任务后,数据中心的任务管理和分发单元,将可接受的新任。

20、务翻译为虚拟机进程VMPROCESS,并分发到非满负载的物理机上执行。0006传统的云数据中心任务管理技术,总是设定一个恒定大小的新增可接受任务窗口,这种技术存在一下的缺点没有考虑物理机负载的动态变化情况,容易在物理机虽有剩余处理能力但负载极速增长的情况下仍然安排较多的新增任务,导致在任务分发之的一段时间后出现任务拥塞,系统性能急剧下降;反过来,也容易在物理机虽负载较高但负载极速下降的情况下仍然安排较少的新增任务,导致在任务分发之的一段时间后出现物理机空转的情况,引起计算资源浪费。发明内容0007有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种优化云数据中心任务管理性能和计算资源管。

21、理的效率的新增任务数动态控制方法。0008为实现上述目的,本发明提供了一种云数据中心新增任务数动态控制方法,按照间隔时间T对云数据中心进行任务分配,按以下步骤进行0009步骤一、获取系统信息;所述系统信息包括当前轮数据中心新增的任务数量XZTX、本轮数据中心完成的任务数量WCTX、数据中心上每个物理机当前运行的任务的数量DQTI和每个物理机在本轮出现的任务迁移次数QYTI;其中1IWLJ,WLJ为数据中心中说明书CN104111875A2/15页10物理机的数量;0010步骤二、对获取的系统信息进行分析及决策;0011所述对获取的系统信息进行分析及决策按以下步骤进行0012A1、对获取到的系统。

22、信息进行数据预处理;0013计算数据中心本轮的任务执行率ZXLX、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLI、计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMI;0014计算数据中心本轮的任务执行率ZXLX00150016MEAN为集合求平均的操作,X为当前轮数,1X,T为预先设定的每轮之间的间隔时间;0017计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLI00180019计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC002000。

23、21所述YCU,V为判断是否是过量值的标记变量,ZLU,V表示序列中第U和V个记录值之间形成的幂级数等效增量;U和V均为正整数;0022接下来计算未来预期云数据中心任务执行率FZXL00230024所述为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;满足051;0025计算云数据中心中每个物理机的未来预期执行率FZXLPMI0026FZXLPMIFZXLBLI;0027A2、计算控制决策参考值;0028计算得到每个物理机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;说明书CN104111875A103/15页110029。

24、计算云数据中心下一轮预期新进入任务数KXZT00300031A3、发出决策信息;0032计算云数据中心下一阶段新增任务窗口控制量KZL00330034步骤三、新增任务管理若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务;轮数X加1后返回执行步骤一即XX1。0035采用以上技术方案,根据各物理机的实时运行负载,动态的来决定下一阶段可接纳的新增任务数量上限,保证了系统对系统负载的变化做出及时的响应,使数据中心避免任务拥塞和空转的两个极端。0036较佳的,所述幂级数等效增量ZLU,V的计算方法。

25、为00370038采用以上方案,幂级数等效增量ZLU,V的取值更加精确,从而大大提高了本发明动态控制的精确度。0039较佳的,判断是否是过量值的标记变量YCU,V的取值方法为00400041其中A为给定参数,1A2;MAX为集合求最大的操作;|ZLU,V|表示ZLU,V的绝对值;AVG取值为AVGMEAN|ZLU,V|0UVX。0042采用以上方案,过量值的标记变量YCU,V的取值更加精确,从而大大提高了本发明动态控制的精确度。0043进一步的,等待设定时间T后,100毫秒T1000毫秒,返回执行步骤一,直到云数据中心停止运行。0044本发明要解决的另一技术问题是提供一种优化云数据中心任务管理。

26、性能和计算资源管理的效率的新增任务数动态控制装置。0045为实现上述目的,本发明提供了一种云数据中心新增任务数动态控制装置,包括信息获取模块、分析决策模块和任务管理模块;所述分析决策模块用于对获取的系统信息进行分析及决策;所述分析决策模块由数据预处理单元、控制量分析单元和控制决策单元组成;所述信息获取模块的第一输出端连接所述数据预处理单元的输入端,所述信息获取模块的第二输出端连接所述控制量分析单元的第一输入端,所述信息获取模块的第三输出说明书CN104111875A114/15页12端连接所述控制决策单元的第一输入端,所述数据预处理单元的输出端连接所述控制量分析单元的第二输入端,所述控制量分析。

27、单元的输出端连接所述控制决策单元的第二输入端,所述控制决策单元的输出端连接所述任务管理模块的输入端;0046所述信息获取模块用于获取系统信息并发送给所述数据预处理单元、控制量分析单元和控制决策单元;所述系统信息包括当前轮数据中心新增的任务数量XZTX、本轮数据中心完成的任务数量WCTX、数据中心上每个物理机当前运行的任务的数量DQTI和每个物理机在本轮出现的任务迁移次数QYTI;其中1IWLJ,WLJ为数据中心中物理机的数量;0047所述数据预处理单元用于对获取到的系统信息进行数据预处理0048计算数据中心本轮的任务执行率ZXLX、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLI。

28、、计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMI;0049所述数据预处理单元将预处理得到的数据发送给所述控制量分析单元;0050所述控制量分析单元用于根据接收到的数据计算控制决策参考值0051计算得到每个物理机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;0052计算云数据中心下一轮预期新进入任务数KXZT00530054所述控制量分析单元将计算得到的控制决策参考值发送给所述控制决策单元;0055所述控制决策单元用于根据接收到的控制决策参。

29、考值生成决策信息0056计算云数据中心下一阶段新增任务窗口控制量KZL00570058所述控制决策单元将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块;0059所述任务管理模块用于新增任务管理所述任务管理模块根据接收到的决策信息判断KZL是否为0;若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。0060较佳的,所述数据预处理单元通过计算说明书CN104111875A125/15页130061得到数据中心本轮的任务执行率ZXLX;0062MEAN为集合求平均的操作。

30、,X为当前轮数,1X,T为预先设定的每轮之间的间隔时间;0063所述数据预处理单元通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLI;0064所述数据预处理单元通过计算0065得到剔除了过量值干扰后ZXL1到ZXLX序列的步长平均增量INC;0066所述YCU,V为判断是否是过量值的标记变量,ZLU,V表示序列中第U和V个记录值之间形成的幂级数等效增量;U和V均为正整数;0067所述数据预处理单元通过计算0068得到所述幂级数等效增量ZLU,V;0069所述数据预处理单元通过计算0070得到标记变量YCU,V;0071其中A为给定参数,1A2;MAX为集合求最大的操作;|Z。

31、LU,V|表示ZLU,V的绝对值;AVG取值为AVGMEAN|ZLU,V|0UVX;0072所述数据预处理单元通过计算得到未来预期云数据中心任务执行率FZXL;0073所述为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小;满足051;0074所述数据预处理单元通过计算FZXLPMIFZXLBLI得到云数据中心中每个物理机的未来预期执行率FZXLPMI。0075本发明还要解决的技术问题是提供一种优化云数据中心任务管理性能和计算资说明书CN104111875A136/15页14源管理的效率的新增任务数动态控制系统。0076为实现上述目的,本发明提供了一种云数据中心新。

32、增任务数动态控制系统,包括IAAS云系统的服务器,所述服务器内设置有云数据中心新增任务数动态控制装置,所述云数据中心新增任务数动态控制装置包括信息获取模块、分析决策模块和任务管理模块;所述分析决策模块用于对获取的系统信息进行分析及决策;所述分析决策模块由数据预处理单元、控制量分析单元和控制决策单元组成;所述信息获取模块的第一输出端连接所述数据预处理单元的输入端,所述信息获取模块的第二输出端连接所述控制量分析单元的第一输入端,所述信息获取模块的第三输出端连接所述控制决策单元的第一输入端,所述数据预处理单元的输出端连接所述控制量分析单元的第二输入端,所述控制量分析单元的输出端连接所述控制决策单元的。

33、第二输入端,所述控制决策单元的输出端连接所述任务管理模块的输入端;0077所述信息获取模块用于获取系统信息并发送给所述数据预处理单元、控制量分析单元和控制决策单元;所述系统信息包括本轮数据中心新增的任务数量XZTX、本轮数据中心完成的任务数量WCTX、数据中心上每个物理机当前运行的任务的数量DQTI和每个物理机在本轮出现的任务迁移次数QYTI;其中1IWLJ,WLJ为数据中心中物理机的数量;0078所述数据预处理单元用于对获取到的系统信息进行数据预处理0079计算数据中心本轮的任务执行率ZXLX、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLI、计算ZXL1到ZXLX序列的剔除了。

34、过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMI;0080所述数据预处理单元将预处理得到的数据发送给所述控制量分析单元;0081所述控制量分析单元用于根据接收到的数据计算控制决策参考值0082计算得到每个物理机在未来的预期剩余可接受任务数FZXLPM;所述ZDT为单个物理机可支持的最大任务数量;0083计算云数据中心下一轮预期新进入任务数KXZT00840085所述控制量分析单元将计算得到的控制决策参考值发送给所述控制决策单元;0086所述控制决策单元用于根据接收到的控制决策参考值生成决策信息0087计算云数据中。

35、心下一阶段新增任务窗口控制量KZL00880089所述控制决策单元将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块;0090所述任务管理模块用于新增任务管理所述任务管理模块根据接收到的决策信息说明书CN104111875A147/15页15判断KZL是否为0;若KZL为0,则在下一轮,云数据中心拒绝所有新增任务;若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。0091较佳的,所述数据预处理单元通过计算0092得到数据中心本轮的任务执行率ZXLX;0093MEAN为集合求平均的操作,X为当前轮数,1X,T为预先设定的。

36、每轮之间的间隔时间;0094所述数据预处理单元通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLI;0095所述数据预处理单元通过计算0096得到剔除了过量值干扰后ZXL1到ZXLX序列的步长平均增量INC;0097所述YCU,V为判断是否是过量值的标记变量,ZLU,V表示序列中第U和V个记录值之间形成的幂级数等效增量;U和V均为正整数;0098所述数据预处理单元通过计算0099得到所述幂级数等效增量ZLU,V;0100所述数据预处理单元通过计算0101得到标记变量YCU,V;0102其中A为给定参数,1A2;MAX为集合求最大的操作;|ZLU,V|表示ZLU,V的绝对值;A。

37、VG取值为AVGMEAN|ZLU,V|0UVX;0103所述数据预处理单元通过计算得到未来预期云数据中心任务执行率FZXL;0104所述为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越说明书CN104111875A158/15页16早的影响越小;满足051;0105所述数据预处理单元通过计算FZXLPMIFZXLBLI得到云数据中心中每个物理机的未来预期执行率FZXLPMI。0106本发明的有益效果是本发明通过跟踪云数据中心实际运行时负载和物理机资源的变化趋势,然后根据对未来系统可承受新增任务量的预测值,动态的决定新任务窗口大小,避免任务拥塞和计算资源空转,达到优化平衡,兼。

38、顾了云系统的性能和经济性。附图说明0107图1是本发明云数据中心新增任务数动态控制方法一具体实施方式的流程示意图。0108图2是本发明云数据中心新增任务数动态控制装置一具体实施方式的电路原理示意图。0109图3是本发明云数据中心新增任务数动态控制系统一具体实施方式的电路原理示意图。0110图4是云数据中心新增任务数动态控制方法的性能比较图。具体实施方式0111下面结合附图和实施例对本发明作进一步说明0112如图1所示,一种云数据中心新增任务数动态控制方法,按照间隔时间T对云数据中心进行任务分配,按以下步骤进行0113步骤一、获取系统信息,所述系统信息为云数据中心信息。所述系统信息包括当前轮数据。

39、中心新增的任务数量XZTX、本轮数据中心完成的任务数量WCTX、数据中心上每个物理机当前运行的任务的数量DQTI和每个物理机在本轮出现的任务迁移次数QYTI。其中1IWLJ,WLJ为数据中心中物理机的数量。其中下标X表示轮数,由于按照固定时间间隔进行系统分析和控制,每一次控制的操作视为一轮,系统从第一轮开始后,只要不停止工作,轮数就不断增加。0114步骤二、对获取的系统信息进行分析及决策。0115所述对获取的系统信息进行分析及决策按以下步骤进行0116A1、对获取到的系统信息进行数据预处理。0117计算数据中心本轮的任务执行率ZXLX、计算每个物理机可接收新任务占数据中心总体新增任务数的比例B。

40、LI、计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMI。0118计算数据中心本轮的任务执行率ZXLX0119说明书CN104111875A169/15页170120MEAN为集合求平均的操作,X为当前轮数,1X,T为预先设定的每轮之间的间隔时间。上述公式的直观意义是,若本轮完成的任务数量加上所有物理机迁移任务数量之和不为0,则以上述数量除以间隔时间T为本轮数据中心的任务执行率,反之则根据以往历史记录的平均任务处理率为本轮的执行率。0121计算每个物理机可接收新任务占数据中心总体新。

41、增任务数的比例BLI0122上述公式的直观意义是,每个物理机可接收新任务占数据中心总体新增任务数的比例,可计算为该物理在本轮剩余的可接受任务数除以所有物理机剩余任务数总数的比值。0123计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC01240125所述YCU,V为判断是否是过量值的标记变量,ZLU,V表示序列中第U和V个记录值之间形成的幂级数等效增量。U和V均为正整数。上述公式的直观意义是若所有相邻两个幂级数等效增量之间形成的增量都是过量值,则选取非相邻值增量的平均作为剔除了过量值干扰的步长平均增量。反之,则以相邻值增量的平均作为剔除了过量值干扰的步长平均增量。所述过量值干扰。

42、包括过大值干扰和过小值干扰。0126接下来计算未来预期云数据中心任务执行率FZXL01270128所述为距离弱化因子,其作用是使最近的历史记录值对FZXL的影响较大,而越早的影响越小。满足051。本实施例中取值为09。0129计算云数据中心中每个物理机的未来预期执行率FZXLPMI0130FZXLPMIFZXLBLI。0131A2、计算控制决策参考值。0132计算得到每个物理机在未来的预期剩余可接受任务数FZXLPM。所述ZDT为单个物理机可支持的最大任务数量。上述公式的直观意义是第I个物理机下一轮的预期剩余可接受任务数,计算为将单个物理机可支持的最大任务数量,减去本轮第I个物理机上运行的任务。

43、数量DQTI,再减去下一轮该物理机从云数据中心分配到的新增任务的数学期望值。0133计算云数据中心下一轮预期新进入任务数KXZT01340135A3、发出决策信息。说明书CN104111875A1710/15页180136计算云数据中心下一阶段新增任务窗口控制量KZL01370138上述公式的直观意义是,下一阶段新增任务窗口控制量可计算为当下一轮预期新进入任务数KXZT加上本轮数据中心新增任务数,再减去本轮数据中心任务完成数,结果小于零时,窗口控制量设置为0。当上述计算结果大于,但小于数据中心最大可支持任务数总和乘以系数时,则统计本轮未达到单物理机最大支持任务数上限的物理机数量即,然后将窗口控。

44、制量设为这个值。前两种情况都不满足时,窗口控制量设置为“下一轮阶段预期新进入任务数KXZT加上本轮数据中心新增任务数,再减去本轮数据中心任务完成数的结果”。0139步骤三、新增任务管理若KZL为0,则在下一轮,云数据中心拒绝所有新增任务。若KZL大于0,则在下一轮,云数据中心接收第一到第KZL个新增任务,而拒绝第KZL个之后的所有新增任务。0140步骤四、等待设定时间T后,100毫秒T1000毫秒,返回执行步骤一,直到云数据中心停止运行。0141所述幂级数等效增量ZLU,V的计算方法为01420143判断是否是过量值的标记变量YCU,V的取值方法为01440145其中A为给定参数,1A2,本实。

45、施例中,A为15。MAX为集合求最大的操作。|ZLU,V|表示ZLU,V的绝对值。AVG取值为AVGMEAN|ZLU,V|0UVX。0146如图2所示,一种云数据中心新增任务数动态控制装置,包括信息获取模块3、分析决策模块4和任务管理模块5。所述分析决策模块4用于对获取的系统信息进行分析及决策。所述分析决策模块4由数据预处理单元401、控制量分析单元402和控制决策单元403组成。所述信息获取模块3的第一输出端连接所述数据预处理单元401的输入端,所述信息获取模块3的第二输出端连接所述控制量分析单元402的第一输入端,所述信息获取模块3的第三输出端连接所述控制决策单元403的第一输入端,所述数。

46、据预处理单元401的输出端连接所述控制量分析单元402的第二输入端,所述控制量分析单元402的输出端连接所述控制决策单元403的第二输入端,所述控制决策单元403的输出端连接所述任务管理模块5的输入端。0147所述信息获取模块3用于获取系统信息并发送给所述数据预处理单元401、控制说明书CN104111875A1811/15页19量分析单元402和控制决策单元403。所述系统信息包括本轮数据中心新增的任务数量XZTX、本轮数据中心完成的任务数量WCTX、数据中心上每个物理机当前运行的任务的数量DQTI和每个物理机在本轮出现的任务迁移次数QYTI。其中1IWLJ,WLJ为数据中心中物理机的数量。。

47、0148所述数据预处理单元401用于对获取到的系统信息进行数据预处理0149计算数据中心本轮的任务执行率ZXLX、计算每个物理机可接收新任务占数据中心总体新增任务数的比例BLI、计算ZXL1到ZXLX序列的剔除了过量值干扰的步长平均增量INC、计算未来预期云数据中心任务执行率FZXL、计算云数据中心中每个物理机的未来预期执行率FZXLPMI。0150所述数据预处理单元401将预处理得到的数据发送给所述控制量分析单元402。0151所述控制量分析单元402用于根据接收到的数据计算控制决策参考值0152计算得到每个物理机在未来的预期剩余可接受任务数FZXLPM。所述ZDT为单个物理机可支持的最大任。

48、务数量。0153计算云数据中心下一轮预期新进入任务数KXZT01540155所述控制量分析单元402将计算得到的控制决策参考值发送给所述控制决策单元403。0156所述控制决策单元403用于根据接收到的控制决策参考值生成决策信息0157计算云数据中心下一阶段新增任务窗口控制量KZL01580159所述控制决策单元403将生成的云数据中心下一阶段新增任务窗口控制量KZL发送给所述任务管理模块5。0160所述任务管理模块5用于新增任务管理所述任务管理模块5根据接收到的决策信息判断KZL是否为0。若KZL为0,则在下一轮,云数据中心拒绝所有新增任务。若KZL大于0,则在下一轮,云数据中心接收第一到第。

49、KZL个新增任务,而拒绝第KZL个之后的所有新增任务。0161所述数据预处理单元401通过计算0162得到数据中心本轮的任务执行率ZXLX。说明书CN104111875A1912/15页200163MEAN为集合求平均的操作,X为当前轮数,1X,T为预先设定的每轮之间的间隔时间。0164所述数据预处理单元401通过计算得到每个物理机可接收新任务占数据中心总体新增任务数的比例BLI。0165所述数据预处理单元401通过计算0166得到剔除了过量值干扰后ZXL1到ZXLX序列的步长平均增量INC。0167所述YCU,V为判断是否是过量值的标记变量,ZLU,V表示序列中第U和V个记录值之间形成的幂级数等效增量。U和V均为正整数。0168所述数据预处理单元401通过计算0169得到所述幂级数等效增量ZLU,V。0170所述数据预处理单元401通过计算0171得到标记变量YCU,V。0172其中A为给定参数,1A2。MAX为集合求最大的操作。|ZLU,V|表示ZLU。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1