《一种云计算环境下基于时间期限和预算的调度方法.pdf》由会员分享，可在线阅读，更多相关《一种云计算环境下基于时间期限和预算的调度方法.pdf（7页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103699448 A (43)申请公布日 2014.04.02 CN 103699448 A (21)申请号 201410016015.7 (22)申请日 2014.01.14 G06F 9/50(2006.01) (71)申请人 浪潮 （北京） 电子信息产业有限公司 地址 100085 北京市海淀区上地信息路 2 号 2-1 号 C 栋 1 层 (72)发明人 杨晋博 尹艳艳 张新玲 (74)专利代理机构 北京安信方达知识产权代理 有限公司 11262 代理人 王丹 栗若木 (54) 发明名称 一种云计算环境下基于时间期限和预算的调 度方法 (57) 摘要 本发明。
2、提出一种云计算环境下基于时间期限 和预算的调度方法， 确定所述作业的作业权值、 当 前获得的资源槽数、 所应获得的最小资源槽数和 当前队列中所有作业的作业平均权值， 将所述作 业权值与所述作业平均权值进行比较， 将所述当 前获得的资源槽数与所述最小资源槽数进行比 较， 根据所述比较的结果调整所述作业的作业权 值或所述分配的调度队列， 从而使得用户作业资 源分配兼顾时间期限和预算双重约束。 (51)Int.Cl. 权利要求书 1 页 说明书 4 页 附图 1 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书4页 附图1页 (10)申请公布号 CN 10369。
3、9448 A CN 103699448 A 1/1 页 2 1. 一种云计算环境下基于时间期限和预算的调度方法， 其特征在于包括 ： S1: 用户提交作业 ； S2: 获得用户提交的时间影响因子， 根据所述时间影响因子为所述作业分配对应的调 度队列 ； S3: 确定更新时间是否到达， 若是则进入步骤 S4 ； S4: 确定所述作业的作业权值、 当前获得的资源槽数、 所应获得的最小资源槽数和当前 队列中所有作业的作业平均权值， 将所述作业权值与所述作业平均权值进行比较， 将所述 当前获得的资源槽数与所述最小资源槽数进行比较， 根据所述比较的结果调整所述作业的 作业权值或所述分配的调度队列， 返回。
4、步骤 S3 ； 其中， 所述调度队列具有不同的调度优先级和资源槽数。 2. 如权利要求 1 所述的方法， 其特征在于 ： 所述作业的作业权值根据作业的时间影响因子、 最后截止时间和最高预算计算。 3. 如权利要求 1 或 2 所述的方法， 其特征在于 ： 所述 “根据所述比较的结果调整所述作业的作业权值或所述分配的调度队列” 具体 为 ： 如果所述作业当前获得的所述资源槽数小于所述最小资源槽数， 且所述作业的作业权 值大于所述作业平均权值， 则将所述作业分配到调度优先级更高的调度队列 ； 如果所述作业当前获得的所述资源槽数小于所述最小资源槽数， 且所述作业的作业权 值小于所述作业平均权值， 则。
5、将所述作业的作业权值调整为当前作业权值与所述作业平均 权值之和。 4. 如权利要求 1 或 2 所述的方法， 其特征在于 ： 所述 “根据所述比较的结果调整所述作业的作业权值或所述分配的调度队列” 具体 为 ： 如果所述作业当前获得的所述资源槽数大于所述最小资源槽数， 且所述作业的作业权 值大于所述作业平均权值， 则将所述作业的作业权值调整为当前作业权值与所述作业平均 权值的差值 ； 如果所述作业的作业权值已经被调整为当前作业权值与所述作业平均权值的差值， 且 所述作业当前获得的所述资源槽数仍然大于所述最小资源槽数， 则将所述作业分配到调度 优先级较低的队列。 权 利 要 求 书 CN 103。
6、699448 A 2 1/4 页 3 一种云计算环境下基于时间期限和预算的调度方法 技术领域 0001 本发明涉及计算机资源分配技术领域， 具体涉及一种云计算环境下基于时间期限 和预算的调度方法。 背景技术 0002 随着网格计算和并行计算的发展， 云计算应运而生， 这宣告低成本、 高性能计算时 代的到来。 它将计算作为一种服务提供给用户， 实际上是计算能力的商品化， 用户根据自己 的需求使用云计算服务。 在现有的云计算研究中， 作业调度作为其运行枢纽， 一直是研究的 热点技术之一， 除了影响作业响应能力和执行效率外， 还直接关系到整个平台的系统性能、 吞吐量和资源利用率。 0003 已有的云。
7、计算调度研究中鲜有考虑云计算动态环境下用户实际需求对调度影响 的算法， 其中， 对时间期限和最高预算的研究， 较早是在网格计算环境中。网格环境下考虑 时间期限或者预算的作业调度， 但满足的是单一用户需求， 达到资源的时间最优或者预算 最优， 这样很容易将任务集中分配到某一个资源上， 造成负载不平衡。 在上述算法基础上同 时考虑时间期限和预算问题， 计算网格环境下所有资源在时间和预算上的均衡度， 依此为 任务分配合适的资源， 以达到优化的目的， 但该算法在调度时忽略了数据传输时间和网格 环境的变化， 且算法复杂度较高。而侧重于判断网格中资源的在时间和预算上不同的效益 值， 仅以此动态选择时间最优。
8、或者代价最优， 没有明确考虑时间和预算效益值相同时调度 的情况， 且忽略了作业优先级与用户需求的关系。 发明内容 0004 针对动态变化的云计算环境下， 具有时间期限和预算双重约束的用户需求优化问 题， 本发明提出一种云计算环境下基于时间期限和预算的调度方法， 所述方法设计权值计 算模型、 预算评价模型和权值更新模型， 通过动态调节作业权值和最小资源槽数来控制集 群对资源的分配， 所述方法包括 ： 0005 S1: 用户提交作业 ； 0006 S2: 获得用户提交的时间影响因子， 根据所述时间影响因子为所述作业分配对应 的调度队列 ； 0007 S3: 确定更新时间是否到达， 若是则进入步骤 。
9、S4 ； 0008 S4: 确定所述作业的作业权值、 当前获得的资源槽数、 所应获得的最小资源槽数和 当前队列中所有作业的作业平均权值， 将所述作业权值与所述作业平均权值进行比较， 将 所述当前获得的资源槽数与所述最小资源槽数进行比较， 根据所述比较的结果调整所述作 业的作业权值或所述分配的调度队列， 返回步骤 S3 ； 0009 其中， 所述调度队列具有不同的调度优先级和资源槽数。 0010 本发明的有益效果是 ： 所述方法能减少作业响应时间， 并且可在满足用户对时间 期限和预算的需求基础上， 最大化云计算集群中运行的作业数， 提高不同用户在时间和预 说 明 书 CN 103699448 A。
10、 3 2/4 页 4 算需求上的公平性。 附图说明 0011 图 1 示出的是本发明提出的一种云计算环境下基于时间期限和预算的调度方法 流程图。 具体实施方式 0012 下面参照附图 1 详细描述本发明提出的一种云计算环境下基于时间期限和预算 的调度方法。 0013 1、 基本模型 0014 针对云计算环境下网络负载及任务数动态变化的特点， 同时考虑到用户对时间期 限和预算的实际需求， 以及可能在时间期限和预算要求程度上的不同倾向， 本发明定义了 权值计算模型、 最高预算评价模型和权值更新模型三个计算模块。 0015 模型 1 权值计算模型 0016 权值计算模型根据作业的时间影响因子、 最后。
11、截止时间和最高预算来计算权值。 表达式如下 ： 0017 0018 其中， tasksNum 表示作业的大小 ； D 表示用户设定的作业的最迟截止时间 ； B 表示 作业的最高预算 ； V 表示资源在某一时刻的处理能力 ( 考虑资源的当前负载 ) ； c 表示资源 处理任务时每秒的收费 ； 表示用户对作业完成时间要求的影响因子。 0019 模型 2 最高预算评价模型 0020 以时间期限评价模型为模板， 推导出预算评价模型， 为使推导简化， 本文做出以下 假设 ： 0021 (1) 集群中节点对映射分配 map 任务和规约执行 reduce 任务的处理时间是相等 的 ； 0022 (2) 输入。
12、数据的块大小在 hadoop 的分布式文件系统 HDFS 中已经配置好 ； 0023 (3) 每个 reduce 节点得到同等比例的 reduce 数据。 0024 为评价作业 J 的执行时间 T， 考虑 map 完成时间， reduce 完成时间和数据传输时间 如下 ： 0025 0026 其中， Tm表示处理一个 map 任务所需的时间 ； Tr表示处理一个 reduce 任务所需的 时间 ； Td表示map和reduce任务传输一单位数据所需的时间 ； 表示job输入数据 ； f表 示 reduce 任务的输入数据 ； nm表示 map 任务的槽数 ； nr表示 reduce 任务的槽数。
13、。 0027 当给出时间期限 D 和最高预算 B 时， 表达式为 ： 说 明 书 CN 103699448 A 4 3/4 页 5 0028 0029 其中， t 表示 job 提交的时间 ； Sm表示第一个 map 任务开始的时间。从预算角度考 虑， reduce 任务最晚开始时间为 ： 0030 0031 时间期限 D 和最高预算 B 满足 ： 0032 D B/c(5) 0033 因此， 从预算角度考虑， 作业 Job 需求的最小 map 槽数和最小 reduce 槽数分别为 ： 0034 0035 0036 模型 3 权值更新模型 0037 系统设置为每隔 500ms 更新一次作业最小。
14、槽数和作业权值。根据当前集群的作业 运行情况， 重新计算得出作业的最小槽数， 然后和已得到的槽数进行比较， 如果已得到的槽 数比应得的槽数少， 则适量地增加作业权值， 如果已得到的槽数比应得的槽数多， 则适量地 减少作业权值。 0038 下面以作业得到的槽数少于最小槽数为例来讨论 ： 首先由式 (1) 求得作业的当前 权值 jobWeight， 再由式 (8) 求得当前作业所在队列的正在运行作业的权值平均值 ： 0039 0040 然后比较当前作业的权值和平均值， 如果作业权值小于平均值， 则 ： 0041 0042 如果作业权值大于平均值， 说明作业在其所在的队列中已经处于优势， 等待 50。
15、0ms， 在下次更新时， 若作业依然无法满足最小槽数， 则提交到上一级队列， 以增加获得资 源和调度的机会。 同理， 当作业得到的槽数多于最小槽数， 且作业权值大于其所在队列的平 均值时， 更新作业权值 ： 0043 0044 若 500ms 后依然获得过多的资源， 则调到下一级队列。 0045 2、 算法设计 0046 在云计算环境下加入时间期限和预算的双重约束， 结合评价模型提出了 DBS 算 法， 为 Hadoop 集群设置 3 个队列 ： HightimeQueue， MidtimeQueue， LowtimeQueue， 在配置文 说 明 书 CN 103699448 A 5 4/4。
16、 页 6 件中为上述三个队列设置不同的计算资源比例和收费标准 ： 0047 (1)HightimeQueue 拥有最多的调度机会和计算资源， 尽可能地保证对时间要求高 的用户作业的需求， 但是相应的费用比其他 2 个队列要高。 0048 (2)LowtimeQueue 里的作业虽然对时间要求比较低， 但是也为它配置一定的计算 资源， 尽可能避免高时间要求的作业独占资源， 低时间作业迟迟得不到响应的情况， 进而可 以使集群负载维持在一个较合理的水平。 0049 (3)MidtimeQueue 的优先级在上述两者之间， 针对的是用户对时间期限和预算要 求相同的作业， 保证了该类作业也可以得到一定的。
17、调度机会。 0050 所述算法的步骤流程参见图 1。 0051 S1: 用户通过作业客户端 JobClient 提交作业后， 会进入一个等待队列， 经过预处 理， 根据模型一的方法计算出作业的权值， 更新作业信息。 0052 S2: 然后根据用户提交的时间影响因子， 放入合适的队列， 为降低算法的复 杂 度， 时 间 影 响 因 子 取 值 0.0、 0.5、 1.0， 分 别 对 应 LowtimeQueue、 MidtimeQueue 和 HightimeQueue。分类结束之后， 分别对队列中的作业根据权值和提交时间进行排序， 完成 之后， 等待任务执行程序TaskTracker发送心跳。
18、请求分配任务.TaskTracker自主检测当前 节点的状态， 若发现存在空闲资源， 则主动向任务分配控制程序 JobTracker 发送信息， 请 求任务， JobTracker 接收到信息后， 启动作业调度器， 选择作业进行分配。 0053 S3:检测更新时间是否到达。 如果到达则， 则根据前述模型三调整作业的作业权值 或作业被分配的队列， 从而使得用户作业资源分配兼顾时间期限和预算双重约束 ； 否则等 待更新时间到达。 0054 当然， 本发明还可有其他多种实施例， 在不背离本发明精神及其实质的情况下， 熟 悉本领域的技术人员当可根据本发明作出各种相应的改变和变形， 但这些相应的改变和变 形都应属于本发明的权利要求的保护范围。 说 明 书 CN 103699448 A 6 1/1 页 7 图 1 说 明 书 附 图 CN 103699448 A 7 。