《一种基于预约的批量作业调度方法.pdf》由会员分享,可在线阅读,更多相关《一种基于预约的批量作业调度方法.pdf(5页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 102929695 A (43)申请公布日 2013.02.13 CN 102929695 A *CN102929695A* (21)申请号 201210348300.X (22)申请日 2012.09.18 G06F 9/46(2006.01) (71)申请人 曙光信息产业 (北京) 有限公司 地址 100193 北京市海淀区东北旺西路 8 号 中关村软件园 36 号 (72)发明人 张涛 (74)专利代理机构 北京安博达知识产权代理有 限公司 11271 代理人 徐国文 (54) 发明名称 一种基于预约的批量作业调度方法 (57) 摘要 本发明提供一种基于预约的批。
2、量作业调度方 法, 包括以下步骤 : 提交作业并为作业指定耦合 属性 ; 作业调度系统对作业进行调度, 若发现某 个任务为耦合任务, 则自动将这类任务作为一组, 统一任务的优先级为该耦合任务中优先级最高的 任务 ; 若所有耦合任务成功创建临时预约, 则开 始作业启动过程 ; 否则, 删除之前创建的临时预 约, 然后继续处理下个作业 ; 若所有耦合任务均 对应临时预约, 则批量启动所有耦合任务。 本发明 解决了耦合作业批量调度的问题, 可以保证耦合 任务的正常计算, 同时还可以避免个别耦合任务 启动但耦合作业整体不能计算的问题, 提高集群 的整体利用率。 (51)Int.Cl. 权利要求书 1 。
3、页 说明书 2 页 附图 1 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 2 页 附图 1 页 1/1 页 2 1. 一种基于预约的批量作业调度方法, 其特征在于 : 所述方法包括以下步骤 : 步骤 1 : 提交作业并为作业指定耦合属性 ; 步骤 2 : 作业调度系统对作业进行调度, 若发现某个任务为耦合任务, 则自动将这类任 务作为一组, 统一任务的优先级为该耦合任务中优先级最高的任务 ; 步骤 3 : 若所有耦合任务成功创建临时预约, 则开始作业启动过程 ; 否则, 删除之前创 建的临时预约, 然后继续处理下个作业 ; 步骤 4 : 若所有耦。
4、合任务均对应临时预约, 则批量启动所有耦合任务。 2. 根据权利要求 1 所述的基于预约的批量作业调度方法, 其特征在于 : 所述步骤 1 中, 提交第一个耦合任务时, 所述作业调度系统自动返回耦合编号。 3. 根据权利要求 2 所述的基于预约的批量作业调度方法, 其特征在于 : 提交后续任务 时, 指定使用所述耦合编号。 4. 根据权利要求 1 所述的基于预约的批量作业调度方法, 其特征在于 : 所述步骤 2 中, 作业调度系统根据优先级调度任务时, 若发现该耦合任务, 则在匹配资源成功时, 创建临时 预约, 然后继续检查同一耦合作业的其它任务。 5. 根据权利要求 1 所述的基于预约的批量。
5、作业调度方法, 其特征在于 : 所述步骤 4 中, 若有任一任务启动失败, 则通过回滚删除已经启动的任务, 并删除临时预约, 继续处理下个 作业。 权 利 要 求 书 CN 102929695 A 2 1/2 页 3 一种基于预约的批量作业调度方法 技术领域 0001 本发明属于计算机技术领域, 具体涉及一种基于预约的批量作业调度方法。 背景技术 0002 高性能集群是用于进行高性能计算的软硬件系统的总称。 硬件上通常由高性能服 务器、 高速存储、 高速网络、 机房基础设施 (如供电、 制冷) 等部分组成 ; 软件方面, 通常包括 作业调度软件、 集群监控管理软件、 并行存储软件等部分组成。 。
6、0003 作业调度系统是负责完成应用作业调度的软件系统。从功能上说, 通常由资源管 理器、 作业调度器、 任务执行器等部分组成 ; 调度系统类似于一个操作系统, 一般会提供比 较完善的对于作业、 资源等内部对象进行管理的接口, 包括命令行接口、 API 接口。比较常 见的调度系统包括 LSF、 SGE、 PBS(Torque 是 pbs 的一个分支) 。 0004 耦合仿真计算是当前一种比较热门的仿真应用领域。 在高速列车、 飞机、 汽车等领 域中都有重要的应用。 目前, 耦合仿真应用通常都是作为一个专有的软件系统, 运行于类似 工作站等环境下, 很少考虑在集群环境下的使用。 0005 从发展。
7、趋势来看, 这类应用以后在集群下运行是必然的。问题就在于调度系统如 何支持该类型计算。 耦合任务计算有一个显著特征就是, 各个耦合模块必须同时调度成功, 耦合任务才能开始计算。这与传统的作业调度是不同的。 0006 在目前主流的调度系统都是对于单个作业提供了各种调度算法, 作业流功能也仅 仅是定义作业之间数据流转、 作业运行等时序关系, 基本都不支持对于作业的批量调度。 发明内容 0007 为了克服上述现有技术的不足, 本发明提供一种基于预约的批量作业调度方法, 解决了耦合作业批量调度的问题, 可以保证耦合任务的正常计算, 同时还可以避免个别耦 合任务启动但耦合作业整体不能计算的问题, 提高集。
8、群的整体利用率。 0008 为了实现上述发明目的, 本发明采取如下技术方案 : 0009 一种基于预约的批量作业调度方法, 所述方法包括以下步骤 : 0010 步骤 1 : 提交作业并为作业指定耦合属性 ; 0011 步骤 2 : 作业调度系统对作业进行调度, 若发现某个任务为耦合任务, 则自动将这 类任务作为一组, 统一任务的优先级为该耦合任务中优先级最高的任务 ; 0012 步骤 3 : 若所有耦合任务成功创建临时预约, 则开始作业启动过程 ; 否则, 删除之 前创建的临时预约, 然后继续处理下个作业 ; 0013 步骤 4 : 若所有耦合任务均对应临时预约, 则批量启动所有耦合任务。 0。
9、014 所述步骤 1 中, 提交第一个耦合任务时, 所述作业调度系统自动返回耦合编号。提 交后续任务时, 指定使用所述耦合编号。 0015 所述步骤 2 中, 作业调度系统根据优先级调度任务时, 若发现该耦合任务, 则在匹 配资源成功时, 创建临时预约, 然后继续检查同一耦合作业的其它任务。 说 明 书 CN 102929695 A 3 2/2 页 4 0016 所述步骤 4 中, 若有任一任务启动失败, 则通过回滚删除已经启动的任务, 并删除 临时预约, 继续处理下个作业。 0017 与现有技术相比, 本发明的有益效果在于 : 本发明提供一种基于预约的批量作业 调度方法, 解决了耦合作业批量。
10、调度的问题, 可以保证耦合任务的正常计算, 同时还可以避 免个别耦合任务启动但耦合作业整体不能计算的问题, 提高集群的整体利用率 ; 该方法简 单可靠, 易执行。 附图说明 0018 图 1 是耦合任务调度流程图。 具体实施方式 0019 下面结合附图对本发明作进一步详细说明。 0020 本发明提供一种基于预约的批量作业调度方法, 所述方法包括以下步骤 : 0021 步骤 1 : 提交作业并为作业指定耦合属性 ; 提交第一个耦合任务时, 所述作业调度 系统自动返回耦合编号。提交后续任务时, 指定使用所述耦合编号。耦合任务提交完成后 可以通过命令通知调度系统该组耦合任务可以调度。 0022 步骤。
11、 2 : 作业调度系统对作业进行调度, 若发现某个任务为耦合任务, 则自动将这 类任务作为一组, 统一任务的优先级为该耦合任务中优先级最高的任务 ; 作业调度系统根 据优先级调度任务时, 若发现该耦合任务, 则在匹配资源成功时, 创建临时预约, 然后继续 检查同一耦合作业的其它任务。 0023 步骤 3 : 若所有耦合任务成功创建临时预约, 则开始作业启动过程 ; 否则, 删除之 前创建的临时预约, 然后继续处理下个作业 ; 0024 步骤 4 : 若所有耦合任务均对应临时预约, 则批量启动所有耦合任务。若有任一任 务启动失败, 则通过回滚删除已经启动的任务, 并删除临时预约, 继续处理下个作业。 0025 最后应当说明的是 : 以上实施例仅用以说明本发明的技术方案而非对其限制, 尽 管参照上述实施例对本发明进行了详细的说明, 所属领域的普通技术人员应当理解 : 依然 可以对本发明的具体实施方式进行修改或者等同替换, 而未脱离本发明精神和范围的任何 修改或者等同替换, 其均应涵盖在本发明的权利要求范围当中。 说 明 书 CN 102929695 A 4 1/1 页 5 图 1 说 明 书 附 图 CN 102929695 A 5 。