基于生物信息云平台的作业调度方法 【技术领域】
本发明涉及云平台构建技术领域， 特别涉及一种基于生物信息云平台的作业调度方法。 背景技术 随着第二代测序技术在基因组学领域的普及， 越来越多的生物学研究人员寻求借 助于高性能计算机集群来处理由高通量测序所产生的大量数据。然而， 由于全世界范围内 新的生物信息数据分析软件层出不穷， 算法更新速度不断加快， 因此， 研究人员不仅需要懂 得使用、 管理硬件体系， 还必须熟练掌握各种分析软件的部署、 调试， 并随时跟踪最前沿的 软件及其新版本的发布情况。
为了让研究人员从复杂的计算机系统工作中解脱， 从而将更多的精力专注于生 物学本身的工作上， 许多研究机构和企业开发了生物信息数据分析平台， 例如华大的 BGI Cloud， 中科院北京基因组所的 waprna， 各种基于 Amazon EC2 虚拟化平台的生物信息分析 工具等， 这些平台主要是以软件服务的形式将高性能计算能力交付给用户。
目前主流生物信息数据分析平台的开发都是基于 JAVASTRUTS2 框架， 如图 1 所示。 该框架由三个层次组成 ： 表达层、 服务层、 资源层。表达层主要是前台界面、 用户交互部分， 负责向用户呈现信息或接收用户请求 ； 服务层和表达层进行交互， 以 tomcat 服务的形式响 应前台请求， 并根据用户提供的软件参数去调用资源层的应用软件或完成数据处理， 例如 增加、 删除、 修改、 查找等 ； 资源层由生物信息数据分析软件、 数据库、 高性能计算硬件等系 统资源构成。
该框架的优点是后台 servlet 采用模块化设计， 降低了各服务功能之间的依赖 度， 提高了程序整体的可维护性。
但是， 由于生物信息学领域发展迅速， 新的分析算法、 程序层出不穷， 因此生物信 息数据分析平台的扩展性要求很高。现有的主流技术平台主要存在两个缺陷 ：
1、 由于参数、 运行格式各异， 每个应用程序对应一个后台调用方法， 而没有一个统 一的调用方法来实现对不同程序的调用。 因此每一个新的程序都需要花费人力和时间去开 发新的前、 后台组件来将其集成到平台中来。面对成千上万中分析软件， 这样的工作量太 大， 必须使用大量的开发人员来维持后台分析软件的更新换代， 导致可扩展性及可部署性 差；
2、 每一种新软件的集成， 都需要多种开发人员进行协调工作， 包括 JAVA、 PERL 等 各种工程师， 时间周期长， 成本高。
发明内容 ( 一 ) 要解决的技术问题
本发明要解决的技术问题是 ： 如何实现一种基于生物信息云平台的作业调度方 法， 使得能够通过统一的调用方法来实现对不同程序的调用。
( 二 ) 技术方案
为解决上述技术问题， 本发明提供了一种基于生物信息云平台的作业调度方法， 包括以下步骤 ：
S1 ： 表达层传输参数字符流至服务层 ；
S2 ： 根据所述参数字符流中的参数变量及参数字符流头部的程序名称生成以程序 命名的参数文件 ；
S3 ： 最后根据参数字符流中指定的路径、 作业类型和所述参数文件的文件名组装 成格式统一的作业提交脚本并提交作业至资源层， 所述作业提交脚本中还包括与所述作业 类型相应的作业提交命令 ；
S4 ： 所述资源层解析所述作业提交脚本， 执行所述作业提交命令以调用所述作业 需调用的程序。
其中， 若表达层接收到的是包含多个模块作业的作业流， 则步骤 S1 和 S2 之间还包 括步骤 ：
S1.1 ： 所述服务层将参数字符流存入临时文件 ；
S1.2 ： 从所述参数字符流中解析出所有的模块作业的模块名， 按顺序记录在数据 库中， 数据库字段还包括模块作业的执行状态 ；
S1.3 ： 从临时文件中提取当前模块的程序名称及参数变量 ；
步骤 S3 之后返回到步骤 S1.3 执行， 直到提交完所述参数字符流中所有的模块作 业。
其中， 所述步骤 S4 具体包括 ： 所述作业提交命令根据所述参数文件的文件名查找到所述参数文件， 读取其中的 参数变量 ；
所述作业提交脚本中的路径下的程序根据所述参数文件中的参数变量运行。
其中， 所述参数字符流中还包括参数 ： 需要多核并行运行的模块作业所需的具体 资源数。
( 三 ) 有益效果
本发明通过统一格式的参数字符流， 生成统一格式的作业提交脚本， 对模块作业 和流程作业进行统一调度， 且在资源层采用对脚本的统一的解析方法， 实现了在生物信息 云平台中能够通过统一的调用方法来实现对不同程序的调用， 从而实现了平台的软件快速 集成， 提高了平台的可扩展性及可部署性， 减小了开发成本， 缩短了开发周期。
附图说明
图 1 是现有的一种生物信息云平台结构框架图 ； 图 2 是本发明实施例的一种基于生物信息云平台的作业调度方法流程图。具体实施方式
下面结合附图和实施例， 对本发明的具体实施方式作进一步详细描述。以下实施 例用于说明本发明， 但不用来限制本发明的范围。
本发明中的基于软件服务的信息云平台为图 1 所示架构， 基于 JAVA STRUTS2 框架实现， 首先用户通过浏览器发送基于分析流程的作业请求至表达层， 表达层提取用户所提 交的作业参数后， 推送给服务层， 后台服务器通过 servlet 来响应， 并根据作业参数调用资 源层作业管理系统的 REST/SOAP 接口， 加载作业。具体流程如图 2 所示。后台服务将前台 提交过来的作业类型分为两类 ： 模块作业与流程作业， 运行单个程序就能得到结果的作业 称为模块作业， 相对而言， 需要连续运行多个程序才能得到结果的， 称为流程作业。 具体地， 流程作业是指由多个模块作业组成的管道处理作业方式。 表达层解释用户输入的参数字符 流， 判断是否为流程作业， 若不是流程作业， 按以下模块作业的步骤处理 ：
1、 表达层传输参数字符流至服务层， 参数字符流是满足一定格式的文本， 满足的 格式如下表所示 ：
2、 后台服务从参数字符流中提取所要调用程序的参数变量 ( 包括变量名称和值)； 3、 根据参数字符流头部的程序的名称， 生成以程序命名的参数文件， 本实施例中 采用 OPT 文件， 格式如下表所示 ：
4、 最 后 根 据 参 数 字 符 流 中 指 定 的 路 径 和 作 业 类 型， 作业类型如 ： LSF(Load Sharing Facility)、 PBS(Portable Batch System)、 SGE(Sun Grid Engine)、 或者 SHELL， 组装成格式统一的作业提交脚本并提交作业。以 LSF 为例， 作业提交脚本格式如下 ：
APP_NAME ＝ QueueName( 队列名 ) ；
NP_PER_NODE ＝ n( 一个节点运行 n 个进程， 默认是节点的核数 ) ；
MY_MPI_TYPE ＝ openmpi( 选择 mpi 的类型 ) ；
MY_MPI_HOME ＝ /usr/mpi/gcc/openmpi-1.2.8(mpi 的路径 ) ；
NP ＝ N( 使用的 CPU 核数 ) ；
RUN ＝” Program_Name Parameter_Path_and_Filename” ( 命令行参数 )。
对于每一种作业类型对应的作业提交脚本的格式都一样， 资源层只需根据从中解 析出需调用程序的路径、 程序名称及相应的参数就能调用该程序。而且本发明采用了标准 化的作业类型 (LSF、 PBS、 SGE 等 ) 以方便解析。
5、 资源层解析上述作业提交脚本， 执行作业提交命令以调用作业提交脚本中指定 的程序。有上述作业提交脚本的格式可见， 其中已包含了作业提交指令， 如： RUN 命令， 其中 包括了要调用的程序名和平台在服务层指定的参数文件的路径。
因此， 开发底层程序的程序员不需要在程序中提供不同作业类型对应的提交操作 指令， 实现了程序的快速部署。
若是流程作业， 则提交及处理步骤如下 ：
1、 表达层传输参数字符流至服务层。
2、 服务层将参数字符流存入临时文件， 参数字符流是满足一定格式的文本， 以字 符流的形式通过网络在服务器之间进行传输， 传输到服务器上时只是存在于内存中， 并没 有存为文件。 临时文件就是把参数字符流存储到磁盘上， 以文件的形式存在， 其文本内容不 变。
3、 从参数字符流中解析出所有的模块名， 按顺序记录在数据库中， 数据库字段应 包括模块作业的执行状态。
4、 从临时文件中提取当前模块的参数变量。
5、 生成以当前模块的程序命名的参数文件 (OPT 文件 )， 根据参数字符流中指定 的路径和作业类型， 作业类型如 ： LSF、 PBS、 SGE、 或者 SHELL， 组装成格式统一的作业提交脚 本， 并提交该作业。作业提交脚本中还包括与所述作业类型相应的作业提交命令。
6、 当本作业模块完成时， 将下一模块设置为当前作业。
7、 触发作业提交事件， 返回至步骤 4。
8、 重复直至流程中的所有模块作业完成。
资源层接收到作业提交脚本后解析该脚本， 执行作业提交命令以调用作业提交脚 本中指定的程序。
上述步骤中模块或流程的处理方法中对于需要多核并行运行的模块， 参数字符流 中还包括参数 ： 需要多核并行运行的模块作业所需的具体资源数。
本发明分别在生物信息云平台表达层与服务层之间、 服务层与资源层之间基于 JAVA STRUTS2 框架实现了作业模块的格式化调用， 并在此基础上， 对于由多个分析作业模 块组成的分析作业流程实现了自动解析以及分步执行的功能， 使得在集成新的分析软件至 生物信息云平台中时， 能够实现快速部署的功能。
以上实施方式仅用于说明本发明， 而并非对本发明的限制， 有关技术领域的普通 技术人员， 在不脱离本发明的精神和范围的情况下， 还可以做出各种变化和变型， 因此所有 等同的技术方案也属于本发明的范畴， 本发明的专利保护范围应由权利要求限定。