《一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法.pdf》由会员分享，可在线阅读，更多相关《一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法.pdf（5页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103077245 A(43)申请公布日 2013.05.01CN103077245A*CN103077245A*(21)申请号 201310017976.5(22)申请日 2013.01.18G06F 17/30(2006.01)(71)申请人浪潮电子信息产业股份有限公司地址 250014 山东省济南市高新区舜雅路1036号(72)发明人孙玉超 陈良华 郑辉(54) 发明名称一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法(57) 摘要本发明提供一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法，通过lustre文件系统来实现利用集群计算节点空闲硬盘空间扩。
2、展并行文件操作，Lustre对象存储文件系统是由客户端、存储服务器和元数据服务器MDS三个主要部分组成，Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互，即用计算节点的闲置磁盘空间做lustre文件系统的存储服务器ost，把计算节点的闲置磁盘空间整合成一个大的文件系统，然后客户端或计算节点来挂载此文件系统使用；通过利用计算节点空闲硬盘空间做并行文件系统的方法，不仅可以解决文件系统IO并发和带宽问题，而且能提高整个集群系统的存储空间，合理利用集群资源。(51)Int.Cl.权利要求书1页 说明书2页 附图1页(19)中华人民共和国国。
3、家知识产权局(12)发明专利申请权利要求书1页 说明书2页 附图1页(10)申请公布号 CN 103077245 ACN 103077245 A1/1页21.一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法，其特征在于，通过lustre文件系统来实现利用集群计算节点空闲硬盘空间扩展并行文件操作，Lustre对象存储文件系统是由客户端、存储服务器和元数据服务器MDS三个主要部分组成，Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互，即用计算节点的闲置磁盘空间做lustre文件系统的存储服务器ost，把计算节点的闲置磁盘空间整合。
4、成一个大的文件系统，然后客户端或计算节点来挂载此文件系统使用；具体实现过程如下：构建一小型集群，一个管理节点和10个计算节点，其中计算节点的硬盘容量为500G，Luster文件系统实现方式如下：1）mds服务器的创建在管理节点划分一个30G的区分格式化为mdt和mgs分区；2）ost服务器的创建共10个计算节点，每个节点500G的磁盘空间，拿出50G安装操作系统，剩下的450G空间做为lustre的ost空间；把10个计算节点的空闲分区依次格式化为ost1ost10；至此lustre文件系统构建完毕，由10个450G容量的ost分区组成，文件系统共4.5T的容量；3）客户端挂载管理节点和10个。
5、计算节点，都挂载此4.5T存储空间使用，这样不仅计算节点的硬盘得到合理利用，增加了整个集群的存储空间，多出4.5T的使用容量，而且，对于有10个ost的lustre文件系统，其IO并发能力和带宽都要远远高于nfs文件系统，提高了集群的整体性能。权 利 要 求 书CN 103077245 A1/2页3一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法技术领域0001 本发明涉及计算机技术领域，具体地说是一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法。背景技术0002 对于中小型集群，特别是小型集群，一般没有配备专门并行文件系统，集群计算节点共享一般通过nfs实现，在提交过多对io要求。
6、很高的作业后，文件系统效率会严重降低。发明内容0003 本发明的技术任务是解决现有技术的不足，提供一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法。0004 本发明的技术方案是按以下方式实现的，通过lustre文件系统来实现利用集群计算节点空闲硬盘空间扩展并行文件操作，Lustre对象存储文件系统是由客户端、存储服务器和元数据服务器MDS三个主要部分组成，Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互，即用计算节点的闲置磁盘空间做lustre文件系统的存储服务器ost，把计算节点的闲置磁盘空间整合成一个大的文件系统，然后客。
7、户端或计算节点来挂载此文件系统使用；具体实现过程如下：构建一小型集群，一个管理节点和10个计算节点，其中计算节点的硬盘容量为500G，Luster文件系统实现方式如下：1）mds服务器的创建在管理节点划分一个30G的区分格式化为mdt和mgs分区；2）ost服务器的创建共10个计算节点，每个节点500G的磁盘空间，拿出50G安装操作系统，剩下的450G空间做为lustre的ost空间；把10个计算节点的空闲分区依次格式化为ost1ost10；至此lustre文件系统构建完毕，由10个450G容量的ost分区组成，文件系统共4.5T的容量；3）客户端挂载管理节点和10个计算节点，都挂载此4.5T。
8、存储空间使用，这样不仅计算节点的硬盘得到合理利用，增加了整个集群的存储空间，多出4.5T的使用容量，而且，对于有10个ost的lustre文件系统，其IO并发能力和带宽都要远远高于nfs文件系统，提高了集群的整体性能。0005 本发明的突出的有益效果：通过利用计算节点空闲硬盘空间做并行文件系统的方法，不仅可以解决文件系统IO并发和带宽问题，而且能提高整个集群系统的存储空间，合说 明 书CN 103077245 A2/2页4理利用集群资源。0006 附图说明图1是系统结构示意图。具体实施方式0007 下面结合附图对本发明的方法作进一步详细说明。0008 北京中科院对地观测中心购买了一套小型集群，。
9、一个管理节点和10个计算节点，其中计算节点的硬盘容量为500G。0009 Luster文件系统实现方式：1. mds服务器的创建在管理节点划分一个30G的区分格式化为mdt和mgs分区；2. ost服务器的创建共10个计算节点，每个节点500G的磁盘空间，拿出50G安装操作系统，剩下的450G空间做为lustre的ost空间；把10个计算节点的空闲分区依次格式化为ost1ost10至此lustre文件系统构建完毕，由10个450G容量的ost分区组成，文件系统共4.5T的容量；3. 客户端挂载管理节点和10个计算节点，都挂载此4.5T存储空间使用即可。0010 这样不仅计算节点的硬盘得到合理利用，增加了整个集群的存储空间（多出4.5T的使用容量），而且，对于有10个ost的lustre文件系统，其IO并发能力和带宽都要远远高于nfs文件系统，提高了集群的整体性能。0011 除本发明的说明书公开的技术特征外均为本专业技术人员的公职技术。说 明 书CN 103077245 A1/1页5图1说 明 书 附 图CN 103077245 A。