一种对象存储系统输入输出动态检测调优方法及系统.pdf

摘要
申请专利号：	CN201210592557.X	申请日：	2012.12.31
公开号：	CN103077223A	公开日：	2013.05.01
当前法律状态：	驳回	有效性：	无权
法律详情：	发明专利申请公布后的驳回IPC(主分类):G06F 17/30申请公布日:20130501\|\|\|实质审查的生效IPC(主分类):G06F 17/30申请日:20121231\|\|\|公开
IPC分类号：	G06F17/30	主分类号：	G06F17/30
申请人：	浪潮（北京）电子信息产业有限公司
发明人：	李志昂
地址：	100085 北京市海淀区上地信息路2号2-1号C栋1层
优先权：
专利代理机构：	北京安信方达知识产权代理有限公司 11262	代理人：	栗若木;曲鹏
PDF下载：	PDF下载

内容摘要

本发明公开了一种对象存储系统输入输出动态检测调优方法及系统，克服目前对象存储系统中输入输出较为明显地影响大规模对象存储系统访问性能的不足，该方法包括：存储对象存储系统中对象IO流量的历史记录；根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。本申请的实施例动态检测对象存储系统的IO性能，根据检测结果优化IO分配，提高了对象存储系统的性能。

权利要求书

权利要求书一种对象存储系统输入输出(IO)动态检测调优方法，包括：
存储对象存储系统中对象IO流量的历史记录；
根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。
根据权利要求1所述的方法，其中，存储对象存储系统中对象IO流量的历史记录，包括：
在该对象存储系统的文件系统层存储该历史记录。
根据权利要求1所述的方法，其中，根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，包括：
根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。
根据权利要求1所述的方法，其中，获得根据使用频率进行排序的队列，包括：
获得将使用频率较高的数据排在靠前位置的队列。
一种对象存储系统输入输出(IO)动态检测调优系统，包括：
IO数据库，设置为存储对象存储系统中对象IO流量的历史记录；
监控管理优化模块，设置为根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。
根据权利要求5所述的系统，其中：
该IO数据库设置在该对象存储系统的文件系统层。
根据权利要求5所述的系统，其中：
该监控管理优化模块以模块加载的方式设置在该对象存储系统的内核中。
根据权利要求5所述的系统，其中：
监控管理优化模块设置为根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。
根据权利要求5所述的系统，其中：
监控管理优化模块设置为获得将使用频率较高的数据排在靠前位置的队列。

说明书

说明书一种对象存储系统输入输出动态检测调优方法及系统
技术领域
本发明涉及对象存储系统，尤其涉及一种对象存储系统输入输出(IO)动态检测调优方法及系统。
背景技术
目前，大部分传统业务开始数字化、网络化，大规模应用系统的广泛部署，对存储系统的性能和服务质量等提出了更高的需求，主要表现在高性能、高可靠/可用、高安全、可扩展性、可共享性、可管理性、实时性以及智能性等诸多方面。
高性能的科学计算、生物医学等，都需要高聚合输入输出(IO)吞吐量、大存储容量的网络存储系统作为存储后台，使得在存储容量需求大幅增长的同时，也对存储系统的性能提出了新的要求。
对象存储系统结合了附网存储和存储区域网的优点，已成为网络存储领域研究的热点。对象存储系统由客户端、元数据服务器、对象存储设备和互连网络等组成，其中对象存储设备是对象存储系统的核心。
在大规模的PB级(1PB＝1000TB，1TB＝1000GB，1GB＝1000MB)对象存储系统中，一般存在成千上万个自管理的对象存储设备。单个对象存储设备的性能将会对整个对象存储系统的性能产生较大的影响。而在存储系统中，IO性能依然慢于CPU、内存和网络性能，成为系统访问性能瓶颈。
发明内容
本发明所要解决的技术问题是克服目前对象存储系统中输入输出较为明显地影响大规模对象存储系统访问性能的不足。
为了解决上述技术问题，本发明提供了一种对象存储系统输入输出(IO)动态检测调优方法，包括：
存储对象存储系统中对象IO流量的历史记录；
根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。
优选地，存储对象存储系统中对象IO流量的历史记录，包括：
在该对象存储系统的文件系统层存储该历史记录。
优选地，根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，包括：
根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。
优选地，获得根据使用频率进行排序的队列，包括：
获得将使用频率较高的数据排在靠前位置的队列。
本申请的实施例还提供了一种对象存储系统输入输出(IO)动态检测调优系统，包括：
IO数据库，设置为存储对象存储系统中对象IO流量的历史记录；
监控管理优化模块，设置为根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。
优选地，该IO数据库设置在该对象存储系统的文件系统层。
优选地，该监控管理优化模块以模块加载的方式设置在该对象存储系统的内核中。
优选地，监控管理优化模块设置为根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。
优选地，监控管理优化模块设置为获得将使用频率较高的数据排在靠前位置的队列。
与现有技术相比，本发明的实施例动态检测对象存储系统的IO性能，根据检测结果优化IO分配，提高了对象存储系统的性能。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本申请实施例的对象存储系统IO动态检测调优系统的构造示意图。
图2为本申请实施例的对象存储系统IO动态检测调优方法的构造示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。本发明实施例以及实施例中的各个特征在不相冲突前提下的相互结合，均在本发明的保护范围之内。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本申请实施例的对象存储系统IO动态检测调优系统主要包括IO数据库110及监控管理优化模块120。
IO数据库110，设置在对象存储系统的文件系统层，用于存储对象存储系统中对象IO流量的历史记录，接受监控管理优化模块120对该历史记录的查询；
监控管理优化模块120，以模块加载的方式设置在对象存储系统的内核中，查询IO数据库110中的历史变更数据，根据预设的排序规则对历史变更数据中的对象IO以及设备驱动中IO缓冲进行排序管理，将数据按照使用频率的高低进行排序。本申请的实施例中，按照使用频率的高低对数据进行排序，包括将使用频率较高的数据排在队列的靠前位置。
本申请的实施例中，上述预设的排序规则，比如可以是近期最少使用(Least Recently Used，LRU)算法，或者也可以是使用频率最少(LeastFrequently Used，LFU)算法等。
本申请的实施例将常用的数据靠前排，而不是传统的无序或者顺序排列，提高了数据的遍历效率，节省了时间，从而起到优化作用。
如图2所示，本申请实施例的对象存储系统输入输出(IO)动态检测调优方法，主要包括如下内容。
步骤S210，存储对象存储系统中对象IO流量的历史记录。
本申请的实施例中，在该对象存储系统的文件系统层存储该历史记录。
步骤S220，根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。
本申请的实施例中，比如可以是根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。
步骤S230，获得根据使用频率进行排序的队列。
本申请的实施例中，比如获得的是将使用频率较高的数据排在靠前位置的队列。
本发明的实施例中，IO数据库可以对对象IO流量的历史记录进行分析，数据挖掘，从中提炼有价值的信息。
本发明实施例中的监控管理优化模块，可以在对象进行I/O读取时，从缓冲中获取所需的数据，并从IO数据库中查询以及提取数据进行综合分析，优化缓冲数据。
本领域的技术人员应该明白，上述的本发明实施例所提供的装置和/或系统的各组成部分，以及方法中的各步骤，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上。可选地，它们可以用计算装置可执行的程序代码来实现。从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

资源描述

《一种对象存储系统输入输出动态检测调优方法及系统.pdf》由会员分享，可在线阅读，更多相关《一种对象存储系统输入输出动态检测调优方法及系统.pdf（6页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103077223 A(43)申请公布日 2013.05.01CN103077223A*CN103077223A*(21)申请号 201210592557.X(22)申请日 2012.12.31G06F 17/30(2006.01)(71)申请人浪潮（北京）电子信息产业有限公司地址 100085 北京市海淀区上地信息路2号2-1号C栋1层(72)发明人李志昂(74)专利代理机构北京安信方达知识产权代理有限公司 11262代理人栗若木曲鹏(54) 发明名称一种对象存储系统输入输出动态检测调优方法及系统(57) 摘要本发明公开了一种对象存储系统输入输出动态检测调优方法及。

2、系统，克服目前对象存储系统中输入输出较为明显地影响大规模对象存储系统访问性能的不足，该方法包括：存储对象存储系统中对象IO流量的历史记录；根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。本申请的实施例动态检测对象存储系统的IO性能，根据检测结果优化IO分配，提高了对象存储系统的性能。(51)Int.Cl.权利要求书1页说明书3页附图1页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书1页说明书3页附图1页(10)申请公布号 CN 103077223 ACN 103077223 A1/1页2。

3、1.一种对象存储系统输入输出(IO)动态检测调优方法，包括：存储对象存储系统中对象IO流量的历史记录；根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。2.根据权利要求1所述的方法，其中，存储对象存储系统中对象IO流量的历史记录，包括：在该对象存储系统的文件系统层存储该历史记录。3.根据权利要求1所述的方法，其中，根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，包括：根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的。

4、高低进行排序。4.根据权利要求1所述的方法，其中，获得根据使用频率进行排序的队列，包括：获得将使用频率较高的数据排在靠前位置的队列。5.一种对象存储系统输入输出(IO)动态检测调优系统，包括：IO数据库，设置为存储对象存储系统中对象IO流量的历史记录；监控管理优化模块，设置为根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。6.根据权利要求5所述的系统，其中：该IO数据库设置在该对象存储系统的文件系统层。7.根据权利要求5所述的系统，其中：该监控管理优化模块以模块加载的方式设置在该对象存储系统的内核中。8.根据权利要。

5、求5所述的系统，其中：监控管理优化模块设置为根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。9.根据权利要求5所述的系统，其中：监控管理优化模块设置为获得将使用频率较高的数据排在靠前位置的队列。权利要求书CN 103077223 A1/3页3一种对象存储系统输入输出动态检测调优方法及系统技术领域0001 本发明涉及对象存储系统，尤其涉及一种对象存储系统输入输出(IO)动态检测调优方法及系统。背景技术0002 目前，大部分传统业务开始数字化、网络化，大规模应用系统的广泛部署，对存储系统的性能和服务质量等提出了更高的需求。

6、，主要表现在高性能、高可靠/可用、高安全、可扩展性、可共享性、可管理性、实时性以及智能性等诸多方面。0003 高性能的科学计算、生物医学等，都需要高聚合输入输出(IO)吞吐量、大存储容量的网络存储系统作为存储后台，使得在存储容量需求大幅增长的同时，也对存储系统的性能提出了新的要求。0004 对象存储系统结合了附网存储和存储区域网的优点，已成为网络存储领域研究的热点。对象存储系统由客户端、元数据服务器、对象存储设备和互连网络等组成，其中对象存储设备是对象存储系统的核心。0005 在大规模的PB级(1PB1000TB，1TB1000GB，1GB1000MB)对象存储系统中，一般存在成千上万个自管理。

7、的对象存储设备。单个对象存储设备的性能将会对整个对象存储系统的性能产生较大的影响。而在存储系统中，IO性能依然慢于CPU、内存和网络性能，成为系统访问性能瓶颈。发明内容0006 本发明所要解决的技术问题是克服目前对象存储系统中输入输出较为明显地影响大规模对象存储系统访问性能的不足。0007 为了解决上述技术问题，本发明提供了一种对象存储系统输入输出(IO)动态检测调优方法，包括：0008 存储对象存储系统中对象IO流量的历史记录；0009 根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。0010 优选地，存储对象存。

8、储系统中对象IO流量的历史记录，包括：0011 在该对象存储系统的文件系统层存储该历史记录。0012 优选地，根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，包括：0013 根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。0014 优选地，获得根据使用频率进行排序的队列，包括：0015 获得将使用频率较高的数据排在靠前位置的队列。0016 本申请的实施例还提供了一种对象存储系统输入输出(IO)动态检测调优系统，说明书CN 103077223 A2/3页4包括：0017 IO。

9、数据库，设置为存储对象存储系统中对象IO流量的历史记录；0018 监控管理优化模块，设置为根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序，获得根据使用频率进行排序的队列。0019 优选地，该IO数据库设置在该对象存储系统的文件系统层。0020 优选地，该监控管理优化模块以模块加载的方式设置在该对象存储系统的内核中。0021 优选地，监控管理优化模块设置为根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。0022 优选地，监控管理优化模块设置为获得将使用频率较高的数据排在靠前位置的。

10、队列。0023 与现有技术相比，本发明的实施例动态检测对象存储系统的IO性能，根据检测结果优化IO分配，提高了对象存储系统的性能。0024 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明0025 附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。0026 图1为本申请实施例的对象存储系统IO动态检测调优系统的构造示意图。0027 图2为本申请实施。

11、例的对象存储系统IO动态检测调优方法的构造示意图。具体实施方式0028 以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。本发明实施例以及实施例中的各个特征在不相冲突前提下的相互结合，均在本发明的保护范围之内。0029 另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。0030 如图1所示，本申请实施例的对象存储系统IO动态检测调优系统主要包括IO数据库110及监控管理优化模块。

12、120。0031 IO数据库110，设置在对象存储系统的文件系统层，用于存储对象存储系统中对象IO流量的历史记录，接受监控管理优化模块120对该历史记录的查询；0032 监控管理优化模块120，以模块加载的方式设置在对象存储系统的内核中，查询IO数据库110中的历史变更数据，根据预设的排序规则对历史变更数据中的对象IO以及设备驱动中IO缓冲进行排序管理，将数据按照使用频率的高低进行排序。本申请的实施例说明书CN 103077223 A3/3页5中，按照使用频率的高低对数据进行排序，包括将使用频率较高的数据排在队列的靠前位置。0033 本申请的实施例中，上述预设的排序规则，比如可以是近期最少。

13、使用(Least Recently Used，LRU)算法，或者也可以是使用频率最少(LeastFrequently Used，LFU)算法等。0034 本申请的实施例将常用的数据靠前排，而不是传统的无序或者顺序排列，提高了数据的遍历效率，节省了时间，从而起到优化作用。0035 如图2所示，本申请实施例的对象存储系统输入输出(IO)动态检测调优方法，主要包括如下内容。0036 步骤S210，存储对象存储系统中对象IO流量的历史记录。0037 本申请的实施例中，在该对象存储系统的文件系统层存储该历史记录。0038 步骤S220，根据预设的排序规则对该历史变更数据中的对象IO以及设备驱动中IO缓冲。

14、按照使用频率的高低进行排序。0039 本申请的实施例中，比如可以是根据近期最少使用算法或者使用频率最少算法对该历史变更数据中的对象IO以及设备驱动中IO缓冲按照使用频率的高低进行排序。0040 步骤S230，获得根据使用频率进行排序的队列。0041 本申请的实施例中，比如获得的是将使用频率较高的数据排在靠前位置的队列。0042 本发明的实施例中，IO数据库可以对对象IO流量的历史记录进行分析，数据挖掘，从中提炼有价值的信息。0043 本发明实施例中的监控管理优化模块，可以在对象进行I/O读取时，从缓冲中获取所需的数据，并从IO数据库中查询以及提取数据进行综合分析，优化缓冲数据。0044 本领域。

15、的技术人员应该明白，上述的本发明实施例所提供的装置和/或系统的各组成部分，以及方法中的各步骤，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上。可选地，它们可以用计算装置可执行的程序代码来实现。从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。0045 虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。说明书CN 103077223 A1/1页6图1图2说明书附图CN 103077223 A。

展开阅读全文