《一种自动数据分级存储框架下提高数据迁移效率的方法.pdf》由会员分享，可在线阅读，更多相关《一种自动数据分级存储框架下提高数据迁移效率的方法.pdf（7页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104133643A43申请公布日20141105CN104133643A21申请号201410378871722申请日20140804G06F3/0620060171申请人浪潮电子信息产业股份有限公司地址250101山东省济南市高新区舜雅路1036号72发明人梁志诚张宇温源54发明名称一种自动数据分级存储框架下提高数据迁移效率的方法57摘要本发明提供一种自动数据分级存储框架下提高数据迁移效率的方法，由数据块IO监控模块、数据块迁移推送模块和数据块迁移提取模块构成监控统计整个分级存储池每一层级来自用户的IO流量，监控用户设置的分级存储池每一层级的最大IO流量；模块实例负责对所。
2、在层级设备数据块的扫描以及来自数据块IO监控模块的统计信息的扫描；根据来自数据块IO监控模块的提取IO数量阀值，将IO从本层级设备的迁移队列中取出；本发明和现有技术相比，通过将最近时间访问的数据块信息统计在内存中，对此部分统计信息进行快速的扫描，提高数据迁移的实时性以及迁移效率、降低对于正常IO的影响、提高存储设备的使用效率。51INTCL权利要求书1页说明书3页附图2页19中华人民共和国国家知识产权局12发明专利申请权利要求书1页说明书3页附图2页10申请公布号CN104133643ACN104133643A1/1页21一种自动数据分级存储框架下提高数据迁移效率的方法，其特征在于由数据块IO。
3、监控模块、数据块迁移推送模块和数据块迁移提取模块构成数据块IO监控模块监控统计整个分级存储池每一层级来自用户的IO流量，监控用户设置的分级存储池每一层级的最大IO流量，给数据块迁移提取模块提供提取IO数量阀值；监控统计每一层级的访问引用计数；对来自用户IO访问的数据块进行统计，并定期的将统计信息通知给数据块迁移推送模块；数据块迁移推送模块模块实例负责对所在层级设备数据块的扫描以及来自数据块IO监控模块的统计信息的扫描，根据数据块最近访问时间、引用计数、来自数据块IO监控模块提取阀值量、三个维度判断数据块向上迁移、向下迁移、静止，根据判断的结果将数据块封装成迁移IO请求，推送到对应上层设备或下层。
4、设备的IO迁移队列中；数据块迁移提取模块根据来自数据块IO监控模块的提取IO数量阀值，将IO从本层级设备的迁移队列中取出，在本层级分配新的数据块存储原有存储在下/上级设备中的用户数据，此时新的映射关系建立，删除原有数据块的映射关系；累计本IO流量到总提取IO流量，当累计的总提取IO流量超过来自数据块IO监控模块的提取IO数量阀值时，停止本轮单位提取IO迁移请求，待下次实例运行继续处理；当本层级设备迁移IO队列不存在迁移请求，停止本轮单位提取IO迁移请求，待下次实例运行继续处理。2根据权利要求1所述的一种自动数据分级存储框架下提高数据迁移效率的方法，其特征在于数据IO监控模块定期的对来自用户的R。
5、/WIO流量进行统计，根据用户设置的分级存储池每一层级最大IO流量计算出两者之间的差值，将此值作为数据块迁移提取模块的最大IO流量。3根据权利要求1所述的一种自动数据分级存储框架下提高数据迁移效率的方法，其特征在于数据块迁移推送模块定期的扫描模块实例所在层级设备的数据块以及来自数据块IO监控模块的统计信息，根据数据的冷热程度、数据块IO监控模块的提取阀值量将数据块封装成IO迁移请求，添加到对应设备的迁移IO队列中。4根据权利要求1所述的一种自动数据分级存储框架下提高数据迁移效率的方法，其特征在于数据块迁移提取模块实例将存储在本层级设备的迁移IO队列中的请求提取出来，在本层级分配新的数据块，将请。
6、求携带的原有用户数据存储在新分配的数据块中即建立新的映射关系，删除原有数据块的映射关系。权利要求书CN104133643A1/3页3一种自动数据分级存储框架下提高数据迁移效率的方法技术领域0001本发明涉及计算机通信技术领域，具体地说是一种自动数据分级存储框架下提高数据迁移效率的方法。背景技术0002在针对于基于块级数据的分级存储系统中，将不经常访问的数据自动迁移到存储成本层次中较低的设备，释放出较高成本的存储空间给更频繁访问或更高优先级的数据，从而大大减少非重要性数据在一级本地磁盘所占用的空间，加快整个系统的存储性能，降低整个存储系统的拥有成本，进而获得更好的性价比。基于数据块的分级存储是一。
7、种细粒度的数据分级管理方案，能够将数据管理的粒度细化到根据应用需求所定义的扩展块级，因此对于数据的管理更加精准。当出现密集IO访问底层数据时，将会产生热点数据，这时需要完成热点数据的升级迁移操作，以便实现热点数据能够使用性能更好的存储资源，从而提高存储系统整体性能。但是，在现有基于数据块的分级存储迁移方案中，存在数据块的迁移效率比较低的问题、并且数据的迁移对用户正常业务产生了一定的负面影响，主要存在如下原因（1）当某时刻达到对于数据的迁移周期时，发生了密集IO访问的情况，这时为了保证数据的一致性，在进行IO操作时会对整个分级存储池进行加锁处理，这时触发迁移操作会导致操作由于对数据块的加锁互斥而。
8、无法及时完成，需要等待下一个或者多个迁移周期才能试图执行热点数据的升级操作，导致热点数据不能够快速升级，影响了数据分级管理的实际应用效果；在数据迁移获取了分级存储池的琐时，会执行大量的数据迁移，此时数据迁移也会占据存储池的一定IO带宽，对用户正常业务产生了负面的性能影响；（2）在某时刻达到对于数据的迁移周期时，往往是对整个存储池中的所有数据块进行遍历扫描，当分级存储池中的数据量达到ZB级别时，此种场景下整个存储池数据的迁移效率是很低的。发明内容0003本发明的目的是克服现有技术中存在的不足，提供一种自动数据分级存储框架下提高数据迁移效率的方法，该方法可用于数据智能管理领域的自动数据分级存储管理。
9、中，尤其是对于数据块级的数据进行自动分级管理。0004本发明的技术方案是按以下方式实现的，其结构由数据块IO监控模块、数据块迁移推送模块和数据块迁移提取模块构成数据块IO监控模块监控统计整个分级存储池每一层级来自用户的IO流量，监控用户设置的分级存储池每一层级的最大IO流量，给数据块迁移提取模块提供提取IO数量阀值；监控统计每一层级的访问引用计数；对来自用户IO访问的数据块进行统计，并定期的将统计信息通知给数据块迁移推送模块；数据块迁移推送模块模块实例负责对所在层级设备数据块的扫描以及来自数据块说明书CN104133643A2/3页4IO监控模块的统计信息的扫描，根据数据块最近访问时间、引用计。
10、数、来自数据块IO监控模块提取阀值量、三个维度判断数据块向上迁移、向下迁移、静止，根据判断的结果将数据块封装成迁移IO请求，推送到对应上层设备或下层设备的IO迁移队列中；数据块迁移提取模块根据来自数据块IO监控模块的提取IO数量阀值，将IO从本层级设备的迁移队列中取出，在本层级分配新的数据块存储原有存储在下/上级设备中的用户数据，此时新的映射关系建立，删除原有数据块的映射关系；累计本IO流量到总提取IO流量，当累计的总提取IO流量超过来自数据块IO监控模块的提取IO数量阀值时，停止本轮单位提取IO迁移请求，待下次实例运行继续处理；当本层级设备迁移IO队列不存在迁移请求，停止本轮单位提取IO迁移。
11、请求，待下次实例运行继续处理。0005上述数据IO监控模块定期的对来自用户的R/WIO流量进行统计，根据用户设置的分级存储池每一层级最大IO流量计算出两者之间的差值，将此值作为数据块迁移提取模块的最大IO流量。0006上述数据块迁移推送模块定期的扫描模块实例所在层级设备的数据块以及来自数据块IO监控模块的统计信息，根据数据的冷热程度、数据块IO监控模块的提取阀值量将数据块封装成IO迁移请求，添加到对应设备的迁移IO队列中。0007上述数据块迁移提取模块实例将存储在本层级设备的迁移IO队列中的请求提取出来，在本层级分配新的数据块，将请求携带的原有用户数据存储在新分配的数据块中即建立新的映射关系，。
12、删除原有数据块的映射关系。0008本发明的优点是本发明的一种自动数据分级存储框架下提高数据迁移效率的方法和现有技术相比，通过将最近时间访问的数据块信息统计在内存中，对此部分统计信息进行快速的扫描，提高数据迁移的实时性以及迁移效率、降低对于正常IO的影响、提高存储设备的使用效率，而且本发明还具有设计合理、结构简单、使用方便等特点，因而，具有很好的使用价值。附图说明0009图1为自动数据分级存储框架的结构示意图。0010图2为存储资源功能模块数据迁移流程图。具体实施方式0011下面结合附图对本发明的一种自动数据分级存储框架下提高数据迁移效率的方法作以下详细说明。0012如图12所示，本发明的一种自。
13、动数据分级存储框架下提高数据迁移效率的方法，其结构由数据块IO监控模块、数据块迁移推送模块和数据块迁移提取模块构成数据IO监控模块定期监控整个分级存储池每一层级来自用户的单位时间内R/WIO流量并作出统计，监控用户设置的分级存储池每一层级的单位时间内最大的IO流量，将这两个IO流量进行差值计算，将此差值作为层级设备IO迁移队列IO流量阀值即数据块迁移提取IO流量阀值；对每一层级设备的访问引用计数进行统计；对来自用户IO访问的数据块进行统计，统计信息包括访问引用计数、当前访问时间，将统计信息保存在内存中一份、并在磁盘中保存一份。说明书CN104133643A3/3页50013数据块迁移推送模块模。
14、块实例定期对所在层级设备数据块以及来自模块（1）的统计信息进行扫描，根据数据块的访问时间、访问引用计数、来自数据块IO监控模块提取阀值量、三个维度判断向上迁移、向下迁移、静止，根据判断的结果将数据块封装成迁移IO请求，推送到对应上层设备或下层设备的迁移队列中。0014数据块迁移提取模块数据块迁移提取模块实例定期运行，当本层级设备迁移IO队列存在迁移请求，将迁移IO请求从本层级设备的迁移队列中取出，在本层级分配新的数据块存储原有存储在下/上级设备中的用户数据，此时新的映射关系建立，删除原有数据块的映射关系；累计本IO流量到总提取IO流量，当累计的总提取IO流量超过来自数据块IO监控模块的提取IO。
15、数量阀值时，停止本轮单位提取IO迁移请求，待下次实例运行继续处理。当本层级设备迁移IO队列不存在迁移请求，停止本轮单位提取IO迁移请求，待下次实例运行继续处理。0015结合附图，对本发明的内容以一个具体实例来描述实现这一体系结构的过程。0016正如发明内容中所描述的，本发明主要模块包括数据IO监控模块；数据块迁移推送模块；数据块迁移提取模块；这三个模块属于自动数据分级存储框架中的存储资源子系统；具体实施方式为（1）将自动数据分级存储系统软件包安装到存储系统；（2）将上述三个模块作为子模块安装到存储资源子系统中；（3）分别在每一个设备层级激活三个模块的实例，由整个自动数据分级存储系统为用户提供服务。0017本发明的一种自动数据分级存储框架下提高数据迁移效率的方法其加工制作非常简单方便，按照说明书附图所示即可加工。0018除说明书所述的技术特征外，均为本专业技术人员的已知技术。说明书CN104133643A1/2页6图1说明书附图CN104133643A2/2页7图2说明书附图CN104133643A。