《一种自动实现分层存储的方法和管理分层存储的系统.pdf》由会员分享，可在线阅读，更多相关《一种自动实现分层存储的方法和管理分层存储的系统.pdf（10页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104102454A43申请公布日20141015CN104102454A21申请号201310118500022申请日20130407G06F3/0620060171申请人杭州信核数据科技有限公司地址311202浙江省杭州市萧山区金城路1038号国际创业中心12楼72发明人陈烨汪海王田74专利代理机构北京银龙知识产权代理有限公司11243代理人许静安利霞54发明名称一种自动实现分层存储的方法和管理分层存储的系统57摘要本发明实施例提供一种自动实现分层存储的方法和管理分层存储的系统，分层存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；方法包括在一个时间区间内不。
2、间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。51INTCL权利要求书2页说明书5页附图2页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书5页附图2页10申请公布号CN104102454ACN104102454A1/2页21一种自动实现分层存储的方法，其特征在于，分层存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；方法包括在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和。
3、存取频率小于第二阈值的冷区块；将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。2根据权利要求1所述的方法，其特征在于，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取频率包括所述一个时间区间具体是业务低峰时段，在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率。3根据权利要求2所述的方法，其特征在于，磁盘区块的存取频率包括磁盘区块的存入频率，磁盘区块的读出频率。4根据权利要求3所述的方法，其特征在于，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率包括在每一个周期内，同时统计各个磁盘区块的存入频率和读出频。
4、率，存入频率和读出频率的和值作为一个周期内的当前存取频率，将各个周期统计出的所述当前存取频率进行累加后再进行平均计算得到所述存取操作的存取频率。5根据权利要求1所述的方法，其特征在于，存储设备包括多个磁盘区块，具体包括将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。6根据权利要求1所述的方法，其特征在于，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块包括在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。7根据权利要求1所述的方法，其特征在于，将热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层，之前还。
5、包括建立热区块到高速存储层之间的多路径传输链路，建立冷区块到低速存储层之间的多路径传输链路。8一种实现分层存储的系统，其特征在于，包括分层存储单元，包括支持不同存取速度的存储层；存储设备，包括多个磁盘区块；数据收集与分析模块，用于在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；数据迁移模块，用于将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。9根据权利要求8所述的系统，其特征在于，还包括存储虚拟化模块，与存储设备连接，用于将存储设备中的磁盘划分为若干个逻辑上的权利要求书CN10410245。
6、4A2/2页3磁盘区块，每一个磁盘区块的容量符合精细度的规定。10根据权利要求8所述的系统，其特征在于，数据收集与分析模块包括跟踪统计单元，用于设定所述一个时间区间具体是业务低峰时段，并在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率；分析单元，用于在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。权利要求书CN104102454A1/5页4一种自动实现分层存储的方法和管理分层存储的系统技术领域0001本发明涉及数据存储技术，特别是指一种自动实现分层存储的方法和管理分层存储的系统。背景技术0002选择存储技术通常需要在超高容量、低成本和。
7、低性能，以及，高度先进的数据管理功能和极高的性能之间进行平衡。随着容量的增长，手动迁移数据太费时，有限的人力资源使存储管理员精疲力竭，分层存储成为一种必需的选择架构，其可以综合容量、数据管理的能力、功能、性能，以及价格等因素，提供性价比最优的存储方案以实现上述的平衡。0003分层存储如果设计和实施得当，可通过部署能够迁移数据或应用程序并对其生命周期需求做出响应的工具来降低管理成本，并且像管理单层架构一样对分层存储进行管理。分层存储提升存储效率的同时，减少使用昂贵存储设备，将相对不常访问的数据由昂贵的固态硬盘或者光纤磁盘设备无缝迁移到相对廉价的串行高级技术附件SATA，SERIALADVANCE。
8、DTECHNOLOGYATTACHMENT盘或者串行连接SCSISAS，SERIALATTACHEDSCSI盘上。0004存储供应商公布了或者提供了各种分层存储的解决方案。许多供应商的分层解决方案实际上都是仅含磁盘的策略，只是纳入了具有不同RPM速度和价格范围的磁盘产品。0005现有技术存在如下问题很少有供应商实际提供包含高性能固态磁盘SSD、磁盘阵列RAID和归档磁带在内的全面的分层存储技术，目前的自动分层存储不能提供实时的管理功能，非破坏性的迁移大量数据会耗费过多的时间和资源。发明内容0006本发明要解决的技术问题是提供一种自动实现分层存储的方法和管理分层存储的系统，解决现有技术中，自动分。
9、层存储不能提供实时的管理功能，导致非破坏性的迁移大量数据会耗费过多的时间和资源的缺陷。0007为解决上述技术问题，本发明的实施例提供一种自动实现分层存储的方法，分层存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；方法包括在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。0008所述的方法中，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取频率包括所述一个时间区间具体是业务低峰时段，在业务低峰时段内，周期性跟踪对各个磁盘区块的存。
10、取操作，统计出存取操作的频率作为存取频率。0009所述的方法中，磁盘区块的存取频率包括磁盘区块的存入频率，磁盘区块的读出频率。0010所述的方法中，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率说明书CN104102454A2/5页5作为所述存取频率包括在每一个周期内，同时统计各个磁盘区块的存入频率和读出频率，存入频率和读出频率的和值作为一个周期内的当前存取频率，将各个周期统计出的所述当前存取频率进行累加后再进行平均计算得到所述存取操作的存取频率。0011所述的方法中，存储设备包括多个磁盘区块，具体包括将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规。
11、定。0012所述的方法中，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块包括在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。0013所述的方法中，将热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层，之前还包括建立热区块到高速存储层之间的多路径传输链路，建立冷区块到低速存储层之间的多路径传输链路。0014一种实现分层存储的系统，包括分层存储单元，包括支持不同存取速度的存储层；存储设备，包括多个磁盘区块；数据收集与分析模块，用于在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于。
12、第二阈值的冷区块；数据迁移模块，用于将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。0015所述的系统中，还包括存储虚拟化模块，与存储设备连接，用于将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。0016所述的系统中，还包括数据收集与分析模块包括跟踪统计单元，用于设定所述一个时间区间具体是业务低峰时段，并在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率；分析单元，用于在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。0017本发明的上述技术方案的有益效果如下跟踪与统计各个磁盘。
13、区块的存取频率的过程中，根据统计的结果，将存取频繁的数据迁移到高速存储层，将存取不频繁的数据迁移到低速存储层，节省了迁移大量数据的时间和资源，并且在之后的访问过程中，将对热点数据和非热点数据的访问分别指向高速和低速存储层，这优化了访问过程。附图说明0018图1表示一种自动实现分层存储的方法的流程示意图；0019图2表示一种自动实现分层存储的系统架构示意图。具体实施方式0020为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。0021本发明实施例提供一种自动实现分层存储的方法，分层存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；0022如。
14、图1所示，方法包括0023步骤101，在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；说明书CN104102454A3/5页60024步骤102，将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。0025应用所提供的技术，跟踪与统计各个磁盘区块的存取频率的过程中，根据统计的结果，将存取频繁的数据迁移到高速存储层，将存取不频繁的数据迁移到低速存储层，节省了迁移大量数据的时间和资源，并且在之后的访问过程中，将对热点数据和非热点数据的访问分别指向高速和低速存储层，这优化了访问过程。0026不同存取。
15、速度的存储层具体包括低速存储层，正常存储层和高速存储层。分层存储单元与存储设备之间，两者在物理上可以是隔离的，也可以是部分相同的，例如正常存储层也是存储设备的一部分。0027存取频繁的数据所在的区域即为热区块，存取不频繁的数据所在的区域即为冷区块，第一阈值和第二阈值则是可以预先设定的数值。0028正常存储层、高速存储层和低速存储层中都有磁盘区块，高速存储层中的物理磁盘可以是固态硬盘，低速存储层中的物理磁盘是磁带、SATA磁盘等。0029高速存储层与低速存储层之间的高速和低速可以是相对的，换言之，高速存储层相对于低速存储层是高速的，低速存储层相对于高速存储层是低速的。0030如图2所示，第一层是。
16、高速存储层，第二层是正常存储层，第三层是低速存储层。0031在一个优选实施例中，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取频率包括0032所述一个时间区间具体是业务低峰时段，0033在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率。0034在一个优选实施例中，磁盘区块的存取频率包括磁盘区块的存入频率，磁盘区块的读出频率。0035分层存储涉及精细度和运算周期。0036精细度，是指允许以多大的磁盘单位来执行存取行为、收集分析和数据迁移。精细度决定了执行重新配置时所需迁移的数据量，所能达到的存储配置的最优化效果，理论上越精细、越小越好，但过于精细会增。
17、加跟踪统计操作带给控制器的负担，对于1个100GB的逻辑单元号LUN，LOGICALUNITNUMBER，若精细度为1GB，需跟踪统计100个数据区块，若精细度为10MB，需跟踪统计1万个数据区块，操作量高出了100倍，同时对应于数据区块的METADATA数据量也随之大幅增加。0037在一个优选实施例中，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率包括0038在每一个周期内，同时统计各个磁盘区块的存入频率和读出频率，存入频率和读出频率的和值作为一个周期内的当前存取频率，0039将各个周期统计出的所述当前存取频率进行累加后再进行平均计算得到所述存取操作的存取频率。00。
18、40在一个优选实施例中，存储设备包括多个磁盘区块，具体包括0041将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。说明书CN104102454A4/5页70042本发明实施例提供的技术适用于包括RAID阵列和归档磁带在内的各种类型的存储介质，并不局限于RAID阵列。若存储设备具体是RAID阵列，RAID阵列中，每一个逻辑上的磁盘区块的容量符合精细度的规定。0043精细度的规定包括，一个LUN中，一个磁盘区块的容量小于等于LUN的容量的百分之一，大于等于LUN的容量的万分之一。0044将分散在不同存储层的磁盘区块，组合成虚拟的LUN或卷VOLUME，换言之，。
19、是将卷或LUN包含的磁盘区块分散在不同的存储层上。0045运算周期，是指多久执行一次存取行为、收集分析和与数据迁移。运算周期影响系统反映磁盘存取行为变化的速度，运算周期过短、越密集，系统将能更快的根据最新的磁盘存取状态重新配置数据在不同磁盘层中的分布；反之，若运算周期过长，很可能磁盘存取状态已发生重大变化，但整个系统仍必须缓慢地等到下次统计分析与数据迁移时间到来，才能重新分派磁盘资源；运算周期太密集，也会造成统计分析与数据迁移操作占用过多I/O资源的副作用。0046在一个优选实施例中，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块包括0047在业务低峰时段内，周期性根。
20、据统计出的存取频率分析出热区块与冷区块。0048数据迁移作业，会消耗磁盘阵列控制器的能效，因此提供预设操作功能允许设定统计分析与数据迁移操作的时间区段，以便避开存取高峰时段。0049通常可以以24小时为一个运算周期，具体地，可设定只允许在晚上七点以后，或周五晚上到周日凌晨等下班时段，执行迁移操作。或者也可以以一周为一个运算周期，在周末执行迁移操作。0050考虑到数据传输的单路径故障，自动分层存储支持多路径传输。0051在一个优选实施例中，将热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层，之前还包括0052建立热区块到高速存储层之间的多路径传输链路，0053建立冷区块到低速存储。
21、层之间的多路径传输链路。0054数据的存入频率与读出频率之间的差异可能很大，一些数据只会源源不断地写入，但很少有机会被读取，一些数据改写的几率不大，但是读取很频繁，把读取与存入数据放在一起分析不够准确。0055在一个优选实施例中，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取频率，具体包括0056不间断跟踪与统计各个磁盘区块的存入频率，0057不间断跟踪与统计各个磁盘区块的读出频率。0058将对数据的读取与存入分开进行统计会得到更为精确的统计结果。0059基于此，在一个优选实施例中，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块，具体包括0060定期动态分析出存入。
22、频率大于第一阈值的热区块与存入频率小于第二阈值的冷区块；0061定期动态分析出读出频率大于第一阈值的热区块与读出频率小于第二阈值的冷说明书CN104102454A5/5页8区块。0062本发明实施例提供一种自动实现管理分层存储的系统，如图2所示，包括0063分层存储单元，包括支持不同存取速度的存储层；0064存储设备，包括多个磁盘区块；0065数据收集与分析模块，用于在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；0066数据迁移模块，用于将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。0。
23、067如图2所示，不同存取速度的存储层包括高速存储层、正常存储层和低速存储层。0068在一个优选实施例中，还包括0069存储虚拟化模块，与存储设备连接，用于将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。0070具体地，存储虚拟化模块将分散在不同存储层的磁盘区块，组合成虚拟的VOLUME或LUN，也就是将VOLUME或LUN的区块分散到不同存储层上。0071数据收集与分析模块又称为IO统计模块，在一个优选实施例中，数据收集与分析模块，包括0072跟踪统计单元，用于设定所述一个时间区间具体是业务低峰时段，并在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作。
24、，统计出存取操作的频率作为所述存取频率；0073分析单元，用于在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。0074采用本方案之后的优势是跟踪与统计各个磁盘区块的存取频率的过程中，根据统计的结果，将存取频繁的数据迁移到高速存储层，将存取不频繁的数据迁移到低速存储层，节省了迁移大量数据的时间和资源，并且在之后的访问过程中，将对热点数据和非热点数据的访问分别指向高速和低速存储层，这优化了访问过程。0075以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。说明书CN104102454A1/2页9图1说明书附图CN104102454A2/2页10图2说明书附图CN104102454A10。