针对存储分层的内容选择.pdf

一种用于管理系统(400)的内容在包括不允许止转功能的运行单元的存储单元(430)中的存储的方法，包括：建立存储分层规则(702)，所述存储分层规则设置用于指示什么内容适合存储在运行单元上和什么内容适合存储在止转单元上的策略，所述存储分层规则可应用于内容系统中的至少内容组，以确定在存储单元中存储的存储内容适合性和在存储单元之间的转移；以及基于所述存储分层规则、内容系统的状态和所述至少内容组的存储内容适合性，识别在存储单元之间转移的内容备选(706)。

权利要求书
1.  一种在固定内容系统中用于管理内容的存储的方法，所述固定内容系统具有多个独立节点，用以在包括不允许止转功能的运行单元和允许止转功能的止转单元的多个存储单元中存储内容，所述方法包括：
建立存储分层规则，所述存储分层规则设置用于指示什么内容适合存储在运行单元上和什么内容适合存储在止转单元上的策略，所述存储分层规则可应用于内容系统中的至少内容组，以确定在存储单元中存储的存储内容适合性和在存储单元之间的转移；
监视内容系统的状态；以及
基于所述存储分层规则、内容系统的状态和所述至少内容组的存储内容适合性，识别在存储单元之间转移的内容备选，所述存储单元之间转移包括在运行单元和止转单元之间的转移。

2.  根据权利要求1所述的方法，其中
建立存储分层规则来基于规则集合评估内容，以确定所述存储内容适合性，所述规则集合包括期望使用、生存周期和内容年限和内容的一个或多个冗余备份拷贝的存在。

3.  根据权利要求1所述的方法，其中
所述存储分层规则包括：“从不”规则，应用于要存储在从不会止转的存储单元上的内容；“仅保护拷贝”规则，应用于作为在止转单元中存储的备选的备份拷贝的内容；以及“摄取之后X时间量”规则，应用于在内容系统中驻留了可配置时间量X而足以成为要存储在止转单元上的备选的内容。

4.  根据权利要求1所述的方法，其中
建立所述存储分层规则，使得当适合的内容所驻留的运行单元达到可配置消耗利用阈值时，仅将所述适合的内容转移到止转单元。

5.  根据权利要求1所述的方法，其中
监视内容系统的状态包括：确定内容所驻留的运行单元是否达到用于指示允许将所述内容转移到止转单元的可配置消耗利用阈值，并确定在止转单元上是否存在从运行单元接收所述内容的可用空间。

6.  根据权利要求1所述的方法，还包括：
基于所述识别来转移内容；以及
基于针对存储内容和作为所述监视、识别和转移的结果转移内容的系统需求，管理每个止转单元的状态进入适合的上电或下电状态。

7.  根据权利要求1所述的方法，还包括：
从多个服务计划中选择一服务计划，每个服务计划规定存储分层法则，所述存储分层法则利用存储器子系统中包括运行单元和止转单元的不同存储类别的存储单元和设置用于确定内容在不同存储类别的存储单元中存储的存储内容适合性的策略的存储分层规则的组合。

8.  一种用于管理内容在内容系统中的存储的装置，所述内容系统具有多个独立节点，用以在包括不允许止转功能的运行单元和允许止转功能的止转单元的多个存储单元中存储所述内容，所述装置包括处理器、内存和存储分层服务模块，所述存储分层服务模块被配置为：
建立存储分层规则，所述存储分层规则设置用于指示什么内容适合存储在运行单元上和什么内容适合存储在止转单元上的策略，所述存储分层规则可应用于内容系统中的至少内容组，以确定在存储单元中存储的存储内容适合性和在存储单元之间的转移；
监视内容系统的状态；以及
基于所述存储分层规则、内容系统的状态和所述至少内容组的存储内容适合性，识别在存储单元之间转移的内容备选，所述存储单元之间转移包括在运行单元和止转单元之间的转移。

9.  根据权利要求8所述的装置，其中
建立存储分层规则来基于规则集合评估内容，以确定所述存储内容适合性，所述规则集合包括期望使用、生存周期和内容年限和内容的一个或多个冗余备份拷贝的存在。

10.  根据权利要求8所述的装置，其中
所述存储分层规则包括：“从不”规则，应用于要存储在从不会止转的存储单元上的内容；“仅保护拷贝”规则，应用于作为在止转单元中存储的备选的备份拷贝的内容；以及“摄取之后X时间量”规则，应用于在内容系统中 驻留了可配置时间量X而足以成为要存储在止转单元上的备选的内容。

11.  根据权利要求8所述的装置，其中
建立所述存储分层规则，使得当适合的内容所驻留的运行单元达到可配置消耗利用阈值时，仅将所述适合的内容转移到止转单元。

12.  根据权利要求8所述的装置，其中
监视内容系统的状态包括：确定内容所驻留的运行单元是否达到用于指示允许将所述内容转移到止转单元的可配置消耗利用阈值，并确定在止转单元上是否存在从运行单元接收所述内容的可用空间。

13.  根据权利要求8所述的装置，还包括：
转移模块，被配置为基于所述识别来转移内容；以及
存储单元状态管理模块，被配置为基于针对存储内容和作为所述监视、识别和转移的结果转移内容的系统需求，管理每个止转单元的状态进入适合的上电或下电状态。

14.  根据权利要求8所述的装置，还包括：
服务计划选择模块，被配置为提供从多个服务计划中选择一服务计划的用户接口，每个服务计划规定存储分层法则，所述存储分层法则利用存储器子系统中包括运行单元和止转单元的不同存储类别的存储单元和设置用于确定内容在不同存储类别的存储单元中存储的存储内容适合性的策略的存储分层规则的组合。

15.  根据权利要求8所述的装置，其中
所述运行单元包含在被配置为不允许止转功能的RAID组中，其中所述止转单元包含在被配置为允许止转的RAID组中。

16.  根据权利要求8所述的装置，其中
存储单元包括具有不同可靠性、性能或成本特性中的至少一个的不同类别的存储单元，所述装置还包括：
转移模块，被配置为基于所述识别来转移内容，并基于所述内容的元数据准则，在不同类别的运行单元和止转单元之间移动内容，对象元数据准则包括“数据类型”、“自上次访问的时间”、“自摄取的时间”和“内容版本”中的一个或多个。

17.  一种存储多个指令的计算机可读存储介质，所述多个指令用于控制数据处理器管理内容在内容系统中的存储，所述内容系统具有多个独立节点，用以在包括不允许止转功能的运行单元和允许止转功能的止转单元的多个存储单元中存储内容，所述多个指令包括：
指令，使所述数据处理器建立存储分层规则，所述存储分层规则设置用于指示什么内容适合存储在运行单元上和什么内容适合存储在止转单元上的策略，所述存储分层规则可应用于内容系统中的至少内容组，以确定在存储单元中存储的存储内容适合性和在存储单元之间的转移；
指令，使所述数据处理器监视内容系统的状态；以及
指令，使所述数据处理器基于所述存储分层规则、内容系统的状态和所述至少内容组的存储内容适合性，识别在存储单元之间转移的内容备选，所述存储单元之间转移包括在运行单元和止转单元之间的转移。

18.  根据权利要求17所述的计算机可读存储介质，其中使所述数据处理器监视内容系统的状态的指令包括：
指令，使所述数据处理器确定内容所驻留的运行单元是否达到指示允许将所述内容转移到止转单元的可配置消耗利用阈值，并确定在止转单元上是否存在从运行单元接收所述内容的可用空间。

19.  根据权利要求17所述的计算机可读存储介质，其中所述多个指令还包括：
指令，使所述数据处理器基于所述识别来转移内容；以及
指令，使所述数据处理器基于针对存储内容和作为所述监视、识别和转移的结果转移内容的系统需求，管理每个止转单元的状态进入适合的上电或下电状态。

20.  根据权利要求17所述的计算机可读存储介质，其中所述多个指令还包括：
指令，使所述数据处理器提供从多个服务计划中选择一服务计划的用户接口，每个服务计划规定存储分层法则，所述存储分层法则利用存储器子系统中包括运行单元和止转单元的不同存储类别的存储单元和设置用于确定内容在不同存储类别的存储单元中存储的存储内容适合性的策略的存储分层规则的 组合。

说明书针对存储分层的内容选择
背景技术
本发明总体上涉及存储器系统，尤其涉及用于基于针对存储分层(storage tiering)的内容选择来管理内容系统中的内容存储的系统和方法。
固定内容系统(FCS)包含不变的数据。实际上，在后续仅有小比例的内容被访问；然而，数据仍然保留在存储介质上，这继续耗费能源。即使介质上的大量内容不被访问仍保持介质旋转会浪费能源。
美国专利No.8,006,111公开了止转(spin-down)的概念。在这种方式下，基于文件的活动性来确定盘驱动器的文件移动和能态。将在活动的存储器中变得不活动的文件组连续转移到各疏散的活动/不活动的盘驱动器，使得当对活动/不活动的盘驱动器的访问达到使活动/不活动的盘驱动器下电(power down)的不活动阈值时，每个活动/不活动的盘驱动器加载具有类似访问可能性的文件。关注各个盘驱动器。仅当达到不活动阈值时才移动文件。
发明内容
本发明的示例性实施例提供了一种固定内容系统(FCS)，所述固定内容系统可以是复制对象存储系统或内容平台，并且将存储介质分为两种类型，即，运行单元(RU)和止转单元(SDU)。RU被指派用于可能使用的内容，SDU包含不可能使用的内容。周期性地，FCS将会基于可配置服务计划和存储分层策略来评估内容，以识别在RU介质和SDU介质之间移动的备选。存储分层基于系统状态来指示系统行为，以优化对象移动和设备操控，使得仅当系统条件指示该需求时才执行数据移动。被监视的系统状态是对象所驻留在的RU是否达到消耗利用阈值(即，空间/存储消耗阈值)，以及在SDU上是否存在针对该对象可用的空间。消耗利用阈值的示例是所消耗的存储器(例如，70％的所消耗存储器可以用作缺省)。存储分层规则(STR)规定对象备选驻留于SDU或RU上的策略。在特定实施例中，该设置是“从不”、“仅保护拷贝”、或“摄 取之后N天”。STR可以应用于FCS中的所有对象或对象集合。
在特定实施例中，在后台执行用于分层的内容识别。当识别内容时，SDU介质将会旋转(如果必要)，并且移动对象。在不活动超时之后，SDU介质将会止转。如果请求FCS的内容，并且该内容驻留于SDU上，则SDU将会旋转，并将内容读取并返回请求者。在不活动超时之后，SDU介质将再次止转。
本发明与美国专利No.8,006,111在多个方面不同。例如，移动文件的确定不是基于单独的文件的活动性。而是，用于确立文件移动的标准包括文件年限、冗余备份拷贝的存在等。尽管美国专利No.8,006,111关注于各个盘驱动器，但是根据本发明特定实施例的解决方案包括在盘阵列中实现的功能，并且关注点在于盘驱动器集合形式的RAID组。此外，根据本发明特定实施例的解决方案将不会将内容移出活动的存储器，除非在该内容所驻留于的存储器上已经达到空间/存储消耗阈值。相反，美国专利No.8,006,111将仅在达到不活动阈值时才移动文件。
固定内容系统具有多个独立节点，用以在包括不允许止转功能的运行单元和允许止转功能的止转单元的多个存储单元中存储内容。根据本发明的一方面，一种用于管理内容的存储的方法包括：建立存储分层规则，所述存储分层规则设置用于指示什么内容适合存储在运行单元上和什么内容适合存储在止转单元上的策略，所述存储分层规则可应用于内容系统中的至少内容组，以确定在存储单元中存储的存储内容适合性和在存储单元之间的转移；监视内容系统的状态；以及基于所述存储分层规则、内容系统的状态和所述至少内容组的存储内容适合性，识别在存储单元之间转移的内容备选，所述存储单元之间转移包括在运行单元和止转单元之间的转移。
在一些实施例中，建立存储分层规则来基于规则集合评估内容，以确定存储内容适合性，所述规则集合包括期望使用、生存周期和内容年限和内容的一个或多个冗余备份拷贝的存在。所述存储分层规则包括：“从不”规则，应用于要存储在从不会止转的存储单元上的内容；“仅保护拷贝”规则，应用于作为在止转单元中存储的备选的备份拷贝的内容；以及“摄取之后X时间量”规则，应用于在内容系统中驻留了可配置时间量X、足以成为要存储在止转单元上的备选的内容。建立所述存储分层规则，使得当适合的内容所驻留的运行 单元达到可配置消耗利用阈值时仅将所述适合的内容转移到止转单元。监视内容系统的状态包括：确定内容所驻留的运行单元是否达到用于指示允许将内容转移到止转单元的可配置消耗利用阈值，并确定在止转单元上是否存在可用的从运行单元接收所述内容的空间。
在特定实施例中，所述方法包括：基于所述识别来转移内容；以及基于针对存储内容和作为所述监视、识别和转移的结果转移内容的系统需求，管理每个止转单元的状态进入适合的上电或下电状态。所述方法还包括：从多个服务计划中选择一服务计划，每个服务计划规定存储分层法则，所述存储分层法则利用存储器子系统中包括运行单元和止转单元的不同存储类别的存储单元和设置用于确定内容在不同存储类别的存储单元中存储的存储内容适合性的策略的存储分层规则的组合。
本发明的另一方面提出一种用于管理内容在内容系统中的存储的装置，所述内容系统具有多个独立节点，用以在包括不允许止转功能的运行单元和允许止转功能的止转单元的多个存储单元中存储所述内容。所述装置包括处理器、内存和存储分层服务模块。所述存储分层服务模块被配置为：建立存储分层规则，所述存储分层规则设置用于指示什么内容适合存储在运行单元上和什么内容适合存储在止转单元上的策略，所述存储分层规则可应用于内容系统中的至少内容组，以确定在存储单元中存储的存储内容适合性和在存储单元之间的转移；监视内容系统的状态；以及基于所述存储分层规则、内容系统的状态和所述至少内容组的存储内容适合性，识别在存储单元之间转移的内容备选，所述存储单元之间转移包括在运行单元和止转单元之间的转移。
在一些实施例中，所述装置还包括：转移模块，被配置为基于所述识别来转移内容；和存储单元状态管理模块，被配置为基于针对存储内容和作为所述监视、识别和转移的结果转移内容的系统需求，管理每个止转单元的状态进入适合的上电或下电状态。所述装置还包括：服务计划选择模块，被配置为提供用于从多个服务计划中选择一服务计划的用户接口，每个服务计划规定存储分层法则，所述存储分层法则利用存储器子系统中包括运行单元和止转单元的不同存储类别的存储单元和设置用于确定内容在不同存储类别的存储单元中存储的存储内容适合性的策略的存储分层规则的组合。运行单元包含在被配置为 不允许止转功能的RAID组中，其中止转单元包含在被配置为允许止转的RAID组中。存储单元包括具有不同可靠性、性能或成本特性中的至少一个的不同类别的存储单元。所述装置还包括：转移模块，被配置为基于所述识别来转移内容，并基于所述内容的元数据准则，在不同类别的运行单元和止转单元之间移动内容，对象元数据准则包括“数据类型”、“自上次访问的时间”、“自摄取的时间”和“内容版本”中的一个或多个。
本发明的另一方面提出一种存储多个指令的计算机可读存储介质，所述多个指令用于控制数据处理器来管理内容在内容系统中的存储，所述内容系统具有多个独立节点，用以在包括不允许止转功能的运行单元和允许止转功能的止转单元的多个存储单元中存储内容。所述多个指令包括：指令，使所述数据处理器建立存储分层规则，所述存储分层规则设置用于指示什么内容适合存储在运行单元上和什么内容适合存储在止转单元上的策略，所述存储分层规则可应用于内容系统中的至少内容组，以确定在存储单元中存储的存储内容适合性和在存储单元之间的转移；指令，使所述数据处理器监视内容系统的状态；以及指令，使所述数据处理器基于所述存储分层规则、内容系统的状态和所述至少内容组的存储内容适合性，识别在存储单元之间转移的内容备选，所述存储单元之间转移包括在运行单元和止转单元之间的转移。
结合特定实施例的以下详细描述，本发明的这些和其他特征和优势对于本领域技术人员来说将变得清楚。
附图说明
图1是可以应用本发明的方法和装置的固定内容存储器存档的简化方框图。
图2是独立节点的冗余阵列的简化表示，其中每个节点都是对称的并且支持存档群组应用(archive cluster application)。
图3是在给定节点上运行的存档群组应用的不同组件的高层表示。
图4是具有与用于存储固定内容的基于块的存储子系统耦接的节点组的固定内容系统的简化图。
图5是示意性地说明具有存储分层服务(STS)模块、列出节点中的存储 介质单元及其状态的存储介质状态表和存储管理器的多个实例的节点的简化图。
图6示出了说明用于存储分层的内容选择过程的示例。
图7是说明STS模块所执行的STS的流程图的示例。
图8示出了用于从多个服务计划中选择一服务计划的用户接口的示例，每个服务计划规定存储分层法则，所述用户接口包括：(a)用于创建服务计划并选择分层策略的屏幕截图，(b)示出当选择创建针对名称空间的服务计划时所出现的屏幕截图，和(c)示出如何改变现有名称空间上的服务计划的屏幕截图。
具体实施方式
以下将参照形成了公开文本一部分的附图详细描述本发明，并且在其中通过例证而非限制的方法显示了可以实现本发明的示例性实施例。在附图中，贯穿多个视图，相似的数字描述基本相似的组件。另外，应当注意的是，在如以下所描述的和如在附图中所示出的，具体实施方式提供了各种示例性实施例的同时，本发明不限于本文中所描述和显示的实施例，而是可以扩展到其他实施例，如同本领域技术人员所知或将会知道的那样。在说明书中提及的“一个实施例”、“这个实施例”、或“这些实施例”意为本发明的至少一个实施例中包括结合实施例所描述的特定特征、结构或特点，并且在说明书中的不同位置出现的这些短语不必全部指代相同的实施例。此外，在以下具体实施方式中，为了提供对本发明透彻的理解，阐明了数个特定细节。然而，对于本领域普通技术人员来说，实现本发明并不完全需要这些特定细节。在其他环境下，众所周知的结构、材料、电路、过程和接口没有被详细描述，和/或可以以方框图的形式示出，以便不会不必要的模糊本发明。
此外，以下详细描述的一些部分被呈现为计算机内运行的算法和符号表达的形式。这些算法描述和符号表达是数据处理领域技术人员使用的手段，来最有效地将他们的创新实质传达给本领域其他技术人员。算法是导致所期望的结束状态或结果的一系列限定的步骤。在本发明中，为了实现有形结果，所执行的步骤需要有形量的物理操纵。虽然不是必要地，但通常来说，这些量表现为 能够被存储、传送、组合、比较、和其他形式操纵的电或磁信号。主要因为通用的原因，已经证明将这些信号指代为比特(bits)、值(values)、元素(elements)、符号(symbols)、字符(characters)、术语(terms)、数(numbers)、指令(instructions)等有时是方便的。然而，应当记住，全部这些和相似术语应当与适当的物理量相关联并且只不过是用在这些量上的方便的标签。除非特别做出与以下讨论明显相反的阐述，否则应当理解为在整篇说明书中，使用诸如“处理”、“计算”、“算出”、“确定”、“显示”等术语的讨论可以包括计算机系统或其他信息处理设备的动作和过程，他们将在计算机系统的注册表和存储器中表现为物理(电子)量的数据操纵和变换为在计算机系统存储器或注册表或其他这种信息存储器、传输或显示设备中相似地表现为物理量的其他数据。
本发明还涉及用以执行本文中操作的装置。该装置可以是为所需目的而特定构造的，或者可以包含由一个或多个计算机程序选择性触发或重新配置的一个或多个通用计算机。这种计算机程序可以被存储在计算机可读存储器介质中，例如但不限制于光盘、磁盘、只读存储器、随机存取存储器、固态设备和驱动器、或适于存储电子信息的任何其他类型的介质。本文中所呈现的算法和显示不是固有地与任何特定计算机或其他装置相关联的。根据本文中的教导，各种通用系统都可以与程序一起使用，或者可以证实构造更专业的装置来执行所期望的方法步骤是方便的。此外，本发明不参照任何特定编程语言进行描述。将会理解的是，如本文中所描述的，多种编程语言可以被用来实现发明的教导。编程语言的指令可以由一个或多个处理设备运行，例如，中央处理单元(CPU)、处理器或控制器。
如同以下将更详细描述的，本发明的示例性实施例提供了用以基于针对存储分层的内容选择来管理固定内容在固定内容系统中的存储的装置、方法和计算机程序。
1.固定内容分布式数据存储器
已经发展了这种需要：对于“固定内容”的高度可用、可靠和持久方式的存档存储代替或补充传统的磁带或光学存储方案。术语“固定内容”典型的是指为了参考或其他目的，希望不进行修改而保存的任何类型的数字信息。这种固定内容的示例包括电子邮件、文档、诊断图像、检测图像、声音记录、影片 和视频等等，还有许多其他示例。已经出现了传统的独立节点冗余阵列(RAIN)存储手段，作为为了存储这种固定内容信息资产而产生大型在线存档的选择架构。通过允许节点按需接入或退出群组，RAIN架构将存储器群组隔离于一个或多个节点的故障。通过在多个节点上复制数据，RAIN型存档能够自动补偿节点故障或移除。典型地，RAIN系统主要被创建为从封闭系统中的相同组件设计的硬件器件。
图1显示了一个这种可扩展的基于磁盘的存档存储器管理系统。节点可以包括不同硬件，并且因此可以被认为是“异构的”(heterogeneous)。节点典型地具有至存储区域网络(SAN)中的一个或多个存储磁盘的通路，该存储磁盘可以是实际物理存储器磁盘或者虚拟存储器磁盘。在每个节点上支持的存档群组应用(并且，可选地，运行应用的下层操作系统)，可以是相同的或基本上相同的。每个节点上的软件栈(可以包括操作系统)是对称的，而硬件可以是异构的。如图1所示，企业能够使用系统，产生对于许多不同类型的固定内容信息的永久存储，所述固定内容信息诸如文档、电子邮件、卫星图像、诊断图像、检测图像、声音记录、视频等等，以及其他信息。这些类型当然仅仅是示例。通过在独立服务器或者称为存储节点上复制数据，实现了高度可靠性。优选地，每个节点与其对等点(peer)对称。这样，因为优选地任何给定节点能够执行所有功能，因此任何一个节点的故障在存档的可用性上产生很少的影响。
如同在共同拥有的美国专利No.7,155,466中所描述的，已知在基于RAIN的存档系统中，并入在每个节点上运行的捕捉、保存、管理和检索数字资产的分布式软件应用。图2显示了一个这种系统。将单独存档的物理范围指代为群组(或系统)。典型地，群组不是单个设备，而是设备集。设备可以是同类的或异构的。典型的设备是运行诸如Linux操作系统的计算机或机器。托管在日常硬件上的基于Linux系统的群组提供了能够被扩展的存档，从几个存储器节点服务器扩展至存储数以千计的数太字节数据的许多节点。这种构架保证了存储能力能够与组织结构增长的存档需求一直并驾齐驱。
在诸如以上描述的存储系统中，典型地将数据随机分布在群组上，以使得一直保护存档不发生设备故障。如果磁盘或节点故障，则群组自动在维持相同数据副本的群组中的其他节点上停止作用。该手段在数据保护的角度上运作良 好的同时，为群组计算的数据丢失平均时间(MTDL)可能没有所期望的高。具体来说，MTDL典型地代表计算出的在存档将丢失数据之前的时间量。在数字存档中，不希望任何数据丢失，但是由于硬件和软件组件的特性，一直都存在这种事件发生的可能性(无论多遥远)。由于对象和它们的拷贝在存档群组中随机分布，因而MTDL可能低于需求而结束，例如，如果由于在给定节点中的给定磁盘(镜像拷贝被存储在其上)意外地故障了，则所需的对象拷贝不可用。
如图2所示的，实现本发明的示意性群组优选地包括以下通常类型的元件：节点202、一对网络交换机204、配电单元(PDU)206、以及不中断电源(UPS)208。节点202典型地包括一个或多个日常服务器并包含CPU(例如，Intel×86、适当的随机存取存储器(RAM)、一个或多个硬盘驱动器(例如，标准IDE/SATA、SCSI等)、以及两个或多个网络接口(NIC)卡。典型的节点是具有2.4GHz芯片、512MB RAM以及六(6)个200GB硬盘驱动器的2U机架式单元。然而，这并不是限制。网络交换机204典型地包括能够在节点之间点对点通信的内部交换机205和允许额外的群组访问每个节点的外部交换机207。每个交换机需要足够的端口来操作群组中所有潜在的节点。以太网或GigE交换机可以被用于这个目的。使用PDU206为所有节点和交换机供电，并且使用UPS208保护所有节点和交换机。尽管不意为限制，但是典型的群组可以被连接到网络，诸如公共互联网、企业内部互联网、或其他广域或局域网。在示例性实施例中，在企业环境内实现群组。例如，通过在站点的集体DNS命名服务器中导航可以实现。例如，群组域因此可以是现有域的新的子域。在代表性的实现中，在集体DNS服务器中将子域委托给在群组自身中的命名服务器。终端用户使用任何传统的接口或访问工具访问群组。例如，这样可以在任何基于IP的协议(HTTP、FTP、NFS、AFS、SMB、网页服务等)上经由API，或通过任何其他已知或以后将研发的访问方法、服务、程序或工具来实现对群组的访问。
客户端应用通过诸如标准UNIX文件协议，或HTTP API的一个或多个类型的外部网关访问群组。优选地通过虚拟文件系统来公开存档，该虚拟文件系统能够随意符合任何标准的面向UNIX文件协议的设施。这些包括NFS、FTP、 SMB/CIFS等。
在一个实施例中，联网在一起(例如，经由以太网)成为群组的独立节点的冗余阵列(H-RAIN)上运行存档群组应用。给定节点的硬件可以是异构的。然而，为了得到最大可靠性，每个节点优选地运行分布式应用的实例300(可以是相同实例，或基本上相同的实例)，其包括多个运行时间组件，如图3中所示。这样，虽然硬件可以是异构的，但是节点上的软件栈(至少当它涉及本发明时)是相同的。这些软件组件包括网关协议层302、访问层304、文件处理和管理层306以及内核组件层308。为了说明的目的而提出“层”的名称，如同普通技术人员将领会的，可以用其他有意义的方法来体现功能的特征。可以集成或不集成一个或多个层(或其中的组件)。一些组件可以在层之间共享。
网关协议层302中的网关协议提供现有应用的透明。具体来说，网关提供诸如NFS310和SMB/CIFS312的本地文件服务，以及网页服务API来建立定制应用。还提供了HTTP支持314。访问层304提供对存档的访问。具体来说，根据本发明，固定内容文件系统(FCFS)316模拟本地文件系统来提供对存档对象的完全访问。FCFS给予了应用对存档内容的直接访问，如同他们是普通文件一样。优选地，存档的内容表现为其原始格式，而将元数据公开为文件。FCFS316提供了传统观点的目录和访问权限和流程的文件级(file-level)调用，使得管理员能够以他们所熟悉的方式来规定固定内容数据。文件访问调用优选地被用户空间后台程序中断，并被路由给适当的内核元件(在层308)中，其对调用应用动态地产生适当的视图。FCFS调用优选地被存档策略约束，以辅助自主的存档管理。因此，在一个示例中，管理员或应用不能删除保存期限(给定策略)仍然有效的存档对象。
访问层304优选地还包括网页用户界面(UI)318和SNMP网关320。网页用户界面318优选地实现为管理员控制台，提供对文件处理和管理层306中的管理引擎322的交互访问。管理控制台318优选地是密码保护的、提供存档的动态视图的基于网页的GUI，包括存档对象和单独节点。SNMP网关320向存储管理应用提供了对管理引擎322的轻易访问，这使得他们安全地监视和控制群组动作。管理引擎监视群组动作，包括系统和策略事件。文件处理和管理层306还包括请求管理器处理324。请求管理器324协调来自外部世界(经 过访问层304)的全部请求，以及来自内核组件层308中的策略管理器326的内部请求。
除策略管理器326以外，内核组件还包括元数据管理器328和存储管理器330的一个或多个实例。元数据管理器328优选地被安装在每个节点上。共同地，元数据管理器在群组中作为分布式数据库，用于管理所有存档对象。在给定的节点上，元数据管理器328管理存档对象的子集，其中优选地，每个对象在外部文件(“EF”，为了存储而进入存档的数据)和存档数据物理所在的内部文件(每个都是“IF”)组之间映射。相同的元数据管理器328还管理从其他节点上复制的存档对象组。这样，每个外部文件的当前状态对于数个节点上的多个元数据管理器一直都是可用的。如果发生节点故障，则其他节点上的元数据管理器继续提供对先前由故障节点管理的数据的访问。存储管理器330提供了文件系统层，对于分布式应用中的所有其他组件都可用。优选地，它将数据对象存储在节点的本地文件系统中。在给定节点中的每个驱动器优选地具有其自己的存储管理器。这使得节点可以移除单个驱动器并且优化吞吐量。存储管理器330还提供系统信息、数据的完整性检查，以及能够直接遍历本地结构的能力。
如图3中还示出了，通过通信中间件层332和DNS管理器334，群组管理内部和外部通信。设施332是高效和可靠的基于消息的中间件层，其使能存档组件间的通信。在所示实施例中，层支持多点传送和点对点通信。DNS管理器334运行将所有节点连接至企业服务器的分布式命名服务。优选地，DNS管理器(单独或者与DNS服务相结合)在所有节点上加载平衡请求，以确保最大的群组吞吐量和可用性。
在所示实施例中，诸如HCP(日立(Hitachi)内容平台)应用实例之类的应用在基本操作系统336上运行，诸如Red Hat Linux9.0、Fedora Core6等。通信中间件是任何方便的分布式通信机制。其他组件可以包括FUSE(USErspace中的文件系统)，其可以被用于固定内容文件系统(FCFS)316。NFS网关310可以由标准nfsd Linux Kernel NFS驱动来实现。每个节点中的数据库可以被实现，例如PostgreSQL(本文中也被称为Postgres)，其是对象关系型数据库管理系统(ORDBMS)。节点可以包括网页服务器，诸如Jetty，其是 Java HTTP服务器和小服务程序容器。当然，以上机制仅仅是说明性的。
给定节点上的存储管理器330负责管理物理存储设备。优选地，每个存储管理器实例负责单个根目录，在单个根目录中所有文件根据其放置算法被放置。可以在节点上同时运行多个存储管理器实例，并且每个存储管理器实例通常代表系统中不同的物理磁盘。存储管理器提取在其余系统中使用的驱动器和接口技术。当存储管理器实例被请求以写入文件时，它生成其负责的用以表达的完全路径和文件名。在代表性的实施例中，存储在存储管理器上的每个对象被接收为原始数据而被存储，存储管理器随后在存储数据时将其自己的元数据添加到文件，以寻迹不同类型信息。例如，元数据包括：EF长度(外部文件长度字节)、IF段尺寸(该片内部文件的尺寸)、EF保护表达(EF保护模式)、IF保护作用(该内部文件的表达)、EF创建时间戳(外部文件时间戳)、签名(写入(PUT)时内部文件的签名，其包括签名类型)、以及EF文件名(外部文件的文件名)。与内部文件数据一起存储该附加元数据提供了额外程度的保护。具体来说，清除(scavenging)能够通过内部文件存储的元数据在数据库中创建外部文件记录。其他策略可以验证内部文件哈希相对于内部文件以确认内部文件保持完好。
内部文件可以是数据“组块(chunk)”，代表在存档对象中的原始“文件”的一部分，并且他们可以被放置在不同节点上以存档条带(stripe)并保护块(block)。然而，并不必须将外部文件分离为更小的组块单元；在替选实施例中，内部文件可以是外部文件的完整拷贝。典型地，在元数据管理器中，对于每个存档对象提供一个外部文件条目，而对于每个外部文件条目可以存在许多内部文件条目。典型地，内部文件布局取决于系统。在给定实现中，磁盘上的该数据的真实物理格式被存储为一系列可变长度记录。
请求管理器324负责运行通过与系统中的其他组件交互而执行存档动作所需的操作组。请求管理器支持不同类型的许多同时动作，能够重新执行任何失败的处理，并支持可能花费长时间来运行的处理。请求管理器还确保在存档中的读/写操作被适当操作并且确保所有请求在所有时间上处于已知状态。其还提供处理控制，用以配合节点上的多个读/写操作以满足给定的客户端请求。此外，请求管理器为最近使用过的文件高速缓存元数据管理器条目，并为会话 和数据块提供缓冲。
群组的主要职责是在磁盘上可靠地存储无限数量的文件。可以将给定节点想作是“不可靠的”，感觉像它是因为任何原因而不可到达或者其他方式不可用的。收集这种潜在的不可用节点有助于创建可靠的和高度可用的存储。通常，存在两种类型的信息需要被存储：文件本身和关于文件的元数据。固定内容分布式数据存储额外的细节可以在美国专利公开No.2007/0189153和美国专利No.7,657,581中找到，通过引用的方式将他们合并入本文中。
如这里所使用，名称空间是群组的逻辑分区，并且实质上用作至少一个所定义的应用特定的对象集合。每个名称空间具有相对于其他名称空间的私有文件系统。此外，访问一个名称空间不许可用户访问其他名称空间。节点的群组/系统是物理存档实例。租户(tenant)是名称空间和和可能的其他子租户的编组。组群/系统是物理存档实例。参见共同转让的美国专利申请公开No.2011/0106802，在此将其整体一并引入作为参考。
II.存储分层的内容选择
根据示例性实施例，固定内容系统(FCS)400具有一组节点410，该节点组典型经由网络与基于块的存储子系统420耦接，该存储子系统420具有用于存储固定内容的多个存储介质单元430，如图4所示。在优选实施例中，存储子系统是后端盘阵列，其允许盘组共同配置为RAID组，并划分为单独的逻辑盘单元以满足存储需求。更高级的存储子系统具有指示盘中的哪个盘或哪个盘组被允许具有对RAID组的供电控制以允许对盘的上电和下电的能力。
本发明的实施例将利用这些存储子系统特征来创建两类逻辑盘单元，其被称为运行单元(RU)和止转单元(SDU)。RU将包含在被配置为不允许盘止转功能、从而将总是对盘供电并可用于数据访问的RAID组上。SDU将包含在被配置为允许盘止转、从而可以使盘下电因而那些盘上的数据在盘重新上电并旋转起来之前变为不可用的RAID组上。
为了定义如何使用RU和SDU，建立存储分层规则(STR)。根据在FCS上使用的数据的期望使用和生存周期来确定适合的STR。STR指示什么内容适合存储在RU或SDU上。根据一个实施例，存在被定义应用于在FCS上存储的所有内容或内容组的三个STR。第一STR是“从不”，涉及应当存储在 RU或将不会止转的指示为SDU的存储器上的所有数据。第二STR是“仅保护拷贝”，涉及保护拷贝。在固定内容系统中，可以通过存储内容的多个拷贝来保护内容。典型地，极少访问一个或多个备份拷贝。这些备份拷贝是作为保护拷贝的SDU的备选。第三STR是“摄取之后X时间量”，涉及在FCS中驻留足以成为要存储在SDU上的备选的可配置时间量的内容。
不管如何分配STR，FCS还可以被配置为在RU达到可配置使用空间/存储容量阈值时仅将适合的内容转移到SDU。任何适合的内容可以没有任何附加成本地与不适合的内容一起保留在RU上；此外，使SDU上电以转移适合的内容不如将其留在RU上有利。
通过提供RU和SDU以及STR配置，FCS能够使用存储分层服务(STS)针对FCS的内容进行操作。STS将会周期性地运行，并负责以下活动：(1)基于系统需求，管理SDU的状态进入适合的上电或下电状态；以及(2)基于STR配置、FCS的状态和存储内容适合性，在RU和SDU之间转移内容。监视FCS的状态，包括存储介质单元(运行单元和止转单元)的状态。在特定实施例中，在FCS的每个节点中提供STS。
图5是示意性地说明具有STS模块340、列出节点的存储介质单元及其状态(例如，容量)的存储介质状态表350和存储管理器330(参见图3)的多个实例的节点(图3的300或图4的410)的简化图。例如，存储管理器330的每个实例负责根据其放置算法将所有文件置于其中的单个根目录。每个存储管理器实例通常表示FCS中的不同逻辑卷。图5示出了经由存储管理器330的实例的节点300与存储单元430(RU和SDU)之间的连接(典型通过网络连接)。在一个优选实施例中，所有节点存储用于列出针对所有节点的存储介质单元及其状态的相同存储介质状态表350。可以单独地监视存储介质单元的状态，然后将该信息在互连的节点之间共享，以形成相同存储介质状态表350。STS模块340可以具有以下逻辑动作：
构建适合移动到SDU的内容的MoveToSDU列表。
构建在SDU上但对于SDU不适合的内容的MoveFromSDU列表。
过滤MoveToSDU列表以仅包含驻留在RU上已达到所配置的容量阈值的内容。
构建在MoveToSDU列表和MoveFromSDU列表中内容所驻留的所有SDU的SpinUpSDU列表。
使SpinUpSDU列表中的SDU旋转。
开始转移处理，以处理MoveToSDU列表和MoveFromSDU列表到适合的目的地。
图6示出了说明用于存储分层的内容选择过程的示例。在图6中，FCS具有用于RU的三个盘和用于SDU的两个盘，它们是群组范围的并且跨节点分布。FCS被配置有指示保护拷贝应被置于SDU上的服务计划。该内容具有针对FCS的数据保护级(DPL)2，并且存在三个对象(A、B、C)，它们在FCS上各有两个拷贝(A1、A2、B1、B2、C1、C2)。前两个RU(A1B2C2和B1C1)在其消耗阈值之上。STS扫描FCS以处理移动到SDU的备选。基于扫描来移动拷贝B2和C2，因为它们是次级保护拷贝且驻留在容量阈值之上的第一RU上。没有内容从第二RU移走，因为那里仅存在内容的主拷贝(B1和C1)。不移动第二拷贝A2，因为其所驻留的第三RU还未超过容量阈值。
通常，移动到SDU的对象将在那里保持该对象的生存时间，除非针对该对象的服务计划改变，并且不再满足服务计划之下的准则。然后，该对象将移回RU。
本发明的可选实施例也可以用于将内容转移到具有各种可靠性、性能和成本特征的各个类别的存储器。存储器的不同类别可以包括但不限于固态盘(SSD)、光纤通道硬盘驱动器(FC-HDD)或其他网络存储单元。
针对内容移动的决策可以扩展为提供基于通过系统自动生成或通过内容的所有者提供的对象元数据来对存储器的类别或位置的智能选择。以下是一些示例准则。第一准则是“数据类型”。例如，在治愈伤害之后极少查看x射线图像，因而这种类型的数据是止转的良好备选，而一般的医疗记录被频繁使用，因而这种类型的数据不会是止转的良好备选。第二准则是“自上次访问的时间”。会期望基于访问历史移动数据。有一段时间(例如，六个月或更长)未被访问的内容是止转的良好备选，而更频繁被访问的内容可以移动到运行设备。第三准则是“自摄取的时间”。针对摄取立即(例如，当数据仅用于备份时)或在摄取之后六个月等将一些类型的数据移动到止转是有意义的。第四准则是“对 象版本”。例如，应当止转对象的除最新版本之外的所有版本。
长期目标是FCS支持群组管理员可以使其对于租户管理员可用或可以出售给租户管理员的不同服务计划。服务计划具有存储分层法则，该存储分层法则是存储器类别(例如，始终旋转盘和止转盘)和针对何时将数据存储在不同类别的存储器上的规则集合的组合。例如，群组管理员会想支持特级服务计划，其中在该法则下的数据总是在旋转盘上。“标准”服务计划可以包括数据在旋转盘上六个月，但是若在六个月之后不被访问则将数据移动到止转盘。在期望不可能有数据访问且访问内容的时延可接受的情况下，“存档”服务计划可以立即使内容成为止转盘的备选。最终目标是，群组管理员能够定义服务计划并使那些计划对于租户管理员可用或以不同费率出售给租户管理员。
图7是说明存储分层服务(STS)模块340所执行的STS的流程图的示例。在步骤702中，STS模块340建立存储分层规则，所述存储分层规则设置用于指示什么内容适合(eligible)存储在运行单元上和什么内容适合存储在止转单元上的策略，所述存储分层规则可应用于固定内容系统中的至少固定内容组，以确定在存储单元中存储的存储内容适合性和在存储单元之间的转移。这典型使用来自管理员的输入来执行。在特定实施例中，建立存储分层规则来基于规则集合评估内容对象，以确定存储内容适合性，所述规则集合包括期望使用、生存周期和内容对象年限、和内容对象的一个或多个冗余备份拷贝的存在。此外，还可以建立存储分层规则，使得在适合的内容所驻留的运行单元达到可配置消耗利用阈值时将适合的内容转移到止转单元。
在步骤704中，STS模块340监视固定内容系统的状态。例如，这可以包括确定对象所驻留的运行单元是否达到了指示允许该对象被转移到止转单元的可配置消耗利用阈值，并确定在止转单元上是否存在可用的从运行单元接收该对象的空间。
在步骤706中，STS模块340基于存储分层规则、固定内容系统的状态和至少固定内容组的存储内容适合性，识别在存储介质单元之间(例如，在运行单元与止转单元之间)转移的内容对象的备选。
在步骤708中，转移模块342(参见图5)基于所述识别来转移内容对象。在步骤710中，存储单元状态管理模块344(参见图5)基于针对存储内容对 象和作为监视、识别和转移的结果来转移内容对象的系统需求，管理每个止转单元的状态进入适合的上电或下电状态。
在特定实施例中，存储单元包括具有不同可靠性、性能或成本特性中的至少一个的不同类别的存储单元。转移模块342被配置为基于内容对象的对象元数据准则，在不同类别的运行单元和止转单元之间移动内容对象，所述对象元数据准则包括“数据类型”、“自上次访问的时间”、“自摄取的时间”和“内容版本”中的一个或多个。
为了发起图7的STS过程，根据特定实施例，服务计划选择模块346(参见图5)被配置为提供用于从多个服务计划中选择一服务计划的用户接口，每个服务计划规定存储分层法则，所述存储分层法则利用存储器子系统中包括运行单元和止转单元的不同存储类别的存储单元和设置用于确定内容在不同存储类别的存储单元中存储的存储内容适合性的策略的存储分层规则的组合。
图8以允许用户/管理员创建和/或分配服务计划的显示器的形式示出了这种用户接口800的示例。在所示出的示例中，图8a示出了用于创建服务计划并选择分层策略的屏幕截图。屏幕底部是查看并编辑所定义的策略的选项。在图8b中，屏幕截图示出当选择创建针对名称空间的服务计划时所出现的屏幕截图。在图8c中，屏幕截图示出如何改变现有名称空间上的服务计划。
当然，图1所示的系统配置完全是示例性的可以实现本发明的内容平台或复制对象存储系统，并且本发明不限于特定硬件配置。实现本发明的计算机和存储系统还可以具有已知的I/O设备(例如，CD和DVD驱动器、软盘驱动器、硬驱动器等)，其可以存储并读取用以实现以上描述的本发明的模块、程序和数据结构。这些模块、程序和数据结构可以被编码在这种计算机可读介质上。例如，本发明的数据结构能够被存储在独立于用在本发明中的程序所在的一个或多个计算机可读介质的计算机可读介质上。系统的组件可以通过数字数据通信的任何形式或介质互相连接，例如，通信网络。通信网络的示例包括局域网、广域网，例如互联网、无线网、存储区域网等。
在说明书中，为了解释的目的呈现了数个细节，以便于提供对本发明的透彻理解。然而，对本领域技术人员将清楚的是，为了实现本发明，并不需要所有这些特定细节。还会注意到，本发明可以描述为通常以流程图、流向图、结 构图或框图描述的过程。尽管流程图可以将操作描述为有序的过程，但是许多操作可以并行或同时执行。此外，还可以重新安排操作的顺序。
如本领域所公知的，以上描述的操作可以由硬件、软件或软件和硬件的某些组合执行。本发明实施例的不同方面可以使用电路和逻辑设备(硬件)来完成，同时其他方面可以使用存储在机器可读介质(软件)上的指令来完成，如果使用处理器运行会导致处理器执行实现本发明实施例的方法。此外，本发明的一些实施例可以在硬件中单独执行，而其他实施例可以以软件单独执行。此外，所描述的不同功能可以在单个单元中执行，或者可以以任何方法散布在多个组件上。当通过软件执行时，基于存储在计算机可读介质上的指令，方法可以由诸如通用计算机的处理器运行。如果需要，指令可以存储在压缩和/或加密格式的介质上。
从前述，将清楚的是，本发明提供了用于基于存储分层的内容选择来管理固定内容在固定内容系统中的存储的方法、装置和存储在计算机可读介质上的程序。此外，在本文中已经描述和说明特定实施例的同时，本领域普通技术人员将会领会，通过计算以实现相同目的的任何布置都可以取代公开文本的特定实施例。该公开文本意欲覆盖本发明的任何和所有改变或变形，并且其还被理解为在所附权利要求中使用的术语不应当被解释为将本发明限制为说明书中公开的特定实施例。相反的，本发明的范围将完全由所附权利要求确定，其将根据要求阐释所建立的规则而被解释，以及这种要求所授权的等同物的全部范围。
[引用列表]
[专利文献]
[专利文献1]
美国专利No.8,006,111
[专利文献2]
美国专利No.7,155,466
[专利文献3]
美国专利公开No.2007/0189153
[专利文献4]
美国专利No.7,657,581
[专利文献5]
美国专利公开No.2011/0106802