如数据存储操作的自适应能耗管理的数据处理资源的能耗管理.pdf

上传人:62****3 文档编号:1554074 上传时间:2018-06-24 格式:PDF 页数:33 大小:7.71MB
返回 下载 相关 举报
摘要
申请专利号:

CN201210585073.2

申请日:

2008.08.28

公开号:

CN103279181A

公开日:

2013.09.04

当前法律状态:

撤回

有效性:

无权

法律详情:

发明专利申请公布后的视为撤回IPC(主分类):G06F 1/32申请公布日:20130904|||实质审查的生效IPC(主分类):G06F 1/32申请日:20080828|||公开

IPC分类号:

G06F1/32

主分类号:

G06F1/32

申请人:

COMMVAULT系统公司

发明人:

马库斯·S·穆勒

地址:

美国新泽西州

优先权:

2007.08.28 US 60/968,500

专利代理机构:

北京万慧达知识产权代理有限公司 11111

代理人:

白华胜;段晓玲

PDF下载: PDF下载
内容摘要

本发明涉及一种如数据存储操作的自适应能耗管理的数据处理资源的能耗管理。本发明描述了实施节能行动的系统和方法。在一些实施例中,该系统基于来自该系统的信息制定一节能策略,并在一企业或一个或多个建筑内实施该策略,比如在一个数据存储环境内。在一些实施例中,该系统根据来自该系统的信息而增加或改动总过滤器或系统性能。

权利要求书

权利要求书
1.   一计算系统使用的方法,用以在一个建筑内或多个建筑之间执行节能行动,其中,所述节能行动与数据处理操作有关,所述方法包括:
创建或接收有关数据处理操作的信息;
接收或产生有关所述建筑内至少一个数据处理组件的能耗的信息;
确定一个或多个应被执行的节能行动,其中,所述将被执行的行动是基于所述信息和所述能耗信息;
根据所述能耗信息和所述信息,选择或执行所述被确定的一个或多个节能行动;以及
其中,所述一个或多个节能行动包括重新安排或合并在一个队列中的任务至一可用时间窗口内的另一天或一个更晚的时间。

2.   如权利要求1所述的方法,其中,所述计算系统包括一分级数据存储系统,其包括两个或更多数据存储单元,其中,每一数据存储单元包括一可在所述数据存储系统内执行存储操作的数据存储资源,其中,每一数据存储资源具有已知的可估计的能耗信息。

3.   如权利要求1所述的方法,其中,所述一个或多个节能行动包括为未来数据存储操作重组数据存储资源。

4.   如权利要求1所述的方法,其中,所述一个或多个节能行动包括把一个或多个数据存储任务转移至另一数据存储资源。

5.   如权利要求1所述的方法,其中,所述信息包括有关在所述一个或多个数据存储资源处被延迟的存储操作的信息,延迟存储操作可用的窗口的信息,以及能耗预测信息。

说明书

说明书如数据存储操作的自适应能耗管理的数据处理资源的能耗管理
【技术背景】
节能仍然是IT专业人员与设施管理人员的愿望。例如,美国环保署(EPA)于2007年8月2日发布了一个报告,该报告警示了运营数据中心的能源损耗的增加。该报告的主要发现之一是若继续当前的趋势,美国数据中心和数据服务器的能源消耗将在2011年翻番,达到100,000,000,000千瓦每小时,每年将耗费公众和私营机构74亿美元,并且需要新增10个发电厂。
数据中心使用数据存储组件,其中一些组件每年消耗大量能源。数据存储操作通常依赖网络和其他复杂系统,其中,传输和其他操作在不同的地方、不同的时间、为不同的需求而发生,所有这些操作在不同的时间都消耗不同程度的能源。分级系统可被采用,其中,通过一存储管理组件,各种存储组件被相互连接,并与系统连接。一些组件可以提供对该分级结构中处于较低级别的组件过滤或控制的能力。从而,该系统可以利用这些存储管理组件来操作或“监视”该系统及其各组件。然而,许多管理组件被简单地用于管理和收集来自各组件的数据。但这些管理组件没能考量各组件的功率要求(power requirement)。根据以下详细描述,业界技术人员将意识到还存在其他问题。
【附图说明】
图1A为一框图,展示了一设有一数据处理设施的建筑。
图1B为一框图,展示了一总系统服务器,其中一部分位于图1A所示的数据处理设施内。
图2为一框图,展示了一分级数据存储系统。
图3为一框图,展示了一存储操作单元的组件。
图4为一框图,展示了一总单元和数据存储单元之间的互动。
图5为一流程图,展示了发送一能源负荷报告实例以供一总管理器或服务器使用。
图6为一流程图,展示了根据一能源负载报告实施一行动(action)的程序。
图7A为一流程图,展示了决定一行动的程序。
图7B为一流程图,展示了实施一行动的程序。
图8为一流程图,展示了重新分配数据传送任务的程序。
图9为一流程图,展示了设置总电源控制过滤器的程序。
图10为一屏幕显示的例子,展示了用户界面的屏幕显示。
图11展示了数据存储装置的能耗曲线。
图12展示了总系统服务器所采用的,用以制定电源控制分配和数据存储任务时间安排的一个表。
图13为一框图,展示了一可用于实施本发明各方面的数据存储装置。
图14为一流程图,展示了收集数据和作出数据处理决定以降低能耗的程序。
在这些图中,为便于理解和方便的目的,相同的标号和缩写指示具有相同或相似功能的元件或动作。为便于识别对任何特定元件或动作的讨论,一标号中最显著的数字是首次介绍该元件的图的编号(例如,元件810首先在图8中被介绍并讨论)。
【详细描述】
以下详细描述的是对功率敏感的系统,其在至少一个数据处理设施内,或一个或以上建筑内管理能耗。虽然本发明的各方面是针对一数据存储系统进行描述,但业界一般技术人员将意识到本发明可应用于任何数据处理组件,或位于一个或多个建筑内,比如一个校园内,的任何耗能装置。该系统可被缩放以为从几个机器到大规模国际网络的任何规模的企业提供节能。事实上,因为各机器按地理分布于不同地方,数据可以被传送并被存储于电能较便宜的地方,比如哥伦比亚河谷、冰岛、中东或世界上能够提供低价能源的其他地方。
举例来说,该技术与监视、控制或改变数据存储系统和它们的操作以节能的系统和方法相关。尽管结合特定的例子进行描述,以下所描述的系统可应用于并可采用任何无线或有线网络,或可存储数据以及把数据从一个点传送至另一个点的数据处理和存储系统,包括通信网络、公司网络、存储网络等。
举例来说,该技术提供一方法和系统,比如分级数据处理或存储系统,其通过将倾向性信息(trending information)或历史报告与从数据处理操作或/和在处理操作过程中获得的信息、或对未来操作和性能的预测数据相关联,来制定并实施节能行动。(一分级系统可以是一个包括最少两个组件的系统,其中,一个组件管理另一组件的至少一部分。)这些系统可采用灵活的存储策略(policies),并且可以在一给定期间监视操作、能耗以及数据的存储,以根据监视期间获得的结果或利用预测制定的结果,改变或重分配存储操作。该系统可在监视期间改变存储操作,或可利用获得的任何信息改变未来的存储操作。再次声明,虽然本发明的各方面是结合数据存储操作和组件来描述,其他数据处理操作和组件或任何位于一建筑内或分布于多个建筑内的耗能组件也一样适用。
以下为一个例子:该系统可查看安排好的未来数据存储操作及每一操作的特性,以对特定的操作进行分组或分配(例如,把能耗密集的操作分为一组(或根据需求进行分配等))。该系统可以接收一数据传输负担报告,其中,该报告显示了对于一给定样本时间,相应的进行中的存储操作数量(例如,任务的数量)和等待执行的任务数量。该系统可利用这个信息和相关的能耗数据,根据任务的类型,在一给定的时间窗口中重新分配任务,或为一后续的数据存储操作重新分配系统资源。例如,一备份操作可被要求一周执行一次,但可在一个三天的时间窗口内执行。因此,该系统可以如此安排任务以使一个小的备份操作与一个更大的备份操作一起执行,从而使一个驱动器只需被启动一次。在一些情况下,该系统可在一个数据存储操作执行时重新分配数据存储操作,并调整一个建筑中的其他组件,以将能耗尖峰(spike)最小化或保证功率低于一个阈值(比如,关闭或减少使用建筑内的环境组件,如制热或制冷)。
虽然“建筑”一词被用于以上的例子,任何规模的企业都可以采用本发明的各方面。实际上,在此描述的系统可以采用分层结构,其中,每一层与能耗相关。也就是说,数据存储操作(以及与那些操作相关的组件)被量化分成两个或更多独立的组,比如一低能耗层和一较高能耗层。在被移至一较高能耗层之前,至少暂时地,数据可先被存储于一较低能耗层。
例如,为避免对磁盘或磁带驱动器进行单个偶发的写操作,这些单个的写操作可被缓冲(cached)或累积(aggregated)于一位于较低能耗层的装置。然后,当累积到一个阈值时,这些写操作可被整批移至位于更高能耗层的装置,从而该磁盘或磁带驱动器只需被启动一次即可。如下更详细的描述,传统的磁盘存储中能耗最集中的方面可能是运行风扇马达以冷却磁盘驱动器,接着是运行磁盘主轴转子以驱动磁盘在磁盘驱动器内旋转。对于自动化磁带库,要求高能耗以移动机械于操作磁带,接着运行磁带驱动马达,然后运行这些库内的风扇。此处描述的系统不仅考虑了每一种数据存储装置(磁盘、磁带等)的各种功率要求,还考虑了这些装置中为帮助大规模数据存储企业运行得更有效的各组件。
现在描述本发明的各例子。为彻底理解和使这些例子可实施,以下描述提供了具体的细节。业界技术人员能够理解,即使没有这些细节中的许多部分,该系统也可能被实施。另外,一些习知的结构或功能可能不会被进行详细地描述,以避免对各例子的相关描述造成不必要的干扰。
以下描述所采用的术语应被解释为合理的最大的范围,即使其被用于该系统的特定例子的详细描述中。以下,一些术语可能被特别强调,然而,任何意图以限定的方式被解释的术语将被明显地以及具体地在该详细描述中被如此定义。
合适的系统
图1A展示了一对功率敏感的总管理器或服务器100,其与建筑102以及可选的与建筑102相似的其他建筑114和116进行通信。建筑102可以包括环境组件104,工业组件106,至少一个数据处理设施108,以及辅助组件112。环境组件104可包括制热组件、制冷组件(比如空调)、减湿器等。工业组件可以是该建筑内的任何机械或装置,尤其是大功率装置,比如工业干燥机、加热器、电解装置等。辅助组件可包括任何对该建筑内的操作不太重要或不太关键的耗能装置,比如装饰用灯、喷泉等。如此处所解释,总系统管理器100可分析历史数据并产生预测数据,通过关闭建筑102内各组件或系统元件,或降低各组件或系统元件的能耗,以为建筑102节能。
数据处理设施108可包括各种数据处理组件的任一种或多种,比如一个或以上服务器、电信组件、输入/输出组件等。为便于说明以下的例子,数据处理设施108包括至少一数据存储系统140,其包括各种数据存储装置的任一种或多种,比如一个或以上磁带驱动器,一个或以上磁盘驱动器等。
请参图1B,一框图展示了总系统服务器或管理器100,其可与一些不同的数据处理系统互动,比如数据存储系统140。(一些数据存储系统的例子将结合图3和图4进行讨论。)总管理器100可以包括一些组件,如总功率负载组件110、总命令或过滤组件120或其他总组件130,并与一索引数据库132连接以存储此处描述的数据。组件110、120和/或130接收、传送、监视或控制此处所描述的数据存储系统140中的数据处理和系统资源。进一步的,总管理器100可与该设施内其他数据处理组件互动,也可以与该建筑内或所述校园内的其他耗能组件互动。
如下所述,特别要提的是总负载组件110可(直接或间接)监视并收集建筑102内组件和装置的能耗数据,并可以产生该建筑内组件未来预期的功率要求。总过滤组件120允许总系统管理器100应用总节能命令于一个或以上建筑内的组件。
请参图2,一框图展示了具有两层(尽管可以有更多的层)的分级数据存储系统:存储操作层210和总层250。总层250可以包括总操作单元260(与总系统管理器100相似),其中,该总操作单元260可以包括总管理器100和数据库132。存储操作层210可包括存储操作单元,比如单元220和230。根据系统的需求,单元220和230可以一直执行指定的数据存储操作,或可执行不同的数据存储操作。这些单元是逻辑分组的组件,每一单元具有具体的功率要求和操作时间安排。每一单元可以是位于一个建筑内,也可以横跨多个建筑。一个单元可以与一个或更多其他单元共享硬件。进一步的,术语“单元”是用于表示任意规模的组件和/或操作分组,从运行于一个共享服务器的单个操作到一个远远大于该操作的数据处理和存储分组,该分组包括多个服务器、数据存储装置、网络装置以及多个利用这些装置的操作,所有这些都可以分布于不同的地方。也就是说,一个“单元”是一个数据存储操作所需的一个或多个组件和/或操作的组合。
单元220包括数据存储操作中所用的组件,比如存储管理器221、数据库222、客户223以及主存储数据库224。单元230可包括相似的组件,比如存储管理器231、数据库232、客户233以及主存储数据库234。在这个例子中,单元230还包括媒介主体(media agent)235和第二数据库236。单元220和230都与总管理器261通信,提供各自的与数据存储操作相关的信息。
请参图3,一框图展示了一存储操作单元的组件。根据单元的用途和系统的需求,存储操作单元(比如图2所示的单元220和230)可包括以下组件的部分或全部。例如,单元300包括存储管理器310、客户320、多个媒介主体330以及多个存储装置340。存储管理器310控制媒介主体330,其中,媒介主体330至少部分地负责传送数据至存储装置340。存储管理器310包括任务主体(jobs agent)311、管理主体(management agent)312、数据库313以及界面模块314。存储管理器310与客户320通信。客户320通过数据主体(data agent)321从数据存储322访问将被系统存储的数据。该系统利用媒介主体330传输并存储数据至存储装置340,其中,媒介主体330包括数据库331。如此处所描述,一个或多个存储装置340内的功率管理软件或固件342可监视对应装置的能耗,并向总管理器提供能耗数据。
单元300可包括用于数据存储操作的软件和/或硬件组件及模块。单元300可以是在数据存储操作中传输数据的传输单元。除了数据传输操作中所用的操作,单元300可以执行其他存储操作(或存储管理操作)。例如,单元300可以执行创建、存储、找回和/或转移主要和次要的数据拷贝。这些数据拷贝可包括快照拷贝(snapshot copies)、备份拷贝、HSM拷贝、存档拷贝(archive copies)、连续数据复制(CDR)、虚拟机器等等。单元300还可以执行存储管理功能,这些存储管理功能可将信息推至更高层的单元,包括总管理单元。注意:各单元中的各硬件组件具有不同的功率曲线,然而相似的装置或相似类别的装置可能具有相似的功率曲线(例如,基于特定的操作和其他因素,比如使用时间和环境条件等,同样的日立牌硬盘驱动器具有相似的功率曲线)。软件/固件342可为存储装置340存储这样的功率曲线或其他能耗性能数据。
在一些例子中,系统根据存储策略执行存储操作以节能、避免功率尖峰或达到之前规定的节能要求(比如对于建筑102)。一“存储策略”可以是,例如,一数据结构,其包括一组在存储操作中考虑的参数选择或其他标准。存储策略直接地或间接地与功率要求相关,并可决定或规定各种数据存储参数,如存储位置、组件之间的关系、网络通路、可用数据管道、保留规划(retention schemes)、压缩或加密要求、优选的组件、优选的存储装置或媒体等。也就是说,一个“存储策略”可以是与能耗相关的存储参数选择。如此处所述,一执行磁盘存储操作的时间表策略或时间表可以与存储策略相结合,以提供一总体的与能耗相关的存储参数选择。如此处所讨论,存储策略可存储于存储管理器310、221、231,或可存储于总管理器100。如此处所述,之前规定的节能要求或计划(“功率要求”)提供了总管理器100所采用以保证达到一定功率要求的参数,比如保证不发生高于一阈值的能耗尖峰,在一段给定时间内平均能耗低于一阈值,每月能耗花费低于阈值,如此等等。
另外或作为选择之一,该系统可实施或采用时间表策略。时间表策略指定什么时候执行存储操作,执行存储操作的频繁程度,和/或其他参数。如下所述,时间表策略允许总管理器100和/或存储管理器310来决定满足所述功率要求的最优的或接近最优的执行存储操作的时间。该时间表策略也可以规定子客户的使用,其中利用一个子客户存储一种数据(比如电子邮件数据),利用另外一个子客户存储另一种数据(比如数据库数据)。在这些例子中,与特定数据类型(电子邮件、数据库等等)相关的存储操作可被分配至不同的单元。进一步的,总管理器和/或存储管理器可在一窗口内执行存储操作,以满足功率要求,比如通过累积小的存储操作以减少启动驱动器的次数,或通过把一操作移至一预测到的该建筑内能耗较低的时间段。
请参图4,一框图展示了总单元和数据存储单元之间的互动。总管理器100可以与数据库132和用户界面410通信,并可包括总负载组件、总过滤组件以及被配置成根据接收到的数据存储信息和历史/预测的能源使用(power usage)制定行动的其他组件。数据库132可存储存储策略、时间表策略、历史/预测功率数据、接收到的样本数据、其他存储操作信息等。用户界面410可向管理员或用户显示系统信息。用户界面的其他细节将在下面进行讨论。
总管理器100可推送或发送数据至管理服务器440。服务器440与数据库445及客户451、452、453的一个或多个通信,并包括主体442。数据存储服务器430发送数据至总管理器100,并包括数据主体432和数据库435。从而,客户454、455和/或456与这些服务器通信,这些服务器形成了数据处理或数据存储企业的至少一部分。
总管理器100可执行行动(比如重分配存储操作),并通过管理服务器将这些行动应用于数据存储系统,以满足功率要求。总管理器100从数据存储服务器430接收用于决定这些行动的信息。在这个例子中,总管理器100在数据存储系统中作为枢纽(hub),发送信息以改变数据存储操作,并监视数据存储操作以决定如何改进这些操作和功率要求。另外,或作为选择之一,本地管理器109可执行一些或所有这些操作(请参图1)。
图13展示了与存储装置340相似的数据存储装置1302的一个例子,其提供改进的功率效率,并可被应用于,例如,如图3所示的系统300。数据存储装置1302包括原始的高速L1缓冲存储器(cache)1304,其可快速存储数据并将其传递给L2缓冲存储器1306,其中,缓冲存储器1306可以是固态闪存“盘”或其他写缓冲存储器。这样,在被传送至非易失性L2缓冲存储器1306之前,输入的数据被快速地并初始地存储或缓存于L1缓冲存储器1304。如此,在被写入磁盘/磁带1308之前,数据可以被累积在L2缓冲存储器1306内,L2缓冲存储器可以是便宜的传统的大容量存储装置。
控制器1310可执行块层虚拟化(block‑level virtualization),从而,L1缓冲存储器1304和L2缓冲存储器1306可以此处描述的同步/转移策略被映射至传统存储器,把启动一个或多个磁盘驱动器的各主轴马达(spindle motors)(或驱动磁带的马达)的需求最小化。这样,如下所述,控制器1310可直接控制一个或多个风扇马达1316和主轴马达1318以降低能耗。此外,存储装置1302还可与总系统管理器100或本地管理器109(通过通信装置1314)通信,使其可被远程控制。一个或多个传感器1320可监视,例如,数据存储装置1302内的温度。这些传感器还可监视数据存储装置内的其他操作,例如,收集有关读/写头使用马达的操作指标(metric)、磁带驱动器的搜索时间等等。接着,控制器1310可以通过通信装置把从这些传感器收集到的这些指标或其他数据传送给总管理器或本地管理器。(这些指标还可(例如,被管理器或控制器)用于产生这些被监视参数的统计数据。)能耗管理软件或固件342还可指示控制器1310收集数据存储装置1302内的这些传感数据和/或其他数据(例如,如此处所提到的功率曲线/性能),并将其报告给总系统管理器100或本地管理器109或两者(通过通信装置1314)。其他操作细节将在以下提供。
能耗报告及相应的行动
对数据存储操作和存储装置操作采样的报告或其他收集到的数据向总管理器100提供了有意义的信息。利用这些信息,总管理器100(通过负载组件110或其他类似组件)可决定将被执行的行动,以为该建筑或该等建筑节能。这些行动的部分内容可包括重新安排存储操作的时间表、重新分配数据存储操作、把操作从一个资源转移至另一资源、规定未来存储策略、设置总节能过滤器等等。
请参图5,一流程图展示了程序500,其提供了为总管理器或服务器准备的能源负荷报告的一个例子。在步骤510中,所述系统从运行中的数据存储操作采集能源负荷信息。例如,所述系统可采集转移任务的数量、等待任务的数量、特定媒介主体的数据流数量等等。部分或所有单元的主体可以被设置成收集并登录数据,这些数据被接着送出用于产生所述能源负荷报告。
各种硬件组件可提供这样的能源负荷信息,例如由数据存储装置所提供的能耗和操作数据。磁盘或磁带驱动器,例如装置1302,可在其固件342中包括要求该驱动器周期性地或根据请求信息提供该装置操作的相关信息的指令。这样的信息可以包括主轴转子和风扇被启动和关闭的时间和日期,以及其他操作被执行的时间和日期等。另外,或作为选择之一,该系统可通过一总线或通信端口(比如通用即插拔(UPP)的一部分)监视功率特性和操作,其被总系统管理器100用于制定节能决策。
其他监视装置和收集能源负荷数据的方法可以包括利用与网络组件连接的外部功率计量器收集装置操作和能源负荷数据并传送至本地管理器109和/或总系统管理器100。这些数据最好是精细的,处于针对具体装置组件(主轴马达、风扇马达、机械手操作等)的操作的层面,虽然它也可以在更粗的层面上被收集,例如整体装置或数据存储设施的总能耗。这样的数据可以利用已有的技术或本地公共设施来采集。通过对比一数据存储设施或一具体的装置所执行的任务或存储操作的时间表和外部获得的数据,例如来自公共设施的数据,该系统可以将装置/设施与能耗关联,以确定在一个特定的位置和/或一个特定的装置上发生的一个特定的数据存储操作消耗了多少能量。这样的能耗信息可以是很广的、很普通的数据,或可以被转换成该系统所采用的标准单位,例如能耗存储量(例如,兆瓦小时每GB)。总体而言,业界一般技术人员将意识到“能源负荷数据”、“能耗”等术语一般可交换使用。
另外,或选择之一,该系统可通过网络传送一个或多个测试包或测试文件,并将其存储于一给定数据存储装置,并使这些操作的指标被传回。例如,总系统管理器100可沿着不同的网络路径,在不同的单元或位置,传送1GB字节大小的测试文件至多个不同的数据存储资源(例如,不同的磁盘驱动器、磁带驱动器等),并要求回馈适当的指标数据。接着,总系统管理器100接收有关完成该操作需要多长时间,完成该操作的功率要求等指标。然后,这些数据可被存储于索引数据库132(和/或其他数据库)以帮助估计未来数据存储操作的功率要求。这些未来的操作可被适当地缩放。虽然不够精确,如果一个任务被简单地放大,一个100GB的任务将消耗一个1GB任务100倍(实际上会更少),那么这就是一个好的估计。申请人于2005年11月7日申请,标题为“监视存储网络的方法和系统”的美国专利第11/269,513号提供了一个包括传送一个测试包或文件以确定数据存储资源性能的过程的更多细节的例子。
在步骤520中,该系统产生包含部分或所有采集获得信息的报告。该报告可包含采样获得的信息,或可提供分析或利用算法针对采样获得的信息产生的信息。例如,该系统可获得一定数据,并针对这些数据执行特定的统计分析,例如确定一平均值(mean)和/或标准偏差。再者,该系统可收集各数据存储组件的能耗信息和安排好的未来的或预见的数据存储任务的信息,以预测未来能耗。
在步骤530中,该系统把报告发送给总管理器100。该报告可跟踪使用和与该使用相关的文件或操作。实际上,如此处所述,该系统可利用数据分类技术(和相关数据或软件主体)来监视数据存储操作,然后,这些操作可以与能源负荷信息比较,以跟踪和管理每一数据存储操作的能耗,甚至细化到单个文件或客户计算机的层面。该数据分类主体可收集并创建能源使用索引,并将这些使用与具体的装置、被管理/存储的文件等关联。另外,或选择之一,运行于一个或多个客户计算机451‑456的软件主体可提供这样的数据给总系统管理器。进一步的,数据处理装置(例如存储装置340)本身可提供这样的数据给总系统管理器。
总的来说,可利用于2006年11月28日申请的美国专利申请第11/564,180号标题为“存储网络中分类和传送信息的系统和方法”,并于2007年8月30日公开的美国专利公开第2007‑0203938号所描述的技术,以软件主体来执行并按索引存储此处收集到数据的相当一部分。在该专利申请所描述的技术下,这些主体可收集与能耗相关的数据以供总管理器100使用。这些主体可收集与能耗和相关参数有关的元数据,并将其做成索引,其中,相关参数包括存取一个文件或存储装置的频率以及一个文件与其他文件之间的关系(特别是关于特定的存储操作,比如那些作为常规存储策略一部分的定期执行的操作)。这些主体不仅可收集各组件本身的能源使用信息,还可以收集额外的信息,比如部门、建筑、工作组以及其他数据处理组件集合体(包括数据存储组件)的能源使用信息。以下将更详细地描述,该系统可结合可由第三方数据源收集获得的数据(如能源价格、天气预测或其他数据)和这些数据,来决定如何最佳地分配资源以及执行数据处理操作。
能源负载报告可以是综合的报告,覆盖整个系统或企业。该报告可从在该总管理器控制下的任何或所有建筑内的所有单元和存储系统采集信息。该能源负荷报告还可覆盖任何存储单元、组件和/或系统的组合。该能源负荷报告可为组织提供转移数据的成本。通常可基于文件大小整理文件,该系统还可提供与每一文件相关的能耗大小,可帮助确定移动或存储该数据的能耗成本。该“能耗大小”指标可被绑定于该存储策略以帮助管理该数据。如此,就一特定能耗大小阈值,该系统可针对数据采用更多节能技术。一些数据,比如财务或销售数据,可能具有高优先级并可能较不易受能耗大小指标的影响。也就是说,这些数据对一个组织可能是重要的,从而不管要求多少能耗都必须被拷贝、管理或移动。然而,其他不太重要的数据,比如日常邮件、老的数据等,可以更易受节能数据管理的影响,这样,在针对这些数据的存储策略中,能耗大小指标将发挥更大的作用。也就是说,该系统可能结合其他数据,比如该文件的优先级,分析与一文件相关的能耗,并确定分析获得的指标或值是否超过一阈值。如果是,那么该系统可执行一存储策略或节能操作(如以下对图14的描述)。当然,不同组织之间,以及同一组织内的不同组之间,数据的相对优先级和任何相关的存储策略都有可能不同。
该系统可以就存储特定数据需要多少能量提供回馈。例如,一系统管理员可确定每周被拷贝一次的同一大数据库具有变化的能耗指标。(这个例子可同样应用于两个或更多具有相似特征的文件,比如基于文件大小、每MB能耗等,其中,相似性可位于一特定的标准偏差范围内。)接着,还是从该报告,该管理员可确定能耗的差异与数据量大小无关,而与被采用的特定网络组件、数据类型、执行的程序等相关。这样,该管理员可修改针对该数据库的存储策略,以采用更节能的数据存储组件或程序。另外,或选择之一,该管理员可识别在该企业中哪些网络组件、数据存储组件或其他组件是不节能的,并寻求以更节能的组件替换那些组件。进一步的,该系统可自行自动地执行或向管理员建议将小数据存储任务分组,分配任务以避免活动高峰等的计划。该系统还可切换以采用更多不同的资源。可以利用已知的技术来做到这点,比如贝叶斯检验(Baysian testing),或通过实验检验以半自动化实现。
图6展示了一流程图,该流程图展示了执行基于所述能源负荷报告的一节能行动的程序600。在步骤610中,所述系统接收所述包含有关功率和数据存储操作信息的能源负荷报告。所述系统可接收另外三个报告的任意一个,比如以下三个例子(每一个例子在下面进行详述):(1)提供未来将执行的操作的信息的报告(具有或不具有能耗预测数据),(2)提供执行中的操作的信息的报告(例如在一给定单元中已完成、执行中以及等待中的操作数量),或(3)提供已完成操作的信息的报告(比如前一晚的操作的信息)。
接收到一个或多个报告后,在步骤620中,根据接收到的报告,所述系统决定将执行的行动。请参图7A,展示了一流程图,该流程图展示了决定一合适的节能行动的流程700。在步骤710中,所述系统接收一基于数据存储操作的报告。在步骤720中,该系统将该报告中的信息与功率要求及一个或多个其他信息进行比较,比如数据存储组件的能耗曲线。
考虑包含未来数据存储操作的所述第一个报告(1),所述系统(例如,总管理器100)分析未来任务的时间表,并比较那些任务与在那些任务中将被采用的数据存储装置的功率曲线和一个或以上功率要求。另外,或选择之一,该系统可查询该系统中千瓦每GB的平均能耗参数,例如从总系统管理器100的索引数据库132中的一个表中查询。这样的表可提供用于有关节能网络和数据存储组件的报告和决策的简单的、粗略的指标(尤其是当较精确的指标无法获得或计算过于繁杂)。若该报告缺少核心测试数据,那么总管理器100可决定采用那个节能行动来找回或产生系统的预测数据。例如,如下所述,能耗集中的任务可被分组并分配以满足功率要求。例如,如果功率要求是避免尖峰超过一给定阈值(例如,保持一可用的总功率水平),这样能耗集中型任务可被分配给各单元,从而没有单元会产生功率尖峰。
另外,或选择之一,两个或以上任务可被分为一组以保证功率要求低于一阈值(例如,一10千字节的小数据存储任务与一较大的4G字节任务分为一组,这样一个驱动器只需被启动一次即可)。在安排任务时,所述系统可考虑该建筑内的其他因素,比如把任务安排在空调或暖气运行于更节能的模式时,这样,该建筑内的其余功率可用于数据存储操作。该建筑内的一些装置甚至可被周期性地关闭,比如辅助组件112,以符合所述能耗要求。例如,总管理器可调整环境组件或工业组件以从这些组件节约功率,并将这些功率用于数据存储组件。选择之一,因为关键数据存储操作可能比较重要,所述总管理器可调节一数据中心内的空调以加强散热,从而保证该重要数据存储操作以低错误率执行。或者关闭(或将温控器调高)该建筑或校园内其他区域的空调以补偿所述数据中心增加的功率需求。
为提供运行中操作的报告(2),所述总系统管理器可监视运行中的操作并作出必要调整。例如,由于意外的热天气导致该建筑内更大的制冷功率需求,当前数据存储操作的功率要求可接近一给定阈值。因此,一些数据存储任务可被延迟至其他日子。灵活地或动态地在时间表中移动任务的进一步的细节可参申请人的另一美国专利申请,标题为“数据保护安排,例如在数据系统中提供灵活的后备窗口”,该申请于2008年6月18日提交,申请号为12/141,776。
根据已完成操作的报告(3),所述系统可采用这些数据来帮助产生更好的能耗预测,从而提供更好的未来节能决定。例如,该建筑可能已经被翻修或做过隔热处理,使得之前预计的制热或制冷功率要求不同,从而使得额外的功率资源被释放出来可用于未来数据存储任务。
另外,或选择之一,该系统可采用这些数据来帮助更好地预测未来系统组件的使用,从而反映出未来功率要求。总的来说,当词语“报告”在此处被使用时,其意图在于表示所述系统可采用以帮助报告未来行动或执行后续步骤的任何数据或指标。如此,这些报告不仅可包括提供给管理员的打印的或显示的报告,还包括提供给总系统管理器100或本地管理器109或由其所采用的命令或数据结构,从而该管理器可以合适的方式自动回应以管理并作出节能决策。
在步骤730中,所述系统可决定一将被执行的节能行动,接着程序700结束。请再参图6的步骤620,该系统根据图7A所描述的比较决定一行动,并执行步骤630。
请参图7B,展示了一流程图,该流程图展示了执行一节能行动的程序740。在步骤750中,所述系统决定将被执行的行动。在步骤760中,该系统检查存储操作的需求和功率要求。例如,该系统接收信息,其指示一给定单元的一数据存储操作将不能及时完成并且将达到一能耗阈值(因为该建筑内的其他组件意外地吸取了更多功率)。例如,总系统管理器100可在索引数据库132存储一将被执行的任务的时间表以及完成这些任务的时间的估计和/或完成这些任务的可用的后备窗口。该管理器可检测到该后备窗口接近结束,但在一给定单元仍有一个或以上任务在将被执行的行列中。此外,该管理器可获得有关这些组件能源使用的能耗反馈数据,或在更粗的程度上,简单地从该单元内的一个地址或建筑接收能耗数据,以辨认一功率阈值可能被超越。(另外,或选择之一,该管理器可使用给定装置,给定数据存储操作等的估计能耗索引或表。)
在步骤770中,所述系统执行决定的行动。在该例子中,为了把功率卸至另一具有较大功率容量的建筑,或为了在达到阈值之前创建缓冲,该系统可将一些等待的任务从一个单元转移至另一建筑的另一单元,在那里完成这些数据存储操作。在其他的例子中,该系统可在预定的下一数据存储操作之前执行修改或重分配系统资源的行动。另外,或选择之一,在需要时,该系统可关闭电源,调节温控器,或以其他方式释放该建筑内的额外功率。
请参图8,展示了一流程图,该流程图展示了重分配存储任务的程序800。程序800展示了根据负荷统计采样,重新分配负荷的一个例子。在步骤810中,该系统从存储操作所使用的单元采集任务信息。该系统可从所述负载报告获得该信息。在步骤820中,该系统为每一单元规定任务利用因子(job usage factor)。任务利用因子可以是表示数据存储装置、网络装置、系统资源、单元等在该企业中被使用的频率的指标,例如,可被执行的任务的总数量与在后备窗口中执行的任务数量之间的关系。在步骤830中,该系统对比每一单元的任务利用因子,并决定对这些单元的分配规划。该系统可根据从这些单元获得的历史数据,特定装置的制造商数据等,确定单元或驱动器的功率或能源负荷要求。
例如,在日常数据存储操作中使用的两个单元:单元A和单元B。该系统从每一单元接收报告,展示一定数量的采样期间的任务利用因子。在该例子中,这些报告展示单元A的任务利用因子为40%(5个任务中有2个在运行中),单元B的任务利用因子为100%(所有5个任务都在运行中)。基于这些统计,该系统可确定单元B可处理的任务数量是单元A的2.5倍。此外,单元B可能会比单元A产生更多热量,这不仅会导致单元B中驱动器和资源的更严重的老化,还会导致单元B功率要求的增加,因为单元B中驱动和资源的操作效率越低,单元B对制冷的需求就越大等,而这些都将增加单元B对功率的需求。通过把任务转移至单元A,单元B对功率的要求就被降低了。
请再参图8,程序800执行步骤840,重分配或重安排利用单元A和单元B的未来存储操作任务。例如,如果下一日常数据存储是转移140MB数据,该系统将100MB数据传送给单元B,将40MB数据传送给单元A。
在一些例子中,管理员可设置所述系统采集的信息的类型。该系统的管理员或开发者可根据他们的需要定义数学模型。另外,该系统可利用这些数学模型产生有关各种数据传送或其他存储活动的报告。该系统不仅可收集此处所描述的这些数据,还可收集各种其他在预测或节能应用中有用的参数,比如该建筑内各房间内的温度,天气数据,温控器设定值数据,计划的工业组件106的操作,计划的环境组件104的使用,建筑运营数据(例如节假日、工作人员换班时间等),以往忙碌(和能耗集中)时间等。该信息被该系统用于决定当前或安排好的数据存储操作是否低于设定的功率要求。如果不是,该系统重新安排那些可被重新安排的数据存储操作,调整该建筑内其他组件的运转状态,和/或执行其他此处所描述的或业界一般技术人员所知的行动。
如此处所提到的,所述总管理器部分地根据数据存储组件的已知的性能执行节能行动。图11展示了一些适用于一些数据存储组件的不同的功率曲线的一个例子。例如,功率曲线1110显示该组件具有相对较低的功率要求直至时间t1,在这个时间点之后功率随时间变化的速度上升更快。在知道这个情况的前提下,该总管理器可试图节能并操作与功率曲线1110相关联的该装置直至时间t1,因为过了该时间点,该装置的功率要求上升比较显著。同样的,一第二装置可具有与曲线1120相似的功率曲线,其中功率很小,但接着开始上升并达到一渐进值(asymptotic value)。通过在t2和t3之间的窗口内,并优选在t3之前,关闭该装置,该系统可实现节能。
其他功率曲线当然是可能的。例如,另一装置,比如一磁带驱动器,在启动时可具有显著的初始的功率要求,但之后的功率要求相对平稳(曲线1130)。因此,该系统可希望只有当一分配给所述装置的任务超过时间限值t4时才启动该装置。从节能方面考虑,任何持续时间小于所述时间限值的任务都不合理,所以分配给该装置的任务应被提供给其他正在运转中的装置或重新安排该任务至出现其他任务使得累计的时间超过t4。
一些装置可具有更线性的功率曲线如曲线1140,在该情况下所述系统可设立一功率阈值P1,这样该装置只被打开一段时间直至达到功率阈值P1,接着,该装置被关闭,其他装置被采用。总的来说,了解所有单元中这些装置的各种曲线,并且具备在装置和单元之间转移任务的灵活性,相比仅仅专注于一个硬件,所述总管理器可以实现更高效的节能。所述索引数据库132(和/或本地管理器109)可存储这些功率曲线、以及包括这些曲线相关数据点的存储表,或两者。当然,这些功率曲线仅仅是该系统所采用以实现更高效的节能的众多能耗特性之一。其他特性可包括这些装置的地理位置,这些地点周期性的(比如每月)能耗花费,预测到的这些地区的天气,预期的系统负载要求(例如,安排好的将被执行的数据存储任务)等等。在决定完成一数据存储操作或任务的时间时,该系统不仅可考虑该任务的总量(比如以MB或GB计算),还可考虑指定或要求执行该任务的组件的数据处理速度(例如,MB/秒)。这些特性可包括此处所描述的任何指标或变量,或其他数据。
请参图14,收集能源相关数据和做出动态的和智能化的数据处理决策的程序1400从框1410开始,此时系统接收能源成本。例如,该系统可收集该企业各地点的当前和/或预测的能源成本,其可包括布置有分布于国内或国际的,通过一个或以上网络连接的这些数据处理组件的其他国家和城市的能源成本。该系统还可从第三方数据来源收集其他能源相关数据,比如指定的该企业各地点的当前或预测的天气。
在框1420中,该系统规定或收集有关未来数据处理任务的数据。例如,如此处所提到的,该系统可收集关于定期执行的后续数据拷贝任务的数据(例如,每月最后一个周末执行的全备份)。这些收集到的数据还可包括其他在此处提到的信息,比如将被拷贝的总数据量(例如数百GB),每MB的能源成本(例如W/秒/MB),与数据处理装置相关的能源分布数据(energy profile data)(比如图13的系统所提供的数据)等等。
在框1430中,该系统计算将任务重新分配至不同地点和/或不同数据处理资源的成本差异。也就是说,该系统针对每一数据处理任务(或给定时间、能源成本或尺寸阈值的每一任务)计算成本,以帮助决定该任务是否应该按计划执行或移至其他地方执行。例如,如果能源成本足够低以及其他因素允许,该企业每月执行一次的大规模全备份最好在一个低能源成本的地区处理(甚至在其他国家的数据存储地点)。其他因素可包括数据可能丢失的风险因素,可能错过一备份窗口的因素等等。如果计算获得的成本差异超过一阈值(框1435),那么该任务被分配到一个更低成本的地点和/或更低成本的资源(框1450),否则该任务用现有的资源处理(框1340)。另外,或选择之一,如果计算获得的成本超过所述阈值,该系统可对所述任务分配不同的存储策略(框1450),或与已有的或默认的或其他策略相联系(框1440)。当该例子提及数据存储任务,可用该程序考虑或管理该企业内的任何其他数据处理任务或其他数据操作。
如上所述,所述系统利用所述总管理器或服务器为整个系统设置策略。例如,请再参图2,可以在存储操作层210的单元220和230中设置许多不同的存储和/或安排策略。对于两个单元均采用的策略,该系统可由总管理器261在总层250上设置这些策略(或过滤程序)。在这些例子中,该系统把这些过滤程序传送给更低层存储单元。该系统可把统一设置的过滤程序发送至一个单元,选中的一些单元,或一数据存储系统的所有单元。
请参图9,展示了一流程图,该流程图展示了设置总过滤器的程序900。在步骤910中,系统管理员或来自所述系统的信息规定一总策略,比如调节建筑102节能的存储策略或时间表安排策略。在一些例子中,该系统可利用由上述报告确定的信息来确定过滤器。另外,或选择之一,该系统可利用其他信息来确定该过滤器,比如当前或预测的天气条件,其指示高温天气可能要求比预期更高的空调功率要求。该系统可在算法上把温度和内部条件与千瓦每GB等相关联。该系统提供了该设施、工厂、校园、建筑、企业或其他层面的环境条件的总体考量,以及数据容量和其他要求的考量。当使用术语“过滤器”时,任何参数都可被采用。
在步骤920中,该系统选择在何处执行或推行该过滤器。在一些例子中,该系统向该系统内的所有单元推行该过滤器。在一些例子中,该系统选择一合适的单元子集,向该单元子集推行该过滤器。在步骤930中,在完成单元的选择(或自动的预定的选择所有单元)后,该系统向选中的单元推行所述过滤器。
这样,所述系统可在很多服务器(几十或几百个)上规定节能策略,而无需分别在每一服务器上设置。策略的例子包括存储策略、时间表安排策略、子客户策略和其他此处所提及的以节能为目的的策略和行动。在存储操作(如此处所描述的)过程中或之后,过滤器和策略可在单元层或总层被修改并被重新采用。例如,该系统可利用能源负载报告设置一重分配一存储操作的资源的策略,并可利用总过滤器执行该策略。该系统可采用加权节点建模树(weighednode modeling tree)为该系统中的每一能源消费者建立实体模型。
如上所述,所述系统可把数据存储装置组织成两个或以上能效或能耗分级,使得一个分级包括高能效装置,比如固态存储器(包括闪速存储器),至少一个第二分级包括高能耗装置,比如自动磁带存储库。该系统可把整个数据存储企业的这些分级建立模型或显示出来。该系统可提供网络装置和资源的拓扑结构,并带有每一组件的能耗指标,这些组件不仅包括所述数据存储组件(磁盘驱动器、磁带驱动器等),还包括其他系统组件,包括网络组件(路由器、交换机、集线器等)。这样的拓扑结构可建立以下模型:网络通路,该企业内硬件的分级,以及从这些硬件(或硬件上的操作)产生的回报指标。
如此,通过在分级内把数据存储组件分类,所述总系统管理器100可管理不同分级内的数据存储资源以降低能耗。该管理器最初可自动分配和转移或传送数据至能效高的存储装置(固态、RAM盘等),尽量减少对数据存储装置和其他分级(比如磁盘)(比如硬盘塔(JBOD)或磁带等)的访问。
该系统可提供与该企业的一部分或所有,或该分布的总体相关的单一的功率考量或指标,从而可以向用户展示一单一值来表示该企业(或该企业内一组件子集)内的总体能耗。这样的单一考量可以由速度计或燃料计量器有效地展示该企业内即刻的能耗(而其他指标可提供该企业能耗随时间的曲线图或柱状图)。有关获得统一的系统考量和相关值的过程的更多细节请参申请人的标题为“产生存储相关指标的系统和方法”,于2008年3月18日公告的美国专利第7,346,751号,标题为“提供存储信息的统一考量的分级系统和方法”,于2008年3月11日公告的美国专利第7,343,453号,以及标题为“存储建模和成本分析系统及方法”,于2008年3月11日公告的美国专利第7,343,356号。
图10展示了用户界面屏幕1000的一个例子,该用户界面允许管理员或用户观看或调整系统参数,包括调整存储策略、时间表安排策略或其他影响系统能耗的策略。图10所示的屏幕可以任何方式实现,比如C++,或以XML(可扩展标记语言)、HDML(超文本标记语言)编写的网页,或以其他创造可视数据的脚本或方法,比如无线接入协议(WAP)。该屏幕或网页提供了展示信息和接收输入数据的设施,比如一个具有可填写区域的表格或页面,下拉菜单或条目以允许选择一个或多个选项,按钮,游标(sliders),超文本链接,或其他已知的接收用户输入的用户界面工具。当以网页来实现,这些屏幕被存储为显示描述,图形化用户界面,或以其他在计算机屏幕上显示信息的方法(例如,命令、链接、色彩、布局、尺寸及相对位置等)显示,其中,将被显示于所述页面的布局和信息或内容被存储于一数据库,该数据库一般与一服务器连接。在展示和描述了一些向用户显示信息的方法后,业界一般技术人员将意识到可采用其他替代方法。术语“屏幕”、“网页”和“页面”在此处可相替换。此处所提及的“显示描述”是指任何在计算机屏幕上以上述提及的格式或其他格式自动显示信息的方法,这些格式包括电子邮件或基于字幕/代码的格式,基于算法的格式(例如产生的向量),或阵列或位图格式。
单元下拉菜单1010允许用户选择该数据存储系统中的一个单元,并将相关的资源显示于框1012内。作为选择,该用户可从下拉菜单1025选择一个或以上建筑,并将相关资源显示于框1020内。如图所示,单元A被选中,其包括磁带驱动器1,磁带驱动器2,磁盘驱动器1,磁盘驱动器2,以及其他未显示的资源。在此,在框1020中磁带驱动器2被重点突出,该驱动器的细节则被显示于框1030内,比如该驱动器当前的负荷,总共使用的时间,启动该驱动器的功率要求,热量输出,与该驱动器相关的历史数据等等。通过选择框1030中显示的任何一个项目,一个弹出窗口将被显示以提供这些项目的进一步信息。
屏幕1000还允许管理员制定功率要求。功率要求下拉菜单1040允许管理员选择之前规定的功率要求的一个(或创建新的功率要求),而随后的细节则展示于框1050内。如图所示,功率要求A具有一平均功率阈值,为避免功率尖峰的功率峰值管理的细节,活动的时间表,日或月平均能耗,该功率要求的历史表现等等。通过选择框1050中所显示的任一项目,一弹出窗口(未显示)将被显示以提供选中项目的进一步信息,并允许管理员进行适当的调整。总的来说,任何这样的弹出窗口都允许管理员修改被显示的项目。
通过下拉菜单或日历1060选择一天,管理员还可查看或调整数据存储任务的时间安排,以及其他组件的能耗,这将使得当天发生的节能操作的细节被显示在框1070内。如图所示,在日子1,任务1‑n将被执行。通过选择这些任务的任何一个,其细节将被提供在一个弹出窗口(未显示)内。类似的,通过选择“HVAC时间表”、“工业组件时间表”、“辅助组件时间表”或其他时间表,管理员还可选择显示在那一天将被执行的其他节能操作。
过滤器部分包括下拉菜单1080,如此处所提及的,其允许管理员选择一个或以上可被应用于包括两个或以上单元的组的节能过滤器、参数等。用户界面屏幕1000只是一个例子,如业界技术人员所能理解的,还可提供很多其他选择或调整。的确,一个初始屏幕(未显示)可向管理员提供两个选择。第一个选择可以是允许该管理员管理一些或所有与节能相关的参数,比如如屏幕1000所示的选项。第二个选择可以只是一个简单的复选框、按钮或其它用户界面元件,允许该管理员简单地使该系统在该企业内执行数据存储操作时,执行存储策略时,或执行其他数据存储操作时自动地考虑节能。这样,这里所描述的系统就既灵活,允许管理员操作任何参数,又简单,提供了简单的自动的选择,其中,由该系统优化数据转移和存储操作以降低功率。这样,该系统的操作既可灵活又可简单。进一步的,该系统无需提供屏幕1000所显示的所有选项,但可向管理员提供这些选择的子集,也可提供额外的选择。
图12展示了日子1的任务和相关单元的时间表。除了装置的功率要求和能耗/曲线数据,该系统可根据包括任务大小、安排窗口和其他数据的其他因素为任务排优先顺序。(其他数据可包括将被执行的任务的类型(比如快照、全备份、逐渐备份等)或其他可通过此处所描述的数据分类而获得的数据)。如图所示,任务1被置于单元A的第一优先顺序或位置,因为它没有可用的窗口;它必须在日子1被执行。也就是说,任务1是一个高优先级任务,必须按排定的时间完成。类似的,较小的任务6被排在第二位。该系统把任务4排在第三位,因为它具有4天的窗口,但已经在该窗口的第三天了(例如该任务已经被后推了两天)。
任务2排第四位(在其窗口内的开始两天),而任务3与其合并。注意,任务3原先被分配给单元B,但又被重新分配给单元A。这可能是由于单元B跨越建筑1和建筑2,而建筑2内的功率要求可能使得系统倾向于把任务3转移至另一单元。任务5和任务7当前具有“保持”或“H”状态。例如,任务5是一个小任务(15MB),在建筑2内(其可能有其他功率限制),并且刚刚在其5天可用窗口的第一天。在另一方面,任务7是一个跨越建筑1和2的大任务(30GB),并且刚刚在其5天窗口的第一天。任务7很可能是将被在多个单元间分配的候选者,而任务5可被简单地与其他任务合并。如此处所提及,该系统当然可随着功率要求的改变而动态地改变任务。
如以上详细描述可见,所述系统采用了一基于软件的节能方法,与依赖各硬件组件相区别。因为各单元是资源的逻辑分组,包括硬件资源,这样的逻辑分组可根据需要被改变或重新定义。进一步的,为达到所述预定的节能策略,额外的硬件资源可被加入一单元或从该单元去除,而该系统可快速地甚至自动地补偿这些改变。该系统不是简单地基于成本/速度来管理数据存储,而是基于成本/能耗来管理。
其他系统改进
所述系统可监视并控制(直接地或间接地)数据存储装置内的组件的操作。例如,对于一磁盘驱动器,该系统可命令该磁盘驱动器内的主轴马达带动一磁盘旋转,这将比该马达稳态操作消耗更多功率。因为知道存在一些滞后,该系统可命令磁盘驱动器不停止所述马达,除非在N分钟内仍然没有活动。另外,或选择之一,可采用更复杂的启发式算法以帮助减少启动磁盘旋转的次数(通过向主轴马达供电)。为减少启动磁盘旋转次数,该系统可缓存数据并包括写缓存与读缓存,这可以任意数量的固态、非易失性阵列实现,比如电池供电的随机存取存储器、闪速存储器等。当然,缓存的容量必须足够大以保证数据不丢失。
所述系统降低访问物理盘的频率,并且在可能的情况下,读/写请求被缓存并累积,以把这些请求集中于一个磁盘,只要求启动一个主轴马达。对于写文件至闪速存储器或其它非易失性存储器缓存,该系统可采用日志结构文件系统,这可进一步减少磁盘搜寻,从而进一步降低能耗。这可以最大化物理的和时序的参照局部性(locality of references)。日志结构文件系统可消除对磁盘的随机存取方式,并允许磁盘控制器(或逻辑卷管理器(LVM))控制读特别是写操作在该磁盘上的分配。另外,或选择之一,该系统可采用虚拟化,这样,与块层(block‑level)虚拟化相当的虚拟化可被该系统执行。
如此处所提及,所述系统可根据功率效率或能耗对数据存储或其他系统组件进行分类或分级。又如此处所提及,一些装置可能具有与其他类似装置不同的功率分布。这种区别的一个例子可以是具有不同磁盘尺寸的磁盘驱动器。如果所有磁盘和读/写操作被连续执行,大磁盘的每存储单位功率效率可能更高。然而,在拥有充分缓存和RAID型(redundant arrays of in‑extensive disks)的数据分配中,小直径磁盘可能更合适。具有横跨一组磁盘的随机存取方式,对于大直径磁盘,任意给定的输入/出请求命中该磁盘的可能性更高(具有更多“表面积”),因为对于甚至最低层的与该磁盘的数据交换(比如读/写),所有磁盘可能被要求在线。对于更小直径的磁盘,任一磁盘被需要的可能性成比例地降低,但在另一方面,对该磁盘累积操作或“分批”输入/出操作的必要性降低(把参照定位至磁盘各部分)。
另外,或选择之一,通过采用冗余,所述系统可加强物理的参照局部性(locality ofreferences)。利用已有的原本为数据保护设计的复制策略(例如RAID 0+1),该系统可增加被一操作所要求的下一个块(或拷贝该块)正好位于一近期被访问过的磁盘(作为相关主轴马达)的可能性。冗余拷贝很浪费磁盘空间,但该系统最重要的考量是降低能耗,那么这样折中是值得的。
另外或选择之一,该系统可进一步优化数据存储装置内的风扇马达的操作。例如,所述总系统管理器、本地管理器或其他系统组件可根据位于磁盘机壳内或磁盘驱动器内其他位置的一温度传感器的反馈让风扇启动或关闭。旋转的磁盘将要求更多的冷却,因此冷却功率与磁盘访问有关。如此,把磁盘访问定位至最小组主轴就定位了对冷却和冷却功率的要求,从而不仅减小了选择地操作主轴马达的需要,还减小了选择地操作风扇马达的需要。从监视磁盘操作、实证检验等返回的制造商数据可帮助进一步制定这些驱动器和这些驱动器内的组件(比如,一些驱动器利用单一较大的风扇和马达可能操作更有效,而另一驱动器则利用多个较小的马达和风扇操作更有效)的优化方案。
大规模数据存储企业,比如拥有企业级磁盘阵列、附网存储(NAS)系统、多个数据存储磁带库等,可以有显著的机会为此处所描述的系统实施节能方案。例如,这样的大型企业系统允许该系统集中降低由不被经常存取的数据和不被经常访问的数据存储装置所消耗的能量。进一步的,通过分析由该系统产生的报告,该总系统管理器100可分辨出倾向于集中或聚集于特定资源的,顺着组织的或管理的组,周期性地出现于特定备份安排附近等的数据存取方式。例如,该管理器可识别出统一项目或工作组的成员更愿意共享同一数据库或文件系统。这样,该系统可把数据存储资源按组织域分区,以改进或集中/累积数据缓存。事实上,此处所描述的很多操作不仅提供了降低能耗的方法,还把活跃的用户数据集中于更小数量的驱动器,以减小未使用驱动器的数量或磁盘/存储容量,这可帮助一个组织减少所需的数据存储资源。
结论
此处所描述的系统和模组可以包括适用于此处所描述的目的的软件、固件、硬件或软件、固件、硬件的任意组合。软件和其他模组可位于服务器、工作站、个人计算机、计算机式板(computerized tablets)、个人数字助理及适用于此处所述目的的其他装置。换言之,此处所描述的软件和其他模组可被一通用计算机所执行,比如服务器计算机、无线装置或个人计算机。业界技术人员将意识到本发明的各方面可用其他通信、数据处理或计算系统配置来实施,包括:英特网装置、手持装置(包括个人数字助理(PDAs))、可穿戴计算机、各种移动电话、多处理器系统、基于微处理器或可编程消费电子产品、机顶盒、网络个人计算机、微型计算机、大型计算机等。事实上,术语“计算机”、“服务器”、“主机”、“主机系统”等在此处通常可互换,是指以上任意装置和系统,或任意数据处理器。进一步的,本发明的各方面可在一特殊目的计算机或数据处理器中具体化,该计算机或数据处理器被特别编程、设置或组建以执行此处所详细解释的一个或多个计算机可执行指令。
软件和其他模组可通过本地存储器、网络、浏览器或有关动态服务网页(ASP)的其他应用,或适于此处所述目的的其他手段被访问。该技术的例子还可以在分布式的计算环境内实施,其中,任务或模组被远程处理装置所执行,这些装置通过通信网络,比如局域网(LAN)、宽域网(WAN)或英特网操作。在分布式的计算环境内,程序模组既可以被放置于本地存储装置还可以被放置于远程存储装置。此处所述的数据结构可包括适于此处所述目的的计算机文件、变量、编程阵列、编程结构或任何电子信息存储方案或方法,或它们的任意组合。此处所描述的用户界面元件可包括来自图形用户界面、命令行界面、以及适于此处所述目的的其他界面的元件。如业界所知,此处所展示和描述的屏摄可以被不同地显示以输入、访问、改变、操作、修改、更改以及工作信息。
该技术的一些例子可被存储于或分布于实际的计算机可读的媒介,包括磁或光可读的计算机盘、硬连线或预编程芯片(比如EEPROM半导体芯片)、纳米科技存储器、生物技术存储器或其它数据存储媒介。计算机执行的指令、数据结构、屏幕显示以及本发明各方面的其他数据可通过在传播媒介(例如电磁波、声波等)上被传播的信号在一段时间内被分布于英特网或其他网络(包括无线网络),或可被提供于任何模拟或数字网络(分组交换、电路交换或其他方案)。
除非上下文非常清楚地要求,否则该描述和权利要求中的词“包括”(comprise)、“包括”(comprising)等是以包括的方式来解释,而不是以排他或穷举的方式,也就是说,以“包括,但不限于”的方式。如此处所用,词“连接”(connected)、“连接”(coupled)或其他替换者,表示两个或更多元件之间任意方式的连接,直接的或间接的。这些元件之间的连接可以是物理的、逻辑的或其组合。另外,词“此处”(herein)、“以上”、“以下”以及类似意义的词,被用于本申请中,是指本申请的整体,而不是本申请的特定部分。在上下文允许的地方,在以上详细描述中单数或复数的词还可分别包括复数和单数。词“或”用于两个或更多项目的清单时,涵盖所有该词的解释:该清单中的任意项目、该清单中的所有项目以及该清单中项目的任意组合。
以上对所述技术的例子的详细描述并非穷举式,也无意将本发明限制于以上所揭露的形式。业界技术人员将意识到,虽然为展示目的,描述了本发明的以上实施例和例子,各种等同的修改也可能属于本发明的范围。例如,虽然某些操作和框以某一给定顺序被展示,替代的实施例可以不同的顺序执行带有步骤的程序或采用带有框的系统,并且一些操作或框可被删除、移动、增加、分割、合并和/或修改以提供替代物或子组合(subcombinations)。这些操作或框的每一个可以不同的方式被实施。还有,虽然在一些时候操作和框被展示为按序列执行,这些操作或框还可被平行地执行,或在不同的时间被执行。
此处所提供的对所述技术的教示可被应用于其他系统,而并非必须用于以上所描述的系统。以上所描述的各实施例的元件和动作可被组合以提供更多的例子。以上所提及的任何专利、专利申请及其他参考信息,包括任何列于附件中的专利、专利申请及其他参考信息,被本申请引用而包含在本申请中。如有必要,本发明的各方面可相应改动,以采用以上所描述的各种参考信息的所述系统、功能以及概念,以提供该技术的更多的例子。
根据以上详细描述,可对本发明做这些或其他改变。虽然以上内容描述了本发明的特定实施例,并描述了所想到的最佳实施例,无论以上描述在文字上多详细,本发明可以多种方式来实施。所述分类和传送信息的系统和方法的细节可在实施细节上有相当变化,然而这仍然被此处所揭露的本发明所涵盖。如以上所提及,在描述本发明某特定特征或方面时所采用的术语不应被理解为该术语在此处被重新定义以被限制于与该术语相关的任何本发明的特定特性、特征或方面。总体而言,以下权利要求所采用的术语不应被解释为把本发明限制于本说明书所揭露的特定实施例,除非以上详细描述部分清楚地定义了该术语。相应的,本发明的范围不仅涵盖所揭露的实施例,还涵盖所述权利要求下的实施或执行所述技术的所有等同的方式。虽然在以下特定权利要求的形式中展示了所述技术的特定方面,发明人构思了在任意权利要求形式内的该技术的各方面。例如,虽然只有该技术的一个方面被列举为以一计算机可读媒介来表达,其他方面也可以计算机可读媒介来表达。相应的,发明人保留在递交本申请后增加其他权利要求的权利,以寻求该技术其他方面的其他权利要求保护形式。
从前面提到的可以理解,为展示目的,本发明的特定实施例已被描述,但各种未偏离本发明精神和范围的改动可被实施。相应的,除所附权利要求,本发明是没有限制的。

如数据存储操作的自适应能耗管理的数据处理资源的能耗管理.pdf_第1页
第1页 / 共33页
如数据存储操作的自适应能耗管理的数据处理资源的能耗管理.pdf_第2页
第2页 / 共33页
如数据存储操作的自适应能耗管理的数据处理资源的能耗管理.pdf_第3页
第3页 / 共33页
点击查看更多>>
资源描述

《如数据存储操作的自适应能耗管理的数据处理资源的能耗管理.pdf》由会员分享,可在线阅读,更多相关《如数据存储操作的自适应能耗管理的数据处理资源的能耗管理.pdf(33页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 103279181 A(43)申请公布日 2013.09.04CN103279181A*CN103279181A*(21)申请号 201210585073.2(22)申请日 2008.08.2860/968,500 2007.08.28 US200880105016.1 2008.08.28G06F 1/32(2006.01)(71)申请人 COMMVAULT系统公司地址美国新泽西州(72)发明人马库斯S穆勒(74)专利代理机构北京万慧达知识产权代理有限公司 11111代理人白华胜 段晓玲(54) 发明名称如数据存储操作的自适应能耗管理的数据处理资源的能耗管理(57)。

2、 摘要本发明涉及一种如数据存储操作的自适应能耗管理的数据处理资源的能耗管理。本发明描述了实施节能行动的系统和方法。在一些实施例中,该系统基于来自该系统的信息制定一节能策略,并在一企业或一个或多个建筑内实施该策略,比如在一个数据存储环境内。在一些实施例中,该系统根据来自该系统的信息而增加或改动总过滤器或系统性能。(30)优先权数据(62)分案原申请数据(51)Int.Cl.权利要求书1页 说明书17页 附图14页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书1页 说明书17页 附图14页(10)申请公布号 CN 103279181 ACN 103279181 A1/1页21.。

3、一计算系统使用的方法,用以在一个建筑内或多个建筑之间执行节能行动,其中,所述节能行动与数据处理操作有关,所述方法包括:创建或接收有关数据处理操作的信息;接收或产生有关所述建筑内至少一个数据处理组件的能耗的信息;确定一个或多个应被执行的节能行动,其中,所述将被执行的行动是基于所述信息和所述能耗信息;根据所述能耗信息和所述信息,选择或执行所述被确定的一个或多个节能行动;以及其中,所述一个或多个节能行动包括重新安排或合并在一个队列中的任务至一可用时间窗口内的另一天或一个更晚的时间。2.如权利要求1所述的方法,其中,所述计算系统包括一分级数据存储系统,其包括两个或更多数据存储单元,其中,每一数据存储单。

4、元包括一可在所述数据存储系统内执行存储操作的数据存储资源,其中,每一数据存储资源具有已知的可估计的能耗信息。3.如权利要求1所述的方法,其中,所述一个或多个节能行动包括为未来数据存储操作重组数据存储资源。4.如权利要求1所述的方法,其中,所述一个或多个节能行动包括把一个或多个数据存储任务转移至另一数据存储资源。5.如权利要求1所述的方法,其中,所述信息包括有关在所述一个或多个数据存储资源处被延迟的存储操作的信息,延迟存储操作可用的窗口的信息,以及能耗预测信息。权 利 要 求 书CN 103279181 A1/17页3如数据存储操作的自适应能耗管理的数据处理资源的能耗管理【 技术背景 】0001。

5、 节能仍然是IT专业人员与设施管理人员的愿望。例如,美国环保署(EPA)于2007年8月2日发布了一个报告,该报告警示了运营数据中心的能源损耗的增加。该报告的主要发现之一是若继续当前的趋势,美国数据中心和数据服务器的能源消耗将在2011年翻番,达到100,000,000,000千瓦每小时,每年将耗费公众和私营机构74亿美元,并且需要新增10个发电厂。0002 数据中心使用数据存储组件,其中一些组件每年消耗大量能源。数据存储操作通常依赖网络和其他复杂系统,其中,传输和其他操作在不同的地方、不同的时间、为不同的需求而发生,所有这些操作在不同的时间都消耗不同程度的能源。分级系统可被采用,其中,通过一。

6、存储管理组件,各种存储组件被相互连接,并与系统连接。一些组件可以提供对该分级结构中处于较低级别的组件过滤或控制的能力。从而,该系统可以利用这些存储管理组件来操作或“监视”该系统及其各组件。然而,许多管理组件被简单地用于管理和收集来自各组件的数据。但这些管理组件没能考量各组件的功率要求(power requirement)。根据以下详细描述,业界技术人员将意识到还存在其他问题。【 附图说明 】0003 图1A为一框图,展示了一设有一数据处理设施的建筑。0004 图1B为一框图,展示了一总系统服务器,其中一部分位于图1A所示的数据处理设施内。0005 图2为一框图,展示了一分级数据存储系统。000。

7、6 图3为一框图,展示了一存储操作单元的组件。0007 图4为一框图,展示了一总单元和数据存储单元之间的互动。0008 图5为一流程图,展示了发送一能源负荷报告实例以供一总管理器或服务器使用。0009 图6为一流程图,展示了根据一能源负载报告实施一行动(action)的程序。0010 图7A为一流程图,展示了决定一行动的程序。0011 图7B为一流程图,展示了实施一行动的程序。0012 图8为一流程图,展示了重新分配数据传送任务的程序。0013 图9为一流程图,展示了设置总电源控制过滤器的程序。0014 图10为一屏幕显示的例子,展示了用户界面的屏幕显示。0015 图11展示了数据存储装置的能。

8、耗曲线。0016 图12展示了总系统服务器所采用的,用以制定电源控制分配和数据存储任务时间安排的一个表。0017 图13为一框图,展示了一可用于实施本发明各方面的数据存储装置。0018 图14为一流程图,展示了收集数据和作出数据处理决定以降低能耗的程序。说 明 书CN 103279181 A2/17页40019 在这些图中,为便于理解和方便的目的,相同的标号和缩写指示具有相同或相似功能的元件或动作。为便于识别对任何特定元件或动作的讨论,一标号中最显著的数字是首次介绍该元件的图的编号(例如,元件810首先在图8中被介绍并讨论)。0020 【详细描述】0021 以下详细描述的是对功率敏感的系统,其。

9、在至少一个数据处理设施内,或一个或以上建筑内管理能耗。虽然本发明的各方面是针对一数据存储系统进行描述,但业界一般技术人员将意识到本发明可应用于任何数据处理组件,或位于一个或多个建筑内,比如一个校园内,的任何耗能装置。该系统可被缩放以为从几个机器到大规模国际网络的任何规模的企业提供节能。事实上,因为各机器按地理分布于不同地方,数据可以被传送并被存储于电能较便宜的地方,比如哥伦比亚河谷、冰岛、中东或世界上能够提供低价能源的其他地方。0022 举例来说,该技术与监视、控制或改变数据存储系统和它们的操作以节能的系统和方法相关。尽管结合特定的例子进行描述,以下所描述的系统可应用于并可采用任何无线或有线网。

10、络,或可存储数据以及把数据从一个点传送至另一个点的数据处理和存储系统,包括通信网络、公司网络、存储网络等。0023 举例来说,该技术提供一方法和系统,比如分级数据处理或存储系统,其通过将倾向性信息(trending information)或历史报告与从数据处理操作或/和在处理操作过程中获得的信息、或对未来操作和性能的预测数据相关联,来制定并实施节能行动。(一分级系统可以是一个包括最少两个组件的系统,其中,一个组件管理另一组件的至少一部分。)这些系统可采用灵活的存储策略(policies),并且可以在一给定期间监视操作、能耗以及数据的存储,以根据监视期间获得的结果或利用预测制定的结果,改变或重。

11、分配存储操作。该系统可在监视期间改变存储操作,或可利用获得的任何信息改变未来的存储操作。再次声明,虽然本发明的各方面是结合数据存储操作和组件来描述,其他数据处理操作和组件或任何位于一建筑内或分布于多个建筑内的耗能组件也一样适用。0024 以下为一个例子:该系统可查看安排好的未来数据存储操作及每一操作的特性,以对特定的操作进行分组或分配(例如,把能耗密集的操作分为一组(或根据需求进行分配等)。该系统可以接收一数据传输负担报告,其中,该报告显示了对于一给定样本时间,相应的进行中的存储操作数量(例如,任务的数量)和等待执行的任务数量。该系统可利用这个信息和相关的能耗数据,根据任务的类型,在一给定的时。

12、间窗口中重新分配任务,或为一后续的数据存储操作重新分配系统资源。例如,一备份操作可被要求一周执行一次,但可在一个三天的时间窗口内执行。因此,该系统可以如此安排任务以使一个小的备份操作与一个更大的备份操作一起执行,从而使一个驱动器只需被启动一次。在一些情况下,该系统可在一个数据存储操作执行时重新分配数据存储操作,并调整一个建筑中的其他组件,以将能耗尖峰(spike)最小化或保证功率低于一个阈值(比如,关闭或减少使用建筑内的环境组件,如制热或制冷)。0025 虽然“建筑”一词被用于以上的例子,任何规模的企业都可以采用本发明的各方面。实际上,在此描述的系统可以采用分层结构,其中,每一层与能耗相关。也。

13、就是说,数据存储操作(以及与那些操作相关的组件)被量化分成两个或更多独立的组,比如一低能耗层和一较高能耗层。在被移至一较高能耗层之前,至少暂时地,数据可先被存储于一较低能说 明 书CN 103279181 A3/17页5耗层。0026 例如,为避免对磁盘或磁带驱动器进行单个偶发的写操作,这些单个的写操作可被缓冲(cached)或累积(aggregated)于一位于较低能耗层的装置。然后,当累积到一个阈值时,这些写操作可被整批移至位于更高能耗层的装置,从而该磁盘或磁带驱动器只需被启动一次即可。如下更详细的描述,传统的磁盘存储中能耗最集中的方面可能是运行风扇马达以冷却磁盘驱动器,接着是运行磁盘主轴。

14、转子以驱动磁盘在磁盘驱动器内旋转。对于自动化磁带库,要求高能耗以移动机械于操作磁带,接着运行磁带驱动马达,然后运行这些库内的风扇。此处描述的系统不仅考虑了每一种数据存储装置(磁盘、磁带等)的各种功率要求,还考虑了这些装置中为帮助大规模数据存储企业运行得更有效的各组件。0027 现在描述本发明的各例子。为彻底理解和使这些例子可实施,以下描述提供了具体的细节。业界技术人员能够理解,即使没有这些细节中的许多部分,该系统也可能被实施。另外,一些习知的结构或功能可能不会被进行详细地描述,以避免对各例子的相关描述造成不必要的干扰。0028 以下描述所采用的术语应被解释为合理的最大的范围,即使其被用于该系统。

15、的特定例子的详细描述中。以下,一些术语可能被特别强调,然而,任何意图以限定的方式被解释的术语将被明显地以及具体地在该详细描述中被如此定义。0029 合适的系统0030 图1A展示了一对功率敏感的总管理器或服务器100,其与建筑102以及可选的与建筑102相似的其他建筑114和116进行通信。建筑102可以包括环境组件104,工业组件106,至少一个数据处理设施108,以及辅助组件112。环境组件104可包括制热组件、制冷组件(比如空调)、减湿器等。工业组件可以是该建筑内的任何机械或装置,尤其是大功率装置,比如工业干燥机、加热器、电解装置等。辅助组件可包括任何对该建筑内的操作不太重要或不太关键的。

16、耗能装置,比如装饰用灯、喷泉等。如此处所解释,总系统管理器100可分析历史数据并产生预测数据,通过关闭建筑102内各组件或系统元件,或降低各组件或系统元件的能耗,以为建筑102节能。0031 数据处理设施108可包括各种数据处理组件的任一种或多种,比如一个或以上服务器、电信组件、输入/输出组件等。为便于说明以下的例子,数据处理设施108包括至少一数据存储系统140,其包括各种数据存储装置的任一种或多种,比如一个或以上磁带驱动器,一个或以上磁盘驱动器等。0032 请参图1B,一框图展示了总系统服务器或管理器100,其可与一些不同的数据处理系统互动,比如数据存储系统140。(一些数据存储系统的例子。

17、将结合图3和图4进行讨论。)总管理器100可以包括一些组件,如总功率负载组件110、总命令或过滤组件120或其他总组件130,并与一索引数据库132连接以存储此处描述的数据。组件110、120和/或130接收、传送、监视或控制此处所描述的数据存储系统140中的数据处理和系统资源。进一步的,总管理器100可与该设施内其他数据处理组件互动,也可以与该建筑内或所述校园内的其他耗能组件互动。0033 如下所述,特别要提的是总负载组件110可(直接或间接)监视并收集建筑102内组件和装置的能耗数据,并可以产生该建筑内组件未来预期的功率要求。总过滤组件120允许总系统管理器100应用总节能命令于一个或以上。

18、建筑内的组件。说 明 书CN 103279181 A4/17页60034 请参图2,一框图展示了具有两层(尽管可以有更多的层)的分级数据存储系统:存储操作层210和总层250。总层250可以包括总操作单元260(与总系统管理器100相似),其中,该总操作单元260可以包括总管理器100和数据库132。存储操作层210可包括存储操作单元,比如单元220和230。根据系统的需求,单元220和230可以一直执行指定的数据存储操作,或可执行不同的数据存储操作。这些单元是逻辑分组的组件,每一单元具有具体的功率要求和操作时间安排。每一单元可以是位于一个建筑内,也可以横跨多个建筑。一个单元可以与一个或更多其。

19、他单元共享硬件。进一步的,术语“单元”是用于表示任意规模的组件和/或操作分组,从运行于一个共享服务器的单个操作到一个远远大于该操作的数据处理和存储分组,该分组包括多个服务器、数据存储装置、网络装置以及多个利用这些装置的操作,所有这些都可以分布于不同的地方。也就是说,一个“单元”是一个数据存储操作所需的一个或多个组件和/或操作的组合。0035 单元220包括数据存储操作中所用的组件,比如存储管理器221、数据库222、客户223以及主存储数据库224。单元230可包括相似的组件,比如存储管理器231、数据库232、客户233以及主存储数据库234。在这个例子中,单元230还包括媒介主体(medi。

20、a agent)235和第二数据库236。单元220和230都与总管理器261通信,提供各自的与数据存储操作相关的信息。0036 请参图3,一框图展示了一存储操作单元的组件。根据单元的用途和系统的需求,存储操作单元(比如图2所示的单元220和230)可包括以下组件的部分或全部。例如,单元300包括存储管理器310、客户320、多个媒介主体330以及多个存储装置340。存储管理器310控制媒介主体330,其中,媒介主体330至少部分地负责传送数据至存储装置340。存储管理器310包括任务主体(jobs agent)311、管理主体(management agent)312、数据库313以及界面模。

21、块314。存储管理器310与客户320通信。客户320通过数据主体(data agent)321从数据存储322访问将被系统存储的数据。该系统利用媒介主体330传输并存储数据至存储装置340,其中,媒介主体330包括数据库331。如此处所描述,一个或多个存储装置340内的功率管理软件或固件342可监视对应装置的能耗,并向总管理器提供能耗数据。0037 单元300可包括用于数据存储操作的软件和/或硬件组件及模块。单元300可以是在数据存储操作中传输数据的传输单元。除了数据传输操作中所用的操作,单元300可以执行其他存储操作(或存储管理操作)。例如,单元300可以执行创建、存储、找回和/或转移主要。

22、和次要的数据拷贝。这些数据拷贝可包括快照拷贝(snapshot copies)、备份拷贝、HSM拷贝、存档拷贝(archive copies)、连续数据复制(CDR)、虚拟机器等等。单元300还可以执行存储管理功能,这些存储管理功能可将信息推至更高层的单元,包括总管理单元。注意:各单元中的各硬件组件具有不同的功率曲线,然而相似的装置或相似类别的装置可能具有相似的功率曲线(例如,基于特定的操作和其他因素,比如使用时间和环境条件等,同样的日立牌硬盘驱动器具有相似的功率曲线)。软件/固件342可为存储装置340存储这样的功率曲线或其他能耗性能数据。0038 在一些例子中,系统根据存储策略执行存储操作。

23、以节能、避免功率尖峰或达到之前规定的节能要求(比如对于建筑102)。一“存储策略”可以是,例如,一数据结构,其包括一组在存储操作中考虑的参数选择或其他标准。存储策略直接地或间接地与功率要求相说 明 书CN 103279181 A5/17页7关,并可决定或规定各种数据存储参数,如存储位置、组件之间的关系、网络通路、可用数据管道、保留规划(retention schemes)、压缩或加密要求、优选的组件、优选的存储装置或媒体等。也就是说,一个“存储策略”可以是与能耗相关的存储参数选择。如此处所述,一执行磁盘存储操作的时间表策略或时间表可以与存储策略相结合,以提供一总体的与能耗相关的存储参数选择。如。

24、此处所讨论,存储策略可存储于存储管理器310、221、231,或可存储于总管理器100。如此处所述,之前规定的节能要求或计划(“功率要求” )提供了总管理器100所采用以保证达到一定功率要求的参数,比如保证不发生高于一阈值的能耗尖峰,在一段给定时间内平均能耗低于一阈值,每月能耗花费低于阈值,如此等等。0039 另外或作为选择之一,该系统可实施或采用时间表策略。时间表策略指定什么时候执行存储操作,执行存储操作的频繁程度,和/或其他参数。如下所述,时间表策略允许总管理器100和/或存储管理器310来决定满足所述功率要求的最优的或接近最优的执行存储操作的时间。该时间表策略也可以规定子客户的使用,其中。

25、利用一个子客户存储一种数据(比如电子邮件数据),利用另外一个子客户存储另一种数据(比如数据库数据)。在这些例子中,与特定数据类型(电子邮件、数据库等等)相关的存储操作可被分配至不同的单元。进一步的,总管理器和/或存储管理器可在一窗口内执行存储操作,以满足功率要求,比如通过累积小的存储操作以减少启动驱动器的次数,或通过把一操作移至一预测到的该建筑内能耗较低的时间段。0040 请参图4,一框图展示了总单元和数据存储单元之间的互动。总管理器100可以与数据库132和用户界面410通信,并可包括总负载组件、总过滤组件以及被配置成根据接收到的数据存储信息和历史/预测的能源使用(power usage)制。

26、定行动的其他组件。数据库132可存储存储策略、时间表策略、历史/预测功率数据、接收到的样本数据、其他存储操作信息等。用户界面410可向管理员或用户显示系统信息。用户界面的其他细节将在下面进行讨论。0041 总管理器100可推送或发送数据至管理服务器440。服务器440与数据库445及客户451、452、453的一个或多个通信,并包括主体442。数据存储服务器430发送数据至总管理器100,并包括数据主体432和数据库435。从而,客户454、455和/或456与这些服务器通信,这些服务器形成了数据处理或数据存储企业的至少一部分。0042 总管理器100可执行行动(比如重分配存储操作),并通过管。

27、理服务器将这些行动应用于数据存储系统,以满足功率要求。总管理器100从数据存储服务器430接收用于决定这些行动的信息。在这个例子中,总管理器100在数据存储系统中作为枢纽(hub),发送信息以改变数据存储操作,并监视数据存储操作以决定如何改进这些操作和功率要求。另外,或作为选择之一,本地管理器109可执行一些或所有这些操作(请参图1)。0043 图13展示了与存储装置340相似的数据存储装置1302的一个例子,其提供改进的功率效率,并可被应用于,例如,如图3所示的系统300。数据存储装置1302包括原始的高速L1缓冲存储器(cache)1304,其可快速存储数据并将其传递给L2缓冲存储器130。

28、6,其中,缓冲存储器1306可以是固态闪存“盘”或其他写缓冲存储器。这样,在被传送至非易失性L2缓冲存储器1306之前,输入的数据被快速地并初始地存储或缓存于L1缓冲存储器1304。如此,在被写入磁盘/磁带1308之前,数据可以被累积在L2缓冲存储器1306内,L2缓冲存储器可以是便宜的传统的大容量存储装置。说 明 书CN 103279181 A6/17页80044 控制器1310可执行块层虚拟化(block-level virtualization),从而,L1缓冲存储器1304和L2缓冲存储器1306可以此处描述的同步/转移策略被映射至传统存储器,把启动一个或多个磁盘驱动器的各主轴马达(s。

29、pindle motors)(或驱动磁带的马达)的需求最小化。这样,如下所述,控制器1310可直接控制一个或多个风扇马达1316和主轴马达1318以降低能耗。此外,存储装置1302还可与总系统管理器100或本地管理器109(通过通信装置1314)通信,使其可被远程控制。一个或多个传感器1320可监视,例如,数据存储装置1302内的温度。这些传感器还可监视数据存储装置内的其他操作,例如,收集有关读/写头使用马达的操作指标(metric)、磁带驱动器的搜索时间等等。接着,控制器1310可以通过通信装置把从这些传感器收集到的这些指标或其他数据传送给总管理器或本地管理器。(这些指标还可(例如,被管理器。

30、或控制器)用于产生这些被监视参数的统计数据。)能耗管理软件或固件342还可指示控制器1310收集数据存储装置1302内的这些传感数据和/或其他数据(例如,如此处所提到的功率曲线/性能),并将其报告给总系统管理器100或本地管理器109或两者(通过通信装置1314)。其他操作细节将在以下提供。0045 能耗报告及相应的行动0046 对数据存储操作和存储装置操作采样的报告或其他收集到的数据向总管理器100提供了有意义的信息。利用这些信息,总管理器100(通过负载组件110或其他类似组件)可决定将被执行的行动,以为该建筑或该等建筑节能。这些行动的部分内容可包括重新安排存储操作的时间表、重新分配数据存。

31、储操作、把操作从一个资源转移至另一资源、规定未来存储策略、设置总节能过滤器等等。0047 请参图5,一流程图展示了程序500,其提供了为总管理器或服务器准备的能源负荷报告的一个例子。在步骤510中,所述系统从运行中的数据存储操作采集能源负荷信息。例如,所述系统可采集转移任务的数量、等待任务的数量、特定媒介主体的数据流数量等等。部分或所有单元的主体可以被设置成收集并登录数据,这些数据被接着送出用于产生所述能源负荷报告。0048 各种硬件组件可提供这样的能源负荷信息,例如由数据存储装置所提供的能耗和操作数据。磁盘或磁带驱动器,例如装置1302,可在其固件342中包括要求该驱动器周期性地或根据请求信。

32、息提供该装置操作的相关信息的指令。这样的信息可以包括主轴转子和风扇被启动和关闭的时间和日期,以及其他操作被执行的时间和日期等。另外,或作为选择之一,该系统可通过一总线或通信端口(比如通用即插拔(UPP)的一部分)监视功率特性和操作,其被总系统管理器100用于制定节能决策。0049 其他监视装置和收集能源负荷数据的方法可以包括利用与网络组件连接的外部功率计量器收集装置操作和能源负荷数据并传送至本地管理器109和/或总系统管理器100。这些数据最好是精细的,处于针对具体装置组件(主轴马达、风扇马达、机械手操作等)的操作的层面,虽然它也可以在更粗的层面上被收集,例如整体装置或数据存储设施的总能耗。这。

33、样的数据可以利用已有的技术或本地公共设施来采集。通过对比一数据存储设施或一具体的装置所执行的任务或存储操作的时间表和外部获得的数据,例如来自公共设施的数据,该系统可以将装置/设施与能耗关联,以确定在一个特定的位置和/或一个特定的装置上发生的一个特定的数据存储操作消耗了多少能量。这样的能耗信息可以是很广的、很普通的数据,或可以被转换成该系统所采用的标准单位,例如能耗存储量(例如,兆说 明 书CN 103279181 A7/17页9瓦小时每GB)。总体而言,业界一般技术人员将意识到“能源负荷数据”、“能耗”等术语一般可交换使用。0050 另外,或选择之一,该系统可通过网络传送一个或多个测试包或测试。

34、文件,并将其存储于一给定数据存储装置,并使这些操作的指标被传回。例如,总系统管理器100可沿着不同的网络路径,在不同的单元或位置,传送1GB字节大小的测试文件至多个不同的数据存储资源(例如,不同的磁盘驱动器、磁带驱动器等),并要求回馈适当的指标数据。接着,总系统管理器100接收有关完成该操作需要多长时间,完成该操作的功率要求等指标。然后,这些数据可被存储于索引数据库132(和/或其他数据库)以帮助估计未来数据存储操作的功率要求。这些未来的操作可被适当地缩放。虽然不够精确,如果一个任务被简单地放大,一个100GB的任务将消耗一个1GB任务100倍(实际上会更少),那么这就是一个好的估计。申请人于。

35、2005年11月7日申请,标题为“监视存储网络的方法和系统”的美国专利第11/269,513号提供了一个包括传送一个测试包或文件以确定数据存储资源性能的过程的更多细节的例子。0051 在步骤520中,该系统产生包含部分或所有采集获得信息的报告。该报告可包含采样获得的信息,或可提供分析或利用算法针对采样获得的信息产生的信息。例如,该系统可获得一定数据,并针对这些数据执行特定的统计分析,例如确定一平均值(mean)和/或标准偏差。再者,该系统可收集各数据存储组件的能耗信息和安排好的未来的或预见的数据存储任务的信息,以预测未来能耗。0052 在步骤530中,该系统把报告发送给总管理器100。该报告可。

36、跟踪使用和与该使用相关的文件或操作。实际上,如此处所述,该系统可利用数据分类技术(和相关数据或软件主体)来监视数据存储操作,然后,这些操作可以与能源负荷信息比较,以跟踪和管理每一数据存储操作的能耗,甚至细化到单个文件或客户计算机的层面。该数据分类主体可收集并创建能源使用索引,并将这些使用与具体的装置、被管理/存储的文件等关联。另外,或选择之一,运行于一个或多个客户计算机451-456的软件主体可提供这样的数据给总系统管理器。进一步的,数据处理装置(例如存储装置340)本身可提供这样的数据给总系统管理器。0053 总的来说,可利用于2006年11月28日申请的美国专利申请第11/564,180号。

37、标题为“存储网络中分类和传送信息的系统和方法”,并于2007年8月30日公开的美国专利公开第2007-0203938号所描述的技术,以软件主体来执行并按索引存储此处收集到数据的相当一部分。在该专利申请所描述的技术下,这些主体可收集与能耗相关的数据以供总管理器100使用。这些主体可收集与能耗和相关参数有关的元数据,并将其做成索引,其中,相关参数包括存取一个文件或存储装置的频率以及一个文件与其他文件之间的关系(特别是关于特定的存储操作,比如那些作为常规存储策略一部分的定期执行的操作)。这些主体不仅可收集各组件本身的能源使用信息,还可以收集额外的信息,比如部门、建筑、工作组以及其他数据处理组件集合体。

38、(包括数据存储组件)的能源使用信息。以下将更详细地描述,该系统可结合可由第三方数据源收集获得的数据(如能源价格、天气预测或其他数据)和这些数据,来决定如何最佳地分配资源以及执行数据处理操作。0054 能源负载报告可以是综合的报告,覆盖整个系统或企业。该报告可从在该总管理器控制下的任何或所有建筑内的所有单元和存储系统采集信息。该能源负荷报告还可覆盖说 明 书CN 103279181 A8/17页10任何存储单元、组件和/或系统的组合。该能源负荷报告可为组织提供转移数据的成本。通常可基于文件大小整理文件,该系统还可提供与每一文件相关的能耗大小,可帮助确定移动或存储该数据的能耗成本。该“能耗大小”指。

39、标可被绑定于该存储策略以帮助管理该数据。如此,就一特定能耗大小阈值,该系统可针对数据采用更多节能技术。一些数据,比如财务或销售数据,可能具有高优先级并可能较不易受能耗大小指标的影响。也就是说,这些数据对一个组织可能是重要的,从而不管要求多少能耗都必须被拷贝、管理或移动。然而,其他不太重要的数据,比如日常邮件、老的数据等,可以更易受节能数据管理的影响,这样,在针对这些数据的存储策略中,能耗大小指标将发挥更大的作用。也就是说,该系统可能结合其他数据,比如该文件的优先级,分析与一文件相关的能耗,并确定分析获得的指标或值是否超过一阈值。如果是,那么该系统可执行一存储策略或节能操作(如以下对图14的描述。

40、)。当然,不同组织之间,以及同一组织内的不同组之间,数据的相对优先级和任何相关的存储策略都有可能不同。0055 该系统可以就存储特定数据需要多少能量提供回馈。例如,一系统管理员可确定每周被拷贝一次的同一大数据库具有变化的能耗指标。(这个例子可同样应用于两个或更多具有相似特征的文件,比如基于文件大小、每MB能耗等,其中,相似性可位于一特定的标准偏差范围内。)接着,还是从该报告,该管理员可确定能耗的差异与数据量大小无关,而与被采用的特定网络组件、数据类型、执行的程序等相关。这样,该管理员可修改针对该数据库的存储策略,以采用更节能的数据存储组件或程序。另外,或选择之一,该管理员可识别在该企业中哪些网。

41、络组件、数据存储组件或其他组件是不节能的,并寻求以更节能的组件替换那些组件。进一步的,该系统可自行自动地执行或向管理员建议将小数据存储任务分组,分配任务以避免活动高峰等的计划。该系统还可切换以采用更多不同的资源。可以利用已知的技术来做到这点,比如贝叶斯检验(Baysian testing),或通过实验检验以半自动化实现。0056 图6展示了一流程图,该流程图展示了执行基于所述能源负荷报告的一节能行动的程序600。在步骤610中,所述系统接收所述包含有关功率和数据存储操作信息的能源负荷报告。所述系统可接收另外三个报告的任意一个,比如以下三个例子(每一个例子在下面进行详述):(1)提供未来将执行的。

42、操作的信息的报告(具有或不具有能耗预测数据),(2)提供执行中的操作的信息的报告(例如在一给定单元中已完成、执行中以及等待中的操作数量),或(3)提供已完成操作的信息的报告(比如前一晚的操作的信息)。0057 接收到一个或多个报告后,在步骤620中,根据接收到的报告,所述系统决定将执行的行动。请参图7A,展示了一流程图,该流程图展示了决定一合适的节能行动的流程700。在步骤710中,所述系统接收一基于数据存储操作的报告。在步骤720中,该系统将该报告中的信息与功率要求及一个或多个其他信息进行比较,比如数据存储组件的能耗曲线。0058 考虑包含未来数据存储操作的所述第一个报告(1),所述系统(例如,总管理器100)分析未来任务的时间表,并比较那些任务与在那些任务中将被采用的数据存储装置的功率曲线和一个或以上功率要求。另外,或选择之一,该系统可查询该系统中千瓦每GB的平均能耗参数,例如从总系统管理器100的索引数据库132中的一个表中查询。这样的表可提供用于有关节能网络和数据存储组件的报告和决策的简单的、粗略的指标(尤其是当说 明 书CN 103279181 A10。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1