说明书基于动态调频的数据中心能耗管理方法及系统
技术领域
本发明涉及数据中心中能耗管理，具体是一种基于动态调频的能耗管理方法和系统。
背景技术
随着云计算在各个领域中的广泛应用，数据中心的能耗也有所增加，电力成本已经成为数据中心总支出的主要部分。如何降低电力开支是绿色数据中心的管理者需要解决的重要问题之一。其中CPU是服务器中最主要的耗能部件，其动态功耗与其运行时的电压与频率有关，利用现代处理器所支持的动态电压调节功能，根据服务器的负载，动态的调节频率和电压改变处理器功耗状态，降低能耗，起到节能减排作用。现有动态调节算法根据服务对计算能力的不同需求，周期性地动态调节处理器的电压与频率，或者根据服务不同时期对处理器的需求，调整不同时间段的CPU频率，以降低服务器上电能的消耗。然而，当前调频策略中调频的时机以及如何调频仍是一个难点，同时调频策略也主要集中在单个服务器上，对整个数据中心中服务的分布对能耗的影响没有充分考虑。
发明内容
发明目的：为了解决现有的数据中心能耗管理技术的不足，本专利提供一种基于动态调频的数据中心能耗管理方法，同时也提供使用基于动态调频的数据中心能耗管理方法的系统。
技术方案：为解决上述技术问题，本发明提供的基于动态调频的数据中心能耗管理方法，通过单个服务器上的调频节能和能量感知的任务调度来进行能耗管理；
所述单个服务器上的调频节能包括：将任务数目不变的时间段看作一个调频单元，根据能耗模型和任务信息估算每一个单元内消耗的能量，利用启发式算法选择使得所有单元能耗之和最小的调频方式来调整各单元的处理器频率；
所述能量感知的任务调度包括：当一个新的任务到达，控制器根据监控到的各个服务器的状态和分析得到的新任务的信息选出一组候选服务器，将该新任务信息分发到各个候选服务器；各个候选服务器利用单个服务器上的调频节能方法估算出当前负载下的最低能耗和分配到新任务后的最低能耗之间的差值并将该值返回给控制器；控制器搜集各个服务器的返回信息并选择能耗变化最小的候选服务器分配新到达的任务；接收到新任务的服务器利用单个服务器上的调频节能方法调节频率，运行新的任务。
优选的，所述单个服务器上的调频节能包括以下步骤：
11)获取当前服务器上各个CPU的利用率及工作频率、任务的数目及运行所需的CPU资源、服务器可以调节的频率范围；
12)利用启发式算法通过计算不同调频状态下的能耗总和来选择能够产生最小能耗的频率组合状态Sm；
13)由于得到的频率组合是当前服务器负载下的结果，因此将当前CPU的频率设置为Sm第一个调频单元中的频率组合，各个处理器保持设定的频率运行，直到任务数目产生变化，即当前调频单元结束；
14)当有新的任务被分配到指定服务器或者该服务器上有任务结束时，服务器的任务数目发生变化，即当前调频单元结束，重复上述步骤11)至步骤13)为当前负载下的服务器选择新的最优频率组合来最小化能量消耗。
优选的，使用该能耗管理方法的系统包括控制器和集群服务器，所述控制器上由控制器操作的模块包括任务分析模块、服务器监控模块和任务分配模块，所述集群服务器中由单个服务器操作的模块包括能耗估算模块；所述服务器间能量感知的任务调度包括以下步骤：
21)当一个新的任务到达集群，控制器通过任务分析模块获得任务的信息,并将任务的信息发送给服务器监控模块，将任务的信息和任务发送给任务分配模块；
22)服务器监控模块根据监控到的各个服务器的状态和分析得到的新任务信息，选出一组候选服务器并发送给任务分配模块；
23)任务分配模块将任务的信息发送给各个候选服务器，等待各个候选服务器返回结果；
24)各个候选服务器接收到任务分配模块所发送的任务信息后，利用所述单个服务器上的调频节能方法计算得到当前状态下最低的能耗E1，同时计算如果新任务被分配到该服务器上后得到的新的最低能耗E2，计算两个最低能耗之间的差值并将该差值通过服务器监控模块返回给任务分配模块，并记录下对应E2的最佳调频状态Sm；本步骤中最低能耗E1和E2通过上述单个服务器上的调频节能方法的步骤11)和步骤12)计算得到；
25)任务分配模块接收到各个候选服务器的返回能耗差值结果，从中选出能耗变化最小的服务器作为指定服务器，发送任务到指定服务器完成新的任务分配；
26)当新任务分配到指定服务器上之后，该服务器根据步骤24)中记录的最佳频 率状态Sm调整处理器运行频率；控制器等待新的任务的到来。
优选的，所述单个服务器上的调频节能的步骤12)中的能耗总和计算方式如下：
对于有Np个调频单元的某个服务器，其中Tk表示第k个调频单元的长度，Uk和Fk分别表示第k个调频单元中的各个CPU的利用率和频率，则该服务器在上述状态下的能耗总和为
其中Pk(Uk,Fk)为多CPU能耗模型估算函数，具体为：
P(U,F)=Ps+1NcΣc=1Nc[Pmax-Ps-αNc(fmax3-Fc3)]×Uc;]]>
其中Ps为服务器的静态功耗，Nc为服务器上处理器的数目，Pmax表示服务器能够达到的最大功耗，α为比例系数，fmax表示处理器的最高频率，Fc表示c号处理器当前设置的运行频率，Uc表示c号处理器当前的利用率。
作为一种优选方案，所述单个服务器上的调频节能的步骤12)中的启发式算法为基于模拟退火的算法，其包括如下步骤：
A1)将服务器上所有调频单元中的所有处理器的工作频率调节为最高，即为fmax，将其设置为初始状态S0，计算初始状态S0下的能耗总和E(S0)；
A2)随机选取一个调频单元r，随机改变调频单元r中的各个处理器的频率，即改变调频单元r内的频率组合，得到S0的一个邻居状态，将邻居状态记为Sn，并重新计算各个调频单元中的时间长度Tk，计算新频率状态Sn下的能耗总和E(Sn)；
A3)将新状态Sn下的能耗与S0的能耗进行对比：如果E(Sn)＜E(S0)，则S0＝Sn，否则，则以大小为p的概率用Sn替换S0；
A4)判断比较次数是否小于预设的最多比较次数，如是，则跳回步骤A2)搜索更佳的调频状态，如否，则返回得到的当前最佳频率状态Sm＝S0，结束。
作为另一种优选的方案，所述单个服务器上的调频节能的步骤12)中的启发式算法为基于可变长搜索的算法，其包括如下步骤：
B1)将服务器上所有调频单元中的所有处理器的工作频率调节为最高，即为fmax，将其设置为初始状态S0，计算初始状态S0下的能耗总和E(S0)；
B2)随机选取一个调频单元r，随机改变单元r中各个处理器的频率n次，即选择 n个邻居状态，并分别重新计算在这n次不同状态下的各个调频单元的时间长度Tk和能耗总和，并选择其中产生最小能耗总和的频率状态，记为Sn；
B3)将新状态Sn下的能耗与S0的能耗进行对比：如果E(Sn)＜E(S0)，则S0＝Sn；
B4)判断比较次数是否小于预设的最多比较次数，如是，则跳回步骤B2)搜索更佳的调频状态，如否，则返回得到的当前最佳频率状态Sm＝S0，结束。
本发明提供的用于上述基于动态调频的数据中心能耗管理方法的系统，包括控制器和集群服务器，所述控制器中包括任务分析模块、服务器监控模块和任务分配模块，所述集群服务器中的单个服务器上设有能耗估算模块；
所述任务分析模块，用于通过任务接口接收用户提交的任务数据和预设定参数并分析任务的信息；以及用于将任务的信息发送给服务器监控模块，将任务的信息和任务发送给任务分配模块；
所述服务器监控模块，用于监控各个服务器状态获得监控信息，并根据监控到的各个服务器的状态和新到达的任务信息，选出候选服务器发送给任务分配模块；以及接收各个候选服务器返回的能耗估算结果转发给任务分配模块；
所述任务分配模块，用于将任务的信息发送给各个候选服务器，并等待各个候选服务器的应答；以及根据通过服务器监控模块收到的各个候选服务器应答结果选出指定服务器，发送任务到指定服务器完成新的任务分配；
所述能耗估算模块，用于根据能耗模型和接收到的任务信息进行能耗估算，并返回利用启发式算法获得使得所有单元能耗之和最小的各处理器的频率状态；
所述服务器，用于在被选为候选服务器时，根据任务分配模块发送的任务信息通过能耗估算模块进行能耗估算，并将能耗估算结果通过服务器监控模块反馈给任务分配模块；以及在被任务分配模块选为指定服务器时接收新任务，并运行单个服务器上的调频节能方法调节频率后，运行新任务。
优选的，所述预设定参数至少包括任务的开始时间、结束时间、估计运行时间以及用户利用率。
有益效果：本发明提供的基于动态调频的数据中心能耗管理方法和系统，根据各个服务器上的处理器资源的使用情况、任务的分布情况，实时通过能量感知的任务调度，合适地放置虚拟机，并且在各个服务器上进行适当的处理器频率调节，降低数据中心中服务器的能耗以降低电力开支，起到节能减排效果，最终降低数据中心整体的能耗。
附图说明
图1是实施例的系统架构图；
图2是实施例中单个服务器上的调频节能的流程图；
图3为实施例中能量感知的任务调度的流程图；
图4为基于模拟退火的启发式调频算法的流程图；
图5为基于可变长搜索的启发式调频算法的流程图；
图6为某服务器上的调频单元示例。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，本实施列对本发明不构成限定。
本实施例应用的系统架构如图1所示：包括控制器和集群服务器，所述控制器位于任务分配层，所述集群服务器位于局部调频层，所述控制器中包括任务分析模块、服务器监控模块和任务分配模块，所述集群服务器中的单个服务器上设有能耗估算模块。系统向用户提供了提交任务的接口，用户利用该接口向服务器提交数据，并设定指定的参数，用四元组<s,d,e,u>表示，四个参数分别表示任务的开始时间，deadline，估计运行时间以及用户的利用率。
在本实施例中所述调频单元、频率组合、调频状态、邻居状态具体如下：
1)调频单元：假设在t1时刻，服务器上有N个任务，且任务数目在t1时刻刚发生变化，在t1之后的某一个时刻t2，服务器任务数目发生变化，例如分配到一个任务或者完成一个任务，且在[t1,t2)时间段内的任一时刻t，服务上的任务数目都等于t1时刻的任务数目，则时间段[t1,t2)称为一个调频单元。如图6所示，在某服务器上有4个调频单元。在t1,t2,t3,t4时刻任务数目发生变化，服务器进入下一个调频单元。另外，从当前时刻起到下一个调频单元开始，我们称之为调频单元1，之后的调频单元为2,3…,以此类推。即假设图6中t1为当前时刻，则[t1,t2)为调频单元1，如果当前时刻为t2(t1已经过去)，则[t2,t3)为调频单元1。这里假设没有两个任务是完全意义上同时结束的，即可以认为调频单元数目等于任务的数目。
2)调频单元内频率组合：在多处理器服务器上，在一个调频单元内，我们将每个CPU设置固定的频率，则每一个处理器不同的频率构成的一个组合，称为该调频单元内的一个调频组合。如图6中所示，在调频单元1内，我们可以设置处理器1的运行频率为f1，处理器2的频率为f2，该组合称为一种可能的频率组合；也可以将处理器1的频率设置为f2，处理器2的频率为f1，则此组合为另 一种频率组合，用Fk表示调频单元k中的频率组合。不同的频率组合会使得调频单元的长度变化，但不会使得调频单元数目变化。
3)调频状态：我们将所有调频单元内的调频组合所构成的一种调频的方式称为调频状态，即每一个调频单元内都按照调频状态中该单元内的频率组合来设定各处理器频率，即将(F1,…,Fk,…,FN)定义为调频状态，其中N为当前时刻起调频单元的数目。如图6所示，(F1,F2,F3,F4)所构成的一种调频方式即为一个调频组合，即在调频单元1中各处理器按照频率组合F1设置，调频单元2中各处理器频率按照频率组合F2设置，以此类推。所述的单个服务器调频节能算法，即搜索最佳的调频状态，使得完成所有任务的能耗最低。
4)邻居状态：两个调频状态中，只有一个调频单元中各个处理器的频率组合不同，而其他调频单元中各个处理器的频率组合都相同，则两个调频状态称为邻居状态。
所述任务分析模块，用于通过任务接口接收用户提交的任务数据和预设定参数并分析任务的信息；以及用于将任务的信息发送给服务器监控模块，将任务的信息和任务发送给任务分配模块；所述预设定参数至少包括任务的开始时间、结束时间、估计运行时间以及用户利用率，即四元组<s,d,e,u>。
所述服务器监控模块，用于监控各个服务器状态获得监控信息，并根据监控到的各个服务器的状态和新到达的任务信息，选出候选服务器并将候选服务器表发送给任务分配模块；以及接收各个候选服务器返回的能耗估算结果转发给任务分配模块。
所述任务分配模块，用于将任务的信息发送给各个候选服务器，并等待各个候选服务器的应答；以及根据通过服务器监控模块收到的各个候选服务器应答的能耗估算结果，选出能量变化最小的服务器作为指定服务器，发送任务到指定服务器完成新的任务分配。
所述能耗估算模块，用于根据能耗模型和接收到的任务信息估算每一个单元内消耗的能量，并返回利用启发式算法获得使得所有单元能耗之和最小的各个处理器的频率状态。
所述服务器，用于在被选为候选服务器时，根据任务分配模块发送的任务的信息通过能耗估算模块进行能耗估算，本实施例中为估算出当前状态下的最低能耗和分配到新任务后的最低能耗之间的变化，并将能耗估算结果通过服务器监控模块反馈给任务分配模块；以及在被任务分配模块选为指定服务器时接收新任务，并运行单个服务器上的调 频节能方法调节频率后，运行新任务。
本实施例提供的基于动态调频的数据中心能耗管理方法，该方法通过单个服务器上的调频节能和能量感知的任务调度来进行能耗管理。
所述单个服务器上的调频节能包括：将任务数目不变的时间段看作一个调频单元，根据能耗模型和任务信息估算每一个单元内消耗的能量，利用启发式算法选择使得所有单元能耗之和最小的调频方式来调整各单元的处理器频率；
如图2所示，上述单个服务器上的调频节能具体包括以下步骤：
所述单个服务器上的调频节能包括以下步骤：
11)获取当前服务器上各个CPU(即处理器)的利用率及工作频率、任务的数目及运行时所需的CPU资源、服务器可以调节的频率范围；
12)利用启发式算法通过计算不同调频状态下的能耗总和，来选择能够产生最小能耗的调频状态Sm。
13)由于得到的频率组合是当前服务器负载下的结果，因此将当前CPU的频率设置为Sm第一个调频单元中的频率组合，各个处理器保持设定的频率运行，直到任务数目产生变化，即当前调频单元结束。
14)当有新的任务被分配到该服务器或者该服务器上有任务结束时，服务器的任务数目发生变化，即当前调频单元结束，节能策略为当前负载下的服务器选择新的运行频率来最小化能量消耗，即重复上述步骤11)至步骤13)选择当前负载下的最优频率组合。
上述单个服务器上的调频节能的步骤12)中的能耗总和计算方式如下：
假设某个服务器有Np个调频单元，其中Tk表示第k个调频单元的长度，Uk和Fk分别表示第k个调频单元中的各个CPU的利用率和频率，则该服务器在上述状态下的能耗消耗总和为
其中Pk(Uk,Fk)为多CPU能耗模型估算函数，具体为：
P(U,F)=Ps+1NcΣc=1Nc[Pmax-Ps-αNc(fmax3-Fc3)]×Uc;]]>
其中Ps为服务器的静态功耗，Nc为服务器上处理器的数目，Pmax表示服务器能够达 到的最大功耗，α为常数，与处理器结构和工艺有关，fmax为处理器的最高频率，Fc表示c号处理器当前设置的运行频率，Uc表示c号处理器当前的利用率。
上述单个服务器上的调频节能的步骤12)中的启发式算法可以使用基于模拟退火的算法，利用基于模拟退火的算法通过计算不同调频状态下的能耗总和来选择能够产生最小能耗的调频状态Sm如图4所示，其主要思想在于从某一个初始调频状态开始，随机的选择一个邻居状态，比较两者能耗大小，选择能耗较小的调频状态作为下一轮被比较的状态，重复多次选择与比较，最终得到能耗最小的最佳调频状态，其主要包括如下步骤：
A1)将服务器上所有调频单元中的所有处理器的工作频率调节为最高，即为fmax，将其设置为初始调频状态S0，计算初始调频状态S0下的能耗总和E(S0)；
A2)随机选取一个调频单元r，随机改变调频单元r中的各个处理器的频率，即改变调频单元r内的频率组合，得到S0的邻居状态，将邻居频率状态记为Sn，并重新计算各个调频单元中的时间长度Tk，计算新调频状态Sn下的能耗总和E(Sn)；
A3)将新状态Sn下的能耗与S0的能耗进行对比：如果E(Sn)＜E(S0)，则S0＝Sn，否则，则以大小为p的概率用Sn替换S0，即S0＝Sn；
A4)判断比较次数是否小于预设的最多比较次数，如是，则跳回步骤A2)以搜索更好的调频状态，如否，则返回得到的当前最佳调频状态Sm，即最终的S0，结束。
上述单个服务器上的调频节能的步骤12)中的启发式算法也可以使用基于可变长搜索的算法，利用基于可变长搜索的算法通过计算不同调频状态下的能耗总和来选择能够产生最小能耗的调频状态Sm如图5所示，其主要思想在于从某一初始状态开始，随机的选取一组邻居状态，然后从邻居状态中选出能耗最小的调频状态，与当前状态比较，选择能耗较小的调频状态作为下一轮被比较状态，重复上述过程一定次数，最后选择最优的调频状态，其主要包括如下步骤：
B1)将服务器上所有调频单元中的所有处理器的工作频率调节为最高，即为fmax，将其设置为初始状态S0，计算初始状态S0下的能耗总和E(S0)；
B2)随机选取一个调频单元r，随机改变单元r中各个处理器的频率n次，即选择n个邻居状态，并分别重新计算在这n个不同邻居状态中各个调频单元中的时间长度Tk和能耗总和，并选择其中产生最小能耗总和的频率状态，记为Sn；
B3)将新状态Sn下的能耗与S0的能耗进行对比：如果E(Sn)＜E(S0)，则S0＝Sn；
B4)判断比较次数是否小于预设的最多比较次数，如是，则跳回步骤B2)，如否，则返回得到的当前最佳频率状态Sm，即最终的S0，结束。
在全局任务分配策略方面，所述服务器间能量感知的任务调度包括：当一个新的任务到达，根据监控到的各个服务器的状态和新任务的信息选出候选服务器，将该新任务信息分发到各个候选服务器，每个服务器利用单个服务器上的调频节能方法估算出当前状态下的最低能耗和分配到新任务后的最低能耗之间的变化，集群控制器搜集各个服务器的反馈信息，然后选择能耗变化最小的候选服务器分配新到达的任务，被选择的服务器利用调频节能方法调节频率，运行新的任务。具体如图3所示，包括以下步骤：
21)当一个新的任务到达集群，控制器(即集群控制器)通过任务分析模块获得任务的信息,并将任务的信息发送给服务器监控模块，将任务的信息和任务发送给任务分配模块；
22)服务器监控模块根据监控到的各个服务器的状态和新任务的基本信息，选出一组候选服务器，并将一组候选服务器发送给任务分配模块；
23)任务分配模块将新任务的信息发送给各个候选服务器，等待各个候选服务器返回结果；
24)各个候选服务器接收到任务分配模块所发送的任务信息后，利用上述单个服务器上的调频节能方法计算得到当前状态下最低的能耗E1，同时计算如果新任务被分配到该服务器上后得到的新的最低能耗E2，计算两个最低能耗之间的差值并将该差值通过服务器监控模块返回给任务分配模块，并记录下得到E2的最佳调频状态Sm。本步骤中最低能耗E1和E2可由上述当个服务器上节能算法中的步骤11)和12)计算得到。
25)任务分配模块接收到各个候选服务器的返回能耗差值结果，从中选出能耗变化最小的服务器作为指定服务器，发送任务到指定服务器完成新的任务分配；
26)集群控制器等待新的任务的到来。当新任务分配到指定服务器上之后，该服务器根据步骤24)中记录的最佳频率状态Sm调整处理器运行频率。
上述最多比较次数(即迭代次数限制)、概率p的数值、候选服务器的个数上限，均可根据实际情况适当调节。
以上仅是本发明的优选实施方式，应当指出以上实施列对本发明不构成限定，相关工作人员在不偏离本发明技术思想的范围内，所进行的多样变化和修改，均落在本发明 的保护范围内。