管理自主计算机系统中 的工作负荷的方法和系统 【技术领域】
一般来说，本发明涉及服务多个工作负荷的计算机系统，具体来说，涉及用于管理自主计算机系统中的工作负荷以改善系统性能的方法。
【发明背景】
大型计算机系统，特别是那些运行时间不同的工作负荷，难以保持协调。需要响应变化的工作负荷调整系统参数，以便可以始终获得系统的最佳性能。结果，可能需要理解许多交互参数，并适当地进行调整。即使一个系统在一个点协调得很好，由于工作负荷不断变化，在某些其他点也可能协调得比较差。协调得比较差的系统不仅系统性能会降低，它们还浪费资源，并使用户使用起来感到难受。人们对自主系统(即，动态地自我调节的系统)的兴趣在不断地增大。自我调节的一个主要方面是自我协调。
当前对自主协调的工作比静态协调稍微先进一些。这样的工作主要基于常规反馈控制原理围绕反应性的自主的基本概念而出现。反应性的自主系统基于瞬时的需要，或者，充其量基于短期地历史度量值来重新配置本身。如同涉及反馈控制的任何技术一样，反应性的自主系统也具有已知的潜在的不稳定性或对变化反应慢的问题。
使用反应性的自主进行自我协调或基于事件识别进行错误恢复的计算机存储系统的示例有IBM Corporation提供的TivoliStorage Resource Manager和Candle Corporation提供的AF/Operator。许多其他计算机产品使用反馈系统，这些反馈系统在某些条件满足时以自动方式监视事件并作出反应。
美国专利5,537,542描述了用于根据客户端性能目标对服务器工作负荷进行管理的设备和方法。它提供了一个工作负荷管理器，该管理器跟踪性能目标集，每一个目标都与一个客户端事务类别关联。系统中的服务器集分析类别的性能，影响类别性能的性能目标和资源。然后，根据需要对资源分配作出更改，以改善类别的性能。该方法提供了面向对象的客户端/服务器工作负荷管理，这种管理是在客户端的系统上确定的。此方法适用于客户端-服务器工作负荷管理应用程序，并需要在客户端进行服务器的选择，是基于策略的管理方案。它不依赖于反馈或前馈，也不讨论用于实现任何类型的性能目标的预测或任何特定的方法。
美国专利6,014,700说明了一种基于在客户端的系统上确定的工作负荷管理策略而在客户端-服务器网络中管理工作负荷的方法。选择网络中的服务器以基于工作负荷管理策略来满足客户端请求。该方法基于请求形成扩展的对象引用，并使用扩展的对象引用访问工作负荷管理策略。根据工作负荷管理策略选择其中一个服务器以处理请求。此方法适用于客户端-服务器工作负荷管理应用程序，需要在客户端进行服务器的选择，它们的性能预测是基于当前需求和能达到的需求而不是预测到的需求作出的。此外，该系统要求手动指定模式，而本发明从观察到的活动的时间序列分析自动生成模式。
PCT申请专利WO0239279A2描述了基于模式化的和监视到的I/O资源信息的I/O资源管理系统。该系统动态地使用资源管理体系结构调整信息管理系统I/O操作参数，以满足变化的要求或动态应用程序的需求。I/O资源管理系统包括资源管理器、资源模型、存储设备工作负荷监视器和存储设备。所说明的发明的主题是管理I/O资源的使用而不是基于目标预测和优化系统。
因此，需要一种用于基于反馈和前馈性能信息连续地管理工作负荷而没有上文所描述的缺点的方法和自主计算机系统。
【发明内容】
本发明的目标是提供一种基于反馈机制优化计算机系统的性能的方法和系统。
本发明的另一个目标是提供一种基于前馈机制优化计算机系统的性能的方法和系统。
本发明的再一个目标是提供一种以这样的方式基于反馈和前馈机制的组合优化性能的方法和系统，以便反馈和前馈优化彼此相互补充。
本发明的再一个目标是一种方法和系统，以确保所提供的用于优化性能的机制对于各种工作负荷和环境实现起来比较简单。
本发明的再一个目标是提供一种系统和方法，以确保所提供的用于优化性能的机制适用于包括单个系统的虚拟系统，而单个系统的属性和功能可以显著不同。
本发明的再一个目标是提供一种系统和方法，该系统和方法自动生成用于从性能目标估计性能的模式。
为实现这些及其他目标，本发明提供一种基于反馈和前馈性能信息管理自主计算机系统中的工作负荷的方法。该方法为系统确立性能目标，确定系统中的瞬时需求的度量，连续跟踪相对于度量的性能目标，基于系统的自回归的时间序列预测未来的需求，调整系统的控制参数以实现这些目标。性能目标与置信水平关联，通常包括所希望的系统响应时间。跟踪步骤包括获取系统的性能数据并将性能数据存储在一个永久数据存储区。需求预测使用频谱预测过程从当前工作负荷预测未来的工作负荷。
自主计算机系统服务于许多客户端，并具有可以调整以影响系统的性能的控制参数集。该系统包括自主控制器，该控制器为系统确立性能目标，确定了系统中的瞬时需求的度量，跟踪相对于度量的目标，基于系统的自回归的时间序列预测未来的需求，调整系统的控制参数以实现系统性能目标。
还将描述本发明的网络附加存储(NAS)系统的另一个优选实施例。自主NAS系统包括被客户端通过数据请求访问的文件、用于处理来自客户端的数据请求的数据存储区，以及用于在数据存储区之间分配数据请求的请求路由器。有许多控制系统的性能并可以调整的参数。管理操作是由自主控制器执行的，该控制器跟踪相对于性能目标的数据请求并调整参数以满足性能目标。
在随后的描述中将阐述本发明的其他目标和优点，经过描述并参考附图，这些目标和优点将变清楚，也可以通过本发明的实践来了解。
【附图说明】
图1是一个显示根据本发明的管理自主计算机系统中的工作负荷的一般过程的流程图。
图2是一个显示根据本发明的用于预测自主系统中的未来工作负荷需求的优选过程的流程图。
图3是一个显示根据本发明的自主网络附加存储(NAS)系统的一般配置的方框图。
图4是一个显示根据本发明的用于调整自主NAS系统的可控制的参数的优选过程的流程图。
图5是一个显示本发明的自主NAS系统的改进的性能的图表。
【具体实施方式】
本发明将主要作为用于管理自主计算机系统中的工作负荷的方法和系统来描述。然而，所属技术领域的专业人员将认识到，诸如包括CPU、内存、I/O、程序存储器、连接总线在内的数据处理系统之类的设备，及其他相应的组件，可以被编程或者以别的方式设计为实施本发明的方法。这样的系统将包括用于执行本发明的操作的相应的程序装置。
此外，与数据处理系统一起使用的诸如预先记录的磁盘之类的产品或其他类似的计算机程序产品，可以包括存储介质和记录在其上的用于指示数据处理系统实施本发明的方法的程序手段。这样的设备和产品也属于本发明的精神和范围内。
图1是一个显示本发明的一般方法的流程图。步骤101-102是配置步骤，而步骤103-106是操作步骤。在步骤101中，该方法确立了可以计量的系统目标。在本发明的优选实施例中，系统目标包括性能目标和置信水平。一个计算机系统的典型的性能目标可以是系统在某一个时间窗内执行的事务的目标数量。对于存储系统，目标可以是请求的目标数量或一个文件类别或客户端类别的平均响应时间。对于网络系统，目标可以是系统在一个时段内可以处理的网络事务的数量。
系统目标可以具有多个子类别。例如，自主计算机系统的某些客户端可能愿意以响应时间延长来换取成本的降低。因此，对于每一个客户端类别，目标可以不同。
置信水平度量系统必须满足其性能目标的密切程度。例如，计算机系统可能需要取得时间的66％的平均响应时间。因此，在这种情况下，置信水平将是66％。
在步骤102中，确立系统中的瞬时需求的度量，以便可以使用度量来跟踪系统目标。在本发明的自主计算机系统中，瞬时需求的度量可以是系统当前可以处理的一个文件类别或客户端类别的请求数量。根据系统的特征，在步骤102中可以确立一个以上的度量。例如，一个度量可以是为一个文件完成的操作的数量，而第二个度量表示存储节点完成的操作的数量。
在步骤103到105中，本发明的方法不断地跟踪、预测和调整系统的操作以实现目标。在步骤103中，该方法跟踪相对于瞬时需求的系统性能。在本发明的优选实施例中，该方法还在诸如统计数据库之类的永久存储区中存储随着时间的系统性能数据。在存储系统中，该方法将在请求正在被系统处理时跟踪平均响应时间。
在步骤104中，使用自回归的时间序列，预测系统中的未来工作负荷需求，以及不确定性。自回归的时间序列分析基于一个变量的历史预测该变量的未来值，从而大大地简化了预测。时间序列被视为无穷的移动平均值。应用频谱预测法将时间序列从时间域转换为频率域，然后，可以使用该频率域生成预测结果。该方法对永久存储区中的数据应用自回归累积移动平均(ARIMA)以获取需求预测。数据序列应用程序和频谱预测可以自动化。G.Box等人在课本“TimeSeries Analysis，Forecasting and Control，＂Third Edition，PrenticeHall，1994(下文称Box等人)中描述了自回归累积移动平均(ARIMA)模式。
在步骤105中，调整系统的可控制的参数以满足预测需求的系统目标。预测被用作调整系统的可控制的参数的基础。例如，在数据存储系统中，该方法优选情况下将把文件重新分配到数据存储区，在数据存储区之间复制文件或迁移文件，或者使数据存储区联机或脱机以满足预测需求。跟踪数据、需求预测和可控制的参数优选情况下在统计数据库106中维护。
通用计算机系统可以具有各种可以调整的控制参数，例如，这些控制参数可以是，用于控制或限制工作负荷的混合以使系统比其他工作请求优先处理某些工作请求的参数，用于使系统资源可用或不可用的参数，或用于将资源专用于某些工作请求以及跨多个系统分布负载的参数。数据存储系统和网络系统具有类似的控制类型，即，用于限制请求数量的控制，系统被要求比其他请求优先处理某些请求，添加或删除资源以处理负载的控制，或使某些请求资源专用于某些请求，以及跨多个系统分布负载的控制。
由于这些系统的控制彼此类似，因此，使用这些控制根据需求优化性能以实现目标的方法也相似。这三种系统类型之间主要的不同是， 目标和置信水平将不同，为需求测量的变量也将不同，但用于根据需求估计性能以实现每个系统的目标的方法可以是相同的。
图2是一个显示根据本发明的用于预测自主系统中的未来工作负荷需求的优选过程的流程图。在步骤201中，基于变量的历史预测系统变量的未来值。在步骤202中，应用频谱预测以将预测的值从时间域转换为频率域。在步骤203中，将频率域内的预测值应用于跟踪永久存储区中的数据，以进行需求预测。
为较好地说明上文描述的方法的操作，现在描述网络附加存储(NAS)系统的本发明的优选实施例。本发明的操作允许系统成为一个可缩放的自主协调的NAS系统。在系统环境是共享磁盘环境的情况下，描述文件重新分配，而不描述文件复制或迁移。在连续共享磁盘或无共享的环境中，实现方式通常将包括文件复制和迁移。在这样的环境中，当和基于反馈的控制方法相比，本发明的性能更好，因为基于反馈的控制方法不能在需要的前面动态地复制或迁移文件。
网络附加存储
网络附加存储(NAS)系统是一个网络文件服务器，它处理通过诸如网络文件系统(NFS)之类的协议并借助于诸如以太网之类的媒介由一个或多个客户端发送给它的请求。位于TCP/IP通信协议套件之上的NFS，使用远程过程调用体系结构，在该体系结构中，每个从客户端发往服务器的请求都会产生一个从服务器发往客户端的响应。典型的NFS请求是创建文件、向文件写入数据，从文件读取数据，以及删除文件。一个响应表示对应的请求是否被处理而没有产生错误，如果是这样的话，是否包含请求特定的数据，例如，来自一个读取的文件内容。
NAS充当在客户端之间共享的数据的中心仓库。借助于NAS，客户端不必分别存储数据，从而降低了成本。客户端也不必协调对数据的更新，从而简化了它们的工作。数据管理可以集中进行，从而可以简化管理并降低成本。小型计算机可以广泛地部署；或者，大型系统可以进一步扩展。具有一个功能强大的NAS以支持更多客户端或处理来自相同数量的客户端的更多工作是十分理想的。在此说明书中，NAS系统是一个可扩展的体系结构，它将多个数据存储区集成到一个单一的虚拟NAS中。请求被发送到虚拟NAS，并在单个存储区之间分布。该体系结构的优点是，各个功能的系统，包括功能非常强大的系统，可以用相对便宜组件制成。缺点是，系统的总体性能将只等于其性能最差的数据存储区的性能。可以大规模地提供虚拟NAS以最大限度地降低一个性能较差的数据存储区的影响，但这将降低该体系结构的优点。或者，可以使用自主协调来平衡数据存储区之间的工作负荷。优选实施例选择了后一种方法。
图3是一个显示根据本发明的自主网络附加存储(NAS)系统300的一般配置的方框图。NAS系统300包括两个代表性的客户端301-302。客户端301-302通过网络交换机303连接到请求路由器304。请求路由器304通过一个存储交换机305连接到数据存储区(或服务器)306。数据存储区306又访问共享磁盘307上的数据。数据存储区306处理对保存在系统300中维护的群集文件系统中的文件的请求。请求路由器304将请求在数据存储区306之间分布。自主控制程序308遵循如上所述的本发明的方法指示请求路由器304。总体存储系统300被称为“NAS丛”，因为它集成了多个独立的系统。
客户端301-302、请求路由器304和数据存储区306是计算机。虽然客户端301-302配置相同，但是，数据存储区306故意采用不同的配置，以便最初的未管理的NAS系统(没有实施本发明的方法)原本就是不平衡的。数据存储区306包含各种速度的处理器。有些数据存储区306具有一个处理器，而有些数据存储区可以具有一个以上的处理器。数据存储区306可以具有不同的内存大小。
自主NAS系统300按如下方式工作。客户端301向请求路由器304发送一个请求，而请求路由器304将请求转发到其中一个数据存储区306以便进行处理。任何数据存储区306都可以访问任何文件，因为文件由群集文件系统(在NAS系统300中)进行管理，而群集文件系统协调对文件的访问。哪一个数据存储区306将处理一个给定请求是本发明的方法基于请求的类型、它引用的文件，以及系统的状态所作出的。下面将比较详细地描述决定过程。
本发明的操作能使NAS系统300的负载在其数据存储区306之间共享。负载平衡或智能共享负载，具有两个主要优点。首先，如同任何现代化的计算机系统一样，性能是非线性的。超过一个饱和点之后，负载的线性增大将导致响应时间大大地延长。平衡载荷可以使NAS系统300在一个线性的性能区域内操作。其次，向相同的数据存储区306分配相关的请求可以利用数据缓存，从而使I/O数量、以及计算量变低。
在NAS系统300中，工作负荷可以静态地平衡，即，文件可以遵循一个固定的时间表分配给数据存储区306，它可以动态地平衡，随着时间的推移，文件分配也不断地变化。事实上，静态分配将证明一个不好的选择。在时间上成簇地到达的请求倾向于相关，负载倾向于包括多个循环组件，并且负载倾向于随着时间的推移而显著地不同。NAS系统300将使用前馈控制来进行动态平衡。
请求路由器304能识别来自网络文件系统(NFS)的请求及其响应。请求路由器304以网络速度分析并路由请求和响应。请求路由器304每个文件地、每个请求地、以及每个服务器地、每个响应地记录统计信息。它使用默认规则和异常集将请求转发到相应的存储区。
本发明的自主NAS系统300使用NFS文件句柄(或文件标识符)的简单的散列来选择一个数据存储区306以处理传入的请求。这也被用作选择数据存储区306的默认规则。默认规则具有多个特征：它在数据存储区306之间大致均匀地分布负载，它重复地将一个给定文件分配到相同的数据存储区306，它计算起来比较简单。给定了这些特征，NAS系统300利用存储数据(和群集文件系统令牌)缓存；然而，它静态地将文件分配到数据存储区306，忽略了存储负载和文件热度，即，文件所产生的负载的程度。
本发明的方法使用请求路由器304收集的统计数据，定期执行下列操作：
-它跟踪和预测数据存储区在一个给定负载下的响应时间。
-它跟踪和预测每个文件的热度。
-它估计向数据存储区306重新分配热文件对响应时间的影响；判断要重新分配哪一个文件，并更新路由器的异常集，实际重新分配文件。
假设有循环组件要访问模式，随着其统计数据库的扩大，NAS系统300使投影和分配随着时间变得精炼。如果在访问模式方面有根本的变化，则反馈和前馈的组合可使本发明快速地检测和调整分配。
本发明的NAS系统300使用类似于在计量经济学领域使用使用的时间序列分析方法来预测每一个文件的所期望的工作负荷。具体来说，系统300使用自回归累积移动平均(ARIMA)模式将工作负荷模式化，如Box等人所描述的，从该模式中，它提取循环组件。NAS系统300将频谱预测过程应用到组件，以从当前工作负荷预测未来的工作负荷。频谱预测过程由J.Geweke在＂Priors ForMacroeconomic Time Series and Their Applications，＂DiscussionPaper No.64，Federal Reserve Bank of Minneapolis，Institute forEmpirical Macroeconomics，1992中进行了描述。本质上，每个时段的请求数量可以被视为无穷的移动平均值，估计时间序列的傅里叶变换，计算对应的时间域模式，并使用该模式预测负载。由于相同的模式应用于所有这样的序列，因此，该过程可以自动化。
本发明的NAS系统300使用负荷预测来确定哪一个数据存储区306(如果有的话)在下一个时段中可能会被超载。它反复提出了从超载的数据存储区306重新分配文件。提议文件按照热度(即，访问频率)的降序来重新分配。当取得了NAS系统的性能目标，或者，如果由于系统超载而不能实现目标，当NAS系统300中的工作负荷已经平衡时，迭代结束。
给定一个提议的分配，NAS系统300使用用于估计广义最小平方法的频谱过程来估计一个数据存储区306的响应时间。E.J.Hannan在＂Time Series Analysis，＂pages 17-37，Wiley，1963中描述了频谱过程的一个示例。假设所有因素都综合在一起考虑(一个时段内处理的请求的数量除外)，遵循稳定的ARIMA过程，则此过程适用。在实践中，证明此假设是合理的。由于相同的模式应用于所有的数据序列，因此，该过程也可以自动化。
NAS系统300不是使用默认规则和反复提议重新分配几个热文件，而可以遵循随机最佳化模式计算最佳的分配。此过程需要有关负载和响应时间的历史数据，这些数据是请求路由器304收集和记录的。事实上，这样的计算将十分复杂和缓慢。假设存在一个简单的默认规则，本发明具有一个充分的起点，从该起点，反复应用增量变化，这将快速产生良好的结果。没有必要应用更复杂的过程。
图4是一个显示根据本发明的用于调整自主NAS系统300的可控制的参数的优选过程的流程图。在步骤401中，确立一个性能目标，该性能目标包括可测量的性能目标和实现该目标的置信水平。对于一个NAS系统，可测量的目标可以是最大限度地缩短请求响应时间，以便90％的时间在10毫秒内处理一个请求并返回到请求者。
在步骤402，为一个或多个系统变量确立需求的度量。对于NAS系统，需求的度量可以是跟踪对一个给定文件的请求的数量、类型和大小，一个请求被路由到哪一个数据存储区306，以及需要花费多长时间完成该请求。
在步骤403中，确立一个默认规则，以便通过提供默认操作或配置来静态地重新配置NAS系统。对于NAS系统，默认规则可以是基于文件标识将请求路由到不同的数据存储区306。例如，在图3中，对一个文件的所有请求都进入数据存储区#1，而对另一个文件的请求将进入数据存储区#2。
在步骤404中，作为在永久存储区中维护的数据跟踪和记录需求的度量。该示例中的NAS系统跟踪路由到一个特定的数据存储区的对某一个文件的请求的数量和大小，以及请求需要花多长时间才能完成，并按时间顺序将跟踪数据存储在一个永久存储区中。
在步骤405中，该方法使用自回归的时间序列预测未来的需求。时间序列被视为一个值的无穷的移动平均值。通过应用频谱预测技术，将时间序列从时间域转换为频率域，然后，可以使用该频率域生成预测结果。所描述的方法适用于可以自动化的所有数据序列。该方法对永久存储区中的数据应用自回归累积移动平均(ARIMA)以获取需求预测。
在步骤406中，默认规则应用于每一个请求以产生如何路由请求的投影。对于NAS系统，使用该模式来确定如何在数据存储区之间分配请求。
在步骤407中，使用生成的模式估计系统性能，并考虑到该方法判断是相关的任何反馈。需求被用作对该模式的输入以判断系统性能。对于NAS系统，在一个时间间隔内对文件的请求被用作输入来判断系统性能，包括由于反馈而作出的任何调整，其中，反馈将是偏离预测需求的文件请求活动。速率可能对于一个文件不同，或者请求的分配是与预测的不同的文件。
在步骤408中，给定投影，该方法估计，在其当前配置中，在所希望的置信水平内，系统是否实现目标。对于NAS系统，使用该模式的请求分配的结果预测系统配置在置信水平内是否会实现目标。
在步骤409中，如果投影估计，当前配置不会实现目标，那么，该方法重新配置系统以尝试实现目标。对于NAS系统，可以生成异常规则(在特定的情况下覆盖默认规则的规则)以重新分配请求。一个示例是，根据默认规则，所有对文件28的请求都应该进入数据存储区#2，而不是进入数据存储区#1。
要评估自主NAS系统300的性能，使用了实际系统的四个实际工作负荷。所有四个工作负荷都以非常高的速率发出对数据的请求。NAS系统300的响应时间作为其负载的函数非线性地变化。以同时运行和独立运行的工作负荷评估NAS系统300。首先，在文件重新分配被禁用的情况下运行工作负荷，再次在启用的情况下运行工作负荷。下面给出的结果对应于代表性的24小时跟踪，开始622小时，但是，对此启动时段的特定选择无关紧要。每一个时段都对应于一个小时的跟踪。
图5是一个显示文件重新分配对使用本发明的NAS系统中的响应时间的影响的图。该图显示了每个存储区的响应时间的平均值的最大值。“基本”表示没有重新分配的测量时间，而“调整”表示使用了重新分配的时间。NAS系统300在几乎所有的时段中都实现了其目标的性能分量，或者非常接近。它只在时段637和639偏离校准误差。给定选择的置信水平，它实现了其总体目标。值得注意的是，在时段639和643，包括一个未达到其性能目标的时段，本发明将系统的最大平均响应时间几乎降低了一半。
虽然是参考优选实施例特别显示和描述本发明的，但是那些精通本技术的人员将理解，在不偏离本发明的精神和范围的情况下，可以进行各种修改。相应地，所说明的发明只是说明性的，并局限于所附的权利要求所说明的范围内。