一种操作数据处理系统的方法、数据处理系统和处理器.pdf

一种用于操作数据处理系统的技术，其包括：确定将要受到缓存器损害的缓存行是否包括还没有被记录的高可用性(HA)数据。响应于确定将要受到缓存器损害的缓存行包括还没有被记录的HA数据，经由第一非阻塞通道将HA数据的地址写入第一存储器中的HA脏地址数据结构，例如，脏地址表(DAT)。受到缓存器损害的缓存行经由第二非阻塞通道被写入第二存储器。

权利要求书
1.  一种操作数据处理系统的方法，包括：
确定将要受到缓存器损害的缓存行是否包括还没有被记录的高可用性 (HA)数据；
响应于确定将要受到所述缓存器损害的所述缓存行包括还没有被记录 的HA数据，经由第一非阻塞通道将所述HA数据的地址写入第一存储器 中的HA脏地址数据结构；以及
经由第二非阻塞通道将受到所述缓存器损害的缓存行写入第二存储 器。

2.  如权利要求1所述的方法，其中，确定将要受到缓存器损害的缓存 行是否包括还没有被记录的HA数据包括：检查与所述缓存行相关联的HA 位的状态以确定所述缓存行是否已经被记录。

3.  如权利要求1所述的方法，其中，所述缓存器是第三级(L3)缓存 器。

4.  如权利要求1所述的方法，其中，所述缓存器与生产者核相关联。

5.  如权利要求1所述的方法，其中，所述第一存储器和所述第二存储 器对应于主存储器的不同部分。

6.  如权利要求1所述的方法，其中，所述第一存储器是与消费者核相 关联的缓存器，所述第二存储器是主存储器。

7.  如权利要求1所述的方法，其中，确定将要受到缓存器损害的缓存 行是否包括还没有被记录的HA数据在检查点之间发生。

8.  一种数据处理系统，包括：
生产者核；以及
生产者缓存器，其连接到所述生产者核，其中，所述生产者缓存器被 配置为：
确定将要受到所述生产者缓存器损害的缓存行是否包括还没有被记 录的高可用性(HA)数据；
响应于确定将要受到所述生产者缓存器损害的所述缓存行包括还没 有被记录的HA数据，经由第一非阻塞通道将所述HA数据的地址写入第 一存储器中的HA脏地址数据结构；以及
经由第二非阻塞通道将受到所述生产者缓存器损害的缓存行写入第 二存储器。

9.  如权利要求8所述的数据处理系统，其中，确定将要受到生产者缓 存器损害的缓存行是否包括还没有被记录的HA数据包括：检查与所述缓 存行相关联的HA位的状态以确定所述缓存行是否已经被记录。

10.  如权利要求8所述的数据处理系统，其中，所述缓存器是第三级 (L3)缓存器。

11.  如权利要求8所述的数据处理系统，还包括：
主存储器，其连接到所述生产者缓存器，其中，所述第一存储器和所 述第二存储器对应于所述主存储器的不同部分。

12.  如权利要求8所述的数据处理系统，还包括：
主存储器，其连接到所述生产者缓存器；
消费者核；以及
消费者缓存器，其连接在所述消费者核与所述主存储器之间，其中， 所述第一存储器对应于所述消费者缓存器，所述第二存储器对应于所述主 存储器。

13.  如权利要求8所述的数据处理系统，其中，确定将要受到缓存器 损害的缓存行是否包括还没有被记录的HA数据在检查点之间发生。

14.  一种处理器，包括：
处理器核；以及
缓存器，其连接到所述处理器核，其中，所述缓存器被配置为：
确定将要受到所述缓存器损害的缓存行是否包括还没有被记录的高 可用性(HA)数据；
响应于确定将要受到所述缓存器损害的所述缓存行包括还没有被记 录的HA数据，经由第一非阻塞通道将所述HA数据的地址写入第一存储 器中的HA脏地址数据结构；以及
经由第二非阻塞通道将受到所述缓存器损害的缓存行写入第二存储 器。

15.  如权利要求14所述的处理器，其中，确定将要受到缓存器损害 的缓存行是否包括还没有被记录的HA数据包括：检查与所述缓存行相关 联的HA位的状态以确定所述缓存行是否已经被记录。

16.  如权利要求14所述的处理器，其中，所述缓存器是第三级(L3) 缓存器。

17.  如权利要求14所述的处理器，其中，所述第一存储器和所述第 二存储器对应于主存储器的不同部分。

18.  如权利要求14所述的处理器，其中，所述处理器核是生产者核， 所述缓存器是生产者缓存器，所述第一存储器对应于消费者缓存器，所述 第二存储器对应于主存储器。

19.  如权利要求14所述的处理器，其中，确定将要受到缓存器损害 的缓存行是否包括还没有被记录的HA数据在检查点之间发生。

20.  如权利要求14所述的处理器，其中，所述处理器核是生产者核， 所述缓存器是生产者缓存器。

说明书一种操作数据处理系统的方法、数据处理系统和处理器
相关申请的交叉引用
本申请涉及下列普通受让专利申请：Guy L.Guthrie等人的美国专利 申请(律所案号：No.AUS920130057US1)“TECHNIQUES FOR MOVING  CHECKPOINT-BASED HIGH-AVAILABILITY LOG AND DATA  DIRECTLY FROM A PRODUCER CACHE TO A CONSUMER  CACHE”和Sanjeev Ghai等人的美国专利申请(律所案号：No. AUS920130233US1)“TECHNIQUES FOR LOGGING ADDRESSES OF  HIGH-AVAILABILITY DATA”，所有它们的整个内容在此通过引用被结 合。
技术领域
本申请通常涉及基于检查点的高可用性系统，更具体地，涉及经由非 阻塞通道记录高可用性数据的地址。
背景技术
计算可根据应用和支持平台来考虑。支持平台通常包括由一个或多个 处理器核、输入/输出、存储器和固定存储器(它们的组合支持操作系统 (OS)，操作系统又支持一个或多个应用)构成的硬件体系架构。应用可 以被认为是自我包含的逻辑簇，其依赖核心对象文件和相关的资源文件。 由于计算对于现代工业已经成为整体，因此，应用已经变成共同依赖于其 它应用的存在。也就是说，应用的必要环境不仅包括底层的操作系统和支 持硬件平台，而且包括其它关键应用。
关键应用可包括应用服务器、数据库管理服务器、协作服务器和通常 被称为中间件的通信逻辑。给定应用的复杂性和平台互操作性，在单个硬 件平台上执行的不同应用组合可表现不同程度的性能和稳定性。虚拟化技 术在支持平台和执行应用之间插入一个层。从业务连续性和灾难恢复的角 度来看，虚拟化提供了环境可移植性的固有优势。例如，移动被配置了多 个不同应用的整个环境可以像从一个支持硬件平台向另一个支持硬件平台 移动虚拟镜像一样简单。
通常，当在镜像间维持虚拟分离时，更强大的计算环境可支持多个不 同的虚拟镜像的共存。因此，一个虚拟镜像中的故障条件通常不能危及同 一个硬件平台中其它共存虚拟镜像的完整性。虚拟机监控器(VMM)或 管理程序(hypervisor)管理每个虚拟镜像与由硬件平台提供的底层资源 之间的交互。裸机管理程序直接在硬件平台上运行，与OS如何直接在硬 件上运行相似。相反，被托管的管理程序在主机OS内运行。在任意一种 的情况下，管理程序可支持不同客机(guest)OS镜像或虚拟机(VM)镜 像的操作。VM镜像的数量仅仅受到保存VM镜像或硬件平台的VM容器 的处理资源的限制。
虚拟化已经被证明对于需要分离的计算环境以用于被部署在单个硬件 平台上的不同类型的应用的终端用户特别有用。例如，原产于一种类型的 硬件平台的主OS可以提供原产于不同的硬件平台的虚拟化客机OS(以使 得需要客机OS存在的应用可与需要主OS存在的其它应用共存)。在这 种情况下，不需要终端用户提供分离的计算环境以支持不同类型的应用。 也就是说，与客机OS无关，访问单个硬件平台的底层资源维持静态。
在组成应用解决方案中，虚拟化环境已经被部署以聚集不同VM中的 不同的相互依赖的应用。例如，应用服务器可在一个VM内执行，而数据 库管理服务器在不同的VM中执行，网页服务器在另一个VM中执行。每 个VM可在安全网络中彼此可通信地连接，应用的任何特定部署可被实时 迁移到不同的部署上，而无需干扰其它VM上的其它应用的执行。在典型 的实时迁移中，VM可以从一个主机服务器移动到另一个主机服务器，以 例如允许服务器维护或者允许VM的硬件支持的改进。
基于检查点的高可用性(HA)是其中在主要主机上运行的VM每个 周期(例如25ms)将它的处理器和存储器状态镜像到二级主机上的技术。 镜像过程通常包括：跟踪主要VM的存储器和处理器状态的变化；周期性 地停止主要VM；通过网络向二级主机发送变化；等待二级主机确认接收 到存储器和处理器状态更新；以及重新开始主要VM。镜像过程确保如果 主要主机遭受突然的硬件故障，则二级主机能够以最小的服务损失来重新 开始工作负载。如果二级主机检测到主要主机没有响应或者从主要主机接 收到明确的通知，则二级主机启动VM的镜像版本，对外部世界的表现是 VM越过主要主机的故障而无缝地继续执行。
尽管基于检查点的HA技术提供了针对硬件故障的有效保护，但是基 于检查点的HA技术并没有针对软件故障进行保护。因为主要VM的处理 器和存储器的状态被如实地再现在二级主机上，所以，如果软件崩溃(例 如，空指针的解引用(de-reference))造成故障转移到二级主机，则VM 从最后一个检查点重新开始执行，如果程序执行是确定性的，则会发生同 样的错误。存在一些受约束的情形，其中，如果软件故障触发了故障转移， 则VM可以不崩溃。然而，这些情况是少见的，并更多地靠运气而不是设 计。例如，当工作负载在二级主机上重新开始时，被证明是一个处理器可 访问正被另一个处理器修改的数据的竞态条件的软件故障可能不发生，由 于调度的偶然性，该数据可能不会最终被同时访问。
发明内容
一种用于操作数据处理系统的技术包括确定将要受到缓存器损害的缓 存行是否包括还没有被记录的高可用性(HA)数据。响应于确定将要受到 缓存器损害的缓存行包括还没有被记录的HA数据，经由第一非阻塞通道 将HA数据的地址写入到第一存储器的HA脏地址数据结构，例如脏地址 表(DAT)。受到缓存器损害的缓存行经由第二非阻塞通道被写入第二存 储器。
上述概要包含细节的简化、概括和省略，并不意味着作为所要求保护 的主题的全面描述，而是意在提供某些与其相关的功能的简要概述。在审 查了下面的附图和详细撰写的说明后，本领域技术人员将清楚所要求保护 的主题的其它系统、方法、功能、特征和优点。
在下面详细撰写的说明中，本发明的上述以及其它目的、特征和优点 会变得明显。
附图说明
将结合附图来阅读示例性实施例的说明，其中：
图1是根据本公开的被配置为产生高可用性(HA)日志和数据的示例 性数据处理系统环境的相关部分的图；
图2是可部署在图1的数据处理环境中的数据处理系统(其包括生产 者核和生产者缓存器)和另一个数据处理系统(其包括消费者核和消费者 缓存器)的图；
图3是描述根据本发明的实施例的HA日志和数据从图2的生产者缓 存器到消费者缓存器的迁移的图；
图4是根据本发明的另一个实施例的缓存器的相关部分的图，该缓存 器的目录包括每个缓存行的HA位以指示缓存行的地址是否需要记录；
图5是可在根据本发明的实施例配置的生产者/消费者缓存器层级结构 中发生的示例性存储器操作的图；
图6是根据本发明的另一个实施例的用于经由非阻塞通道将HA数据 的地址记录在脏地址数据结构(例如，脏地址表(DAT))中的示例性过 程的流程图。
具体实施方式
示例性实施利提供了一种方法、数据处理系统和处理器，其被配置为 经由非阻塞通道在脏地址数据结构(例如，脏地址表(DAT))中记录高 可用性(HA)数据的地址。
在以下本发明的示例性实施例的详细说明中，本发明可在其中被实施 的特定示例性实施例以足够的细节进行描述，以使得本领域技术人员能够 实现本发明，应当理解，可以利用其它实施例，并且在不脱离本发明的精 神或范围下，可以进行逻辑、体系、编程、机械、电气和其它变化。因此， 下面的详细说明并不是限制的意思，本发明的范围由后附的权利要求及其 等同来限定。
应当理解，使用特定组件、设备和/或参数名称仅仅是举例，并不意味 着限制本发明。因此，本发明可以用用于描述在此的组件/设备/参数的不同 专有名词/术语来实现，而没有任何限制。在此所利用的每个术语将被赋予 其在给定使用该术语的上下文中的最宽的解释。如在此所使用的，术语“连 接”可包含组件或单元之间的直接连接或者利用一个或多个中间组件或单 元的组件或单元之间的间接连接。如在此所使用的，属于“系统存储器” 与术语“主存储器”是同义词，但不包括“缓存器”或者“缓存存储器”。 如在此所使用的，术语“非阻塞”并不意味着逐出(cast-out)操作可以不 必等待或者可以不被重试。然而，“非阻塞”意味着逐出操作不能被无限 地重试，并且由于逐出操作而不会发生死锁或活锁。换句话说，术语“非 阻塞通道”意味着通道上的操作不会导致依赖性在任何其它操作上创建， 以使得死锁或活锁发生。
如上所述，基于检查点的高可用性(HA)是在“主要主机”上运行的 虚拟机(VM)定期(例如，每25ms)执行将主要主机的处理器状态和存 储器状态镜像到“二级主机上”的“检查点”的技术。镜像过程包括：跟 踪VM的处理器寄存器和存储器的变化；周期性地停止VM；向二级主机 发送所跟踪的变化(例如，通过网络)；等待二级主机确认接收到处理器 和存储器状态更新；以及重新开始VM。这确保了如果主要主机遭受到突 然的硬件故障，则二级主机能够以最小的服务损失重新开始工作负载。
在一个或多个传统的基于检查点的HA实现中，管理程序使用页面保 护来识别VM存储器的修改区域，其中所有存储器在检查点后被标记为只 读。管理程序的作用是：检测在对存储器的页面首次执行存储时发生的后 续故障；恢复对页面的原始访问权限；以及将页面标记为要求在下一个检 查点传输页面的“脏”。通常，与没有应用检查点相比，应用检查点技术 的VM通常引发更多的页面保护故障。应当知道，通常页面上单个字节的 变化需要整个页面被传送给二级系统，因为一旦页面保护被移除，则如果 不使用额外的处理器周期和额外的存储器以将页面与原始页面的副本相比 较，则无法告诉该页面有多少被修改。因此需要向二级系统发送整个脏页 面，其结果，传统的HA系统通常使用相对小的页面尺寸(例如，4K页面 尺寸，与64K页面尺寸相比)以减少主要系统和二级系统之间的流量。在 这种情况下，传统的HA系统性能可能受到不利影响，因为操作系统(OS) 不能够利用大的页面。
根据本公开的一个或多个方面，存储器的修改可通过维持填充了从上 一次检查点以来已经被生产者处理器核(生产者核)修改的缓存行的地址 的缓冲区来以缓存行粒度记录，而没有页面故障。缓冲区可在检查点期间 检查或者在检查点之前推测地检查，以便确定哪些缓存行需要被传输到二 级系统以维持一致的存储器镜像。由于更小的修改粒度(即，缓存行，而 不是页面)，在缓存器中维持缓冲区通常减少页面故障，并降低主要系统 与二级系统之间的流量。缓冲区方案也是与页面尺寸无关，因此，HA系 统可利用更大的页面尺寸而不会发生与页面尺寸有关的性能惩罚。
根据本发明的一个或多个实施例，记录缓存行地址相对于已知方案具 有显著的性能优点和复杂性的降低。在各种实施例中，所公开的技术可被 实现为硬件，其中某些组件可被实现为缓存器和通过仅仅能够由特许管理 程序代码访问的处理器寄存器显露的某些参数。在一个或多个实施例中， 管理程序软件被修改以利用所增加的硬件特征。
现代处理器设计通常包括某些形式的逐出引擎和侦听干涉 (snoop-intervention)引擎。逐出引擎负责将从缓存器中逐出的数据写回 主存储器(或系统存储器)或者写入与另一个处理器相关联的缓存器。侦 听干涉引擎负责将数据从给定缓存器提供给正试图访问包括该数据的缓存 行的另一个处理器。逐出引擎的操作可例如通过释放缓存器中的空间以用 于进入的数据的要求来触发。侦听干涉引擎的操作可被触发以例如在处理 器想要修改缓存行中的数据时向另一个处理器提供对该缓存行的独占访 问。通常，在检查点间隔(即，两个检查点之间的时间)期间，在检查点 之间被修改的每个缓存行或者被驻留在缓存器中作为脏数据或者已经通过 了逐出或侦听干涉引擎，并且在检查点，缓存器漫游/擦除(walk/scrub) 可被触发。
缓存器刷新/清除(flush/purge)将脏数据推出到主存储器，以使得在 检查点之间修改的每个缓存行被确保已通过了逐出引擎。逐出/侦听干涉引 擎可以被修改，以使得不仅将脏缓存行数据写入存储器/另一个缓存器，而 且引擎可在被修改的缓存行的地址被写入驻留在缓存器中的环形缓冲区的 模式下操作。为了提高效率，缓存器硬件可以被配置为管理中间缓冲区(例 如，两个缓存行深度的缓冲区)，其收集由逐出引擎和/或侦听干涉引擎报 告的地址(例如，8字节地址)。在一个或多个实施例中，当中间缓冲区 被填充了全缓存行负载的地址时，逐出引擎(通过逐出命令)将中间缓冲 区的内容移动到环形缓冲区。在至少一个实施例中，中间缓冲区中的每个 缓存行拥有多达16个的地址(例如，128字节)。
应当知道，并不是数据处理系统的所有处理器核在所有时间都运行在 生产者模式下。在生产者模式下运行的处理器核在这里被称为“生产者核”。 处理器核可通过设置能够由管理程序访问的硬件标记来置于生产者模式 中。在至少一个实施例中，当处理器核处于生产者核模式中时，为了管理 写入环形缓冲区，逐出引擎维持包含以下内容的寄存器：基址(其是指向 缓冲区的基地址的指针)；生产者头部(其是缓冲区内下一个地址将被写 入的偏移)；界线(其是边界指针)；以及尺寸(其是缓冲区尺寸的指示)。
在各种实施例中，HA日志被维持在与分配给虚拟机(VM)的存储器 分离并且仅仅可由管理程序访问的存储器中。当处于生产者模式中时，逐 出和侦听干涉操作加上定期逐出和/或侦听干涉行为被配置为将所修改的 缓冲行的地址记录在缓存器的当前填充的中间缓冲区中(例如，使用乒乓 缓冲，以使得一个缓冲区被填充，而另一个缓冲区被写回到主存储器)。 当处于生产者模式中时，逐出引擎被命令以通过以下行为将缓存行从缓存 器的中间缓冲区(如它们填充的)移动到缓存器的环形缓冲区：将缓存行 地址的存储发布给生产者头部指针；增加生产者头部指针；如果生产者头 部指针前进到基址加上尺寸，则绕回到基址；如果生产者头部等于界线， 则故障被传送到管理程序。
在一个或多个实施例中，当检查点出现时：主要系统上的管理程序暂 停主要VM的执行；缓存器漫游操作被触发以生成HA日志的条目；消费 者核遍历HA日志，该消费者核可以是物理上不同的核或者相同的核(但 不再处于生产者模式)。对于每个HA日志条目，消费者核：读取地址； 从VM的存储器中读取在该地址的当前数据；将(地址，数据)对发送到 二级系统，在二级系统中，(地址，数据)对用于更新二级VM的存储器 镜像；与二级系统同步其它状态(例如，处理器寄存器)；然后，启动主 要VM执行的重新开始。
消费者核可以实现各种优化。例如，当特定地址在检查点间隔中已经 被逐出若干次时，逐出地址将在日志中出现多次。应当知道，复制逐出地 址仅仅需要被传输到二次系统一次，因为是VM的存储器中的当前数据被 传输，而不是在逐出时的数据(其未被记录)。因此，消费者核可执行某 些减少，以降低去往二级系统的带宽。如上所述，当主要VM利用多个处 理器核且同一个缓存行在同一个检查点间隔期间被超过一个的生产者核逐 出时，地址将出现在多个日志中，但仅需要被传输一次。此外，HA日志 的某些减少可被执行以减少带宽。
消费者核可在检查点之前开始推测性地处理生产者核的HA日志。尽 管推测性地处理生产者核的HA日志降低了减少的范围，但推测性地处理 生产者核的HA日志平滑了去往二级系统的数据迁移，并可更有效地使用 可用的总带宽。应当注意，由主要VM利用的大部分工作足迹可在缓存器 中驻留检查点之间的时间段，大部分记录在检查点时间发生。由硬件进行 的自然缓存可对仅记录指定缓存行一次进行有效工作，即使当该缓存行已 经在检查点之间被存储多次。界线寄存器的目的是确保没有数据在检查点 操作期间由于日志包装而丢失。基于生产者头部相对界线的检查，界线指 向检查点间隔中的第一个日志记录以确保数据不会被覆写。
在各种实施例中，如果到达界线，则启动故障转移到二级系统或者重 新同步所有VM存储器。故障转移到二级系统或者VM存储器重新同步是 值得的，因为在缓存器中可能有还没有通过逐出引擎的脏数据。在这种情 况下，仅仅启动即时检查点不是期望的，因为没有空间可用于将被记录的 脏地址。通常，管理程序应当确保日志具有适当大小并且还要定期监控生 产者头部指针，如果预见到日志溢出，则启动早期检查点。如果消费者核 推测性地处理日志，则管理程序可周期性地向前移动界线指针，以使得溢 出仅在生产者核与消费者核还没有处理的日志条目冲突时(在消费者核落 后的情况下)才被触发。
如上所述，缓存器硬件可以被修改以确保缓存器中的环形缓冲区以定 期的间隔包括自上次检查点以来已经被指定处理器核修改了的所有存储器 位置的列表。通常，修改使得逐出引擎和侦听干涉引擎记录在检查点之间 离开缓存器的存储器地址，并在检查点处启动缓存器刷新以确保没有修改 了的数据保留在缓存器中(从而确保修改了的数据通过逐出引擎，并被记 录)。该方案的缺点在于在每个检查点间隔都需要缓存器刷新。缓存器刷 新导致对逐出引擎和存储器子系统的额外压力，并通常会降低在高可用性 (HA)模式下运行的工作负载的性能。
根据另一个方案，通过在缓存器中引入用于每个缓存行的新的“HA 位”，所有地址被确保在检查点间隔处记录，而无需进行缓存器刷新。当 处理器和在生产者核模式下运行时，响应于缓存行的修改，HA位被断言 (asserted)，并可被解除断言(de-asserted)作为缓存器漫游操作的一部 分，该操作在检查点处执行，并使缓存器漫游，导致HA位被断言的缓存 行的地址被记录到环形缓冲区。接着，对于所有被记录的缓存行，HA位 被解除断言。在该实现中，与缓存行相关联的数据并没有立即写入主存储 器中，缓存行仍然在缓存器中被标记为“脏”。处理器缓存器通常被实现 为查找表，其将地址(标记)与某些数据相关联。标记可以是虚拟的或物 理的地址或者其组合，数据是固定大小的(例如，缓存行)。对于任何指 定标记，在缓存器中有几个可以找到数据的位置，因此，缓存器查找通常 涉及检查多个时隙(slot)以找到匹配标记。另外，时隙可能不包含任何数 据，因此，时隙通常不仅包括将要与标记相关联的数据，还包括多个标记。
根据另一个实现，HA位被添加到缓存器中的每个时隙上。当与缓存 行相关联的数据被在生产者核模式下运行的处理器核更新时，HA位被断 言。在检查点处，缓存器漫游操作遍历整个缓存器，类似于缓存器刷新， 但并不检查“脏位”和将数据推出主存储器，相反，缓存器漫游检查“HA 位”并将物理地址推出环形缓冲区。
在大多数计算系统中，通常有几层缓存器(例如，从第1级到第N级 (即，L1到LN，其中N通常是3或4))。L1缓存器是最快、最小的缓 存器，最接近于处理器核，每个较低级的缓存器与较高级的缓存器相比趋 向于更慢和更大。在一个或多个实施例中，缓存器漫游操作遍历所有可包 含HA修改的数据的缓存器，但这并不必然意味着所有缓存器必须被遍历， 因为缓存器级别可能是通写(write-through)或回写(write-back)。众 所周知，通写缓存器在缓存器中保持数据，而且还同步地将该数据推到下 一个缓存器级别以促进用于随后的读取的快速访问时间。用于通写缓存器 的写比在回写缓存器中的写更昂贵，因为写入者必须等待来自(更慢)下 一级别缓存器的写完成。通写不需要被漫游。回写缓存器在缓存器中保持 数据，但并没有同步地将该数据推入到缓存器的下一级别。采用回写缓存 器，写入缓存器的过程更快，但以必须管理对称的多处理器(SMP)系统 中的缓存器之间的数据一致性(coherency)为代价。当数据从缓存器中被 逐出以为其它数据腾出空间时，会产生写入缓存器的下一级别的成本。
在多层缓存器层级体系中，只有回写缓存器需要在检查点处通过缓存 器漫游操作遍历。例如，在包括通写L1缓存器、回写L2缓存器和回写 L3缓存器的系统中，有处理器执行的任何写将去往L1缓存器，并且(由 于它是通写缓存器)也被写入L2缓存器。在这种情况下，L1缓存器中的 脏数据也在L2缓存器中。由于在L2缓存器中需要更多的空间，因此，脏 数据被逐出，并成为L3缓存器中的脏数据。在该例子中，在生产者核模 式下执行的写操作设置L2缓存器中用于相关联的缓存行的HA位。当L2 缓存器中HA位被断言的缓存行被逐出到L3缓存器时，L3缓存器中与该 缓存行相关联的HA位被断言。在该例子中，L1缓存器不需要HA位。在 检查点处，缓存器漫游操作需要遍历L2和L3缓存器，将所有具有被断言 的HA位的缓存行的物理地址写入环形缓冲区，并在操作结束时对所有HA 位解除断言。
上述说明描述了增强缓存器硬件以确保缓存器中的环形缓冲区以定期 的间隔存储自上次检查点以来已经被指定处理器核修改了的所有存储器位 置的列表。修改了的存储器位置的列表可用于提高系统性能和可靠性。修 改了的存储器位置的列表(存储在“环形缓冲区”、“HA日志”或“HA 表”中)由支持缓存器维护，例如L2/L3缓存器，修改了的缓存器行保存 HA数据。HA日志和HA数据由消费者核进行处理以提供系统可靠性和冗 余。通常，当产生HA日志时，HA产生器已经将HA日志直接从缓存器 中的环形缓冲区写入主存储器。当HA数据从与HA生产者核相关联的缓 存器受到损害时，HA数据还通常已经被写入主存储器。
为了处理HA日志和HA数据，消费者核通常已从主存储器中读取HA 日志和HA数据。相对于在此所公开的技术，传统的方案需要多次访问主 存储器，造成存储器资源的相对大的带宽成本，消耗功率，并增加消费者 核处理HA日志和HA数据的时间。在现代大型服务器中，存储器资源是 宝贵的，存储器功率是系统功率的主要组成。根据本公开，处理HA日志 和HA数据的时间被减少，这增加了系统可致力于其它任务的时间。
根据本发明的一个或多个实施例，与HA生产者核相关联的生产者缓 存器将HA日志(从生产者缓存器的环形缓冲区)直接移动到HA消费者 核的缓存器中。根据各个方面，生产者缓存器还将在生产者缓存器中存储 的HA数据直接移动到消费者核的缓存器中。这样，消除了在生产者缓存 器将HA日志和HA数据移出到主存储器后消费者核必须从主存储器获取 HA日志和HA数据的操作。因此，减少了消费者核执行HA系统备份所 需要的时间，降低了存储器资源上的负担，并减少了与实施HA相关联的 功率消耗。
在各种实施例中，HA生产者缓存器被配置为识别应当被放进HA日 志中的缓存行地址。对于HA日志条目，HA生产者包括识别HA日志的 位置的硬件寄存器。在一个或多个实施例中，HA生产者缓存器利用系统 总线“缓存器注入(cache inject)”命令或“强制的缓存器注入(forced cache  inject)”命令来连贯地将HA日志条目直接安装在HA消费者核的缓存器 内(而不是将HA日志条目写入主存储器)。缓存器注入命令被配置为维 持一致性，因为生产者核在HA日志写入时可能并不具有HA日志缓存行 的所有权。众所周知，缓存器注入命令是专用的系统总线命令，其帮助将 缓存行直接写入缓存器(例如，消费者缓存器)。HA数据可以根据生产 者缓存器的目录中用于跟踪哪些缓存行被HA生产者核修改的“HA位” 来与非HA数据区分。
当生产者缓存器损害HA数据时，横向逐出(lateral cast-out)(LCO) 命令可用于将HA数据连贯地迁移到HA消费者核的缓存器(处于相同级 别，例如，L2-L2、L3-L3)，而不是主存储器。LCO命令允许生产者缓 存器专门指定消费者核的缓存器以用于所有HA数据。在一个或多个实施 例中，LCO命令用于在生产者核已经具有HA数据的所有权时迁移HA数 据，LCO更有效。消费者核在处理HA日志(通过正常负载)时会发现 HA日志缓存行条目已经在它的第二级(L2)和第三级(L3)缓存器中， 这最小化了访问HA日志所需要的时间(HA日志指向HA数据缓存行)。 当消费者核启动HA数据处理时，那些HA数据缓存行被发现已经连贯地 安装在消费者核缓存器中(例如，消费者核的L2和L3缓存器)。将HA 日志和HA数据直接从生产者缓存器移动到消费者缓存器极大地降低了与 消费者核处理执行HA系统的HA备份所需要的HA日志和HA数据相关 联的系统总线流量和延迟。
参照图1，示出了示例性的数据处理环境100，其包括数据处理系统 110，根据本公开的一个或多个实施例，该数据处理系统110被配置为经由 非阻塞通道在脏地址数据结构(例如，脏地址表(DAT))中记录高可用 性(HA)数据(其在缓存器漫游期间还没有被记录在HA日志中)的地址。 如在此所使用的，DAT用于存储包括HA数据的修改了的缓存行的地址， 并通常可被认为与HA日志同步。应当知道，HA日志可以驻留在多个位 置中。数据处理系统110可以采用各种形式，诸如工作站、膝上型计算机 系统、笔记本计算机系统、桌面型计算机系统或服务器和/其集群。数据处 理系统110包括一个或多个处理单元或处理器102(它们每一个可包括用 于执行程序代码的一个或多个处理器核)，其连接到数据存储子系统104、 (可选地)显示器106、一个或多个输入设备108、网络适配器109。数据 存储子系统104可例如包括适当数量的各种存储器(例如，动态随机存取 存储器(DRAM)、静态RAM(SRAM)和只读存储器(ROM))和/ 或诸如磁盘或光盘驱动器的一个或多个大容量存储设备。
数据存储子系统104包括用于数据处理系统110的一个或多个操作系 统(OS)114。数据存储子系统104还可包括应用程序，诸如浏览器112 (其可选地包括定制插件以支持各种客户端应用)、用于管理一个或多个 由不同OS镜像实例化的虚拟机(VM)120的管理程序(或虚拟机监控器 (VMM))116、以及其它应用(例如，字处理应用、演示应用、电子邮 件应用)118。
显示器106可以例如是阴极射线管(CRT)或液晶显示器(LCD)。 数据处理系统110的输入设备108可例如包括鼠标、键盘、触觉设备和/ 或触摸屏。网络适配器109支持数据处理系统110利用诸如802.x、HTTP、 简单邮件传输协议(SMTP)的一个或多个通信协议与一个或多个有线和/ 或无线网络进行通信。数据处理系统100被示为通过诸如因特网122的一 个或多个有线或无线网络连接到向数据处理系统110的用户提供感兴趣的 信息的多个文件服务器124和多个网页服务器126。数据处理环境100还 包括一个或多个数据处理系统(DPS)150，其以与数据处理系统110类似 的方式进行配置。通常，数据处理系统150表示远离数据处理系统110并 可执行OS镜像的数据处理系统，其可被链接到在数据处理系统110上执 行的一个或多个OS镜像。
本领域技术人员知道在图1中描述的硬件组件和基本配置可以变化。 在数据处理系统110内的示例性组件并不意味着是穷尽的，而是代表性的， 以突出可用于实现本发明的组件。例如，其它设备/组件可用于添加到或者 替代所描述的硬件。所描述的例子并不意味着暗示对当前所描述的实施例 的体系结构或其它限制。
参照图2，更详细地说明数据处理系统(DPS)110和150的相关组件。 DPS 110和150可包括一个或多个处理器102，其中每一个都包括第一级 (L1)指令缓存器，该第一级(L1)指令缓存器被连接到一个或多个例如 可在数据存储子系统104中实现的其它缓存器级别(例如，第二级(L2) 和第三级(L3)缓存器)。如图2所示，DPS 110包括生产者核202，其 被连接到生产者缓存器(例如包括L2和L3缓存器)204。如所述的，生 产者缓存器204可包括逐出引擎205、侦听干涉引擎206、环形缓冲区207 和中间缓冲区208。同样，DPS 150包括消费者核212，其被连接到消费者 缓存器(例如包括L2和L3缓存器)214。尽管生产者核202/生产者缓存 器204和消费者核212/消费者缓存器214被表示为处于不同的数据处理系 统中，但应当知道，生产者核202、生产者缓存器204、消费者核212和消 费者缓存器214可以实现在包括多个处理器核的同一个数据处理系统中。
参照图3，生产者缓存器204被示为将HA数据302和HA日志304 直角存储在消费者缓存器214中。HA数据302和HA日志304可被存储 在同一个缓存器级别(例如L2或L3缓存器)或者可被存储在不同的缓存 器级别。消费者缓存器214被示为响应于来自生产者缓存器204的横向逐 出(LCO)命令而存储HA数据302。消费者缓存器214还被示为响应于 来自生产者缓存器204的缓存器诸如命令而存储HA日志304。应当知道， HA数据302和HA日志304可以使用其它类型的操作来被直接从生产者 缓存器204移动到消费者缓存器。总之，消费者核212处理HA日志304 和HA数据302所需要的时间被极大地减少，因为消费者核212不必从主 存储器获取HA日志304和HA数据302。
参照图4，描述了示例性的缓存器402，其包括目录404(包括用于每 个缓存行的标记和HA位)和阵列406(包括数据)。应当知道，目录404 还可以包括固有的状态信息、替换顺序信息和/或用于每个缓存行的其它标 记(未示出)。如上所述，HA位表示缓存行是否需要从生产者缓存器204 迁移到消费者缓存器214以用于处理。当与缓存行相关联的数据被生产者 核202(其是在生产者核模式下运行的处理器核)修改时，HA位被断言。 在检查点，缓存器漫游操作(例如，由逐出引擎205执行)可遍历整个生 产者缓存器204以检查用于每个缓存行的“HA位”。然后，具有被断言 的HA位的每个缓存行的物理地址被写入HA日志304(其可与环形缓冲 区207对应)。在一个或多个实施例中，当HA日志满(或达到其它阈值， 例如四分之三满)时，生产者缓存器204(例如响应于由侦听干涉引擎206 发布的缓存器注入命令)将HA日志304移动到消费者缓存器214以用于 后面的处理。
在各种实施例中，当HA数据302受到损害时(即，当缓存行从生产 者缓存器204中逐出以为其它数据腾出空间时)，生产者缓存器204(例 如响应于来自逐出引擎205的横向逐出命令的发布)将HA数据302移动 到消费者缓存器214以用于以后的处理。可选择地，生产者缓存器204可 以在损害之前(例如响应于横向逐出命令)将HA数据302移动到消费者 缓存器214。在任何情况下，当启动HA处理时，消费者核212利用HA 日志304以确定HA数据302的位置。
通常，为了避免在向目标缓存器安装新的缓存行时出现死锁，从目标 缓存器中逐出以为新的缓存行创建空间的所产生的受害者缓存行必须具有 去往较低级别存储器(例如，系统存储器)的非阻塞通道。在一个或多个 实施例中，应当知道，包括HA数据的缓存行可以在缓存行的地址被记录 在HA日志中之前从L2缓存器中逐出，因为在各种公开的实施例中，地 址仅仅由L2缓存器在检查点记录。在这种情况下，期望较低级别缓存器 (例如，L3缓存器)检查将要被逐出L3缓存器(例如，为来自L2缓存 器的受损害缓存行腾出空间)的缓存行的HA位。在将要被逐出L3缓存 器的缓存行具有被断言的HA位的情况下，期望L3缓存器(除了向受损 害缓存行提供非阻塞通道外)向将要受到损害的缓存行的地址提供去往例 如可位于主存储器或消费者缓存器中的脏地址数据结构(例如，脏地址表 (DAT))的)非阻塞通道。
参照图5，示出了高可用性(HA)系统500的相关部分，其包括用于 HA日志写入位于主存储器520的DAT 522或HA日志写入L3缓存器514 的非阻塞通道。在这种情况下，HA日志写入主存储器520(例如DMA(X)) 产生(或分叉)现有的非阻塞的逐出到主存储器520的流(例如CO(C))。 应当知道，既然正常的逐出到主存储器520的流依赖于HA日志写入DAT 522的流，因此，HA日志写入流必须也是非阻塞地去往主存储器520，以 防止在生产者和消费者缓存器中的死锁。也就是说，当从L3缓存器向主 存储器520逐出缓存行(即，具有被断言的HA位的HA数据缓存行)时， HA日志还必须经由非阻塞通道写入以防止死锁。如上所述，HA系统允许 指定系统在另一个系统中创建频繁的检查点备份，以使得如果主系统失灵， 则二级系统可从最后的检查点处重新开始操作，使得停机时间实质上对于 用户是透明的。生产者/消费者定义确保尽管生产者缓存器的逐出和HA日 志写流量依赖于相关联的消费者缓存器的活动，但消费者缓存器的逐出流 决不依赖于生产者缓存器中的活动(即，通过确保消费者缓存器决不生成 HA日志写流量)。
再次参照图5，在正常的系统配置中，对L2缓存器502的遗漏(miss) (如对缓存行“A”的读取要求(RC(A))所表示的)可能导致驻留在L2 缓存器502中的缓存行的损害(如缓存行“B”的逐出(CO(B)所表示的)， 因为用于遗漏的缓存行的空间被分配。然后，CO(B)行可能造成驻留在L3 缓存器504中的缓存行的损害(如缓存行“C”的逐出(CO(C)所表示的)， 因为空间被分配给L3缓存器504中的CO(B)行。为了避免缓存器502和 504中的死锁，CO(C)行被提供去往主存储器502的非阻塞路径。根据本 公开的一个实施例，对于具有生产者核和消费者核的HA系统配置，当HA 日志信息需要写入主存储器和/或消费者缓存器时，在生产者缓存器和消费 者缓存器中创建非阻塞HA日志写通道。非阻塞HA日志写通道将HA日 志经由直接存储器访问(DMA)(即DMA(X))迁移到主存储器520的 DAT 522，以记录已经被处理的HA缓存行地址。DAT 522还可被缓存在 L3缓存器514中，以帮助DAT 522的消费者处理。在这种情况下，L3缓 存器514通过缓存器注入(inject(X))操作为HA日志条目分配新的空间， 这可能导致缓存行的损害CO(X’)。除了可能处理DAT 522的缓存外，消 费者L3缓存器514还被配置为处理由消费者L2缓存器512中的遗漏 RC(A’)、受害者CO(B’)和受害者CO(C’)造成的损害的正常非阻塞要求。
应当知道，如果生产者缓存器被配置为缓存DAT行，则死锁可在各 种损害CO(C)、CO(C′)、和CO(X′)的处理和完成中以及在成功完成DMA (X)中发生。所公开的技术促进HA日志的正确处理并防止各种生产者 和消费者死锁。例如，如果消费者L3缓存器514CO(X′)的转发进度变得 依赖于当前忙于生产者L3缓存器504的逐出流的新的(用于HA日志的) 缓存器注入inject(X)，则死锁会发生，因为生产者L3缓存器504的CO(C) 流已经依赖于进入消费者L3缓存器514的缓存器inject(X)流。
为了管理程序正确地管理对DAT的访问，指定处理器核可以被分配 为DAT的生产者或消费者。在一个或多个实施例中，生产者核被允许运 行HA VM，在生产者之下的硬件可在DAT中产生条目，但生产者核在它 是生产者核时不允许引用DAT。在一个或多个实施例中，消费者核被允许 访问DAT以为了处理DAT条目的目的(即，将数据复制到备份环境)， 但在它是消费者时被限制运行HA VM。应当知道，仅仅真正用作消费者 的生产者核应当被配置为硬件中的消费者核。未真正用作消费者核的所有 生产者核应当被配置为生产者核(即使生产者核不打算运行HA代码)。
根据本公开的各种方面，用于记录HA日志条目的非阻塞HA日志写 通道被配置为避免死锁情形。在一个或多个实施例中，每个运行HA VM 的生产者核具有一个被分配的DAT，其具有“片装(onchip)”亲和性。 在各种实施例中，用于指定芯片的一组DAT驻留在存储器中的一个连续 区域中(被称为HA脏地址存储器块(DAMB))。通常，生产者核没有 被配置为将缓存行从DAT拉入它的缓存器中。在通常情况下，指定生产 者核具有一个被分配的消费者核，指定生产者核的DAT的缓存行仅仅永 远驻留在与所分配的消费者核相关联的主存储器或缓存器中。在一个或多 个实施例中，一个专用处理器核被分配作为DAT的消费者。在各种实施 例中，消费者核不运行HA代码，消费者核不会被配置为通过横向逐出 (LCO)来将DAT传输到生产者缓存器，消费者核不会被配置为将缓存 行从DAT拉入位于分配给相关节点的存储器的连续区域之外的相关的消 费者缓存器中。
参考图6，描述了过程600，其每次在块602启动，例如，缓存航被逐 出L3缓存器504。接着，在块604，L3缓存器504接收来自L2缓存器502 的缓存行以用于在L3缓存器504中安装。接着，在决策块606，L3缓存 器504确定L3缓存器504是否具有可用的容量以安装缓存行，而不损害 另一个缓存行。响应于L3缓存器504在块606确定它可安装所接收的缓 存行而不会损害另一个缓存行，控制转送到块608。在块608，L3缓存器 504在L3缓存器504中安装从L2缓存器502接收的缓存行。控制从块608 转到块618，其中，过程600结束，直到下一个缓存行从L2缓存器502中 逐出。
响应于L3缓存器504在块606确定它不能安装所接收的缓存行，而 不损害另一个缓存行，控制转到块610。在块610，L3缓存器504选择将 受害的缓存行，例如利用最近最少使用(LRU)替换策略。接着，在决策 块612，L3缓存器504确定所选择的缓存行是否包括先前还没有被记录的 HA数据。例如，L3缓存器504可检查与缓存行相关联的HA位以确定 HA位是否被断言(其表明缓存行的地址先前还没有被记录)。响应于收 到损害的缓存行的地址先前没有被记录，控制从块612转到块614。
在块614中，L3缓存器504经由非阻塞通道将HA数据的地址写入第 一存储器(例如，主存储器520或与适当的消费者核相关联的L3缓存器 514)中的HA脏地址数据结构(例如，脏地址表(DAT)522)。接着， 在块616中，L3缓存器504经由另一个非阻塞通道将受害的缓存行写入存 储器(例如，主存储器520)。可选择地，受害的缓存行可使用LCO写入 L3缓存器514。响应于正受到损害的缓存行的地址先前被记录或者缓存行 不包括HA数据，控制从块612直接转到块616，其描述L3缓存器504将 受害的缓存行写入存储器。控制从块616转到块608，在该块608中，缓 存行被安装在L3缓存器504中，然后，去往块618，过程600结束。
因此，在此已经公开了经由非阻塞通道在脏地址数据结构(例如，脏 地址表(DAT))中记录在缓存器漫游期间在检查点还没有被记录的高可 用性(HA)数据的地址的技术。
图6中描述的方法可以具体化在包含计算机可读代码的计算机可读介 质中，以使得当计算机可读代码在计算设备上执行时执行一系列步骤。在 某些实施例中，在不偏离本发明的精神和范围的情况下，方法的某些步骤 可以被组合、同时执行或者以不同的顺序执行或者可能被省略。因此，尽 管以特定的顺序描述和说明了该方法的步骤，但使用特定顺序的步骤并不 意味着暗示对本发明的任何限制。在不脱离本发明的精神和范围的情况下， 可以对步骤的顺序进行改变。因此，使用特定的顺序并应当被认为是限制 的意思，本发明的范围仅由后附的权利要求限定。
所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、 方法或计算机程序产品。因此，本发明的各个方面可以具体实现为以下形 式，即：完全的硬件实施方式或硬件和软件方面结合的实施方式，这里可 以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各 个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的 形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可 以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质 例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系 统、装置或器件，或者任意以上的组合,但不包括计算机可读信号介质。 计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算 机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编 程只读存储器(EPROM或闪存)、便携式紧凑盘只读存储器(CD-ROM)、光 存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算 机可读存储介质可以是任何包含或存储程序的有形存储介质，该程序可以 被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的 数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以 采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合 适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任 何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指 令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读信 号介质上包含的程序代码可以用任何适当的介质传输，包括——但不限 于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操 作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言— 诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计语言—诸如 “C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执 行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用 户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上 执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网 络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可 以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在此将参照根据本发明实施例的方法、装置(系统)和计算机程序产 品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框 以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这 些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据 处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通 过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图 和/或框图中的一个或多个方框中规定的功能/动作的装置。
也可以把这些计算机程序指令存储在计算机可读存储介质中，这些指 令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作， 从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图 中的一个或多个方框中规定的功能/动作的指令的制造品(article of  manufacture)。也可以把计算机程序指令加载到计算机、其它可编程数据 处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其 它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计 算机或其它可编程装置上执行的指令提供实现流程图和/或框图中的一个 或多个方框中规定的功能/动作的过程。
如还将知道的，本发明的实施例中的过程可用使用软件、固件或硬件 的任意组合来实现。作为在软件中实现本发明的预先步骤，编程代码(软 件或固件)通常被存储在一个或多个机器可读存储介质中，诸如固定(硬 盘)驱动器、软盘、光盘、磁带、诸如ROM、PROM的半导体存储器等， 从而根据本发明制成制造品。包含编程代码的制造品通过执行直接来自存 储设备的代码、或者通过将代码从存储设备复制到诸如硬盘、RAM等的 另一个存储器设备、或者通过使用诸如数字和模拟通信链路的传输类型介 质来传输代码以用于远程执行来使用。本发明的方法可通过将包含根据本 发明的代码的一个或多个机器可读存储介质与适当的处理硬件相结合以执 行所包含的代码来实现。用于实现本发明的装置可以是一个或多个处理设 备和包含或能够网络访问根据本发明编码的程序的存储器子系统。
因此，重要的是尽管本发明的示例性实施例在安装有(执行)软件的 全功能计算机(服务器)系统的上下文中进行了描述，但本领域技术人员 将知道本发明的示例性实施例的软件方面能够采用各种形式分布为程序产 品，并且本发明的示例性实施例也同样适用，而不管实际执行该分布所使 用的媒体的特定类型。
尽管已经参照示例性实施例描述了本发明，但本领域技术人员应当理 解，在不脱离本发明的范围的情况下，可以做出各种变化并且可以用等同 物替换它的单元。另外，在不脱离本发明的基本范围的情况下，可以对本 发明的教导做出许多修改以适应特定的系统、设备或它的组件。因此，这 意味着本发明并不限于所公开的用于实现本发明的特定实施例，而是本发 明将包括落入后附的权利要求的范围内的所有实施例。另外，第一、第二 等术语的使用并非表示任何顺序或重要性，而是用于区分一个单元和另一 个单元。
在此所使用的术语仅仅是用于描述特定实施例的目的，并不意味着限 制本发明。如在此所使用的，单数形式“一”、“一个”和“该”意在也 包括复数形式，除非上下文明确指示。还应当理解，术语“包括”和/或“包 含”在被用在本说明书中时是指存在所述的特征、整体、步骤、操作、单 元和/或组件，但没有排除存在或添加一个或多个其它特征、整体、步骤、 操作，单元、组件和/或它们的组合。
如果有的话，以下权利要求中的所有装置或步骤加功能单元的对应结 构、材料、动作和等同意在包括任何用于与其它请求保护的单元结合来执 行功能的结构、材料或动作。本发明的描述已经被提出以用于说明和描述 的目的，但并不意味着是穷尽的或是用在此公开的形式限制本发明。在不 脱离本发明的范围和精神的情况下，许多修改和变化对本领域技术人员来 说是显而易见的。实施例被选择和描述以最好地解释本发明的原理和实际 应用，并使得本领域的其它技术人员能够理解本发明的各种实施例以及各 种修改适合于所设想的特定用途。