计算机高速缓存分窗 本发明一般涉及计算机内部高速缓存，其包括中央处理单元(CPU)的片内高速缓存即一级高速缓存，在CPU高速缓存和主随机存取存储器(RAM)之间的下一级存储器即二级高速缓存，以及在二级高速缓存和主存储器之间的任何附加存储器，比如三级高速缓存。本发明特别涉及通过使用“高速缓存分窗”提高高速缓存性能以加速计算机上网络和非网络应用程序的执行。
近十年来，计算机的处理能力有了飞速的发展。在个人电脑和工作站级计算机中使用的CPU通常工作在300兆赫(MHz)或更高的频率下，并且能够每秒执行100兆条指令(MIPS)。然而，计算机内部的存储器子系统却制约着处理器潜能的充分发挥。存储器子系统包括CPU片内的高速缓存即一级高速缓存和CPU片外高速缓存即二级和三级高速缓存。随机存取存储器(RAM)和主要存储介质(硬盘)是对计算机存储器子系统的扩展。存储器向CPU提供数据和指令的速度远远赶不上CPU处理数据和指令地速度。CPU很少在超过33％的时间里工作，它大部分的时间都在空闲地等待存储器提供数据和指令。RAM的存取时间约为60纳秒(ns)。而现代的以250MHz频率运行的精简指令集计算机(RISC)CPU能在4ns内执行四条涉及许多字节数据的指令，是RAM所能提供数据和指令的速度的15倍。如果没有其它部件，CPU一般每60ns将空闲56ns，或者说空闲93.3％的时间。现在已有一些弥合RAM和CPU之间速度不匹配的技术，使得向CPU提供数据和指令的速度比仅仅依靠RAM时的速度要快。高速缓存就是用以解决速度不匹配问题的主要技术。高速缓存依赖于引用局部性原则来预测CPU很快将用到的数据和指令。CPU在执行应用程序时所需的数据和指令趋向于出现在相邻的存储器单元。当CPU执行指令，处理和产生数据时，对指令和数据的读或写趋向于发生在相邻的存储器单元。下一个存储器存取操作趋向于出现在被存取的上一存储器单元的附近。这就是引用局部性原则。这样，高速缓存不仅用以读取和保存立刻需要的数据和指令，而且还用以在给定时间读取和保存CPU所存取的存储单元附近的一定数量的数据和指令。在CPU忙于执行当前指令处理当前数据的同时，高速缓存则从RAM存储器上下载CPU正在使用的单元附近的指令和数据，因为预计它们将是CPU很快会用到的数据和指令。从RAM读取数据和指令在时间上和CPU执行当前的指令和数据是重叠的，这样CPU就可以持续工作而不必等待对RAM的慢速存取的完成。由于高速缓存还能仅以RAM的约60ns的速度存取RAM，所以为了使存储器流水线上的数据和指令接近满负荷，使用了多级高速缓存。二级高速缓存相对较大并能够从RAM装载较多数量的指令。一级高速缓存相对较小，它从二级高速缓存装载较少的数据和指令。在存储器流水线中自RAM向下，各级高速缓存的容量逐级递减而存取时间逐渐变快。二级高速缓存的容量约为1兆字节(MB)，存取时间比RAM约快两到三倍，通常在20ns范围内。一级高速缓存由于必须集成在CPU片内因而较小，容量约为64KB，存取时间通常和CPU时钟频率相当，在4ns范围内。如果有三级高速缓存的话，它一般在二级高速缓存和RAM之间，有8MB或更大，存取速度几乎和RAM相当，约为60ns。这种精心设计的存储器子系统大约使CPU的利用率从没有高速缓存时的6％提高到33％。
现有的高速缓存子系统不能解决与高速缓存有关的三个主要问题：
1.当CPU速度提高时，保持或提高CPU的利用率；
2.提供更大的高速缓存而同时保持高速缓存的存取时间为一个CPU时钟周期；
3.为存储器引用局部性差的处理应用程序提供高的CPU利用率。
近十年来，CPU速度在不断地提高，而存储器速度则相对变化不大，由于CPU用于等待高速缓存装载所需的数据和指令的时间越来越多，所以CPU利用率持续下降。如果随着CPU时钟频率的增加CPU利用率反而下降，那么CPU性能的改善就被抵消了。随CPU速度的提高，为了确保向CPU提供处理所需的数据和指令，计算机的高速缓存子系统必须以更快的速度提供数据和指令。只有两种方法可以提高高速缓存的传输速度：加快高速缓存的存取时间或增加高速缓存容量。这两种选择是相互矛盾的。即使从减少芯片特征尺寸来说是可行的，增加高速缓存容量将以平方于容量大小的比例延迟存取时间。对一些引用局部性较差的情况，比如执行网络数据处理的应用程序，CPU的利用率严重下降，低于10％。在CPU速度越来越快的情况下，简单地对现有的高速缓存构架进行扩展并不是一个提高或保持现有性能水平的可行的方法。增加二级或更高级高速缓存(或者甚至是RAM)的容量无助于性能的提高。在线或后部(backside)二级高速缓存在有很好的引用局部性的情况下，能大大的提高性能。这种方法使用了一条单独的存储器总线，它连接于二级高速缓存和能以CPU时钟速度操作二级高速缓存的CPU之间。用这种方法，一级高速缓存的性能成了制约因素，由于一级高速缓存的限制而阻碍了更进一步的性能提高。将一级高速缓存的容量增加到1MB或更多只能在存在引用局部性的情况下获得很大的性能提高。增加一级高速缓存的容量受到两个因素的限制：a)由于散热和物理限制，在一定区域上所能集成的部件数目限制了CPU芯片的大小，并且b)随存储器容量增加，存取时间则成指数级增加。在所有已有的系统中，都没有考虑在CPU速度增加或引用局部性较差的情况下采取措施以提高性能。
目前所需要的是一种高速缓存构架和设计，它能够1)在CPU速度提高的情况下，至少提供现有存储器子系统的性能水平，2)提供更大的一级高速缓存，并同时将对高速缓存的存取时间保持在一个CPU时钟周期内，3)在执行引用局部性较差的单个应用程序或混合应用程序时，大大的提高性能。本发明通过“高速缓存分窗”的概念和设计以一种简单而又直接的方式满足了这三种需求。
本发明的目的之一是提供一种计算机内部高速缓存的构架和设计，它的性能比当前常规微芯片构架更高。
本发明的进一步目的是提供一种使用“高速缓存分窗”的高速缓存系统。
本发明的进一步目的是提供一种能适用于各种半导体制造技术和CPU性能的高速缓存系统。
本发明的进一步目的是提供一种高速缓存系统，它在所有CPU主频上以促进CPU高利用率的速度向CPU提供数据和指令，尤其当主频超过300MHz时。
本发明的进一步目的是提供一种更大容量的，存取时间为一个CPU时钟周期的一级高速缓存系统。
本发明的进一步目的是提供一种高速缓存系统，它在处理引用局部性较差的应用程序时能提供很高的CPU利用率。
本发明的另一目的是加速对执行计算机网络操作的应用程序的运行，以及在同一机器上执行非网络应用程序的同时加速对网络应用程序的运行。
本发明(高速缓存分窗技术)是一种将小的高速缓存窗口组织成一个大的高速缓存(特别是一级高速缓存)的方法，它既能提供小容量高速缓存的速度优势又能提供大容量高速缓存的性能优点。高速缓存分窗技术也能用于更高级别的高速缓存，比如二级和三级高速缓存。
图1显示了高速缓存窗口是如何用一些小的段(高速缓存窗口)提供一个大容量高速缓存，从而保持小容量高速缓存的快速存取时间，同时提供大容量高速缓存和专用高速缓存的优势。
图2显示了高速缓存窗口是如何用新的高速缓存/CPU设计来实现的。
图3显示了高速缓存窗口是如何用现有的高速缓存/CPU设计来实现的。
表1显示了高速缓存参数，它用于模拟高速缓存分窗技术所带来的性能提高。
表2列出了一级高速缓存性能提高模拟结果。
参见图1，显示了一级高速缓存分窗概念和设计概览。一级高速缓存分窗概念可用于存储器子系统的所有级别，包括二级和三级高速缓存，甚至主存储器-RAM。一级高速缓存100由一定数量的，可单独寻址的高速缓存段，或者说窗口101-104组成。窗口大小不一定要有相同数目的高速缓存线，块或字节。每个高速缓存窗口都分为两个高速缓存部分：1)指令高速缓存(I-Cache)105和2)数据高速缓存(D-Cache)106。一个高速缓存窗口的指令高速缓存和数据高速缓存部分不必是相同大小。尽管不是本发明的功能所必须，但如果将高速缓存窗口的指令高速缓存和数据高速缓存分区的大小设为同样的，那么实现起来将会比较简单。高速缓存窗口的固定大小可设为64KB，其中指令高速缓存和数据高速缓存分区的大小可设为32KB。每个窗口分别和一个正在机器上运行的并被CPU执行的应用程序，进程或者可执行线程(总称为“可执行实体”)相联系。在图1中，一个非网络应用程序比如窗口管理器被指定到窗口1(102)，它的大小为64KB并分成32KB的指令高速缓存107和32KB的数据高速缓存110。一个网络应用程序比如环球网(WWW)浏览器被指定到高速缓存窗口2(103)，它的大小为128KB并分成32KB的指令高速缓存108和96KB的数据高速缓存111。CPU上运行的最后一个应用程序进程，应用程序N，被指定到最后一个窗口，窗口N(104)，它的大小为64KB并分成36KB的指令高速缓存109和28KB的数据高速缓存112。窗口号作为应用进程状态信息的一部分被保存。
当被挂起的可执行实体转回到执行状态时，将由窗口控制和管理逻辑119来选择正确的高速缓存窗口。一旦某个高速缓存窗口被选定，它所做的就是以相关的策略和物理连接如当前技术中的一级高速缓存一样操作。所有的高速缓存窗口从102到104加起来就是高速缓存的总容量，在本例中是1MB。
当每个可执行实体占有CPU并开始执行时，由窗口号选择器116提供指定给可执行实体的特定高速缓存窗口的地址。被选择的窗口就变成了活动窗口115。实现窗口号选择器116的方法有很多。操作系统(OS)指定的应用进程标识符或CPU寄存器窗口选择器都可以兼当高速缓存窗口号选择器116。窗口号的输入可以通过应用程序接口(API)的系统调用或系统调用参数来提供，或者由应用程序消息句柄来提供。
一旦识别出高速缓存窗口并使其变为活动窗口，窗口解码器逻辑开关117将高速缓存控制和管理逻辑119通过一组连接逻辑和线路118连接到活动窗口115。高速缓存控制和管理逻辑119再将主存储器总线120连接到高速缓存窗口用以在正常操作时从/向窗口读写指令和数据。
当正在执行的实体被切换出CPU，使另一个可执行实体占用CPU开始或继续执行时，选择指定给那个可执行实体的一个新的活动窗口，比如说，113(窗口N104)或114(窗口2 103)并且同样的控制和管理逻辑118和119将连接到该新的活动窗口。
参见图2和图3，高速缓存窗口可以用多种方法实现。如图2，显示了一个带有附加物理一级高速缓存的通用CPU(比1997年常见的CPU芯片一般含有的32到64KB一级高速缓存更多)，它用该高速缓存实现高速缓存分窗技术。预取和调度单元200为每个窗口201-203都保留一个指令和缓存缓冲区。预取和调度单元200将指令204提供给存储器管理单元(MMU)205，它为每个窗口206-208都包含一个表后备缓冲区(table lookaside buffer)(TLB)。这将提高TLB的命中率并提高一级高速缓存的性能。MMU205对每个窗口可以包含少于一个的TLB，但必须至少含有一个TLB以匹配高速缓存窗口内容地址。来自MMU的指令209被发送到载入存储单元210，在载入存储单元210上，每个窗口数据高速缓存211-214的相互独立的载入和存储队列211分别存取各自窗口数据高速缓存212-214的数据。二级高速缓存向一级高速缓存窗口201-203的指令高速缓存分区提供指令218，并且向一级高速缓存窗口212-214的数据高速缓存分区提供和接收数据215。存储器接口单元(MIU)219为各级高速缓存对主存储器(RAM)的操作提供接入和控制，这些操作包括从主存储器接收指令和读写数据。在此方法中，可以实现大容量一级高速缓存，而工作起来却与小高速缓存一样，因为每次只有一个窗口的高速缓存是活动的和被存取。窗口大小而不是总的高速缓存容量决定了高速缓存的速度。
参见图3，对已有的CPU一级高速缓存设计做很小的改动就能实现高速缓存分窗技术。如图3，已有的容量约为64KB的一级高速缓存321和322分别分成了窗口301-303和窗口312-314。这种实现方法和图2方法的主要区别可以很明显的看出来。预取和调度单元300对所有的窗口321只有一个指令和高速缓存缓冲区，就象现有的一级高速缓存技术一样。预取和调度单元300向MMU305提供指令304，MMU305只含有一个TLB306，即现有高速缓存技术中的TLB306，它用于所有高速缓存窗口301-303和312-314。来自MMU的指令309被发送到载入存储单元310，其中用于所有窗口数据高速缓存312-314的单个载入和存储队列311从窗口数据高速缓存312-314存取数据。二级高速缓存向一级高速缓存窗口301-303的指令高速缓存分区提供指令318，并向一级高速缓存窗口312-314的数据高速缓存分区提供和接收数据。MIU319为各级缓存对主存储器(RAM)320的操作提供接入和控制，这些操作包括从主存储器接收指令和读写数据。在此方法中，小容量的一级高速缓存分成了更小的高速缓存窗口。此方法与图2所描述的方法相比优点在于不需要对CPU高速缓存做大的改动就能实现高速缓存窗口。其缺点在于每个应用程序所分配的高速缓存更小，从而限制了能实现的窗口数量，制约了高速缓存的性能。
如图1-3所描述的，高速缓存分窗技术解决了现有的一级高速缓存子系统的不足。高速缓存分窗技术能够在CPU速度提高时以CPU所能处理的最高速度向CPU提供更多的高速缓存数据，从而保持或提高CPU的利用率。由于使用了大容量一级高速缓存，CPU可以更快地获取数据和指令而不用等待高速缓存内容的刷新。在新的指令和数据刷新高速缓存之前，CPU在高速缓存中找到所需数据的可能性更大。
高速缓存分窗技术提供了更大容量一级高速缓存具有附加数据和指令的优点，同时又保持了小容量高速缓存的存取时间，即一个CPU时钟周期。因为任何时候只有一个窗口大小的高速缓存是活动的和被存取，所以感应电荷耗费(inductive charge cost)和路径长度都低得足以提供一个CPU时钟周期的高速缓存存取时间。通过从一个高速缓存窗口切换到另一个高速缓存窗口，免去了从更高级高速缓存或主存储器中向高速缓存载入新的指令和数据的延迟，在很高的CPU时钟频率下保持了很高的CPU利用率。当CPU正在处理一个高速缓存窗口时，可以向其它的高速缓存窗口装载即将被用到的指令和数据。
由于分配高速缓存窗口的原则是一个可执行实体接一个可执行实体地进行，所有可执行实体不必相互之间为高速缓存内容而竞争。一个可执行实体不会覆盖掉其它可执行实体的高速缓存内容，从而大大减少或消除CPU等待关联切换(context switching)和高速缓存刷新的时间。此外，通过为引用局部性差的可执行实体，比如网络应用程序，分配多个高速缓存窗口，高速缓存中所需指令或数据的命中率就会大大增加，从而减少或消除了CPU消耗在等待所需指令或数据刷新高速缓存的时钟周期。因此，高速缓存分窗技术可用于提高弱引用局部性的高速缓存命中率，也就加速了CPU的执行。
能减轻弱存储器引用局部性差的影响是高速缓存分窗技术能应用于各级高速缓存(而不仅仅是一级高速缓存)的一个因素。此外，还可以根据可执行实体的类型来调整高速缓存窗口以优化高速缓存命中率。比如，网络应用程序处理的数据多而执行的指令少。带有80％数据高速缓存和20％指令高速缓存分区的高速缓存窗口对于存取数据多而执行指令少的应用程序可能提供更高的高速缓存命中率。
高速缓存分窗技术可以为不同的可执行实体提供不同的缓存大小，或甚至不同的缓存替换策略。可以为不同的可执行实体分配实施不同管理策略的不同大小的窗口，或者可以为可执行实体分配不同数量的固定大小的窗口。比如，某些应用程序能被指定到多个高速缓存窗口。将高速缓存分窗以获得更大缓存容量比使用非分窗方法(比如多关联高速缓存集(multiple associative cache sets))所需电路更少。因为某一时间只有高速缓存的一部分是活动的和被存取，所以，高速缓存窗口、解码器数量、地址线、存储器线连接和路径长度都比其它方法大为减少。一旦某个高速缓存窗口被选择，该高速缓存和相关联的控制管理逻辑的工作方式就和现有的一级高速缓存一样。
CPU高速缓存结构已被显示有多种高速缓存分窗技术的实施例，并已用RISC实施例加以阐明。本领域的技术人员将会意识到在不偏离所揭示的本发明的概念的情况下能完成本发明的其它实施例。
我们用Commercial-Off-The-Shelf(COTS)高速缓存模拟系统进行了模拟试验，模拟当前(1997)的SUN Microsystems UltraSPARC1CPU芯片高速缓存性能的一级高速缓存的操作。在所有的试验中，分析工具所用的附加高速缓存参数都来自于当前UltraSPARC1微处理器一级高速缓存的设计，如表1所示。非网络应用程序和网络应用程序同时运行在两组高速缓存系统上：两个高速缓存窗口和单个一级高速缓存，它们的总体性能对比如表2所示。据表2，当指令和数据读写的命中率(I+D rw命中率)提高47％，则CPU吞吐量将平均提高近30％。
CPU吞吐量用CPI计算，即处理每个应用程序指令所需的时钟周期数。CPI＝iCPI+mCPI，其中iCPI是执行每条指令的理想周期数，假定理想存储器系统没有延迟，mCPI是每个CPI的存储器周期数，或者说是CPU等待高速缓存子系统将所需指令和数据装载到一级高速缓存所需的时钟周期数。iCPI的值在1.3和1.7之间，这是根据对许多处理器进行模拟和试验而得到。对当前任何高性能系统来说，mCPI的值通常在2.7和3.0之间。令iCPI的值为1.7，mCPI的值为3.0将得到对于mCPI的给定减小量的最小的性能提高值。设：
CPIcurrent＝iCPI+mCPIcurrent
CPInew＝iCPI+mCPInew
那么
CPInew＝1.7+(1-0.47)×2.7＝3.131
CPIcurrent＝1.7+2.7＝4.4
CPInew/CPIcurrent＝3.131/4.4＝0.712＝(1-0.712)×100％＝28.8％性能提高