一种网络连接的缓存方法和装置.pdf

本发明实施例提供了一种网络连接的缓存方法和装置，其中的方法具体包括：在完成一次服务器访问后，依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率；其中，所述最新选择概率用于表示依负载均衡方式网络连接对应服务器在下次被选择的概率；依据所述最新选择概率，对所述缓存中各网络连接进行排序；以及置换所述缓存中最新选择概率最小的网络连接，以及，保留所述缓存中最新选择概率最大的网络连接。本发明实施例能够避免所述缓存中最新选择概率最大的网络连接被置换而导致的缓存命中失败的问题，从而能够提高网络连接的缓存命中率。

权利要求书1.  一种网络连接的缓存方法，包括：在完成一次服务器访问后，依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率；其中，所述最新选择概率用于表示依负载均衡方式网络连接对应服务器在下次被选择的概率；依据所述最新选择概率，对所述缓存中各网络连接进行排序；以及置换所述缓存中最新选择概率最小的网络连接，以及，保留所述缓存中最新选择概率最大的网络连接。2.  如权利要求1所述的方法，其特征在于，所述负载均衡方式为轮询方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，包括：依据缓存中各网络连接的最近使用时间，确定缓存中各网络连接的最新选择概率，其中，最近使用时间距离当前时间最近的网络连接的最新选择概率最大，最近使用时间距离当前时间最远的网络连接的最新选择概率最小。3.  如权利要求1所述的方法，其特征在于，所述负载均衡方式为哈希方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，包括：依据缓存中各网络连接在上一次的选择概率，确定缓存中各网络连接的最新选择概率，其中，上一次被选择的网络连接的最新选择概率最小，上一次的选择概率最小的网络连接的最新选择概率最大。4.  如权利要求1所述的方法，其特征在于，所述负载均衡方式为最低缺失方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，包括：依据所述缓存中各网络连接对应服务器的历史处理访问数量，确定缓存中各网络连接的最新选择概率，其中，历史处理访问数量最多的服务器对应网络连接的最新选择概率最小，历史处理访问数量最少的服务器对应网络连接的最新选择概率最大。5.  如权利要求1所述的方法，其特征在于，所述负载均衡方式为最快响应方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的 最新选择概率的步骤，包括：依据所述缓存中各网络连接对应服务器的响应时间，确定缓存中各网络连接的最新选择概率，其中，响应时间最短的服务器对应网络连接的最新选择概率最大，响应时间最长的服务器对应网络连接的最新选择概率最小。6.  一种网络连接的缓存装置，包括：概率确定模块，用于在完成一次服务器访问后，依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率；其中，所述最新选择概率用于表示依负载均衡方式网络连接对应服务器在下次选择的概率；概率排序模块，用于依据所述最新选择概率，对所述缓存中各网络连接进行排序；以及置换保留模块，用于置换所述缓存中最新选择概率最小的网络连接，以及，保留所述缓存中最新选择概率最大的网络连接。7.  如权利要求6所述的装置，其特征在于，所述负载均衡方式为轮询方式，则所述概率确定模块包括：第一概率确定子模块，用于依据缓存中各网络连接的最近使用时间，确定缓存中各网络连接的最新选择概率，其中，最近使用时间距离当前时间最近的网络连接的最新选择概率最大，最近使用时间距离当前时间最远的网络连接的最新选择概率最小。8.  如权利要求6所述的装置，其特征在于，所述负载均衡方式为哈希方式，则所述概率确定模块包括：第二概率确定子模块，用于依据缓存中各网络连接在上一次的选择概率，确定缓存中各网络连接的最新选择概率，其中，上一次被选择的网络连接的最新选择概率最小，上一次的选择概率最小的网络连接的最新选择概率最大。9.  如权利要求6所述的装置，其特征在于，所述负载均衡方式为最低缺失方式，则所述概率确定模块包括：第三概率确定子模块，用于依据所述缓存中各网络连接对应服务器的历 史处理访问数量，确定缓存中各网络连接的最新选择概率，其中，历史处理访问数量最多的服务器对应网络连接的最新选择概率最小，历史处理访问数量最少的服务器对应网络连接的最新选择概率最大。10.  如权利要求6所述的装置，其特征在于，所述负载均衡方式为最快响应方式，则所述概率确定模块包括：第四概率确定子模块，用于依据所述缓存中各网络连接对应服务器的响应时间，确定缓存中各网络连接的最新选择概率，其中，响应时间最短的服务器对应网络连接的最新选择概率最大，响应时间最长的服务器对应网络连接的最新选择概率最小。

说明书一种网络连接的缓存方法和装置
技术领域
本发明涉及通信技术领域，特别是涉及一种网络连接的缓存方法和装置。
背景技术
普通的Web访问过程是一个典型的客户端与服务器模型，如图1所示，用户利用客户端101上的程序例如浏览器发出请求，Web服务器103响应请求并提供相应的数据，代理服务器102处于客户端101与Web服务器103之间进行请求和数据的转发，并且还可通过对Web服务器103的负载均衡实现将请求将均匀地分布在各Web服务器103之上。假设利用轮询方式实现对4个Web服务器的负载均衡，那么，可以将每一个客户端的请求按Web服务器1、Web服务器2、Web服务器3和Web服务器4的顺序逐一分配到不同Web服务器。
在访问并发数较大时，代理服务器为在不耗费系统资源的前提下保持与Web服务器之间的TCP(传输控制协议，Transmission Control Protocol)连接，可以采用预置数目的缓存区来缓存Web服务器的TCP连接，这里，预置数目通常小于Web服务器的数目，如在Web服务器的数目为4时，缓存区的数目为3等等。
假设采用缓存区1、缓存区2和缓存区3来缓存Web服务器1、Web服务器2、Web服务器3和Web服务器4的TCP连接，当前状态下缓存区1、缓存区2和缓存区3分别缓存了Web服务器1、Web服务器2和Web服务器3的TCP连接，那么，现有方案在结合上述轮询方式进行缓存置换时，会在利用缓存区1中内容访问完Web服务器1后，对缓存区2中内容进行置换，导致在访问Web服务器2时缓存命中失败，需要重新建立到Web服务器2的连接；并且，在访问Web服务器2后，对缓存区3中内容进行置换，导致在访问Web服务器3时缓存命中失败，需要重新建立到Web服务器3的连接。可见，现有方案存在缓存命中率低下的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种网络连接的缓存方法和装置。
依据本发明的一个方面，提供了一种网络连接的缓存方法，包括：
在完成一次服务器访问后，依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率；其中，所述最新选择概率用于表示依负载均衡方式网络连接对应服务器在下次被选择的概率；
依据所述最新选择概率，对所述缓存中各网络连接进行排序；以及
置换所述缓存中最新选择概率最小的网络连接，以及，保留所述缓存中最新选择概率最大的网络连接。
可选地，所述负载均衡方式为轮询方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，包括：
依据缓存中各网络连接的最近使用时间，确定缓存中各网络连接的最新选择概率，其中，最近使用时间距离当前时间最近的网络连接的最新选择概率最大，最近使用时间距离当前时间最远的网络连接的最新选择概率最小。
可选地，所述负载均衡方式为哈希方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，包括：
依据缓存中各网络连接在上一次的选择概率，确定缓存中各网络连接的最新选择概率，其中，上一次被选择的网络连接的最新选择概率最小，上一次的选择概率最小的网络连接的最新选择概率最大。
可选地，所述负载均衡方式为最低缺失方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，包括：
依据所述缓存中各网络连接对应服务器的历史处理访问数量，确定缓存中各网络连接的最新选择概率，其中，历史处理访问数量最多的服务器对应网络连接的最新选择概率最小，历史处理访问数量最少的服务器对应网络连接的最新选择概率最大。
可选地，所述负载均衡方式为最快响应方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，包括：
依据所述缓存中各网络连接对应服务器的响应时间，确定缓存中各网络连接的最新选择概率，其中，响应时间最短的服务器对应网络连接的最新选择概率最大，响应时间最长的服务器对应网络连接的最新选择概率最小。
根据本发明的另一方面，提供了一种网络连接的缓存装置，包括：
概率确定模块，用于在完成一次服务器访问后，依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率；其中，所述最新选择概率用于表示依负载均衡方式网络连接对应服务器在下次选择的概率；
概率排序模块，用于依据所述最新选择概率，对所述缓存中各网络连接进行排序；以及
置换保留模块，用于置换所述缓存中最新选择概率最小的网络连接，以及，保留所述缓存中最新选择概率最大的网络连接。
可选地，所述负载均衡方式为轮询方式，则所述概率确定模块包括：
第一概率确定子模块，用于依据缓存中各网络连接的最近使用时间，确定缓存中各网络连接的最新选择概率，其中，最近使用时间距离当前时间最近的网络连接的最新选择概率最大，最近使用时间距离当前时间最远的网络连接的最新选择概率最小。
可选地，所述负载均衡方式为哈希方式，则所述概率确定模块包括：
第二概率确定子模块，用于依据缓存中各网络连接在上一次的选择概率，确定缓存中各网络连接的最新选择概率，其中，上一次被选择的网络连接的最新选择概率最小，上一次的选择概率最小的网络连接的最新选择概率最大。
可选地，所述负载均衡方式为最低缺失方式，则所述概率确定模块包括：
第三概率确定子模块，用于依据所述缓存中各网络连接对应服务器的历史处理访问数量，确定缓存中各网络连接的最新选择概率，其中，历史处理访问数量最多的服务器对应网络连接的最新选择概率最小，历史处理访问数量最少的服务器对应网络连接的最新选择概率最大。
可选地，所述负载均衡方式为最快响应方式，则所述概率确定模块包括：
第四概率确定子模块，用于依据所述缓存中各网络连接对应服务器的响应时间，确定缓存中各网络连接的最新选择概率，其中，响应时间最短的服务器对应网络连接的最新选择概率最大，响应时间最长的服务器对应网络连接的最新选择概率最小。
根据本发明实施例的一种网络连接的缓存方法和装置，在完成一次服务器访问后，依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率，依据所述最新选择概率，对所述缓存中各网络连接进行排序，并置换所述缓存中最新选择概率最小的网络连接，以及，保留所述缓存中最新选择概率最大的网络连接；由于所述最新选择概率用于表示依负载均衡方式网络连接对应服务器在下次被选择的概率，因此，本发明实施例仅仅置换所述缓存中最新选择概率最小的网络连接及保留所述缓存中最新选择概率最大的网络连接的手段，能够避免所述缓存中最新选择概率最大的网络连接被置换而导致的缓存命中失败的问题，从而能够提高网络连接的缓存命中率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文可选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出可选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了一种HTTP访问系统的结构示意图；
图2示出了示出了根据本发明一个示例的一种网络连接的缓存方法的步骤流程示意图；以及
图3示出了根据本发明一个实施例的一种网络连接的缓存装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图2，示出了根据本发明一个实施例的一种网络连接的缓存方法的步骤流程示意图，具体可以包括如下步骤：
步骤201、在完成一次服务器访问后，依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率；其中，所述最新选择概率用于表示依负载均衡方式网络连接对应服务器在下次被选择的概率；
步骤202、依据所述最新选择概率，对所述缓存中各网络连接进行排序；以及
步骤203、置换所述缓存中最新选择概率最小的网络连接，以及，保留所述缓存中最新选择概率最大的网络连接。
本发明实施例可以应用于各种代理服务器中，该代理服务器处于客户端与服务器之间，可用于在客户端和服务器之间进行请求和数据的转发，以及用于通过对服务器的负载均衡实现将请求将均匀地分布在各服务器之上，还可用于缓存与服务器之间的网络连接，以在不耗费系统资源的前提下提高客户端和服务器之间的通信速率。
服务器的负载均衡过程主要为：在完成一次服务器访问后，依据负载均衡方式的特性确定如何选择下一个服务器，并将新的访问请求转发给它；其中，一次服务器访问过程也即将访问请求转发给所选择服务器的过程。
服务器的负载均衡过程中缓存命中成功的条件具体为：依据负载均衡方式的特性选择的服务器与缓存中网络连接匹配成功，也即，缓存中存在所述选择的服务器所对应的网络连接。
为了节省系统资源，缓存所能存储网络连接的最大数目通常小于服务器的数目，这样，如果缓存中存储的网络连接不变，则总有一个服务器的网络 连接不被使用，从而无法实现负载均衡的目的。而缓存置换可以通过将缓存中一个或多个网络连接置换为其它的网络连接，以实现负载均衡的目的。
为了解决现有方案存在缓存命中率低下的问题，本发明实施例在完成一次服务器访问后，依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率，依据所述最新选择概率，对所述缓存中各网络连接进行排序，并置换所述缓存中最新选择概率最小的网络连接，以及，保留所述缓存中最新选择概率最大的网络连接；由于所述最新选择概率用于表示依负载均衡方式网络连接对应服务器在下次被选择的概率，因此，本发明实施例仅仅置换所述缓存中最新选择概率最小的网络连接及保留所述缓存中最新选择概率最大的网络连接的手段，能够避免所述缓存中最新选择概率最大的网络连接被置换而导致的缓存命中失败的问题，从而能够提高网络连接的缓存命中率。
本发明实施例可以提供如下依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的方案：
方案一、
方案一中，所述负载均衡方式可以为轮询方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，具体可以包括：依据缓存中各网络连接的最近使用时间，确定缓存中各网络连接的最新选择概率，其中，最近使用时间距离当前时间最近的网络连接的最新选择概率最大，最近使用时间距离当前时间最远的网络连接的最新选择概率最小。
轮询方式的特性具体可以为，在负载均衡过程中将新的请求轮流发给下一个服务器，如此连续、周而复始，也即，各个服务器在相等的地位下被轮流选择。
依据上述轮询方式的特性，可以得知，如果缓存中某网络连接对应服务器刚刚被使用，那么在一个轮询周期后其才能被再次使用，因此，可以依据缓存中各网络连接的最近使用时间，确定缓存中各网络连接的最新选择概率，通常来说，缓存中网络连接的最近使用时间越新，则其对应的最新选择概率越小，这样，依据所述最新选择概率，对所述缓存中各网络连接进行排 序可以为，依据所述最近使用时间，对所述缓存中各网络连接进行排序。
在本发明的一种应用示例1中，假设采用缓存区1、缓存区2和缓存区3来缓存Web服务器1、Web服务器2、Web服务器3和Web服务器4的TCP连接，当前状态下缓存区1、缓存区2和缓存区3分别缓存了Web服务器1、Web服务器2和Web服务器3的TCP连接.
那么，本发明实施例在结合轮询方式进行缓存置换时，会在利用缓存区1中内容访问完Web服务器1后，可以依据缓存中各网络连接的最近使用时间，确定缓存中各网络连接的最新选择概率的顺序为：缓存区1＜缓存区2＜缓存区3，因此，可以对缓存区1中内容进行置换，以及保留缓存区2和缓存区3中内容，从而能够保证在访问Web服务器2时缓存命中成功，无需重新建立到Web服务器2的连接；接着，在访问Web服务器2后，确定缓存中各网络连接的最新选择概率的顺序为：缓存区2＜缓存区1＜缓存区3，因此可以对缓存区2中内容进行置换，从而保证在访问Web服务器3时缓存命中成功，无需重新建立到Web服务器3的连接。可见，本发明大大提高了缓存命中率。
方案二、
方案二中，所述负载均衡方式可以为哈希方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，具体可以包括：依据缓存中各网络连接在上一次的选择概率，确定缓存中各网络连接的最新选择概率，其中，上一次被选择的网络连接的最新选择概率最小，上一次的选择概率最小的网络连接的最新选择概率最大。
Hash(哈希)方式可通过单射不可逆的Hash函数，按照某种规则将请求发往服务器，其通常具有如下特性：
1、平衡性；平衡性是指Hash的结果应该平均分配到各服务器,以解决负载均衡问题；
2、单调性；单调性是指在新增或者删减服务器时,同一个key(键)访问到的值总是一样的；
3、分散性；分散性是指数据应该分散的存放在各个服务器之上。
例如，在本发明的一种应用实施例中，哈希方式可以根据服务器数目的取模结果进行分散，也即首先求得key的整数哈希值，再将该整数哈希值对服务器数目进行取模运算，根据相应的取模结果来选择服务器。
依据上述哈希方式的特性，各网络连接在上一次的选择概率与下一次的选择概率通常是相反的，也即，上一次的选择概率大则下一次的选择概率，因此，可以依据缓存中各网络连接在上一次的选择概率，确定缓存中各网络连接的最新选择概率。
对于上述应用示例1，本发明实施例在结合哈希方式进行缓存置换时，在利用缓存区1中内容访问完Web服务器1后，由于缓存区1中网络连接在上一次的最新选择概率为100％，则可以确定缓存区1在下一次的最新选择概率近似为0，因此，可以对缓存区1中内容进行置换，以及保留缓存区2和缓存区3中内容，从而能够保证在访问Web服务器2时缓存命中成功，无需重新建立到Web服务器2的连接；接着，在访问Web服务器2后，确定缓存2中网络连接的最新选择概率近似为0，因此可以对缓存区2中内容进行置换，从而保证在访问Web服务器3时缓存命中成功，无需重新建立到Web服务器3的连接。可见，本发明大大提高了缓存命中率。
方案三、
方案三中，所述负载均衡方式可以为最低缺失方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，具体可以包括：依据所述缓存中各网络连接对应服务器的历史处理访问数量，确定缓存中各网络连接的最新选择概率，其中，历史处理访问数量最多的服务器对应网络连接的最新选择概率最小，历史处理访问数量最少的服务器对应网络连接的最新选择概率最大。
最低缺失方式可以平衡记录到各服务器的请求情况，把下个请求发给历史处理访问数量最少的服务器。因此，方案三可以依据所述缓存中各网络连接对应服务器的历史处理访问数量，确定缓存中各网络连接的最新选择概率，具体地，对于历史处理访问数量越多的服务器，则其对应网络连接的最新选择概率越小。
对于上述应用示例1，本发明实施例在结合最低缺失方式进行缓存置换时，在利用缓存区1中内容访问完Web服务器1后，假设当前Web服务器1、Web服务器2、Web服务器3和Web服务器4的历史处理访问数量分别为100w、80w、110w和90w，这里，w表示万，那么，可以确定缓存中各网络连接的最新选择概率的顺序为：缓存区3＜缓存区1＜缓存区2，因此，可以对缓存区3中内容进行置换，以及保留缓存区1和缓存区2中内容，从而能够保证在访问Web服务器2时缓存命中成功，无需重新建立到Web服务器2的连接。可见，本发明能够提高缓存命中率。
方案四、
方案四中，所述负载均衡方式可以为最快响应方式，则所述依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率的步骤，具体可以包括：依据所述缓存中各网络连接对应服务器的响应时间，确定缓存中各网络连接的最新选择概率，其中，响应时间最短的服务器对应网络连接的最新选择概率最大，响应时间最长的服务器对应网络连接的最新选择概率最小。
最快响应方式可以记录到每一个服务器的网络响应时间，并将下一个到达的请求分配给响应时间最短的服务器。这样，方案四可以依据所述缓存中各网络连接对应服务器的响应时间，确定缓存中各网络连接的最新选择概率，具体地，服务器的响应时间越短，则对应网络连接的最新选择概率越大。
对于上述应用示例1，本发明实施例在结合最低缺失方式进行缓存置换时，在利用缓存区1中内容访问完Web服务器1后，假设当前Web服务器1、Web服务器2、Web服务器3和Web服务器4的响应时间分别为10ms、20s、25ms和30ms，那么，可以确定缓存中各网络连接的最新选择概率的顺序为：缓存区3＜缓存区2＜缓存区1，因此，可以对缓存区3中内容进行置换，以及保留缓存区1和缓存区2中内容，从而能够保证在访问Web服务器1时缓存命中成功，无需重新建立到Web服务器1的连接。可见，本发明能够提高缓存命中率。
以上对轮询方式、哈希方式、最低缺失方式和最快响应方式的特性及其 对应的确定缓存中各网络连接的最新选择概率的方案进行了详细介绍，需要说明的是，本领域技术人员可以依据实际情况采用上述方案中的任一，或者，还可以采用其它负载均衡方式并依据其它负载均衡方式的特性确定缓存中各网络连接的最新选择概率，本发明实施例对具体的负载均衡方式及其对应的依据其它负载均衡方式的特性确定缓存中各网络连接的最新选择概率的方案不加以限制。
综上，本发明实施例仅仅置换所述缓存中最新选择概率最小的网络连接及保留所述缓存中最新选择概率最大的网络连接的手段，能够避免所述缓存中最新选择概率最大的网络连接被置换而导致的缓存命中失败的问题，从而能够提高网络连接的缓存命中率。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了根据本发明一个实施例的一种网络连接的缓存装置的结构示意图，具体可以包括如下模块：
概率确定模块301，用于在完成一次服务器访问后，依据服务器负载均衡方式的特性确定缓存中各网络连接的最新选择概率；其中，所述最新选择概率用于表示依负载均衡方式网络连接对应服务器在下次被选择的概率；
概率排序模块302，用于依据所述最新选择概率，对所述缓存中各网络连接进行排序；以及
置换保留模块303，用于置换所述缓存中最新选择概率最小的网络连接，以及，保留所述缓存中最新选择概率最大的网络连接。
在本发明的一种可选实施例中，所述负载均衡方式为轮询方式，则所述概率确定模块301可以进一步包括：
第一概率确定子模块，用于依据缓存中各网络连接的最近使用时间，确 定缓存中各网络连接的最新选择概率。
在本发明的另一种优选实施例中，所述负载均衡方式为哈希方式，则所述概率确定模块301可以进一步包括：
第二概率确定子模块，用于依据缓存中各网络连接在上一次的选择概率，确定缓存中各网络连接的最新选择概率。
在本发明的再一种优选实施例中，所述负载均衡方式为最低缺失方式，则所述概率确定模块301可以进一步包括：
第三概率确定子模块，用于依据所述缓存中各网络连接对应服务器的历史处理访问数量，确定缓存中各网络连接的最新选择概率。
在本发明的另一种优选实施例中，所述负载均衡方式为最快响应方式，则概率确定模块301可以进一步包括：
第四概率确定子模块，用于依据所述缓存中各网络连接对应服务器的响应时间，确定缓存中各网络连接的最新选择概率，其中，响应时间最短的服务器对应网络连接的最新选择概率最大，响应时间最长的服务器对应网络连接的最新选择概率最小。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时 被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网络连接的缓存方法和装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网平台上下载得到，或者在载体信 号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。