一种网络流量估计方法.pdf

1、(10)申请公布号 CN 102801631 A (43)申请公布日 2012.11.28 C N 1 0 2 8 0 1 6 3 1 A *CN102801631A* (21)申请号 201210304104.2 (22)申请日 2012.08.24 H04L 12/56(2006.01) H04L 12/24(2006.01) (71)申请人电子科技大学 地址 611731 四川省成都市高新区（西区）西 源大道2006号 (72)发明人钱峰 连涛 姚兴苗 胡光岷 (74)专利代理机构成都行之专利代理事务所 (普通合伙) 51220 代理人温利平 (54) 发明名称 一种网络流量估计方法 (

2、57) 摘要 本发明公开了一种网络流量估计方法，包括 步骤：获取路由矩阵及链路负载；剔除获取的链 路负载中部分已知OD对流量所占负载，并通过网 络总节点及已知流量的OD对标记未知流量的OD 对；利用LP算法估算获得的未知的OD对流量；用 已知流量的OD对与估算出来的OD对流量对总的 OD对进行重构；基于KPCA分簇对获得的未知流量 的OD对进行插值；用插值出来的OD对流量对通 过LP估算出来的OD对流量进行校正，得到最优 解。本发明的方法实现了在已知部分OD对流量的 情况下，对IP网络流量矩阵进行精确的估计，采 用了KPCA分簇对缺失OD对进行插值，降低计算复 杂度，可以用于处理大规模的TM。

3、 (51)Int.Cl. 权利要求书2页 说明书8页 附图2页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 8 页 附图 2 页 1/2页 2 1.一种网络流量估计方法，包括如下步骤： 步骤1：获取路由矩阵及链路负载； 步骤2：剔除步骤1获取的链路负载中部分已知OD对流量所占负载，并通过网络总节 点及已知流量的OD对标记未知流量的OD对； 步骤3：利用LP算法估算步骤2获得的未知的OD对流量； 步骤4：用已知流量的OD对与步骤3估算出来的OD对流量对总的OD对进行重构； 步骤5：基于KPCA分簇对步骤2获得的未知流量的OD对进行插值； 步骤6：用步骤

4、5插值出来的OD对流量对步骤3通过LP估算出来的OD对流量进行校 正，得到最优解。 2.根据权利要求1所述的网络流量估计方法，其特征在于，步骤5具体包括如下分步 骤： 步骤51：由流量矩阵TM确定丢失模型LM； 步骤52：根据丢失模型LM，从流量矩阵TM中取出固定个数OD对的小矩阵，其中，无缺 失OD对小矩阵与有缺失OD对小矩阵的大小一致; 步骤53：对取出来的小矩阵用KPCA算法映射到特征空间; 步骤54：对当前的无缺失OD对的小矩阵进行分簇; 步骤55：对当前的缺失OD对小矩阵选择最优的簇作为参照进行插值，得到最优的插值 结果。 3.根据权利要求2所述的网络流量估计方法，其特征在于，步骤5

5、4所述的分簇具体过 程如下： 步骤541：定义分簇准则公式其中，|表示求二 范数，通过分簇准则划分OD对小矩阵属于哪个簇，与分别是属于簇k的x i 和y i ，即为当 前簇的OD对流量,M k 是簇k的元素个数,K为总的簇个数，与分别表示当前分类小矩阵 的OD对流量； 步骤542：由KPCA映射的特征空间向量满足其中，U k 为U k 的转置，和满足和与分别是当前分类小矩阵的已知 OD对流量与未知OD对流量映射到特征空间后的值，是 k H k H k k 的特 征向量矩阵，是特征向量，D k 是簇k的特征空间的维数。 为簇k中每个元素的特征空间映射，I k 是一个M k M k 的单位 矩阵，

6、1 k =1,1,.,1是一个M k 1的向量的特征向量矩阵； 步骤543：将步骤542中的重新写为 其中， k 与V k 分别表示 权 利 要 求 书CN 102801631 A 2/2页 3 k H k 奇异值分解的特征值及向量矩阵，V k 为V k 的转置，是簇k的一个中心向 量； 步骤544：由二范数和二范 数求出需要求的分簇准则公式 进而计算出分簇准则E，其中， 与都为高斯核函数的参数； 步骤545：得到使分簇准则E最小时的簇k，即为当前簇。 4.根据权利要求2或3所述的网络流量估计方法，其特征在于，步骤55具体包括如下 分步骤： 步骤551：在特征空间，建立目标向量，即其中， 是簇

7、K的一个中心向量； 步骤552：根据得到插值OD对流量目标向量 式： 其中， 步骤553：建立最优准则其中，满足： wh-N 为小矩 阵中不知道流量的OD对的个数； 步骤554：求解使最优准则最小时的簇k即为最优簇； 步骤555：根据步骤554得到的最优簇计算出插值OD对流量在特征空间的目标向量， 其对应的数据即是最优插值的估计值。 权 利 要 求 书CN 102801631 A 1/8页 4 一种网络流量估计方法 技术领域 0001 本发明属于计算机网络通信技术领域，特别涉及其中的网络流量估计方法。 背景技术 0002 随着互联网技术高速发展，网络类型多样化、规模大型化、结构复杂化已成为一种

8、 趋势，网络中各种性能参数的变化也越来越复杂。通信网络中各种性能参数的测量是网络 行为学的基本的研究内容，也是网络的优化设计和管理、网络监测和评估、流量异常监测和 分析等工作的基础。为了更好地对网络进行设计、监控、管理，需要了解和感知这些网络状 态参数的动态变化，包括链路延时、网络拓扑结构、网络OD对流量等参数。网络操作人员或 管理人员通过了解网络流量在全网络中的分布情况，可充分利用网络宽带资源提高网络资 源的利用率。流量矩阵是网络流量在全网络中的分布的具体表示，通过实时获取准确的流 量矩阵，网络操作人员或网络管理人员能更好的制定出路由策略，使网络总流量负载均衡， 而且能实时检测网络中流量的异

9、常，防止外来攻击进而保证网络的安全。 0003 实际网络情况很复杂，直接测试流量矩阵很困难，最终可能覆盖不到需要测量的 网络节点。但是网络中链路带宽的利用率、网络拓扑和路由配置状况等信息是可以获取的， 通过建立估计模型或算法来获得流量矩阵是一种通用的做法。 0004 流量矩阵(Traffic Matrix,TM)是网络流量的具体描述，由源节点到目的节点的 流量(Origin-Destination,OD)组成，是网络中指定节点对间流量大小的具体值，给出了 网络流量在全网中各个OD对间流量的分布情况。网络流量工程需要基于流量矩阵进行分 析，流量矩阵也是容量规划、可靠性分析，异常检测等网络管理方面

10、的重要输入项。因此，在 实际网络中具有重要的意义。求解流量矩阵的方法有很多，主要如下两种： 0005 主成分分析(Principal Component Analysis,PCA)算法需要一段时间的所有OD 对流量值作为先验信息，基于主成分分析方法和矩阵理论分析，通过使用OD对流量的主要 成分(特征流向量)来表示OD对流量集合，将流量矩阵估计问题转化为气逆特征流向量的 问题。由于线性的PCA算法计算量大，并且需要的存储空间要求比较大，它忽略了数据在高 维上的关系。 0006 空时压缩感知算法是利用直接测量的流量矩阵中由于链路或者是路由器损坏的 原因丢失的一些OD对流量值进行插值运算，充分利用稀

11、疏正则化矩阵分解及空间与时间 域的约束进行流量矩阵估算，而后利用KNN算法进行插值对估算结果进行修正的一种算 法,得到最终的估算结果。在实际的流量矩阵的估计中，由于要估计的网络节点很多，时间 点比较长，所以TM非常大，不进行降维计算会出现计算量很大，计算很复杂，需要用于计算 的环境配置要求很高。 发明内容 0007 本发明的目的是为了解决现有的网络流量估计方法存在的上述问题，本发明提出 了一种网络流量估计方法。 说 明 书CN 102801631 A 2/8页 5 0008 本发明的技术方案为：一种网络流量估计方法，包括如下步骤： 0009 步骤1：获取路由矩阵及链路负载； 0010 步骤2：

12、剔除步骤1获取的链路负载中部分已知OD对流量所占负载，并通过网络 总节点及已知流量的OD对标记未知流量的OD对； 0011 步骤3：利用LP算法估算步骤2获得的未知的OD对流量； 0012 步骤4：用已知流量的OD对与步骤3估算出来的OD对流量对总的OD对进行重构； 0013 步骤5：基于KPCA分簇对步骤2获得的未知流量的OD对进行插值； 0014 步骤6：用步骤5插值出来的OD对流量对步骤3通过LP估算出来的OD对流量进 行校正，得到最优解。 0015 进一步的步骤5具体包括如下分步骤： 0016 步骤51：由流量矩阵TM确定丢失模型LM； 0017 步骤52：根据丢失模型LM，从流量矩阵

13、TM中取出固定个数OD对的小矩阵，其中， 无缺失OD对小矩阵与有缺失OD对小矩阵的大小一致; 0018 步骤53：对取出来的小矩阵用KPCA算法映射到特征空间; 0019 步骤54：对当前的无缺失OD对的小矩阵进行分簇; 0020 步骤55：对当前的缺失OD对小矩阵选择最优的簇作为参照进行插值，得到最优的 插值结果。 0021 本发明的有益效果：本发明的网络流量估计方法，实现了在已知部分OD对流量的 情况下，对IP网络流量矩阵进行精确的估计，采用了KPCA分簇对缺失OD对进行插值，与传 统的PCA算法相比可以降低计算复杂度，用于处理大规模的TM；而LP算法能满足链路流量 的约束，特别是在链路条

14、数比较多，网络节点数比较少情况下，能够精确估计，降低均方根 相对误差。本发明的方法通过LP算法估算出来的值经过基于KPCA插值估算出来的结果校 正以后，使估算的OD对流量更加接近真实的OD对流量。 附图说明 0022 图1为本发明的网络流量估计方法的流程示意图。 0023 图2为本发明中用基于KPCA分簇方法对OD对流量进行插值方法的流程示意图。 具体实施方式 0024 下面结合附图和具体实施例对本发明做进一步的说明。 0025 本发明的网络流量估计方法的流程示意图如图1所示，具体步骤如下: 0026 步骤1：获取路由矩阵A及链路负载Y total ； 0027 路由矩阵的获取主要涉及基于me

15、tric域内路由查找算法(用最短路径算法 Dijkstra算法)，获得流量矩阵估计方程： 0028 Y total =AX total (1) 0029 其中，X total 为总的OD对流量。 0030 步骤2：剔除步骤1获取的链路负载Y total 中部分已知OD对流量X part 所占的负载， 获得未知的OD对在链路中的负载Y left ，并通过网络总节点及已知流量的OD对标记未知流 量的OD对； 说 明 书CN 102801631 A 3/8页 6 0031 由于已经知道部分OD对的流量，在用线性规划算法(Linear Programming,LP)计 算的时候为了减少计算量及提高计算

16、精确度，对已经知道的部分OD对流量不再进行估计， 如下所示： 0032 X=X total X part (2) 0033 其中，X part 表示部分已知OD对流量，X为未知OD对流量，表示从总X total 中排除 X part 项。 0034 于是可以根据总链路负载中已知OD对流量所占负载，得到未知OD对流量在链路 中的负载，表达式如下： 0035 Y left =Y total -A*X part (3) 0036 其中，Y total 为总的链路负载，Y left 为剔除部分已知OD对流量后的链路负载。 0037 步骤3：利用LP估算步骤2剔除部分已知OD对流量后的未知的OD对流量。

17、 0038 首先由路由矩阵A及剩余链路负载Y left 获得OD对流量的上确界和下确界。由于 链路流量为Y left ，未知OD对流量为X，于是OD对流量估计的系统方程可以定义为： 0039 Y left AX (4) 0040 估计上确界X up ，目标函数为： 0041 0042 其中，ub为X的上限约束，为向量，在没有其它约束信息的时候，采用 ub=max(Y left )，也就是当前的最大链路值。在实际应用中可以加更精细的约束，比如部分OD 对流量可以获得更小范围的上限值等其它约束条件。 0043 估计下确界为X low 的目标函数： 0044 0045 其中，lb为X的下限约束，在没

18、有其它约束信息条件下，常采用lb=0。当然也可以 像上限约束ub一样，采用其它的约束信息，以提高求解精度，那么线性规划的解： 0046 0047 该算法的核心为线性规划算法的选择，线性规划算法选择主要能够满足大 尺度大规模的方程求解，此处采用文献：“Yin Zhang.Solving Large-Scale Linear Programs by Interior-Point Methods Under the MATLAB Environment.Department of Mathematics and Statistics University of Maryland Baltimore

19、County，Technical Report TR96-01,February，1996”中提到用于处理大规模病态线性方程的primal-dual Infeasible-Interior-Point algorithm(原-对偶不可行内点算法)进行估算。 0048 步骤4：用已知OD对流量与步骤3估算出来的未知OD对流量对总的TM进行重构； 0049 在LP估算出未知OD对流量之后，就与原来的已知OD对合并重构为最初总的流量 矩阵TM，如表1所示： 说 明 书CN 102801631 A 4/8页 7 0050 表1 0051 已知OD OD 已知 OD 缺失 OD 已知 . OD 已知 O

20、D 缺失 OD 已知 估算OD OD 缺失 OD 估算 OD 缺失 . OD 缺失 OD 估算 OD 缺失 总OD OD 已知 OD 估算 OD 已知 . OD 已知 OD 估算 OD 已知 0052 步骤5：基于KPCA分簇对缺失OD对进行插值，具体过程如图2所示，展开如下： 0053 步骤51：由流量矩阵TM确定丢失模型LM。 0054 由于原来的TM部分OD对是知道流量的，可以把它看作一个丢失模型LM(Lost Model)，LM是一个N 2 m大小的矩阵，其中N表示网络节点的个数，N 2 表示OD对的个数，m 表示路由中总的链路条数。表示形式如下： 0055 0056 其中，X(i,j

21、)表示经过第j条链路的第i个OD对，这可以用来确定小矩阵内需要 对哪些缺失OD对进行插值。 0057 步骤52：根据LM，从TM中取固定个数OD对的小矩阵，其中，无缺失OD对小矩阵与 有缺失OD对小矩阵的大小一致； 0058 根据LM从TM中随意取出l个小矩阵f，大小为(wh，其中w与h可以随意定义 大小，但不能太大，分别表示取出矩阵的行数与列数，即OD对的个数与链路的条数)，这些 小矩阵不包含有缺失的OD对（由LM中得知），再取一个有缺失OD对的小矩阵(wh)，在OD 对流量不知道的地方记作在OD对流量知道的地方记作。 0059 步骤53：对取出来的小矩阵用KPCA算法映射到特征空间。 00

22、60 对于上面的取出来的小矩阵f i (其中，i=1,2,3.,l)，可以获取两个向量 其中，x i 与y i 表示OD对的流量，不知道流量的OD对初始化为0， 表示不知道OD对流量的集合，表示知道OD对流量的集合，N 表示知道OD对流量 的个数，为知道的OD对流量，为不知道的OD对流量，初始化为0。 通过KPCA把它映射到特征空间 x (x i )与 y (y i )，具体如下： 0061 TM数据X(N 2 m)通过点积的形式把它从数据空间(实际OD对流量，低维空间) 映射到特征空间(数学上，高维空间)(x 1 ),(x 2 ),(x l )，映射定义为，如下 面式子所示： 0062 00

23、63 其中，表示映射到特征空间的过程，表示映射到的特征空间。由于非线性映 射函数非常复杂，实现起来很困难，在运算中用核函数代替会简单很多。核函数如下，可 以表示为特征空间的点积的形式： 0064 K(x i ,x j )=(x i )(x j ) (10) 说 明 书CN 102801631 A 5/8页 8 0065 核函数使用高斯函数，则(10)可以写成下面的式子: 0066 0067 其中， 2 为高斯核函数的参数，通过这个公式计算出的核函数将在后面用到。 0068 步骤54：对当前的无缺失OD对的小矩阵进行分簇。 0069 由于非线性特征空间有许多结构，要选择最优结构的特征空间作为参照

24、目标用于 后面的插值，所以必须进行簇分类。 0070 先定义一个向量为向量为步骤53中OD对流量映射到特征空间的向 量，后面将用核函数代替。使用下面的分簇准则公式来进行簇分类，分簇准则公式为： 0071 0072 其中，|表示求二范数，与分别是属于簇k的x i 和y i ，即为当前簇的OD 对流量,M k 是簇k的元素个数,K为总的簇个数，与分别表示当前分类小矩阵的OD对流 量。给定和满足： 0073 0074 其中，U k 为U k 的转置，和满足和与分别 是当前分类小矩阵的已知OD对流量与未知OD对流量映射到特征空间后的值。在式(13) 中 是 k H k H k k 的特征向量矩阵，其中

25、， I k 是一个M k M k 的单位矩阵，1 k =1,1,.,1是一个 M k 1的向量的特征向量矩阵， k H k 满足下面的奇异值分解： 0075 0076 其中， k 与V k 分别表示特征值及向量矩阵，V k 为V k 的转置，U k U k 还可以写成： 0077 0078 是簇k的一个中心向量，可以把式(13)写成： 0079 0080 其中，最终式(12)中的可以由如下推断得到： 说 明 书CN 102801631 A 6/8页 9 0081 0082 其中，是高斯核函数的参数。 0083 可以下式得到： 0084 0085 其中，是高斯核函数的参数。 0086 使用上面的

26、方法，可以对提取的OD对小矩阵进行分簇，如果当前小矩阵使式(12) 的值最小，它就属于当前簇。 0087 分簇的步骤可以归纳为： 0088 步骤541：定义分簇准则公式(12)，通过它划分OD对小矩阵属于哪个簇。 0089 步骤542：由KPCA映射的特征空间向量满足式(13)。 0090 步骤543：由簇K的中心向量，及式(14)、(15)，可以把式(13)重新写为式(16)。 0091 步骤544：由式(17)和式(18)，可以求出式(12)中的与由此就 可以计算出式(12)中的E。 0092 步骤545：当使式(12)最小时，就属于当前簇。 0093 步骤55：对当前的缺失OD对小矩阵选

27、择最优的簇作为参照进行插值。 0094 在步骤54中已经把提取的OD对小矩阵进行了分簇，下一步要选取最优的特征空 间作为缺失OD块的参考簇，下面就是具体选择最优参考簇及插值的操作： 0095 根据步骤53把目标矩阵f映射到特征空间 f ，其中， x (x)与 y (y)分别为目标矩阵f中知道的OD对流量与不知道的OD对流量在特征空间的映射，由 前面的分簇公式计算出一个新的向量满足下面的两个约束来获取估计未知的OD 对流量。 0096 y (y)是知道的OD对流量的特征空间，它固定为空间向量 0097 在特征空间，目标向量在非线性特征空间通过簇k的特征向量组 成。因此，满足 0098 0099

28、由式(16)可以把式(19)写成 0100 说 明 书CN 102801631 A 7/8页 10 0101 如果定义 k = y (y)，那么由式(20)可以得到： 0102 0103 其中，是一个任意的初值向量，可以定义一个初始的OD对流量。 0104 但是现在不知道插值所需要的最优特征空间，为了求得它，用另外一个准则公式 代替式(12)，如下所示： 0105 0106 其中，满足： 0107 0108 与式(18)类似，能够通过下面的式子得到： 0109 0110 其中，wh-N 为小矩阵中不知道流量的OD对的个数， k 为： 0111 0112 通过式(24)可以选择得到最优的簇k o

29、pt ，使在最小的情况下得到 f 。 0113 通过上面的方法在簇k opt 下得到在满足的条件下，把映射到空间的向量 对应的数据当作缺失OD对流量的估计值，为最优插值的估计值。 0114 可以将选择最优簇归纳为如下分步骤： 0115 步骤551：在特征空间，建立目标向量，如式(19)。 0116 步骤552：由式(20)，可以得到插值OD对流量目标向量式(21)。 0117 步骤553：建立最优准则公式(22)。 0118 步骤554：求解使最优准则最小时的的簇k即为最优簇。 0119 步骤555：计算出插值OD对流量目标向量对应的就是最优插值的估计 值。 0120 步骤6：用插值出来的OD

30、对流量对LP估算出来的OD对流量进行校正，得到最优 解。 0121 通过校正LP估算出来的缺失的部分OD对流量X，得到最优的解，由于 计算出来的值不止一个，又由于LP估算出来的值满足链路流量的约束，所以只需使 其中(X)为LP算法估算的未知OD对流量X 映射到特征空间的值，从而得到对应的最优解y opt ，这样对LP算法估算出来的值进行了校 正优化（它满足LP约束，同时又满足插值要求），即完成了校正，计算出了最终的结果。 说 明 书CN 102801631 A 10 8/8页 11 0122 综上可以看出，本发明的方法实现了在已知部分OD对流量的情况下，对IP网络流 量矩阵进行精确的估计，具有

31、如下优点： 0123 （1）KPCA算法是一种基于非线性特征空间的算法，结合它对OD对进行分簇，然后 对缺失OD对流量进行插值，适用于处理大规模的TM有缺失OD对流量的情况。 0124 （2）LP算法能满足链路流量的约束，特别是在链路条数比较多，网络节点数比较少 情况下，本身估计就比较精确了，RMSR(Mean Square Of Relative Error，均方根相对误差) 能达到15%以下；通过LP估算出来的OD流量值经过基于KPCA插值估算出来的结果校正以 后，使更加接近真实的OD对流量值。 0125 本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发 明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的 普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各 种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。 说 明 书CN 102801631 A 11 1/2页 12 图1 说 明 书 附 图CN 102801631 A 12 2/2页 13 图2 说 明 书 附 图CN 102801631 A 13