一种基于胖树形高拓展性超立方体的网络拓扑结构.pdf

1、(10)申请公布号 CN 103957163 A (43)申请公布日 2014.07.30 CN 103957163 A (21)申请号 201410084035.8 (22)申请日 2014.03.07 H04L 12/751(2013.01) H04L 12/24(2006.01) (71)申请人 哈尔滨工业大学深圳研究生院 地址 518000 广东省深圳市南山区西丽镇深 圳大学城哈工大校区 (72)发明人 李维 张进军 徐雪珍 陈雍珏 (74)专利代理机构 深圳市科吉华烽知识产权事 务所 ( 普通合伙 ) 44248 代理人 熊伟 (54) 发明名称 一种基于胖树形高拓展性超立方体的网络

2、拓 扑结构 (57) 摘要 本发明适用于网路通信领域， 提供了一种基 于胖树形高拓展性超立方体的网络拓扑结构所述 网络拓扑结构包括多个交换机及多个服务器， 所 述交换机采用递归单元层级方式构成拓扑网络， 其中最低递归单元采用 m-port n-tree 胖树网络 结构， 最低递归单元支持的服务器数量为 ： g0 2(m/2)n， 其中 m 为胖树中交换机的端口数量， n 为胖树结构的层级， 在网络拓扑中， 最高层的第 i 个交换机的第 k 个端口与第 i 个子单元的第 k 个服务器互联， 实现多路径网络拓扑结构， 其中 i,k 1,2.gk-1。通过在层级递归中融入胖树 形网络拓扑， 实现了网

3、络拓扑的高拓展性， 同时也 继承了胖树网路的等分带宽以及多路径性能的特 点， 带宽吞吐量较大、 容错性较好， 平均延时较小。 (51)Int.Cl. 权利要求书 1 页 说明书 7 页 附图 4 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书7页 附图4页 (10)申请公布号 CN 103957163 A CN 103957163 A 1/1 页 2 1. 一种基于胖树形高拓展性超立方体的网络拓扑结构， 其特征在于 ： 所述网络拓扑结 构包括多个交换机及多个服务器， 所述交换机采用递归单元层级方式构成拓扑网络， 其中 最低递归单元采用m-port n-t

4、ree胖树网络结构， 最低递归单元支持的服务器数量为 ： g0 2(m/2)n， 其中m为胖树中交换机的端口数量， n为胖树结构的层级， 在网络拓扑中， 最高层 的第 i 个交换机的第 k 个端口与第 i 个子单元的第 k 个服务器互联， 实现多路径网络拓扑 结构， 其中 i,k 1,2.gk-1。 2. 根据权利要求 1 所述的网络拓扑结构， 其特征在于 : 所述网络拓扑结构中在进行高 层递归时仍然保持了等分带宽以及多路径性能。 3. 根据权利要求 2 所述的网络拓扑结构， 其特征在于 : 所述网络拓扑结构中随着链路 失效比率的增加带宽吞吐量的下降较为缓和。 4. 根据权利要求 1-3 任一

5、项所述的网络拓扑结构， 其特征在于 : 所述网路拓扑结构中 的每一个层级的递归单元的所述交换机采用统一型号。 5. 根据权利要求 4 所述的网络拓扑结构， 其特征在于 : 在网络中所述递归单元中的交 换机高层级端口数大于低层级端口数。 6. 根据权利要求 4 所述的网络拓扑结构， 其特征在于 : 在网络中所述交换机的标示为 SW I,C Cn-2Cn-3.C1C0， 其中 1 为交换机所在层号， I 0,1.n-1， C 的取值范围 是 7. 根据权利要求 4 所述的网络拓扑结构， 其特征在于 : 在网路中所述服务器的标记为 P(Pn-1Pn-2.P1P0)， 其中 P 0,1.m-10,1.

6、(m/2)-1n-1。 8. 根据权利要求 4 所述的网络拓扑结构， 其特征在于 : 在网路拓扑结构中路由采用分 治策略， 逐层求出子路径并合并得出路由路径。 权 利 要 求 书 CN 103957163 A 2 1/7 页 3 一种基于胖树形高拓展性超立方体的网络拓扑结构 技术领域 0001 本发明属于网络通信领域， 尤其涉及一种基于胖树形高拓展超立方体的网络拓扑 结构。 背景技术 0002 随着移动通信的进一步发展， 移动互联网的流量大规模上升， 传统的树形等数据 中心网络拓扑结构在应对大业务流量时存在非常严重的链路瓶颈和 “热点现象” ， 而且随着 业务规模的扩大， 扩展性不足使得网络建

7、设成本大大增加， 因此需要一种扩展性强的高速 互联数据中心网络结构。 0003 数据中心网络结构是计算机和通信中的热门研究领域， 它通过高速的有线或者无 线链路和交换机连接着大量的终端节点， 网络结构的拓扑给出了全网交换机和节点之间的 连接方式， 直接决定着整个网络的吞吐， 容错和拥塞等性能。 0004 目前， 包括胖树、 BCube、 DCell、 VL2 等多种新型数据中心网络结构被广泛提出并部 署。新型数据中心网络结构的主要设计要求有 ： 0005 1. 要具备较强的可拓展性， 不仅要能够容纳大量的服务器， 还要支持服务器数量 的持续增长。 0006 2. 要具备较高的可靠性， 以应对各

8、种各样的服务器故障和链路故障。 0007 3. 要具备较好的网络性能， 以支持带宽需求量大的服务。 0008 (1) 胖树 （Fat-Tree） 0009 胖树是传统树形结构的一种改进结构， 其中任意一个中间节点可以有 多个父节 点， 即增加了上下层集合交换机之间以及集合交换机与核心交换机之间的链路数量， 从而 增大了网络的连通性。 但是该结构无法从根本上解决大规模数据中心网络结构的扩展和升 级问题， 随着服务器数量的增加， 需要改变原有的拓扑结构， 增加集合交换机的层次， 导致 大大增加了网络的建设成本。 0010 (2)BCube 0011 BCube是一种利于大规模网络的模块化解决方案，

9、 由Microsoft Research Asia于 2009 年提出。BCube 也通过使用低端、 廉价的交换机将服务器进行互联， 构成超立方结构。 BCube 利用超立方体的节点连接关系作为递归规律， 同层次不同递归单元中相同位置上的 所有服务器都通过一个交换机相互连接。该结构要求每个服务器都装有多个端口， 具备了 超立方体连通性高、 直径小、 可靠性高的优点。 0012 (3)DCell 0013 DCell 利用完全图的节点连接关系作为递归规律， 同层次的任意两个递归单元之 间都有一对服务器直接相连， 其递归单元之间的全连通性极大的提高了网络的可靠性， 但 每个服务器都有多条链路， 路

10、由协议相对较为复杂， 同时由于 DCell 完全通过底层服务器 进行拓展， 不适合于对带宽需求量大的服务， 对服务器的性能有更高的要求， 网络的建设成 本较高。 说 明 书 CN 103957163 A 3 2/7 页 4 0014 (4)VL2 0015 VL2结构是基于传统树形结构的改进， 实现了服务资源的动态分配。 该结构利用虚 拟机技术将传统树形结构的集合层虚拟化为统一的域， 使得 所有的服务器仿佛连接到同 一个局域网， 并且根据服务器的需求动态分配服务器的 IP 地址， 有效提高了网络性能和服 务效率。 VL2本身没有改变传统树形结构的节点连接方式， 有利于用于对原有数据中心结构 的

11、改造， 对业务分配和流量控制等有不错的效果， 但网络的可靠性没有很大的改善。 0016 (5) 其他结构 0017 在成本控制和资源利用率等因素的驱动下， 工业界也一直在研究符合市场需求的 数据中心网络， 如博科公司于 2007 年发布的数据中心架构 （DCF） ， 通过整合存储网络和服 务器来构建服务器集群， 成为单一融合的数据中心基础设施， 简化了数据中心的连接并降 低了成本。谷歌公司的研究人员设计出了一种能量比例结构， 按照扁平化蝴蝶拓扑的节点 连接方式连接各服务器， 以保证数据中心网络的电能消耗与服务器的利用率相匹配， 从而 最大限度的降低数据中心的运行成本。 0018 随着数据中心的

12、不断发展， 传统的树形数据中心网络结构虽然建造起来比较简单 方便， 但不便于拓展和升级， 而且一个核心交换机出现故障可能导致上千台服务器失效， 因 此对网络拓扑的扩展性、 可靠性等性能需要有更高的要求。 0019 胖树结构中的一个中间节点可以有多个父节点， 增加了上下层集合交换机之间以 及集合交换机与核心交换机之间的链路数量， 增大了网络的连通性。但胖树还不能从根本 上解决数据中心网络拓展和升级的问题， 当交换机数量增加到一定程度时， 需要改变原有 数据中心网络的结构， 增加集合交换机的层次数量， 不利于大规模数据中心网络的构建。 0020 DCell 采用完全图的节点连接关系作为递归规律，

13、同层次的任意两个递归单元之 间都有一对服务器直接相连， 但它的每个终端节点都连有多条链路， 因此每个节点都需要 有多个端口， 随着网络规模的扩展， 不同子单元间的节点通信路径较长， 通信时延增长。同 时， 该结构较为复杂， 路由协议不易设计。 0021 BCube 利用超立方体的节点连接关系作为递归规律， 同层次不同递归单元中相同 位置上的服务器都通过一个交换机相互连接， 该结构具备了超立方体连通性好， 直径小的 优点， 其路径多样性没有胖树拓扑丰富， 难以做到上下行带宽的统一。 0022 VL2 是通过对原有胖树网络的升级来改造网络， 通过业余需求动态分配资源， 提高 了网络的利用率， 但无

14、法改变网络本身扩展性差的事实， 且并没有提高网络的可靠性。 发明内容 0023 本发明提供一种基于胖树形高拓展超立方体的网络拓扑结构， 旨在解决现有网络 拓扑结构拓展性差、 可靠性低、 网络性能低的问题。 0024 本发明是这样实现的， 一种基于胖树形高拓展超立方体的网络拓扑结构， 所述网 络拓扑结构包括多个交换机及多个服务器， 所述交换机采用递归单元层级方式构成拓扑网 络， 其中最低递归单元采用m-port n-tree胖树网络结构， 最低递归单元支持的服务器数量 为 ： g0 2(m/2)n， 其中 m 为胖树中交换机的端口数量， n 为胖树结构的层级， 在网络拓扑 中， 最高层 的第 i

15、 个交换机的第 k 个端口与第 i 个子单元的第 k 个服务器互联， 实现多路 径网络拓扑结构， 其中 i,k 1,2.gk-1。 说 明 书 CN 103957163 A 4 3/7 页 5 0025 本发明的进一步技术方案是 ： ， 其特征在于 : 所述网络拓扑结构中在进行高层递 归时仍然保持了等分带宽以及多路径性能。 0026 本发明的进一步技术方案是 ： 所述网络拓扑结构中随着链路失效比率的增加带宽 吞吐量的下降较为缓和。 0027 本发明的进一步技术方案是 ： 所述网路拓扑结构中的每一个层级的递归单元的所 述交换机采用统一型号。 0028 本发明的进一步技术方案是 ： 在网络中所述递

16、归单元中的交换机高层级端口数大 于低层级端口数。 0029 本发明的进一步技术方案是 ： 在网络中所述交换机的标示为 0030 SW I,C Cn-2Cn-3.C1C0， 其中 1 为交换机所在层号， I 0,1.n-1， C 的 取值范围是 0031 0032 本发明的进一步技术方案是 ： 在网路中所述服务器的标记为 P(Pn-1Pn-2.P1P0)， 其 中 P 0,1.m-10,1.(m/2)-1n-1。 0033 本发明的进一步技术方案是 ： 在网路拓扑结构中路由采用分治策略， 逐层求出子 路径并合并得出路由路径。 0034 本发明的有益效果是 ： 通过在层级递归中融入胖树形网络拓扑，

17、 实现 了网络拓扑 的高拓展性， 同时也继承了胖树网路的等分带宽以及多路径性能的特点， 带宽吞吐量较大、 容错性较好， 平均延时较小。 附图说明 0035 图 1 是本发明实施例提供的 k-1 时超立方体胖树网络拓扑结构 ； 0036 图 2 是本发明实施例提供的等效超立方体网络 ； 0037 图 3 是本发明实施例提供的 CLOS 结构网络 ； 0038 图 4 是 BFT 和 DCell 的吞吐量比较 ； 0039 图 5 是 BFT 和 DCell 的通信时延比较 ； 0040 图 6 是 BFT 网络点对多性能对比图一 ； 0041 图 7 是 BFT 网络点对多性能对比图二。 具体实

18、施方式 0042 图 1-3 示出了本发明提供的基于胖树形高拓展性超立方体的网络拓扑结构所述 网络拓扑结构包括多个交换机及多个服务器， 所述交换机采用递归单元层级方式构成拓扑 网络， 其中最低递归单元采用m-port n-tree胖树网络结构， 最低递归单元支持的服务器数 量为 ： g0 2(m/2)n， 其中 m 为胖树中交换机的端口数量， n 为胖树结构的层级， 在网络拓 扑中， 最高层的第 i 个交换机的第 k 个端口与第 i 个子单元的第 k 个服务器互联， 实现多路 径网络拓扑结构， 其中 i,k 1,2.gk-1。通过在层级递归中融入胖树形网络拓扑， 实现 说 明 书 CN 103

19、957163 A 5 4/7 页 6 了网络拓扑的高拓展性， 同时也继承了胖树网路的等分带宽以及多路径性能的特点， 带宽 吞吐量较大、 容错性较好， 平均延时较小。m-port n-tree 胖树网络的组成包括 2(m/2)n 个服务器和(n-1)(m/2)n-1个m 端口交换机组成， 服务器的标记为P(Pn-1Pn-2.P1P0)， 其中 0043 P 0,1.m-10,1.(m/2)-1n-1， 交换机标识为 SW I,C Cn-2Cn-3.C1C0 ， 其中 1 为交换机所在层号， I 0,1.n-1， C 的取值范围是 0044 0045 BFT(k)(BFT ： 超立方体胖树网络结构

20、 ) 是一个 k 层级的超立方体胖树网络， 其 支持的服务器数量满足 gk gk-12， 服务器标识为 q,p ， 交换机标识为 q,I,C Cn-2Cn-3.C1C0， q 的取值范围为 0046 0047 交换机标识为 q,I， C Cn-2Cn-3.C1C0。 0048 所述网络拓扑结构中在进行高层递归时仍然保持了等分带宽以及多路径性能。 0049 在 BFT(k) 中， 若将每一个 BFT(k-1) 等效为一个节点， 则 BFT(k) 可简化为如图 3 所示的模型， 由图 3 可以看出， 若共有 m 个高层交换机， 则每一个节点之间有 m 条通信链路， 可见整个通信网络不仅在底层是胖树

21、结构， 在进行高层递归时仍然保持了胖树网络的等分 带宽以及多路径等性能特点。 0050 在树形网络中， 节点之间的通信存在严重的热点现象， 高层交换机的通信负担严 重， 负载较大时会同时伴有严重的通信延迟， 而 BFT 较好的解决了该问题。在 BFT(0) 内部 的节点间由于胖树的结构特性， 互相通信有着非常好的性能。 在不同的子单元进行通信时， 节点向上递归寻找最近公共祖先， 通过该公共交换机连接不同子单元， 例如该公共交换机 位于最高层， 那么低于该层级的交换机仍然处于空闲状态， 有利于整个网络的大规模互联 互通。 0051 所述网络拓扑结构中随着链路失效比率的增加带宽吞吐量的下降较为缓和

22、。 由于 BFT 的路径多样性， 其带宽吞吐量较大， 容错性也较好， 随着链路失效比率的增加， 带宽吞吐 量的下降也会较为缓和。在图 3 的结构中， 假设共有 k 个高层交换机， 对应有 k 个等效单元 节点， 则任意两个等效节点间共有k条通信链路， 假设某一节点向其他k-1个节点发送或者 接收数据， 均可以通过互不干扰的链路进行， 达到最大的网络吞吐量， 实现胖树网络的最优 性能。而且超立方体胖树结构不存在链路瓶颈， 理论上任意节点间的 k 条链路中只要有一 条能够通信， 两个子单元就能保持连接。 时延表示从发送端发送数据开始， 到发送端收到来 自接收端的确认， 总共经历的时间差， 时延性能

23、与两点之间的最短路径成正比， BFT 的平均 最短路径小于同等规模的 DCell 结构， 平均时延也较小。 0052 所述网路拓扑结构中的每一个层级的递归单元的所述交换机采用统一型号。 0053 在网络中所述递归单元中的交换机高层级端口数大于低层级端口数。 0054 在网络中所述交换机的标示为为 SW， 其中 1 为交换机所在 说 明 书 CN 103957163 A 6 5/7 页 7 层号， I 0,1.n-1， C 的取值范围是 0055 0056 在 网 路 中 所 述 服 务 器 的 标 记 为 为 P(Pn-1Pn-2.P1P0)，其 中 P 0,1.m-10,1.(m/2)-1n

24、-1。 0057 在超立方体的胖树拓扑网络结构采用的一般路由算法为 ： 对于采用递归结构设计 的网络， 一般路由算法都可以采用分治策略， 逐层求出子路径并合并得出路由路径 src 为 源节点srcqn-1.q0,pn-1.p0， dst为接收节点dstun-1.u0,vn-1.v0， src和dst 的标示方法均遵从 BFT 对服务器节点的标示法， 其中 q, p,v 0,1.m-10,1.(m/2)-1n-1, 分治策略的伪代码为 ： 0058 0059 说 明 书 CN 103957163 A 7 6/7 页 8 0060 首先对比 src 和 dst 的前缀， 若前缀不一样， 则说明 s

25、rc 和 dst 处于不同的 BFT(k-1) 中， 可通过最高层路由通信， 若前缀一样， 说明 src 和 dst 处于相同的 BFT(k-1) 中， 继续向下递归。 0061 对于树状的拓扑结构， 常采用的是最近公共祖先 (least common ancestor， LCA) 算法， 源节点与目标节点通信时首先要在父交换节点中查找， 如果父节点查找自己的子节 点中没有目标节点， 就要向上层查询， 知道查找到源节点与目标节点的共同祖先节点时， 再 向下查找目标节点。 0062 在超立方体胖树网络中， 在无失效链路情况下， 首先判断源处理节点与目的节点 是否属于源节点父节点的覆盖范围， 如果

26、属于， 则转发至目的节点， 否则转发至上层节点中 的任意一个， 再判断是否属于当前父节点的覆盖范围， 直到转发至覆盖目的节点的父节点， 再向下转发至目的节点。 在向上路由的过程中， 是可以有多条路径进行选择的， 因而有多个 公共祖先。 0063 在网络存在一定的错误 （路径失效， 节点损坏） 情况下， 可以采用递归策略实现容 错路由。在一个 BFT(k) 中， 假设 2 个节点处于不同的子 BFT(k-1) 中， 始终存在着 2 条最 短的通信路径 （不包括两节点直接通过高层路由器相连的情况， 此时只有一条路径长度为 1 的最短路径） 。路径一 ： 从源节点到与之直接相连的高层路由器， 该高层

27、路由器到与目标节 点所在的子 BFT(k-1)， 假设高层路由器与该子 BFT(k-1) 直接相连的中继节点为 n。继续判 断 n 与源节点是否在不同的 BFT(k-2) 中， 若是， 则继续重复第 一步， 直到中继节点与目的 节点处于最底层的子单元中， 也即n与目的节点处于同一个子胖树中。 路径二 ： 从逆向链路 来寻找最短路径， 确定目的节点到与之直接相连的高层路由器， 该高层路由器向前计算与 源节点在同一个 BFT(k-1) 的中继节点 m， 剩余路由机制与路径一相同。 0064 下面将对 Degree 为 2 的 DCell 结构和 Degree 为 1 的 BFT 结构进行性能比较。

28、 0065 仿真环境 ： 通信仿真软件 NS2 和 Opnet。 0066 仿真内容 ： 0067 1、 为了便于对比 DCell 网络和 BFT 网络的性能， 在 NS2 中分别建立包含 20 个服务 器的两种网络， 选取随机的四个节点同时向不同子单元的某一节点发送数据， 分别测试吞 吐量， 延迟性能。 0068 设定交换机之间的链路带宽为 1Gbps， 交换机与服务器之间的带宽为 100Mbps， 由 图 6 可以看出， 两种网络的链路路径极限传输速度都小于 100Mb/s， 受限于交换机与服务器 之间的带宽， 随着仿真的进行， 两种结构的点对点通信性能都能达到带宽的极限值， 绿色曲 线为

29、 BFT 拓扑， 达到极限值的时间要稍稍小于 DCell 网络。 0069 2、 测试点对点通信的延迟性能。 0070 灰色点为 BFT 网络， 红色为 DCell 网络， 在同等条件下， BFT 网络的常规延时小于 0.05s， 而 DCell 网络的常规延时集中在 0.05-0.10s 的时间段， DCell 的最大延迟达到了 0.3s， BFT 的表现稍好。 0071 利用 Opnet 软件建立支持 64 个服务器的完全 BFT 网络， 最低递归结构 为 4-port2-tree 的胖树结构， 随机选取一个服务器向 16 个服务器发送数据， 并查看 BFT 网络 在一定的链路失效比率 (

30、5%) 下的性能情况。 0072 图 6、 7 中黑色曲线为随机选取的一个节点向多个 （16） 节点发送数据的负载和时 说 明 书 CN 103957163 A 8 7/7 页 9 延情况， 灰色曲线是在 5% 的链路失效比率下的负载和时延情况， 从图中可以看出， 在存在 5% 的链路失效率下， 网络的负载并没有受到影响， 充分反映了 BFT 网络的鲁棒性， 数据传输 可以合理避开错误路径， 而从延时性能来看， 路径失效会导致网络的延时稍微增加， 但增加 的幅度不明显， 仍然保持了较好的延时性能 0073 以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发明的精 神和原则之内所作的任何修改、 等同替换和改进等， 均应包含在本发明的保护范围之内。 说 明 书 CN 103957163 A 9 1/4 页 10 图 1 图 2 说 明 书 附 图 CN 103957163 A 10 2/4 页 11 图 3 图 4 说 明 书 附 图 CN 103957163 A 11 3/4 页 12 图 5 说 明 书 附 图 CN 103957163 A 12 4/4 页 13 图 6 图 7 说 明 书 附 图 CN 103957163 A 13