《网络流量解析系统及方法.pdf》由会员分享，可在线阅读，更多相关《网络流量解析系统及方法.pdf（11页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102611626 A (43)申请公布日 2012.07.25 C N 1 0 2 6 1 1 6 2 6 A *CN102611626A* (21)申请号 201210091099.1 (22)申请日 2012.03.30 H04L 12/56(2006.01) (71)申请人北京英诺威尔科技股份有限公司 地址 100070 北京市丰台区南四环西路188 号五区26号楼 (72)发明人周容红 高强花 杜悦艺 (74)专利代理机构天津市北洋有限责任专利代 理事务所 12201 代理人杜文茹 (54) 发明名称 网络流量解析系统及方法 (57) 摘要 一种网络流量解析。
2、系统及方法，方法是根据 netflow记录中各个字域的依赖关系和数据量情 况，构建多维结构，按照设备IP、TOS、协议类型、 目的地址高位、流入设备端口号、目的端口、目的 地址、源端口、源地址的顺序建立多维结构，根据 信息遍历多维结构中的流量记录，在遍历过程中 对于子节点比较多的节点使用哈希算法，其他节 点使用数组，找到相匹配的信息进行叠加操作，当 达到一分钟时，写入文件，清空缓存，重新开始记 录数据信息。系统有netflow数据采集模块、解 析netflow数据模块和进行聚合或者直接呈现模 块，本发明在采集数据的过程中，在内存中对数据 进行了一次聚合操作，保证了节点的充分填充空 间的合理利用。
3、。 (51)Int.Cl. 权利要求书2页 说明书5页 附图3页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 5 页 附图 3 页 1/2页 2 1.一种网络流量解析方法，其特征在于，是根据netflow记录中各个字域的依赖关系 和数据量情况，构建多维结构，按照设备IP、TOS、协议类型、目的地址高位、流入设备端口 号、目的端口、目的地址、源端口、源地址的顺序建立多维结构，根据所述的这些信息遍历多 维结构中的流量记录，在遍历过程中对于子节点比较多的节点使用哈希算法，其他节点使 用数组，找到相匹配的信息进行叠加操作，当达到一分钟时，写入文件，清空缓存，。
4、重新开始 记录数据信息。 2.根据权利要求1所述的网络流量解析方法，其特征在于，首先在路由器上开启 netflow配置，在配置netflow过程中，使路由器将数据包发送到netflow采集服务器的指 定端口，并采用设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地 址八个字域作为关键域，然后按照如下步骤接收并解析netflow数据： 1)建立socket连接监听路由器上指定的netflow发送到netflow采集服务器的端口； 2)当接收到netflow数据包时，根据netflow协议的格式，对数据包进行拆分，其中，对 于一个netflow数据包，有一个或者多个net。
5、flow记录信息； 3)将解析到的netflow记录信息放到内存中，对多维结构进行遍历； 4)当遍历到最终节点的时候，对该节点中的流量大小和封包大小进行叠加； 5)当达到一分钟的时候，将内存中的信息写入流量采集服务上的临时文件，清空内存 中的信息。 3.根据权利要求2所述的网络流量解析方法，其特征在于，步骤3)所述的对多维结构 进行遍历包括：按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目 的地址、源端口、源地址的层次构建多维树形结构，从根节点遍历到最终节点，如果其中某 个节点不存在，则在此节点下构建新节点；其中，在设备IP、TOS、协议类型、目的地址高位 四个节点使。
6、用netflow记录中的值作为数据小标，获取下一个节点的索引，流入设备端口 号、目的端口、目的地址、源端口、源地址五个节点使用netflow记录中的值作为关键值，进 行快速哈希遍历，对于数组和哈希方法，使用关键域值作为id或者关键字进行查询。 4.根据权利要求3所述的网络流量解析方法，其特征在于，所述的快速哈希遍历的过 程是： 1)收到解析后的netflow记录信息后，以设备IP作为数组脚标，判断多维结构中是否 存在设备IP节点，是遍历此节点下的信息，进入下一步骤，否则创建设备IP节点后再遍历 此节点下的信息，进入下一步骤； 2)以设备TOS作为数组脚标，判断多维结构中是否存在设备TOS，是遍。
7、历此节点下的信 息，进入下一步骤，否则创建设备TOS后再遍历此节点下的信息，进入下一步骤； 3)以协议类型值作为数组脚标，判断多维结构中是否有协议类型节点，有遍历此节点 下的信息，进入下一步骤，否则创建协议类型节点后再遍历此节点下的信息，进入下一步 骤； 4)以目的地址高四位作为数组脚标，判断多维结构中目的地址是否是高4位，是遍历 此节点下的信息，进入下一步骤，否则创建目的地址高4位后再遍历此节点下的信息，进入 下一步骤； 5)以流入设备端口号作为哈希关键值，判断多维结构中是否有流入设备端口号，有遍 历此节点下的信息，进入下一步骤，否则在哈希中创建流入设备端口号后再遍历此节点下 权 利 要 求。
8、 书CN 102611626 A 2/2页 3 的信息，进入下一步骤； 6)以目的端口号作为哈希关键值，判断多维结构中是否有目的端口号，有遍历此节点 下的信息，进入下一步骤，否则在哈希中创建目的端口号后再遍历此节点下的信息，进入下 一步骤； 7)以目的地址作为哈希关键值，判断多维结构中是否有目的地址，有遍历此节点下的 信息，进入下一步骤，否则在哈希中创建目的地址后再遍历此节点下的信息，进入下一步 骤； 8)以源端口号作为哈希关键值，判断多维结构中是否有源端口号，有遍历此节点下的 信息，进入下一步骤，否则在哈希中创建源端口号后再遍历此节点下的信息，进入下一步 骤； 9)以源地址作为哈希关键值，判。
9、断多维结构中是否有源地址，有遍历此节点下的信息， 进入下一步骤，否则在哈希中创建源地址后再遍历此节点下的信息，进入下一步骤； 10)叠加流量大小和封包数。 5.一种基于权利要求1所述的网络流量解析方法的解析系统，包括依次相连的如下模 块：netflow数据采集模块(1)、解析netflow数据模块(2)和进行聚合或者直接呈现模块 (3)，其特征在于，所述的netflow数据采集模块(1)包括有设备IP、TOS、协议类型、流入设 备端口号、目的端口、目的地址、源端口、源地址八个字域，所述的八个字域是按照设备IP、 TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址。
10、的层 次构建的多维结构。 权 利 要 求 书CN 102611626 A 1/5页 4 网络流量解析系统及方法 技术领域 0001 本发明涉及一种通信网络。特别是涉及一种用于管理网络流量的网络流量解析系 统及方法。 背景技术 0002 网络流量包括通信网络管理任务，这些管理任务目的是为了提高网络资源的效 率、确保应用流量的服务质量和增强网络操作的可靠性。管理任务包括网络流量统计，在 网络流量统计领域，就目前的技术而言，主要技术有SNMP端口流量采集、ROMN探针采集、 netflow采集。 0003 目前，在SNMP端口流量采集、ROMN探针采集、netflow采集中目前存在以下问题： 000。
11、4 1)利用SNMP协议采集流量，对被监视的各个网络端口进出的数据包数和字节数 进行采集，但流量信息较为粗糙，而且无法区分流量的分布状况，也无法进行流量流向分 析； 0005 2)利用RMON协议采集流量，会耗用大量的CPU，而且需要在设备上安置RMON探 针，缺乏内建的数据汇总机制； 0006 3)利用netflow协议采集流量，数据量大，需要及时处理，而且对v9版本的 netflow解析需要被动积累添加模板信息。 0007 典型的流量采集系统结构如图1所示，包括依次相连的flow数据采集模块1、解析 flow数据模块2和进行聚合或者直接呈现模块3。而在采集部分，主要做得工作就是接受 net。
12、flow数据包，并对数据包中得每一条记录进行解析，将解析后的结果提供给上层进行聚 合操作。 发明内容 0008 本发明所要解决的技术问题是，提供一种能够有效的在不影响数据准确性的前提 下缩减数据量的网络流量解析系统及方法。 0009 本发明所采用的技术方案是：一种网络流量解析系统及方法。网络流量解析方法， 是根据netflow记录中各个字域的依赖关系和数据量情况，构建多维结构，按照设备IP、 TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的顺 序建立多维结构，根据所述的这些信息遍历多维结构中的流量记录，在遍历过程中对于子 节点比较多的节点使用哈希算法，其他节。
13、点使用数组，找到相匹配的信息进行叠加操作，当 达到一分钟时，写入文件，清空缓存，重新开始记录数据信息。 0010 首先在路由器上开启netflow配置，在配置netflow过程中，使路由器将数据包 发送到netflow采集服务器的指定端口，并采用设备IP、TOS、协议类型、流入设备端口号、 目的端口、目的地址、源端口、源地址八个字域作为关键域，然后按照如下步骤接收并解析 netflow数据： 0011 1)建立socket连接监听路由器上指定的netflow发送到netflow采集服务器的 说 明 书CN 102611626 A 2/5页 5 端口； 0012 2)当接收到netflow数据包。
14、时，根据netflow协议的格式，对数据包进行拆分，其 中，对于一个netflow数据包，有一个或者多个netflow记录信息； 0013 3)将解析到的netflow记录信息放到内存中，对多维结构进行遍历； 0014 4)当遍历到最终节点的时候，对该节点中的流量大小和封包大小进行叠加； 0015 5)当达到一分钟的时候，将内存中的信息写入流量采集服务上的临时文件，清空 内存中的信息。 0016 步骤3)所述的对多维结构进行遍历包括：按照设备IP、TOS、协议类型、目的地址 高位、流入设备端口号、目的端口、目的地址、源端口、源地址的层次构建多维树形结构，从 根节点遍历到最终节点，如果其中某个节。
15、点不存在，则在此节点下构建新节点；其中，在设 备IP、TOS、协议类型、目的地址高位四个节点使用netflow记录中的值作为数据小标，获 取下一个节点的索引，流入设备端口号、目的端口、目的地址、源端口、源地址五个节点使用 netflow记录中的值作为关键值，进行快速哈希遍历，对于数组和哈希方法，使用关键域值 作为id或者关键字进行查询。 0017 所述的快速哈希遍历的过程是： 0018 1)收到解析后的netflow记录信息后，以设备IP作为数组脚标，判断多维结构中 是否存在设备IP节点，是遍历此节点下的信息，进入下一步骤，否则创建设备IP节点后再 遍历此节点下的信息，进入下一步骤； 0019。
16、 2)以设备TOS作为数组脚标，判断多维结构中是否存在设备TOS，是遍历此节点下 的信息，进入下一步骤，否则创建设备TOS后再遍历此节点下的信息，进入下一步骤； 0020 3)以协议类型值作为数组脚标，判断多维结构中是否有协议类型节点，有遍历此 节点下的信息，进入下一步骤，否则创建协议类型节点后再遍历此节点下的信息，进入下一 步骤； 0021 4)以目的地址高四位作为数组脚标，判断多维结构中目的地址是否是高4位，是 遍历此节点下的信息，进入下一步骤，否则创建目的地址高4位后再遍历此节点下的信息， 进入下一步骤； 0022 5)以流入设备端口号作为哈希关键值，判断多维结构中是否有流入设备端口号，。
17、 有遍历此节点下的信息，进入下一步骤，否则在哈希中创建流入设备端口号后再遍历此节 点下的信息，进入下一步骤； 0023 6)以目的端口号作为哈希关键值，判断多维结构中是否有目的端口号，有遍历此 节点下的信息，进入下一步骤，否则在哈希中创建目的端口号后再遍历此节点下的信息，进 入下一步骤； 0024 7)以目的地址作为哈希关键值，判断多维结构中是否有目的地址，有遍历此节点 下的信息，进入下一步骤，否则在哈希中创建目的地址后再遍历此节点下的信息，进入下一 步骤； 0025 8)以源端口号作为哈希关键值，判断多维结构中是否有源端口号，有遍历此节点 下的信息，进入下一步骤，否则在哈希中创建源端口号后再。
18、遍历此节点下的信息，进入下一 步骤； 0026 9)以源地址作为哈希关键值，判断多维结构中是否有源地址，有遍历此节点下的 说 明 书CN 102611626 A 3/5页 6 信息，进入下一步骤，否则在哈希中创建源地址后再遍历此节点下的信息，进入下一步骤； 0027 10)叠加流量大小和封包数。 0028 一种基于网络流量解析方法的解析系统，包括依次相连的如下模块：netflow数 据采集模块、解析netflow数据模块和进行聚合或者直接呈现模块，所述的netflow数据采 集模块包括有设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地 址八个字域，所述的八个字域是按。
19、照设备IP、TOS、协议类型、目的地址高位、流入设备端口 号、目的端口、目的地址、源端口、源地址的层次构建的多维结构。 0029 本发明的网络流量解析系统及方法，在采集数据的过程中，在内存中对数据进行 了一次聚合操作，保证了节点的充分填充空间的合理利用。本发明具有如下特点： 0030 1)定义了一个通用的用于netflow采集程序的初次聚合算法； 0031 2)能够使匹配效率更快捷； 0032 3)能够不影响数据准确性； 0033 4)能够有效的在不影响数据准确性的前提下缩减数据量。 附图说明 0034 图1是本发明的流量采集系统结构； 0035 图2是本发明的数据采集的具体结构示意图； 00。
20、36 图3是本发明的方法的流程图。 具体实施方式 0037 下面结合实施例和附图对本发明的网络流量解析系统及方法做出详细说明。 0038 本发明的网络流量解析系统及方法，提出了基于netflow协议采集过程中初级聚 合的方法，在采集数据的过程中，在内存中对数据进行了一次聚合操作。 0039 在netflow记录中主要包含：设备IP、源IP地址、目的IP地址、下一跳地址、流 入设备端口号、流出设备端口号、数据流包数、数据流字节数、协议源端口号、协议目的端口 号、TCP FLAG，IP层协议类型、TOS、源自治域号、目的自治域号等，其中根据数据分析和理论 论证，得出如下结论：如果设备IP、流入设备。
21、端口号、目的IP相同，则流出设备端口号和下 一跳地址相同；如果TOS、协议信息相同，则位TCP FLAG相同；如果源IP地址、目的IP地址 相同，则源AS号和目的AS号相同。因此可知设备IP、TOS、协议类型、流入设备端口号、目 的端口、目的地址、源端口、源地址是主要关键域，以上信息如果匹配相同则其他信息相同。 0040 此外，通过数据分析可知，这些关键域的数量级是按照设备IP、TOS、协议类型、流 入设备端口号、目的端口、目的地址、源端口、源地址递增，其中为了保持结构饱满度，合理 利用空间，并且netflow分析系统一般是用在某个地市或者运营商流量统计中，相对于大 量的外网访问，目的地址的地。
22、址较为集中，因此，在协议类型节点下添加目的地址高位节 点。 0041 本发明的网络流量解析系统及方法，提出了一种对使用netflow这种协议统计网 络流量的有效采集方案。流量的统计分析主要应用在流量计费摊分、应用分布等领域，通过 对依托于netflow协议发送过来的原始数据进行采集解析，然后基于这些原始数据进行流 量分析。 说 明 书CN 102611626 A 4/5页 7 0042 流量解析系统结构如图1所示，包括依次相连的netflow数据采集模块1、解析 netflow数据模块2和进行聚合或者直接呈现模块3。而在采集部分，主要做得工作就是接 收netflow数据包，并对数据包中得每一条。
23、记录进行解析，将解析后的结果提供给上层进 行聚合操作。 0043 本发明的网络流量解析方法，提出了对netflow数据在采集阶段一种灵活快速准 确缩减数据量的方法。 0044 本发明的网络流量解析方法，是根据netflow记录中各个字域的依赖关系和数据 量情况，尽可能的构建多维结构，因此采用并按照设备IP、TOS、协议类型、目的地址高位、流 入设备端口号、目的端口、目的地址、源端口、源地址的顺序建立多维结构，根据这些信息遍 历流量记录，其中对于子节点比较多得节点使用哈希算法，其他节点使用数组，找到相匹配 的信息进行叠加操作，当达到一分钟，写入文件，清空缓存。 0045 本发明的网络流量解析方法。
24、，结构如2所示(图2中总是以最中间的节点为例，其 他节点结构类似) 0046 本发明的网络流量解析方法，具体是首先在路由器上开启netflow配置，在配置 netflow过程中，使路由器将数据包发送到netflow采集服务器的指定端口，并采用设备 IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址八个字域作为关 键域，然后按照如下步骤接收并解析netflow数据： 0047 1)建立socket连接监听路由器上指定的netflow发送到netflow采集服务器的 端口； 0048 2)当接收到netflow数据包时，根据netflow协议的格式，对数据包进行拆分，其 中。
25、，对于一个netflow数据包，有一个或者多个flow记录信息； 0049 3)将解析到的netflow记录信息放到内存中，进行初步聚合和遍历； 0050 所述的初步聚合和遍历包括：按照设备IP、TOS、协议类型、目的地址高位、流入设 备端口号、目的端口、目的地址、源端口、源地址的层次构建多维结构，从根节点遍历到最终 节点，如果其中某个节点不存在，则在此节点下构建新节点；其中，在设备IP、TOS、协议类 型、目的地址高位四个节点使用flow记录中的值作为数组脚标，获取下一个节点的索引， 流入设备端口号、目的端口、目的地址、源端口、源地址五个节点使用netflow记录中的值 作为关键值，进行快速。
26、哈希遍历，对于数组和哈希方法，使用关键域值作为id或者关键字 进行查询。 0051 如图4所示，所述的快速哈希遍历的过程是： 0052 1)收到解析后的netflow记录信息后，以设备IP作为数组脚标，判断多维结构中 是否存在设备IP节点，是遍历此节点下的信息，进入下一步骤，否则创建设备IP节点后再 遍历此节点下的信息，进入下一步骤； 0053 2)以设备TOS作为数组脚标，判断多维结构中是否存在设备TOS，是遍历此节点下 的信息，进入下一步骤，否则创建设备TOS后再遍历此节点下的信息，进入下一步骤； 0054 3)以协议类型值作为数组脚标，判断多维结构中是否有协议类型节点，有遍历此 节点下的。
27、信息，进入下一步骤，否则创建协议类型节点后再遍历此节点下的信息，进入下一 步骤； 0055 4)以目的地址高四位作为数组脚标，判断多维结构中目的地址是否是高4位，是 说 明 书CN 102611626 A 5/5页 8 遍历此节点下的信息，进入下一步骤，否则创建目的地址高4位后再遍历此节点下的信息， 进入下一步骤； 0056 5)以流入设备端口号作为哈希关键值，判断多维结构中是否有流入设备端口号， 有遍历此节点下的信息，进入下一步骤，否则在哈希中创建流入设备端口号后再遍历此节 点下的信息，进入下一步骤； 0057 6)以目的端口号作为哈希关键值，判断多维结构中是否有目的端口号，有遍历此 节点下。
28、的信息，进入下一步骤，否则在哈希中创建目的端口号后再遍历此节点下的信息，进 入下一步骤； 0058 7)以目的地址作为哈希关键值，判断多维结构中是否有目的地址，有遍历此节点 下的信息，进入下一步骤，否则在哈希中创建目的地址后再遍历此节点下的信息，进入下一 步骤； 0059 8)以源端口号作为哈希关键值，判断多维结构中是否有源端口号，有遍历此节点 下的信息，进入下一步骤，否则在哈希中创建源端口号后再遍历此节点下的信息，进入下一 步骤； 0060 9)以源地址作为哈希关键值，判断多维结构中是否有源地址，有遍历此节点下的 信息，进入下一步骤，否则在哈希中创建源地址后再遍历此节点下的信息，进入下一步骤。
29、； 0061 10)当遍历到最终节点的时候，对该节点中的流量大小和封包大小进行叠加； 0062 11)当达到一分钟的时候，将内存中的信息写入流量采集服务上的临时文件，清空 内存中的信息。 0063 如图1所示，本发明的基于网络流量解析方法的解析系统，包括依次相连的如下 模块：flow数据采集模块1、解析flow数据模块2和进行聚合或者直接呈现模块3。如图 3所示，所述的flow数据采集模块1包括有设备IP、TOS、协议类型、流入设备端口号、目的 端口、目的地址、源端口、源地址八个字域，所述的八个字域是按照设备IP、TOS、协议类型、 目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源。
30、地址的层次构建的多维结 构。 0064 本发明的基于网络流量解析方法的解析系统，所构建的结构类似于树形结构，从 跟节点至最终节点，分支逐渐增加，其中设备IP、TOS、协议类型、目的地址高位四个节点的 分支较少，且值为数值形式，在遍历过程中使用数组的方式，以关键域的值作为数组的角 标，获取下一个节点的索引，而流入设备端口号、目的端口、目的地址、源端口、源地址四个 节点的分支数据量增大，使用快速的哈希方式进行遍历，同样使用关键域的值作为哈希关 键值。 说 明 书CN 102611626 A 1/3页 9 图1 说 明 书 附 图CN 102611626 A 2/3页 10 图2 说 明 书 附 图CN 102611626 A 10 3/3页 11 图3 说 明 书 附 图CN 102611626 A 11 。