一种网络行为分析系统.pdf

本发明提供一种网络行为分析系统，它通过一到多个数据采集系统从网络中各处的链路、路由器、交换机采集网络中的应用、协议、连接、流量、内容、性能等信息，并对所采集的信息进行预处理；通信系统把各个数据采集系统预处理后的数据传输到数据分析系统；数据分析系统对收集到的数据，进行即时的、历史的、选择性的网络行为分析和未来的网络行为预测；显示系统把网络行为分析结果显示给用户。本发明是一种内部网络管理、性能分析、网络安全检测系统，可以用于容量规划、故障排除、问题预防、服务水平管理、应用层分析、基于应用识别的应用监控、基于数据源的网络监控、发现未知的应用、定位网络攻击等。

1、  一种网络行为分析系统，其特征在于包括数据采集系统、通信系统和数据分析系统，所述数据采集系统从网络上采集信息，再对所采集的信息进行预处理，所述通信系统分别与数据采集系统和数据分析系统连接，把经过数据采集系统预处理后的数据传输到数据分析系统，所述数据分析系统对通信系统送来的数据进行网络行为分析和网络行为预测。

2、  根据权利要求1所述的网络行为分析系统，其特征在于所述的数据采集系统包含本地采集模块、远程采集模块、应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块、数据预处理模块；所述本地采集模块、和/或远程采集模块从网络上采集信息，并选择通过应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块的一个或多个进行处理，然后再通过数据预处理模块进行预处理，获取各项统计结果。

3、  根据权利要求2所述的网络行为分析系统，其特征在于所述本地采集模块采用如下三种方式接入网络：
(1)在两个网络设备之间，配置一台包括两块网卡的数据采集设备，数据采集设备的两块网卡分别通过网线与两个网络设备连接，使得流经这两个网络设备之间链路的所有分组都经过该数据采集设备；
(2)采用探测头把链路上的信号分接到数据采集设备的一块网卡，使得经过该链路的所有分组都分接到该数据采集设备；
(3)采用网线把数据采集设备的一块网卡连接到网络设备的镜像口或者监控口，使得通过该网络设备的分组复制到数据采集设备；
所述的远程采集模块每1分钟都通过SNMP、或RMON、或Netflow、或Sflow协议，从网络设备上采集一次数据。

4、  根据权利要求2或3所述的网络行为分析系统，其特征在于所述的应用识别模块对采集的信息分组进行解析，提取其应用层数据，并对应用层数据进行应用识别，把识别结果用一个整数值mark唯一标记；
所述的响应时间测量模块测量请求包与响应包之间的时间差；
所述的路径性能测量模块测量网络路径的性能；
所述的分组捕获模块根据预设的条件对数据分组进行匹配，当匹配条件满足时，把对应连接的五元组信息、分组及其到达时间记录下来，所预设的条件包括关键词、和/或URL、和/或IP地址、和/或端口号；
所述的数据预处理模块对采集到的信息分组进行预处理，获取各项统计结果。

5、  根据权利要求4所述的网络行为分析系统，其特征在于所述数据预处理模块包含分段处理子模块、内网IP处理子模块、外网IP处理子模块、端口处理子模块、三元组信息映射子模块、五元组信息处理子模块、数据统计子模块、保存数据子模块。

6、  根据权利要求1所述的网络行为分析系统，其特征在于所述的数据分析系统包含链路分析模块、主机分析模块、IP分组分析模块、连接分析模块、应用分析模块、协议字段分析模块、总体分析模块、历史分析和预测分析模块。

一种网络行为分析系统
技术领域
本发明属于网络管理、网络性能分析与网络安全技术领域，特别是涉及一种网络行为分析系统。
技术背景
现有关于网络管理、网络性能分析与网络安全等技术均存在一定的局限。
网络管理系统主要是利用SNMP、RMON、Netflow、Sflow等协议，从路由器、交换机上采集通过每个接口的流量情况，从而给用户提供有关网络中各设备和链路的流量状况，但不能够分析网络的行为并找到性能下降的原因。
网络性能测量与分析系统，主要是测量网络路径的连通性、时延、时延变化、瓶颈带宽、丢失率等，为网络性能的评估和应用系统的路径选择提供依据，但不能够分析网络的行为并找到故障点或瓶颈链路。
网络安全系统主要是通过分组的深度解析，找到网络中存在的入侵行为，并发出报警信息，但不能够发现网络性能的下降或找到攻击流量的来源。
相比之下，网络行为分析系统，通过探头采集网络中多条链路上的分组，或者通过SNMP、RMON、Netflow、Sflow等协议从网络设备采集流量数据，实现对网络中的应用、协议、连接、流量、内容、性能的多层次的全方位的综合分析，使得更容易定位故障点、瓶颈链路、找到性能下降的原因、发现攻击流的来源。这种系统的突出优点是提供人机交互的方式，使得网络管理人员可以利用网络行为分析的结果，实现容量规划、故障排除、问题预防、服务水平管理、应用层分析、基于应用识别的应用监控、基于数据源的网络监控、发现未知的应用或者攻击等。
发明内容
本发明的目的在于克服现有技术的不足，提供一种网络行为分析系统。
为了实现本发明目的，采用的技术方案如下：
一种网络行为分析系统，包括数据采集系统、通信系统和数据分析系统，所述数据采集系统从网络上采集信息，再对所采集的信息进行预处理，所述通信系统分别与数据采集系统和数据分析系统连接，把经过数据采集系统预处理后的数据传输到数据分析系统，所述数据分析系统对通信系统送来的数据进行网络行为分析和网络行为预测。
上述技术方案中，所述的数据采集系统包含本地采集模块、远程采集模块、应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块、数据预处理模块；所述本地采集模块、和/或远程采集模块从网络上采集信息，并选择通过应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块的一个或多个进行处理，然后再通过数据预处理模块进行预处理，获取各项统计结果。
所述本地采集模块采用如下三种方式接入网络：
(1)在两个网络设备之间，配置一台包括两块网卡的数据采集设备，数据采集设备的两块网卡分别通过网线与两个网络设备连接，使得流经这两个网络设备之间链路的所有分组都经过该数据采集设备；
(2)采用探测头把链路上的信号分接到数据采集设备的一块网卡，使得经过该链路的所有分组都分接到该数据采集设备；
(3)采用网线把数据采集设备的一块网卡连接到网络设备的镜像口或者监控口，使得通过该网络设备的分组复制到数据采集设备；
所述的远程采集模块每1分钟都通过SNMP、或RMON、或Netflow、或Sflow协议，从网络设备上采集一次数据。
所述的应用识别模块对采集的信息分组进行解析，提取其应用层数据，并对应用层数据进行应用识别，把识别结果用一个整数值mark唯一标记；
所述的响应时间测量模块测量请求包与响应包之间的时间差；
所述的路径性能测量模块测量网络路径的性能；
所述的分组捕获模块根据预设的条件对数据分组进行匹配，当匹配条件满足时，把对应连接的五元组信息、分组及其到达时间记录下来，所预设的条件包括关键词、和/或URL、和/或IP地址、和/或端口号；
所述的数据预处理模块对采集到的信息分组进行预处理，获取各项统计结果。
所述数据预处理模块包含分段处理子模块、内网IP处理子模块、外网IP处理子模块、端口处理子模块、三元组信息映射子模块、五元组信息处理子模块、数据统计子模块、保存数据子模块。
所述的数据分析系统包含链路分析模块、主机分析模块、IP分组分析模块、连接分析模块、应用分析模块、协议字段分析模块、总体分析模块、历史分析和预测分析模块。
本发明是一种内部网络管理、性能分析、网络安全检测系统，可以用于容量规划、故障排除、问题预防、服务水平管理、应用层分析、基于应用识别的应用监控、基于数据源的网络监控、发现未知的应用、定位网络攻击等。
附图说明
图1为本发明的系统总体结构
图2为本发明的数据采集系统
图3为本发明的数据分析系统
图4为本发明的数据显示系统
图5为本发明的数据通信系统
图6为本发明的数据记录方式
图7为本发明的内网地址段搜索前缀树IA和表D
具体实施方式
下面结合附图对本发明做进一步的说明。本发明的具体实施例如下：
本发明的系统总体结构如附图1所示。一到多个数据采集系统、一个通信系统、一个数据分析系统和一个显示系统；数据采集系统负责从网络中各处的链路、路由器、交换机采集网络中的应用、协议、连接、流量、内容、性能等信息，并对所采集的信息进行预处理；通信系统负责把各个数据采集系统预处理后的数据传输到数据分析系统；数据分析系统负责对收集到的数据，进行即时的、历史的、选择性的网络行为分析和未来的网络行为预测。
本发明的数据采集系统如附图2所示，它包含本地采集模块、远程采集模块、应用识别模块、响应时间测量模块、路径性能测量模块、分组捕获模块、数据预处理模块。
每个子模块具体介绍如下：
1、本地采集模块，包括三种应用场景：
第一种应用场景是，在两个网络设备(即路由器或者交换机)之间，配置一台数据采集系统，数据采集系统的二块网卡分别通过网线与两个网络设备连接，使得流经这两个网络设备之间链路的所有分组都经过该数据采集设备；第二个应用场景是，用探测头把链路上的信号分接到数据采集设备的一块网卡，使得经过该链路的所有分组都可以分接到数据采集设备；第三种应用场景是，用网线把数据采集设备的一块网卡连接到网络设备的镜像口或者监控口，使得通过该网络设备的分组可以复制到数据采集设备。
在第一种应用场景下，数据采集设备采集输入的所有分组，并把输入的所有分组不加改变地从另一个网卡转发出去；在第二、三种应用场景下，数据采集设备只采集输入的分组，采集之后丢弃收到的分组。
2、远程采集模块
每1分钟，通过SNMP、RMON、Netflow、Sflow等协议，从路由器、交换机上采集一次流量数据。
3、应用识别模块
对采集的分组进行解析，提取其应用层数据，并对应用层数据进行应用识别；把识别结果用一个整数值mark标记，不同的mark值代表不同的应用。
4、响应时间测量模块
采取主动和被动测量的方式测量请求包与响应包之间的时间差。主动测量方式是仿真正常应用过程，向服务器发送请求分组，在收到来自服务器的响应分组时，测量请求包与响应包之间的时间差；
被动测量方式，是监测向服务器方向传输的每一个包含应用层数据的分组的结尾时间T_CS和来自服务器的每一个包含应用层数据的分组的开始时间T_SC。即当收到C-S方向的分组时，如果其应用层数据长度大于0，则令T_CS等于其到达时间，并令flag＝1；如果C-S方向接连来了多个包含应用层数据的分组，则前面分组的到达时间被后面的覆盖掉，T_CS记录的总是最新到达的包含应用层数据的分组的结尾时间；
当开始接收一个S-C方向的分组时，令T_SC等于当前时间；如果其应用层数据长度等于0，则不做处理；如果其应用层数据长度大于0，则进行如下操作：
-如果flag＝0，则不计算应用层响应时间；
-如果flag＝1，则计算得到应用层服务响应时间art＝T_SC-T_CS，并令flag＝0；
5、路径性能测量模块
采用主动和被动测量方式测量路径的性能。
第一种主动测量方式是在待测路径的一端发送探测分组序列，在待测链路的另一端测量相邻探测分组之间的时间间隔以及探测分组的丢失率，然后用测量得到的数据，统计计算得到路径的时延分布、可用带宽、利用率、分组丢失率等性能参数；
第二种主动测量方式是在路径的一端发送TTL＝n的探测分组，使得该探测分组在第n个路由器被丢弃并产生一个ICMP包；通过测量探测包与返回的ICMP包之间的时间差，可以测量到第n个路由器的来回时延；通过测量ICMP包之间的时间间隔相对于原探测分组之间的时间间隔的改变量，测量时延分布、可用带宽、利用率、分组丢失率等性能参数；
被动测量方式是，对每一个TCP连接进行来回时延RTT测量，具体方法如下：
当收到由A to B方向传输的分组时，记录其到达时间和最后一个比特的序列号；当收到B to A方向的对该分组的确认ACK时，计算来回时间rtt，但对于重传的分组不计算rtt；
6、分组捕获模块
根据预设的条件(即管理员所感兴趣的内容)：关键词、URL、IP地址、端口号等，对分组进行匹配。当匹配条件满足时，把对应连接的全部信息(五元组、时间)及其分组记录下来。
7、数据预处理模块
对采集到的分组进行预处理，获取各项统计结果，并分别记录到数组{Field_i[·]，i＝1，...，N}和Flow[·]之中。Flow[·]的结构如附图6所示。数据预处理模块包含各协议字段值的分段处理子模块idx(a_i)、内网IP处理子模块inband(IP)、外网IP处理子模块outband(IP)、端口处理子模块portx(port)、三元组信息映射子模块3tuple(ipx1，ipx2，prtx1)、五元组信息处理子模块、数据统计子模块、保存数据子模块。各子模块具体如下：
a)各协议字段值的分段处理子模块idx(a_i)
设分组头部总共有N个字段，每个字段的取值是一个二进制整数ai∈[0,2ki-1],]]>i＝1，...，N，其中k_i的常见取值为1，4，8，13，16，32；当k_i的取值小于等于8时，令idx_i＝a_i；否则，对a_i进行分段处理，并用idx_i代表a_i所属的段；例如令idx_i＝Mbit(a_i+a_i＞＞1)，其中Mbit(x)代表求x的最高不为0比特；最后，令idx(a_i)返回idx_i。
b)内网IP处理子模块inband(IP)
内网IP处理子模块是要检查给定IP是否属于内网IP地址列表IA，并把该IP映射为一个更短的唯一标识ipx。映射方法是，按照该IP在当前时间段内出现的先后顺序，在数组D[·][·]内进行顺序编号，如附图7所示：
-设IP地址＝a.b.c.d；
-ip_count＝1；
-令i＝IA[0][a]，j＝IA[i][b]，k＝IA[j][c]；
-如果i＝0或j＝0或k＝0，则该IP不属于内网IP地址列表IA，令inband(IP)返回ipx＝-1；；
-否则它是内网IP，令其索引ipx等于它出现的先后顺序ip_count，即如果D[k][d]＝0，则令D[k][d]＝ip_count，ip_count++；
-最后，令inband(IP)返回该IP对应的ipx＝D[k][d]；
c)外网IP处理子模块outband(IP)
外网IP处理子模块，是要把大于平均访问率的外网IP地址映射为比32比特更短的唯一标识ipx。具体做法是：
-令计数器ip_order的初值等于2；
-用前一个统计周期的结果来决定本统计周期的外网IP集。设前一统计周期内自动建立的外网IP的前缀树为PT0，average0是平均每个外网IP被访问的次数；如果一个外网IP的被访问次数大于等于average0，则该IP在当前统计周期内就具有了被顺序编号的资格。
-建立当前统计周期的外网IP前缀树PT。当调用outband(IP)时，如果该IP在PT中不存在，则在PT中增加一条路径，代表该IP的前缀，并进一步检查该IP在PT0中是否具有被顺序编号的资格，如果有，则令对应于该IP的ipx＝ip_order，并令ip_order加1；否则令ipx＝1，即把不具有编号资格的所有IP统一编号为1；最后，令outband(IP)返回该IP对应的ipx，并令对应于该IP的访问次数计数器加1。
-计算平均每个外网IP被访问的次数average。设totalip是被访问的外网IP总数，totalref是PT被访问的次数。每次调用outband(IP)，totalref都加1；PT中每出现一个新的外网IP，totalip都加1。在当前统计周期结束时，令average＝totalref/totalip.
d)端口处理子模块portx(port)
按照port出现的先后顺序，顺序编号，把每一个port用其编号唯一标识。具体算法用前缀树E1和E2实现：
-令计数器c初值是1，port_order初值是1；把端口号port分成二个字节，即令port＝p1.p2；
-令i＝E1[p1]；如果i＝0，则令i＝c，E1[p1]＝c，c++；
-令prtx＝E2[i][p2]；如果prtx＝0则令prtx＝port_order，E2[i][p2]＝port_order，port_order++；
-最后，令portx(port)返回prtx；
e)三元组映射子模块3tuple(ipx1，ipx2，prtx1)
该模块用于把三元组信息对应为一个唯一标识，即它出现的先后顺序，如附图6所示。具体做法是用三元组列表F来得到其顺序标号dx：
-令key_order的初值为1；
-如果F[ipx1][ipx2][prtx1]＝0，则令F[ipx1][ipx2][prtx1]＝key_order，key_order++；
-返回dx＝F[ipx1][ipx2][prtx1]；
其中，三元组列表F中的F[ipx1][ipx2][0]用于记录那些不包含传输层协议的IP对之间的流量，例如icmp，igmp，st，egp，igp等。
f)五元组信息处理子模块
在出现新建连接时，先获取连接发起方的地址srcIP:srcPort和连接接受方的地址dstIP:dstPort，然后：
-判断服务器端口和客户机端口
●令srvrIP:srvrPort＝dstIP:dstPort；
●如果srcPort＜1024，则令srvrIP:srvrPort＝srcIP:srcPort；
●如果dstPort＜1024，则令srvrIP:srvrPort＝dstIP:dstPort；
●相应地，把另一方命名为clntIP:clntPort；
-再获取源目IP和端口的标识：
●令ipx1＝inband(srvrIP)；如果ipx1＜0，则令ipx1＝outband(srvrIP)；
●令ipx2＝inband(clntIP)；如果ipx2＜0，则令ipx2＝outband(clntIP)；
●如果srvrPort存在，则令prtx1＝portx(srvrPort)；如果srvrPort不存在，例如icmp包等，令prtx1＝0；
g)数据统计子模块
-在每个分组到达时执行的操作：
●当一个分组到达时，由分组解析获得网络层头部和传输层头部各字段的取值a₁，a₂，...，a_N；再用所述的分段处理模块idx(a_i)把各字段的取值a₁，a₂，...，a_N分段处理得到对应的索引值：idx₁，idx₂，...，idx_N；
●获取五元组信息，并利用所述五元组处理模块得到ipx1，ipx2，prtx1；然后用dx＝3tuple(ipx1，ipx2，prtx1)得到该连接的三元组信息对应的dx，这里不区别具有相同端口号的tcp和udp，例如53/udp和53/tcp，也不考虑client的端口号prtx2。
●然后对各协议字段进行累加统计，设total_length是IP头部的分组长度，G_i是到达时间间隔，它等于给定值idx_i出现的时间间隔，则，for i＝1，2，...，N，令
Field_i[idx_i].pkts++，              //记录字段i取值idx_i的总包数
Field_i[idx_i].bytes+＝total_length，//记录字段i取值idx_i的总字节数
Field_i[idx_i].gap+＝G_i，            //字段i取值idx_i的总时间间隔
●再对该分组所属的流进行累加统计，设G_CS是C to S方向分组到达时间间隔，G_SC是S to C方向分组到达时间间隔，则当该分组是x(x＝CS or SC)方向传输的分组时，令
Flow[dx].pkts.x++；
Flow[dx].bytes.x+＝total_length；
Flow[dx].gap.x+＝G_x；
-在出现新建连接时：
●记录该连接开始的时间start；
●令Flow[idx].conn++；//记录具有相同三元组的连接的次数
●记录该连接的五元组信息Flow[dx].5-tuple；
-在连接结束时，设end就是系统当前时间：
●令Flow[dx].dwell+＝end-start；    //记录连接持续的时间
-在对该连接进行的应用识别结束时：
●令Flow[dx].appl＝mark；           //记录应用识别结果；
-累加应用层的响应时间
●Flow[dx].resp+＝art，并记录采集art样本数：Flow[dx].resp_c++；
-累加RTT时间：
●Flow[dx].rtt+＝rtt，并记录采集的rtt样本的个数Flow[dx].rtt_c++；
i)保存数据子模块
每隔一个给定的时间interval，保存一次统计结果到数据库或者文件，保存的内容包括：代表采集点的链路、路由器、交换机的ID，采集的时间time，统计结果{Field_i[·]，i＝1，...，N}和Flow[·]；其中采集点ID采用全局统一编号，由各数据采集系统从数据分析系统获取。最后对各数组{Field_i[·]，i＝1，...，N}和Flow[·]，以及各计数器进行初始化。Flow[·]的结构如附图6所示。
本发明的数据分析系统如附图3所示，它包含链路分析模块、主机分析模块、IP分组分析模块、连接分析模块、应用分析模块、协议字段分析模块、总体分析模块、历史分析和预测分析模块。
每个子模块具体介绍如下：
1、链路分析模块
a)统计每条链路的流量，包括：每条链路的输入字节数、分组数；输出字节数、分组数；b)统计每条链路的利用率、可用带宽、时延、丢失率；c)统计所有链路的流量分布、利用率分布、时延分布、丢失率分布；d)排序并定位最大利用率、最大时延或最大丢失率的链路。
2、主机分析模块
a)统计每个服务器的响应时间；b)统计每个主机的输入、输出流量；c)统计每个主机发起连接的次数、接受连接的次数、连接的持续时间；d)统计每个主机采用的应用类型；e)统计所有服务器的响应时间分布、输入输出流量分布、连接出入度分布、连接持续时间分布、应用类型分布；f)排序并定位具有最大或最小特征值的主机；
3、IP分组分析模块
a)统计每种分组类型(icmp，igmp，st，tcp，egp，igp，udp)的数据量、分组数、到达时间间隔分布、分组长度分布；b)统计分组类型的流量分布、平均间隔分布、平均长度分布；c)排序并定位具有最大或最小特征值的分组类型；
4、连接(流)分析模块
a)统计每个连接的输入、输出数据量和分组数；b)统计每个连接的持续时间；c)统计连接的到达时间间隔；d)统计每个连接的应用类型、使用的端口号；e)统计连接的流量分布、持续时间分布、到达时间间隔分布、应用类型分布、端口号分布；f)排序并定位具有最大或最小特征值的连接；
5、应用(端口)分析模块
a)统计每种应用的上传流量、下载流量、总流量、发生频次；b)统计每种应用用到的端口号；c)统计每种应用的平均持续时间、平均响应时间、平均连接数；d)统计每种应用涉及到的Client数、Server数；e)统计应用的流量分布、频繁程度分布、端口号分布、平均持续时间分布、平均响应时间分布、平均连接数分布、Client数分布、Server数分布；f)排序并定位最大或最小特征值的应用；
6、协议字段分析模块
a)IP层各字段的统计分布，包括：Header Length，Service Type，Total Length，Identification，Flags D bit，Flags M bit，Fragment Offset，Time to Live，Protocol，IPOptions；b)传输层各字段的统计分布，包括：Sequence Number，Acknowledgement Number，TCP URG，TCP ACK，TCP PSH，TCP RST，TCP SYN，TCP FIN，Window，Urgent Pointer，TCP Options。
7、总体分析模块
分析网络的总体情况，并评估当前网络运行状况(好、中、差)。
a)首先从各模块获得当前统计量和历史值的均值和方差，包括：