一种通用流量控制方法及系统.pdf

本发明涉及一种通用的对网络应用流量进行自动控制的方法及系统。本发明包括网络应用特征库、网络应用识别器、策略规则库、信息提取器及流量控制策略实施装置。运行包括以下步骤：网络应用识别步骤、相关信息提取步骤及流量控制策略实施步骤。本发明解决了传统产品中对于网络应用流量控制缺乏灵活性的问题，实现了在实际网络环境中实时的根据不同的规则进行相应流量控制的策略，可以按照实际用户网络状况需要制定适当的流量管理策略并加以实施，同时具有速度快和准确率高等优点。

1.  一种通用流量控制方法，其特征在于包含以下步骤：
网络应用识别步骤；
相关信息提取步骤；
流量控制策略实施步骤。

2.  根据权利要求1所述的一种通用流量控制方法，其特征在于所述的网络应用识别步骤具有如下特征：
以层次化的数据包协议分析方法依据实际捕获的数据报文及预先设定的各种网络应用具有的不同特征对当前报文进行网络应用的识别。

3.  根据权利要求2所述的一种通用流量控制方法，其特征在于所述的网络应用识别步骤具有如下特征：
以实际捕获的网络报文为样本、根据各种网络应用过程中使用的协议格式对数据报文进行解析并且依赖该网络应用通信过程当中传输的数据报文当中具有报文特征或行为特征进行网络应用类型的识别。

4.  根据权利要求1所述的一种通用流量控制方法，其特征在于所述的相关信息提取步骤具有如下特征：
依据策略规则库中预先设定网络应用控制规则对网络应用识别步骤提供的识别结果进行检查，并在依据控制规则过滤出的数据报文当中提取相关信息以供策略实施使用。

5.  根据权利要求4所述的一种通用流量控制方法，其特征在于所述的相关信息提取步骤具有如下特征：
以网络应用识别步骤提供的已识别的网络应用报文为样本，以策略规则库当中存储的实际检测为模式，首先进行匹配以确定当前网络环境中的应用是否为策略允许范围内的应用，对于策略不允许或必须进行限制的应用可视作非正常网络应用。

6.  根据权利要求1所述的一种通用流量控制方法，其特征在于所述的流量控制策略实施步骤，具有如下特征：
依据相关信息提取步骤提供的信息依据相应的网络流量控制策略进行网络应用流量控制。

7.  根据权利要求6所述的一种通用流量控制方法，其特征在于所述的流量控制策略实施步骤，具有如下特征：
在接收到信息提取阶段提供的当前网络中的非正常应用信息的时候，依据预先设定的流量控制策略进行策略的实施。

8.  一种通用流量控制系统，其特征在于包括：网络应用特征库、网络应用识别器、策略规则库、信息提取器及流量控制策略实施装置；
存储用于识别不同网络应用的特征的网络应用特征库、负责依据数据报文进行网络应用识别的网络应用识别器、存储当前网络应用黑名单或白名单用以区分网络应用是否允许规则的策略规则库、依据策略规则库中设定的规则及当前网络应用报文进行比对并提取相关信息的信息提取器以及实时的根据信息提取器提供的信息进行网络流量策略实施的策略实施装置；
所述的网络应用特征库与网络应用识别器连接；所述的网络应用识别器和策略规则库与信息提取器连接；所述的信息提取器与策略实施装置连接。

一种通用流量控制方法及系统
技术领域
本发明涉及一种用于在网络应用过程中进行流量控制的方法及系统，是一种可用于网络管理产品及审计产品中的方法及系统，属于网络技术领域。
背景技术
网络管理系统是目前应用日益广泛的作为网络安全防护的重要手段，它通常配置在网关通过对网络内部整体架构及应用的配置以达到最优的网络使用效率。它实现了当前网络运行状态的监控及策略调整，使网络业务得以顺利正常的运行，避免网络资源的滥用及浪费，保障网络系统的正常运营，是企业实现IT管理和控制的有效方法。随着网络的发展目前的网络环境当中出现了越来越多的新型应用，而这些应用往往会占用大量的网络带宽或其他资源使得某些正常的网络业务不可用。例如目前大量涌现的各类P2P类下载、网络电视流媒体播放等等，这些应用在使用过程中会占用大量的带宽，造成普通的http、ftp等服务不可用。从网络资源的共享角度来看这些应用的网络结构是非常先进的必将有着很好的发展前景，它能够提高网络资源的利用率，提高资源共享率，是未来网络发展的一大趋势。但是由于缺乏统一的标准和使用规范，这些新的应用的出现也带来很多的弊端。这主要体现在对于网络资源的滥用严重影响其他正常网络业务的使用，同时随着网络技术的发展，这些应用越来越多的使用了加密技术，如BT、emule等，这使得完全的阻断其使用变得非常困难，因此需要用合理的网络应用控制策略来规范各种网络应用的合理使用。
随着P2P下载、网络电视流媒体播放等新型应用带来的弊端日益严重，很多的网络安全产品使用了不同的措施希望对于各种网络应用加以规范化的限制。其中流量控制是应用较为普遍的方法。但是目前的网络管理产品对于网络应用流量的控制采用的策略非常单一，例如采用单一的连接数限制、为各个用户分配固定的带宽或者采用了协议解析加特征匹配的方式在网络环境中对特定应用采取硬性阻断等等。这种单一的管理策略虽然实施简单，但是也面临很多的问题。首先单一的阻断并不利于网络的发展并且随着加密等技术的发展单一的阻断技术变得越来越不可行。此外，单一的采用连接数或带宽的限制有时又会给网络的正常使用带来影响造成网络资源利用的不合理。这些缺点的产生主要是由于控制策略过于单一，无法区分正常使用及异常使用流量造成。因此有必要发展一种能够实现对网络应用流量进行合理化控制的方法以提高网络系统对于资源的合理分配，尽量保证网络正常业务的使用及网络资源的最大利用。
发明内容
本发明提出一种通用流量控制方法及系统，所述的通用流量控制技术可以满足：在实际网络应用过程当中实时对网络环境中的各种网络应用报文进行识别并根据预先设置的控制策略检查当前网络应用中是否包含非正常的应用，在发现有非正常使用的情况下根据预先设定的流量控制策略对这些非正常的应用实施流量控制。既可以保证其他正常网络业务的使用，也可以在流量情况允许的情况下对一些非正常的网络应用流量加以控制以避免网络资源的浪费，提高了网络管理系统对于网络应用流量管理的灵活性。
本发明的目的是这样实现的，一种通用流量控制系统，包括：网络应用特征库、网络应用识别器、策略规则库、信息提取器及流量控制策略实施装置。
其中：
存储用于识别不同网络应用的特征的网络应用特征库；
负责依据数据报文进行网络应用识别的网络应用识别器；
存储当前网络应用黑名单或白名单用以区分网络应用是否允许及相应提取规则的策略规则库；
依据策略规则库中设定的规则及当前网络应用报文进行比对并提取相关信息的信息提取器；
实时的根据信息提取器提供的信息进行网络流量策略实施的策略实施装置。
一种通用流量控制方法及系统，包含以下步骤：
网络应用识别步骤；
相关信息提取步骤；
流量控制策略实施步骤。
本发明的产生的有益效果是：针对网络发展出现的大量新型应用，设计了灵活的网络应用流量控制策略，同时解决了传统网络流量管理中对于网络流量管理缺乏灵活性，单纯的进行阻断或实施单一策略带来的各种不足。从整个当前网络环境的流量状况出发，以网络应用识别为基础，针对不同的实际环境需要动态的制定流量控制策略，并且在策略实施过程中根据不同的非正常应用情况也提供了不同的策略实施方式。尽可能的保证不同网络环境当中正常网络业务的进行，避免网络资源的浪费。同时网络管理系统或网络管理人员可以依据实际网络状况灵活的设置当前环境的网络流量控制策略，具有很好的实施灵活性和适用性，可广泛应用网络产品中。
附图说明
图1是通用流量控制系统架构图；
图2是通用流量控制系统的工作流程图。
下面结合附图和实施例对本发明作进一步说明。
具体实施方式
实施例一：
本实施例为一种通用的网络应用过程中进行动态流量控制的方法及系统的基本模式，其基本架构如图1所示。包括网络应用特征库、网络应用识别器、策略规则库、信息提取器及流量控制策略实施装置，系统工作流程如图2所示：
一种通用流量控制方法，包含以下步骤：
网络应用识别步骤；
相关信息提取步骤；
流量控制策略实施步骤。
其中：
①网络应用识别步骤。网络应用识别根据实际捕获的数据报文采用协议解析技术进行层次化解析，并根据预先设定的各种网络应用的报文特征来识别当前数据报文属于何种网络应用，识别结果作为相关信息提取步骤的对象。
②相关信息提取步骤。本步骤以网络应用识别步骤提供的已识别的数据报文为样本，以策略规则库当中存储的实际规则为模式进行匹配。当发现当前不被允许或受限制的网络应用时，由该网络应用的数据报文中提取相关信息提供给策略实施装置进行具体控制或限制策略的实施。
③流量控制策略实施步骤。流量控制策略实施步骤以相关信息提取步骤提供的数据信息为依据，依靠预先设定的控制策略对当前网络当中的相关应用进行流量控制。
实施例二：
本实施例为实施例一中的网络应用识别步骤的优选方案：
以层次化的数据包协议分析方法依据实际捕获的数据报文及预先设定的各种网络应用具有的不同特征对当前报文进行网络应用的识别。
1)本实施例的基本思路是：以实际捕获的网络报文为样本、根据各种网络应用过程中使用的协议格式对数据报文进行解析并且依赖该网络应用通信过程当中传输的数据报文当中具有报文特征或行为特征进行网络应用类型的识别。例如：“％13BitTorrent％20Protocol”可以标识BT协议或某种使用BT协议的客户端软件正在使用，可以用它来作为BT协议静态识别特征。又如网络电视流媒体播放软件QQ直播在登录过程中具有这样的特征：使用TCP连接，TCP载荷部分长度为24，载荷部分数据报文以“0200000018000000”开头。当匹配到这样的报文特征，可以认为是QQ直播软件在进行登录行为。
此外对于某些难以用单一报文静态特征进行网络应用识别的协议可以依据其行为特征进行识别，以Oracle TNS协议为例可以设定如下：
1)客户端向服务器端发送01请求报文
根据01请求报文的回复报文(02响应报文)可以判断客户端驱动类型
2)根据此后通信过程中如出现的不同命令号(如0376/0373或0351/0352)对，可以判定该类型客户端下大致的驱动版本。
3)根据判断的驱动版本及实际控制数组的取值可验证后续报文的解析格式。
这样依据各种不同的网络应用具有的报文特征或行为特征就可以唯一的识别当前网络环境中正在进行的各种具体应用。
实施例三：
本实施例为实施例一中的相关信息提取步骤的优选方案：
依据策略规则库中预先设定网络应用控制规则对网络应用识别步骤提供的识别结果进行检查，并在依据控制规则过滤出的数据报文当中提取相关信息以供策略实施使用。
本实施例的基本思路是：以网络应用识别步骤提供的已识别的网络应用报文为样本，以策略规则库当中存储的实际检测为模式首先进行匹配以确定当前网络环境中的应用是否为策略允许范围内的应用，对于策略不允许或必须进行限制的应用可视作非正常网络应用。这里的策略规则设置可以依据不同的网络环境或实际客户需求进行灵活的设置，例如对于正常的网络应用如http应用、FTP应用可以视为合理的，无需进行任何控制和管理，对于P2P下载或流媒体播放等占用带宽严重的应用可设置为必须进行限制的应用。由此产生白名单或黑名单。其中对于每一种非正常的网络应用可以进一步设置具体的信息提取策略。对于各种流媒体播放应用其为了保证播放的速度和画面的流畅通常采用UDP负载，那么在其网络数据传输过程中都具有明显的标识。例如实施2中提到的QQ直播在实际数据传输过程中使用的UDP报文具有明显特征：源端口和目的端口大于1024，且载荷部分以FE开头并包含“0000或0101或0404”。对于这种业务过程可明确识别的应用可设定规则为提取四元组(源IP、目的IP、源端口、目的端口)。此外对于某些应用过程无法准确识别的应用如迅雷，其数据传输过程不包含明显特征，在使用过程中包括登录、检索、下载等多个行为过程，而每一个行为其连接的目的IP及目的端口均不同，因此我们可以设定规则为在发现任何应用数据报文当中包含迅雷特征时仅提取其源IP。类似的对于每一种网络应用我们都可以根据预先设定的策略规则确定其在当前网络环境当中是否为正常网络应用，对于非正常的网络应用也可以根据实际需要制定相应的信息提取策略。最后这些提取出的信息将提供给策略实施装置进行具体策略的实施使用。
实施例四：
本实施例为实施例一中的流量控制策略实施步骤的优选方案：
依据相关信息提取步骤提供的信息依据相应的网络流量控制策略进行网络应用流量控制。
本实施例的基本思路是：在接收到信息提取阶段提供的当前网络中的非正常应用信息的时候，依据预先设定的流量控制策略进行策略的实施。例如当前网络环境中发现网络电视流媒体播放应用，既占用带宽有可能占用大量的工作时间则可以设定为对于UDP的数据报文根据四元组采用包丢弃的方式进行阻断。又如在当前网络环境中设定对于P2P下载行为必须进行流量限制的情况下发现了P2P下载使用，则可以在能够确定其业务行为的连接中(如BT、emule等)实施连接数的限制或连接传输速度的限制。而在对于某些不能够准确识别其业务行为的P2P应用如迅雷时，可以根据信息提取阶段提供的源IP信息，对该IP地址的全部连接数及各连接的传输速度进行限制。
实施例五：
本实施例是实现实施例一、二、三、四所述的方法的虚拟装置或者说系统，系统如图1所示，本实施例包括：存储用于识别不同网络应用的特征的网络应用特征库；负责依据数据报文进行网络应用识别的网络应用识别器；存储当前网络应用黑名单或白名单用以区分网络应用是否允许及相应提取规则的策略规则库；依据策略规则库中设定的规则及当前网络应用报文进行比对并提取相关信息的信息提取器；实时的根据信息提取器提供的信息进行网络流量策略实施的策略实施装置。
其中，网络应用识别器实现了如实施例二中所述的依据数据报文进行实际网络应用识别的功能；信息提取器实现了如实施例三中所述的依据策略规则库中设定的规则及当前网络应用报文进行比对并提取相关信息的功能；策略规则库存储了当前网络应用黑名单或白名单用以区分网络应用是否允许及相应提取规则；策略实施装置实现了如实施例四所述的实时的根据信息提取器提供的信息进行网络流量策略实施的功能。
一种通用流量控制系统，包括：网络应用特征库、网络应用识别器、策略规则库、信息提取器及流量控制策略实施装置。所述的网络应用特征库与网络应用识别器连接；所述的网络应用识别器和策略规则库与信息提取器连接；所述的信息提取器与策略实施装置连接。