一种索引拆分布鲁姆过滤器及其插入、删除和查询方法.pdf

本发明公开了一种索引拆分布鲁姆过滤器及其插入、删除和查询方法，将特征规则的索引值拆分成多组比特，每组比特采用片上并行CBF表示多个特征规则子集；查询数据包内容时，检查是否在每组并行CBF中，并产生候选特征规则的片外索引值；删除或插入特征规则时，提出了懒惰删除和空缺插入方法，即利用删除位图记录片外特征规则的状态，且不需要调整其他特征规则的片外索引值，从而实现低开销的特征规则更新操作。ISBF是一种快速和存储高效的数据包内容过滤方法，插入、删除和查询操作的平均存储器访问次数均为O(k)。本发明应用于IP路由查找、数据包分类、深度数据包检测、网络安全、网络监测、网络管理、数据流处理、以及无线网络数据处理等。

1、  一种索引拆分布鲁姆过滤器，其特征是由多组片上并行计数布鲁姆过滤器(CBF)和一个片外特征规则集构成，且多组片上并行CBF产生与数据包内容匹配的候选特征规则的片外索引值；所述片上并行CBF是指：将一组n条特征规则的索引值被拆分成组，每组包含索引值的b位比特；每组b位比特将特征规则集划分成2^b个子集，该每个子集采用片上计数布鲁姆过滤器CBF表示，从而为每组构建2^b个片上并行CBF；当查询数据包内容y时，检查y是否在所有B×2^b个片上并行CBF中，每组片上并行CBF产生一个b位比特值，且将B个b位比特值合成候选特征规则的片外索引值。

2、  一种权利要求1所述索引拆分布鲁姆过滤器的特征规则删除方法，其特征是采用一个删除位图记录片外特征规则的状态，即0表示未删除状态，1表示删除状态；当删除特征规则x时，在删除位图中设置x对应的比特值为1，从每组片上并行CBF中删除x，并从片外特征规则集中删除x，且其他特征规则的片外索引值保持不变。

3、  一种权利要求1所述索引拆分布鲁姆过滤器的特征规则插入方法，其特征是采用一个删除位图用于记录片外特征规则，删除状态；当插入特征规则x时，随机选择删除位图中一个空缺位，即比特值为1，设置x的片外索引值为该空缺位的索引值，并在删除位图中设置该空缺位的比特值为0；统计删除位图中该空缺位之前且比特值为1的个数，从而计算x的片外物理地址；根据x的片外物理地址，在片外存储器的相应存储位置上插入x，且其他特征规则的片外索引值保持不变；根据x的片外索引值，在每组片上并行CBF中插入x。

4、  一种权利要求1所述索引拆分布鲁姆过滤器的数据包内容查询方法，其特征是当查询数据包内容x时，x哈希映射到片上并行计数布鲁姆过滤器CBF；检查x是否在所有片上并行CBF中，且每组片上并行CBF分别输出b位比特值；合成所述b位比特值产生与x匹配的候选特征规则的片外索引值；直接访问与该片外索引值对应的特征规则，并与数据包内容x进行特征匹配。

一种索引拆分布鲁姆过滤器及其插入、删除和查询方法
技术领域
本发明属于高性能计算技术领域，具体是一种面向快速深度数据包检测的索引拆分布鲁姆过滤器及其插入、删除和查询方法。
背景技术
近年来，网络蠕虫、分布式拒绝服务、间谍软件和计算机病毒等新型网络攻击不断涌现，入侵计算机系统，窃取敏感信息，以及阻断网络关键服务等，从而威胁和破坏互联网络基础设施。网络入侵检测系统(Network IntrusionDetection System，NIDS)和网络入侵阻止系统(Nework Intrusion PreventionSystem，NIPS)是网络攻击防范的关键方法之一，即实时监测网络流量，检查网络可疑行为，并向系统管理员告警。深度数据包检测(Deep Packet Inspection，DPI)是NIDS/NIPS的核心部件。与防火墙不同，DPI不仅检查数据包头部信息，而且检查数据包有效载荷(即数据包内容)。DPI采用特征匹配方法，将每个数据包内容与一组预定义的攻击特征进行匹配，从而识别出可疑行为。为了定义可疑行为，DPI采用一组规则描述攻击特征，即每条规则包括数据包类型、特征字符串、搜索起始位置、以及匹配后的响应操作等信息。因此，DPI是一种数据包内容过滤技术，不仅应用于NIDS/NIPS，而且应用于Linux系统的应用层数据包分类、P2P流量识别以及基于上下文的流量计费等。
随着网络带宽和流量的迅猛增长，DPI将面临高性能挑战，即如何满足数据包内容过滤的时间需求和空间需求。首先，DPI是计算密集型操作，已成为NIDS/NIPS的性能瓶颈。通常，DPI应用于互联网络的数据路径上(例如出口链路上)，需要检查海量数据包内容的每个字节，并与成千上万条规则进行特征匹配。例如，在Snort中，DPI占约70％的总执行时间和约80％的总操作指令。因此，为了适应高速网络应用，DPI必须满足数据包内容过滤的线速处理时间需求，即其吞吐量为10～40Gbps。其次，基于硬件的DPI面临存储空间受限的挑战。由于基于软件的DPI难以适应高速数据包内容过滤，研究者利用现代嵌入式存储器技术，例如静态随机访问存储器(SRAM)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和三重内容可寻址存储器(TCAM)等，提出了基于硬件的DPI，支持线速的数据包内容过滤，从而提高DPI的吞吐量。但是，随着攻击特征规则日益庞大，高速率、小容量的嵌入式存储器难以满足基于硬件的DPI的存储空间需求。例如，Snort 2.7包含7840条特征规则，其存储空间大小约为50MB；而Xilinx Vertex-5FPGA最多包含288个片上存储块(每个存储块大小为36Kb)，仅提供约10Mb的片上存储空间，难以存储这些特征规则。因此，如何在存储空间受限的条件下设计一种快速DPI是基于硬件的数据包内容过滤技术的关键问题。
为了提高DPI的吞吐量和可伸缩性，Artan等人提出了一种特里位图内容分析器(Trie Bitmap Content Analyzer，TriBiCa)，即在特里树的每一层中，每个节点采用一个哈希函数将特征规则集均匀划分成大小相等的两个子集。实质上，TriBiCa为特征规则集构建一个最小完美哈希函数：当存储特征规则x时，TriBiCa将x哈希映射到一个唯一的存储位置，且不存在哈希冲突(Collision)，即多个特征规则哈希映射到同一个存储位置；当查询数据包内容y时，TriBiCa检查y是否在特征规则集中，并指出与y匹配的候选特征规则的存储位置。为了提高DPI的吞吐量，TriBiCa的特里树部署在高速率、小容量的片上存储器上，而特征规则集存储在低速率、大容量的片外存储器上；在特征匹配之前，TriBiCa过滤掉大量不相关的数据包，并提供候选特征规则的存储位置，从而减少片外存储器访问次数和特征匹配操作次数。但是，TriBiCa存在最小完美哈希函数构建和更新开销高以及假阳性存储器访问次数多等问题。首先，TriBica是计算密集型操作，即采用启发式Blackjack算法和贪婪算法来构建一个最小完美哈希函数。当特征规则不断增多时，这些启发式算法将导致TriBiCa的最小完美哈希函数构建开销高。其次，当插入或删除特征规则时，TriBiCa离线地重新构建一个最小完美哈希函数，难以适应动态变化的特征规则集，从而导致其最小完美哈希函数更新开销高；最后，在TriBiCa中，特里树的每一层采用同一个哈希函数，导致其假阳性存储器访问次数多，即需要额外的片外存储器访问和特征匹配操作，从而限制了TriBiCa的吞吐量。
为了减少DPI的片外存储器访问次数，Song等人提出了一种共享节点快速哈希表(Shared-node Fast Hash Table，SFHT)，用于简洁表示和快速查询一个特征规则集。SFHT是由m个存储桶构成，每个存储桶包含一个片上计数器和一个片外共享节点链接表；当存储特征规则x时，x哈希映射的k≥2个存储桶指向特征规则的共享节点；当查询数据包内容y时，从y哈希映射的k个存储桶中，选择一个计数器值和桶索引值最小的存储桶，并在该存储桶的共享节点链接表中查找特征规则。与传统的哈希表相比，SFHT可减少查询操作的片外存储器访问次数，从而提高哈希表的最坏情况性能。实质上，SFHT是由片上计数布鲁姆过滤器(Counting Bloom Filter，CBF)和片外共享节点链接表组构成，即计数布鲁姆过滤器是由m个片上计数器构成，共享节点链接表组是m个片外共享节点链接表构成。在SFHT中，片上CBF过滤掉大量不相关的数据包，并选择长度最短的片外共享节点链接表来匹配特征，从而减少片外存储器访问次数和特征匹配操作次数。此外，由于片上CBF可支持插入和删除操作，SFHT可适应动态变化的特征规则集。但是，SFHT存在哈希表更新开销高和存储空间大等问题。首先，在SFHT中，删除操作的平均存储器访问次数为O(k)，插入操作的平均存储器访问次数为O(k+nk²/m)，其中n为特征规则条数，m为存储桶个数，k为哈希函数个数。为了保证每个存储桶的计数器值等于其指向的共享节点链接表长度，SFHT的插入操作需要遍历k个存储桶的共享节点链接表，甚至需要复制特征规则的多个共享节点，这将导致SFHT需要频繁地访问片外存储器和额外的片外存储空间。其次，在SFHT中，每个片上存储桶不仅包含4位比特的计数器，而且包含位比特的指针，这将导致SFHT占用更多的代价昂贵的小容量片上存储空间，其中n为特征规则条数。
发明内容
针对现有技术的缺陷，本发明目的旨在提出一种索引拆分布鲁姆过滤器(Index-Split Bloom Filter，ISBF)及其插入、删除和查询方法，能够降低特征规则的更新开销，并提高深度数据包检测DPI的吞吐量。
为实现上述发明目的，本发明采取的具体技术方案是，一种索引拆分布鲁姆过滤器，由多组片上并行计数布鲁姆过滤器CBF和一个片外特征规则集构成，且多组片上并行CBF产生与数据包内容匹配的候选特征规则的片外索引值；所述片上并行CBF是指：将一组n条特征规则的索引值被拆分成组，每组包含索引值的b位比特；每组b位比特将特征规则集划分成2^b个子集，该每个子集即采用片上计数布鲁姆过滤器CBF表示，从而为每组构建2^b个片上并行CBF；当查询数据包内容y时，检查y是否在所有B×2^b个片上并行CBF中，每组片上并行CBF产生一个b位比特值，且将B个b位比特值合成候选特征规则的片外索引值。
本发明还提出一种索引拆分布鲁姆过滤器的特征规则删除方法，采用一个删除位图记录片外特征规则的状态，即0表示未删除状态，1表示删除状态；当删除特征规则x时，在删除位图中设置x对应的比特值为1，从每组片上并行CBF中删除x，并从片外特征规则集中删除x，且其他特征规则的片外索引值保持不变。
本发明还提出一种索引拆分布鲁姆过滤器的特征规则插入方法，其特征是采用上述删除方法的删除位图，用于记录片外特征规则，删除状态；当插入特征规则x时，随机选择删除位图中一个空缺位，即比特值为1，设置x的片外索引值为该空缺位的索引值，并在删除位图中设置该空缺位的比特值为0；统计删除位图中该空缺位之前且比特值为1的个数，从而计算x的片外物理地址；根据x的片外物理地址，在片外存储器的相应存储位置上插入x，且其他特征规则的片外索引值保持不变；根据x的片外索引值，在每组片上并行CBF中插入x。
本发明还提出一种索引拆分布鲁姆过滤器的数据包内容查询方法，当查询数据包内容x时，x哈希映射到片上并行计数布鲁姆过滤器(CBF)；检查x是否在所有片上并行CBF中，且每组片上并行CBF分别输出b位比特值；合成所述b位比特值产生与x匹配的候选特征规则的片外索引值；直接访问与该片外索引值对应的特征规则，并与数据包内容x进行特征匹配。
本发明的核心思想是：给定一组n条特征规则，特征规则的索引值被拆分成组，每组包含索引值的b位比特；每组b位比特将特征规则集划分成2^b个子集，并采用片上计数布鲁姆过滤器(CBF)表示每个子集，从而为每组构建2^b个并行CBF；当查询数据包内容y时，检查y是否在所有B×2^b个片上并行CBF中，每组并行CBF产生一个b位比特值，且将B个b位比特值合成候选特征规则的片外索引值。实质上，ISBF是由多组片上并行CBF和一个片外特征规则集构成，且多组片上并行CBF产生与数据包内容匹配的候选特征规则的片外索引值。由于CBF会产生假阳性，ISBF直接访问片外特征规则，并与数据包内容进行特征匹配，从而消除其假阳性错误。
当删除或插入特征规则时，索引拆分布鲁姆过滤器(ISBF)需要调整其他特征规则的片外索引值，且更新片上并行计数布鲁姆过滤器(CBF)，从而导致其删除或插入开销高。为了降低ISBF的删除开销，本发明提出了一种删除方法，称为懒惰删除(Lazy Delete)方法，其核心思想是：采用一个删除位图记录片外特征规则的状态，即0表示未删除状态，1表示删除状态；当删除特征规则x时，在删除位图中设置x对应的比特值为1，从每组并行CBF中删除x，并从片外特征规则集中删除x，且其他特征规则的片外索引值保持不变。
为了减少ISBF的插入开销，本发明同时也提出了一种插入方法，称为空缺插入(Vacant Insert)方法，其核心思想是：采用上述懒惰删除方法的删除位图，用于记录片外特征规则的删除状态；当插入特征规则x时，随机选择删除位图中一个空缺位(即比特值为1)，设置x的片外索引值为该空缺位的索引值，并在删除位图中设置该空缺位的比特值为0；统计删除位图中该空缺位之前且比特值为1的个数，从而计算x的片外物理地址；根据x的片外物理地址，在片外存储器的相应存储位置上插入x，且其他特征规则的片外索引值保持不变；根据x的片外索引值，在每组并行CBF中插入x。
本发明所述索引拆分布鲁姆过滤器及其特征规则的插入、删除和查询方法，能够降低特征规则的更新开销，并提高深度数据包检测DPI的吞吐量。本发明可应用于IP路由查找、数据包分类、深度数据包检测、网络安全、网络监测、网络管理、数据流处理、以及无线网络数据处理等。
以下结合附图和实施例对本发明的工作原理进行详细描述：
附图说明
图1为b-比特的索引拆分布鲁姆过滤器示意图；其中图1(a)为1-比特的索引拆分布鲁姆过滤器示意图；其中图1(b)为2-比特的索引拆分布鲁姆过滤器示意图；
图2为索引拆分布鲁姆过滤器的查询操作示意图；
图3为特征规则的懒惰删除前后对比示意图；其中图3(a)为特征规则e3删除之前的示意图；其中图3(b)为特征规则e3删除之后的示意图；
图4为索引拆分布鲁姆过滤器的删除操作流程图；
图5为特征规则的空缺插入前后对比示意图；其中图5(a)为特征规则e₈插入之前的示意图；其中图5(a)为特征规则e₈插入之后的示意图；
图6为索引拆分布鲁姆过滤器的插入操作流程图；
图7为特里位图内容分析器与索引拆分布鲁姆过滤器的比较示意图；
图8为索引拆分布鲁姆过滤器的平均假阳性存储器访问次数示意图；其中图8(a)为特征规则条数为10000的平均假阳性存储器访问次数示意图；其中图8(b)为特征规则条数为1000～4000的平均假阳性存储器访问次数示意图；
图9为删除、插入和查询操作的平均存储器访问次数示意图；其中图9(a)为删除操作的平均存储器访问次数示意图；其中图9(b)为插入操作的平均存储器访问次数示意图；其中图9(c)为查询操作的平均存储器访问次数示意图；
图10为删除、插入和查询操作的平均处理时间示意图；其中图10(a)为删除操作的平均处理时间示意图；其中图10(b)为插入操作的平均处理时间示意图；其中图10(c)为查询操作的平均处理时间示意图；
图11为片上和片外存储空间大小示意图；其中图11(a)为片上存储空间大小示意图；其中图11(b)为片外存储空间大小示意图；
图12为不同参数对假阳性存储器访问次数的影响示意图；其中图12(a)为特征规则条数的影响示意图；其中图12(b)为哈希函数个数的影响示意图；其中图12(c)为索引拆分的比特位数的影响示意图；其中图12(d)为存储桶个数与特征规则条数的比值的影响示意图；
图13为不同参数对片上存储空间大小的影响示意图；其中图13(a)为索引拆分的比特位数的影响示意图；其中图13(b)为存储桶个数与特征规则条数的比值的影响示意图；
图14为Snort 2.7中查询操作的平均存储器访问次数和平均处理时间示意图；其中图14(a)为平均存储器访问次数示意图；其中图14(b)为平均处理时间示意图；
图15为Snort 2.7中存储空间大小和假阳性存储器访问次数示意图；其中图15(a)为片上存储空间大小示意图；其中图15(b)为片外存储空间大小示意图；其中图15(c)为假阳性存储器访问次数示意图；
具体实施方式
图1是b-比特的索引拆分布鲁姆过滤器ISBF，其中特征规则集为e₀，e₁，…，e₁₅。如图1(a)所示，在1-比特的ISBF中，特征规则的索引值被拆分成4组，每组包含索引值的1位比特；每组1位比特将16条特征规则划分成2组，构建2个并行计数布鲁姆过滤器(CBF)，因此1-比特的ISBF共有8个片上并行CBF。如图1(b)所示，在2-比特的ISBF中，特征规则的索引值被拆分成2组，每组包含索引值的2位比特；每组2位比特将16条特征规则划分成4组，构建4个片上并行计数布鲁姆过滤器CBF，因此2-比特的ISBF共有8个并行CBF。在b-比特的ISBF中，CBF_i^j表示第i组j个并行计数布鲁姆过滤器。在图1(a)中，第0组2个并行计数布鲁姆过滤器为CBF₀⁰和CBF₀¹，其中CBF₀⁰表示特征规则子集e₀，e₁，e₂，e₃，e₄，e₅，e₆，e₇，CBF₀¹表示特征规则子集e₈，e₉，e₁₀，e₁₁，e₁₂，e₁₃，e₁₄，e₁₅；当查询数据包内容y时，CBF₀⁰和CBF₀¹分别产生1位比特值为y₀⁰和y₀¹，即y00,y01∈{0,1}.]]>且对y₀⁰和y₀¹进行逻辑或运算，从而输出索引值的第0位比特值为y₀；类似地，第1、2和3组并行CBF分别输出索引值的第1、2和3位比特值为y₁、y₂和y₃，从而合成与y匹配的候选特征规则的片外索引值为y₀y₁y₂y₃。在图1(b)中，第0组4个并行布鲁姆过滤器为CBF₀⁰、CBF₀¹、CBF₀²和CBF₀³，其中CBF₀⁰表示特征规则子集e₀，e₁，e₂，e₃，CBF₀¹表示特征规则子集e₄，e₅，e₆，e₇，CBF₀²表示特征规则子集e₈，e₉，e₁₀，e₁₁，CBF₀³表示特征规则子集e₁₂，e₁₃，e₁₄，e₁₅；当查询数据包内容y时，CBF₀⁰、CBF₀¹、CBF₀²和CBF₀³分别产生2位比特值为y₀⁰、y₀¹、y₀²和y₀³，即且对y₀⁰、y₀¹、y₀²和y₀³进行逻辑或运算，从而输出索引值的第0和1位比特值为y₀；类似地，第1组并行CBF输出索引值的第2和3位比特值为y₁，从而合成与y匹配的候选特征规则的片外索引值为y₀y₁。
图2是索引拆分布鲁姆过滤器的查询操作的具体实施例，其中特征规则集为e₀，e₁，…，e₁₅。在图2中，特征规则条数为n＝16，哈希函数个数为k＝3，且索引拆分的比特位数为b＝1。如图2所示，当查询数据包内容e₉时，e₉哈希映射到并行计数布鲁姆过滤器(CBF)的第3、16和21位；检查e₉是否在所有并行CBF中，即CBF₀⁰、CBF₀¹、CBF₁⁰、CBF₁¹、CBF₂⁰、CBF₂¹、CBF₃⁰和CBF₃¹，且CBF₀¹、CBF₁⁰、CBF₂⁰和CBF₃¹分别输出1位比特值为1、0、0和1；合成这些1位比特值，产生与e₉匹配的候选特征规则的片外索引值为(1001)₂＝9；直接访问第9条特征规则，并与数据包内容e₉进行特征匹配。在b-比特的ISBF中，当数据包内容y哈希映射的k个计数器值大于0时，CBF_i^j输出片外索引值的第i个b位比特值为j，否则，y不在特征规则集中。
图3是特征规则的删除过程，其中特征规则集为e₀，e₁，e₂，e₃，e₄，e₅，e₆，e₇。如图3(a)所示，在特征规则e₃删除之前，每个片外特征规则包含一个索引值和一个物理地址，而片上删除位图与片外特征规则集相对应，且其初始化值为0，表示未删除状态；如图3(b)所示，在特征规则e₃删除之后，在删除位图中设置e₃对应的第3位比特值为1，从片外存储器上删除e₃，且片外特征规则e₄、e₅、e₆和e₇向前移动一个存储位置，即自动调整物理地址，但是这些特征规则的索引值保持不变。
图4是索引拆分布鲁姆过滤器的删除操作的具体实施应用。如图4所示，当删除特征规则e₆时，e₆的片外索引值为(0110)₂＝6，设置删除位图的第6位比特值为1，从CBF₀⁰、CBF₁¹、CBF₂¹和CBF₃⁰中删除e₆，并从片外特征规则集中删除e₆，且其他特征规则的片外索引值保持不变。在图4中，当查询数据包内容e₉时，第0组CBF₀¹、第1组CBF₁⁰、第2组CBF₂⁰和第3组CBF₃¹分别输出1位比特值为1、0、0和1；合成这些1位比特值，产生与e₀匹配的候选特征规则的片外索引值为(1001)₂＝9；检查删除位图的第9位比特值是否为1，如果是，e₉不在特征规则集中，否则，统计删除位图中第9位之前且比特值为1的个数，即第9位之前共有1个比特值为1，从而计算与e₉匹配的候选特征规则的片外物理地址为9-1＝8；直接访问第8条特征规则，并与数据包内容e₉进行特征匹配。
图5是特征规则的空缺插入前后对比示意图，其中特征规则集为e₀，e₁，e₂，e₃，e₄，e₅，e₆，e₇。如图5(a)所示，在特征规则e₈插入之前，第3条特征规则e₃和第6条特征规则e₆被删除，且设置删除位图的第3和第6位比特值为1；如图5(b)所示，在特征规则e₈插入之后，随机选择删除位图中一个空缺位，即第3位，并设置e₈的片外索引值为3，且设置删除位图的第3位比特值为0；统计删除位图中第3位之前且比特值为1的个数，从而计算e₈的片外物理地址为3；在片外特征规则集的第3个存储位置上插入e₈，且其他特征规则的片外索引值保持不变。
图6是索引拆分布鲁姆过滤器的插入操作的一个具体实施例。如图6所示，当插入特征规则e₁₆时，随机选择删除位图中一个空缺位，即第2位，设置e₁₆的片外索引值为(0010)₂＝2，并设置删除位图的第2位比特值为0；统计删除位图中第2位之前且比特值为1的个数，计算e₁₆的片外物理地址为2，并在片外特征规则集的第2个存储位置上插入e₁₆，且其他特征规则的片外索引值保持不变；根据e₁₆的片外索引值，在第0组CBF₀⁰、第1组CBF₁⁰、第2组CBF₂¹和第3组CBF₃⁰中插入e₁₆。
图7是特里位图内容分析器与索引拆分布鲁姆过滤器的比较。如图7所示，TriBiCa第i层所有左孩子节点组成ISBF第i-1组第0个计数布鲁姆过滤器CBF_i-1⁰，其所有右孩子节点组成ISBF第i-1组第1个计数布鲁姆过滤器CBF_i¹。例如，TriBiCa第2层2个左孩子节点组成ISBF第1组第0个CBF，其2个右孩子节点组成ISBF第1组第1个CBF。因此，TriBiCa是分层查找，其片上查询时间开销为O(logn)；与TriBiCa不同，ISBF是并行查找，其片上查询时间开销为O(1)。
下表是特里位图内容分析器(TriBiCa)、共享节点快速哈希表(SFHT)和索引拆分布鲁姆过滤器(ISBF)的插入、删除和查询操作的平均存储器访问次数：