利用用于健壮数据监控的交叉对比的BITTORRENT扫描.pdf

在一个实施例中，诸如索引站点或丰富站点摘要（RSS）馈送的一个或多个BitTorrent管理页面可以针对与一个或多个搜索项相关联的种子文件的标记来扫描。在定位种子文件之后，与种子文件相关联的信息可以被利用以开始通过网络利用BitTorrent协议从群计算机下载由种子文件所指示的内容的一个或多个部分。随着内容从群计算机正被下载，可以获得与每个群计算机相关联的识别信息。与种子文件和识别信息相关联的数据可以被存储在数据库。此后，客户端可以搜索数据库来定位可能正共享例如未授权或非法信息的一个或多个群计算机。

权利要求书1.  一种用于监控网络的系统，所述系统包括： 一个或多个网络接口，被连接以通过网络传送数据； 处理器，耦合到网络接口并且适于运行一个或多个过程；以及 存储器，被配置成存储通过处理器可运行的过程，所述过程在运行时能操作以：     针对与一个或多个搜索项相关联的种子文件的标记扫描BitTorrent管理页面，     利用标记来定位种子文件，     开始通过网络从一个或多个群计算机下载与种子文件相关联的内容的一个或多个部分，     响应于开始下载内容的一个或多个部分，获得与一个或多个群计算机相关联的识别信息、以及     在一个或多个贮存器装置上存储与种子文件相关联的选择的数据和与一个或多个群计算机相关联的识别信息。 2.  权利要求1的所述系统，其中BitTorrent管理页面是索引站点。 3.  权利要求1的所述系统，其中BitTorrent管理页面是丰富站点摘要（RSS）。 4.  权利要求1的所述系统，其中BitTorrent管理页面与对等网络相关联。 5.  权利要求1的所述系统，其中标记是与种子文件相关联的密钥。 6.  权利要求5的所述系统，其中所述过程在运行时进一步能操作以： 利用密钥从分散式网络下载种子文件。 7.  权利要求6的所述系统，其中所述分散式网络是分布式哈希表网络。 8.  权利要求6的所述系统，其中所述分散式网络是来源交换网络。 9.  权利要求1的所述系统，其中所述过程在运行时进一步能操作以： 从客户端接收包含一个或多个搜索请求项目的搜索请求； 将一个或多个搜索请求项目与在一个或多个贮存器装置上存储的与一个或多个种子文件相关联的标记和与群计算机相关联的识别信息对比；以及 响应于发现匹配，发送与一个或多个种子文件相关联的匹配的标记和与群计算机相关联的匹配的识别信息。 10.  权利要求1的所述系统，其中所述过程在运行时进一步能操作以： 将与种子文件相关联的选择的数据和与一个或多个群计算机相关联的识别信息与利用一个或多个搜索项从扫描对等网络所获得的其它信息和其它识别信息交叉对比。 11.  权利要求1的所述系统，其中一个或多个群计算机包含索取器和播种器中的至少一个。 12.  一种系统，包括： 数据库，被配置成存储与一个或多个种子文件中的每个相关联的信息，其中所述信息包含（1）识别一个或多个种子文件的标记和（2）识别对下载种子文件感兴趣的索取器和对共享种子文件感兴趣的播种器中的至少一个的群识别信息； 处理器，被配置成： 　　通过计算机网络从客户端接收针对具体种子文件的一个或多个搜索项； 　　将一个或多个搜索项与存储在数据库中的与一个或多个种子文件相关联的标记和识别信息对比；以及 　　响应于匹配，通过计算机网络返回与一个或多个种子文件相关联的匹配的识别信息和与一个或群计算机相关联的匹配的群识别信息中的至少一个。 13.  权利要求12的所述系统，其中所述处理器进一步被配置成： 利用具有语法和格式的至少一个BitTorrent管理页面的扫描用与附加种子文件相关联的附加标记来填充数据库。 14.  权利要求13的所述系统，其中至少一个BitTorrent管理页面是索引站点。 15.  权利要求13的所述系统，其中至少一个BitTorrent管理页面是丰富站点摘要（RSS）。 16.  权利要求13的所述系统，其中至少一个BitTorrent管理页面与对等网络相关联。 17.  权利要求12的所述系统，其中附加种子文件与由至少一个BitTorrent管理页面托管的密钥相关联。 18.  权利要求17的所述系统，其中所述过程进一步被配置成： 利用密钥从分散式网络下载种子文件。 19.  权利要求18的所述系统，其中所述分散式网络是分布式哈希表网络。 20.  权利要求18的所述系统，其中所述分散式网络是来源交换网络。

说明书利用用于健壮数据监控的交叉对比的BIT TORRENT扫描
对相关申请的交叉参考
本申请要求由Anju Chopra等在2012年6月7日提交的关于BIT TORRENT SCAN WITH CROSS COMPARISON FOR ROBUST DATA MONITORING的美国临时专利申请序列号61/656，675和由Anju Chopra等在2012年11月14日提交的关于BIT TORRENT SCAN WITH CROSS COMPARISON FOR ROBUST DATA MONITORING的美国临时专利申请序列号61/726，346的权利，其中的每个由此通过参考被结合。
技术领域
本公开大体涉及计算机网络并且更具体地涉及监控BitTorrent网络。
背景技术
BitTorrent协议与文件的可靠传输有关。用户可以使用各种方法来搜索种子文件（torrent file），该种子文件然后被用来通过网络从“群（swarm）”计算机下载感兴趣的内容。例如，用户可以通过搜索索引站点/跟踪器（tracker）站点、通过搜索对等（P2P）网络、通过加入丰富站点摘要（RSS）馈送、或通过利用其它类型的BitTorrent管理页面来寻找具体的种子文件。每个BitTorrent管理页面能够具有它自身的语法和格式。因此，不存在单个或一致的方式来搜寻跨过各种不同的BitTorrent管理网页的上下文。进一步，不存在其中能够可能地经过连接跳跃到达所有参与者的集中式BitTorrent网络。相反，每个种子“群”是封闭的社区，每个跟踪器站点没有到下一个的协议层连接，并且索引站点彼此分开。
发明内容
因此，仍然需要高效地监控与种子文件相关联的内容和共享该内容的群计算机。
根据一个或多个实施例，诸如索引站点或丰富站点摘要（RSS）馈送的一个或多个BitTorrent管理页面可以针对与一个或多个搜索项相关联的种子文件的标记来扫描。在定位种子文件之后，与种子文件相关联的信息可以被利用来开始通过网络利用BitTorrent协议从群计算机下载由种子文件所指示的内容的一个或多个部分。随着内容从群计算机正被下载，可以获得与每个群计算机相关联的识别信息。
与种子文件相关联的数据、与种子文件相关联的内容和与每个群计算机相关联的识别信息可以被存储在数据库中。此后，客户端可以搜索存储与种子文件、内容和识别信息相关联的数据的数据库或不同的贮存器结构以定位可能正共享例如未授权的或非法的信息的一个或多个群计算机。
进一步，使用相同的搜索项目，从新颖的种子监控系统获得的结果可以与其它系统（例如对等网络扫描）交叉对比以根据“威胁”等级来归类或分类组合的结果。
有利地，种子文件、它们的内容和共享与种子文件相关联的内容的群计算机可以被高效地监控。
附图说明
下面的描述参考附图，其中：
图1图示示例计算机网络；
图2图示可以在图1的计算机网络中利用的示例种子监控系统；
图3图示用于监控BitTorrent的示例简化程序；
图4图示用于搜索与当前应用的种子监控系统相关联的信息的示例简化程序；
图5图示用于将使用相同的搜索项从种子监控系统所获得的信息与从使用其它系统所获得的信息交叉对比的示例系统；以及
图6图示用于将使用相同的搜索项从新颖的种子监控系统所获得的信息与从其它系统所获得的信息交叉对比的示例简化程序。
具体实施方式
图1图示示例计算机网络100，该计算机网络100说明性地包括通过通信链路120互连的客户计算机105、种子监控系统200、数据库110、一个或多个群计算机115、以及BitTorrent管理页面118。本领域技术人员将理解的是，任何数目的客户计算机、种子监控系统、数据库、群计算机和/或链路可以被用在计算机网络中，并且这里示出的视图是为了简单起见。
客户计算机105和群计算机115可以是任何通用的数据处理器，诸如个人计算机或工作站。数据库110是组织数据集合的常规的结构，如由本领域技术人员所知。
图2图示示例种子监控系统200，该种子监控系统200可以与在本文中描述的一个或多个实施例一起被使用。种子监控系统200可以包括通过系统总线250互连的多个网络接口210、一个或多个数据处理器220和存储器240。网络接口210含有用于在耦合到网络100的物理链路上传送数据的机械、电气和信号电路系统。网络接口可以被配置成使用各种不同的通信协议来发送和/或接收数据，该通信协议尤其包含TCP/IP、UDP、ATM、同步光网络（SONET）、无线协议、帧中继、以太网、光纤分布式数据接口（FDDI）等。特别地，物理网络接口210也可以被用来实施对于本领域技术人员已知的一个或多个虚拟网络接口，诸如用于虚拟个人网络（VPN）访问。
存储器240包括通过（一个或多个）处理器220和网络接口210可寻址的多个位置用于存储与在本文中描述的实施例相关联的软件程序和数据结构。处理器220可以包括适于运行软件程序和操纵数据结构的必要的元件或逻辑。其部分典型地驻留在存储器240中并且由（一个或多个）处理器来运行的操作系统242尤其通过调用支持在节点上运行的软件过程和/或服务的网络操作而在功能上组织节点。这些软件过程和/或服务可以包括调度器238、扫描器244、种子下载器246、DSP匹配器250、和内容下载器252。
调度器238是负责使扫描器244的运行再发生的过程，其下面被描述。因为索引站点是集中式存储库并且持续反复的探查能够导致调度器238被禁止访问索引站点，所以用于于从BitTorrent管理页面进行种子文件发现的批处理是有利的。照此，调度器238可以通过分批访问BitTorrent管理页面来最小化BitTorrent管理页面上的足迹，从而跨过BitTorrent管理页面交错访问以最大化每个站点访问与每个站点节流（throttling）之间的时间。由调度器238限定的每个进度表可以具有配置项目，诸如递归值（例如，每X小时、开始/停止日期）、扫描的类型（RSS、搜索、走动、输入等）和扫描类型输入源值（例如，对于RSS：RSS馈送的列表；对于搜索：索引站点的列表；对于走动：索引站点的列表；以及对于输入：输入协议源）。调度器238可以由终端用户（例如使用客户端105的管理员）来管理。
（一个或多个）扫描器244是负责从各种BitTorrent“管理页面”类型发现种子文件的过程。这些管理页面提供关于如何寻找种子文件的标记，并且可以包含索引网站、跟踪器站点、RSS馈送等。每个扫描器244被配置成根据BitTorrent管理页面的语法和/或格式来扫描BitTorrent管理页面。例如，索引站点可以具有与RSS馈送不同的语法和/或格式，或甚至可以具有不同于另一个索引站点的格式。照此，扫描器244被配置成与具有不同的语法和/或格式的各种不同的BitTorrent管理页面相互作用。
每个扫描器244可以例如利用客户端105从用户接收一组感兴趣的搜索项（这里称为数字签名简档（DSP）搜索项）。DSP搜索项然后被用来以下面更详细地描述的方式针对相关联的种子扫描相关联的类型的BitTorrent管理页面。
扫描器244可以包含“索引扫描器”（IS），IS被设计成扫描具有索引站点类型的BitTorrent管理页面。特别地，IS 244可以使用特定的DSP搜索项在索引站点上搜索种子。IS 244的搜索能力受由索引站点实施和面临（expose）的索引算法约束。例如，更复杂的索引站点允许由普及性、由时间性、由风格等准予（qualify）的搜索，而不太复杂的索引站点仅可以通过上载时间和种子文件名称的查找索引来将结果分类。其它可用的索引准则可以包含种子文件名称、内容文件名称、描述和元数据。IS 244能够形成含有配置的DSP项目的站点特定的URL。每个项目例如可以要求每个索引站点的一个搜索请求。
扫描器244也可以包含“RSS 扫描器”（RSSS），RSSS特别企图发现由RSS馈送公布的可用种子。RSSS接触（一个或多个）RSS联合站点以下载RSS馈送。取决于RSS站点格式，种子URL可以在RSS XML它自身上被指定或在（一个或多个）链接的HTTP页面上被间接指定。
扫描器244也可以包含“走动扫描器”（WK），WK被配置成针对自从先前的走动被添加到索引站点的新的种子进行扫描。在每个扫描时，WK在来自先前扫描的上一个种子之后开始，然后顺序地走到上一个可用种子。利用WK具有不跨过走动超过一次地重新发现种子的优点，从而免除由索引站点任意强加的结果限制，并且从来不发送敏感的搜索项。WK利用上载的种子的序号和由索引站点提供的“最近种子”页面的可用性。
扫描器244也可以包含“输入扫描器”（ImS），ImS针对经由对等（P2P）协议引擎使之可得到的种子文件进行扫描。ImS假定P2P协议引擎将文件输送到预定的输入文件夹。ImS针对新的种子文件周期性地扫描输入文件夹。IS能够被配置成截去或删除在由P2P协议引擎维持的数据贮存器处的种子。
每种类型的扫描器244（（IS、RSSS、WK、ImS）因此扫描）是相关联的类型的（一个或多个）BitTorrent管理页面，并且产生一个或多个种子文件指示器作为输出。种子下载器246然后使用这个输出并且调用站点特定的JavaScript以提取种子下载URL或来自（一个或多个）BitTorrent管理页面的磁力链接（magnet link）。如果种子不能被下载或失败，进度表可以通过指定递归间隔以尝试重新下载种子来创建。
要注意的是，在一个实施例中，种子文件由（一个或多个）BitTorrent管理页面来托管，然而，在其它实施例中，（一个或多个）BitTorrent管理页面可以存储与种子文件相关联的密钥或“指纹”。此后，密钥或指纹可以被利用来从分散式网络（例如，分布式哈希表（DHT）网络）获得种子文件。
成功下载的种子被记录在数据库110中，并且不成功下载的种子可以被存储在数据库110的表或用于重新下载的其它数据结构中。关于与种子在其上被发现的BitTorrent管理页面相关联的统一资源识别符（URI）来识别种子。因此，如果种子文件在两个不同的索引站点中被发现，则它们在数据库中被看作两个分离的种子入口。可以使用URI作为主要密钥而在数据库中实施唯一性。
种子文件它们自身也经受索引。因为种子文件处于二进制“Bencode”格式，所以它们不被直接提交到索引器。相反，文本文件可以被生成，在文本文件中包含在种子的发现期间收集的辅助数据。辅助数据产生附加信息，该附加信息在取证调查中是有用的并且可以包含：索引站点详细页面URL、索引站点种子下载URL、种子的索引站点详细页面描述、张贴种子到索引站点的用户、对种子的RSS描述等。
存储在数据库110中的成功下载的种子可以随后经受由DSP匹配器250执行的DSP匹配/过滤过程。成功匹配的种子被保持在数据库110中，并且可以被移动到永久贮存器。不匹配的种子文件可以被放弃。
成功匹配的种子然后可以被内容下载器252利用来下载与成功匹配的种子相关联的内容。内容下载器252继续扫描未完成的群工作以运行在DSP匹配器250执行其过滤之后排队的种子。内容下载器252循环经过未完成的群工作并且尝试连接到每个群以下载相关联的内容。
内容下载器252利用对应的BitTorrent群协议来发现正在从群中共享（播种）或下载（索取（leeching））的群计算机。特别地，取决于由种子指定的协议，内容下载器252可以利用不同跟踪器来识别正在共享内容或对下载内容感兴趣的群计算机。这样的跟踪器可以包含超文本传输协议（HTTP）跟踪器、用户数据报协议（UDP）跟踪器、DHT跟踪器、来源交换（Peer Exchange，PEX）跟踪器等等。一旦群计算机被识别，内容下载器252然后能够从群计算机下载与种子相关联的内容的一个或多个部分。进一步，当内容的一个或多个部分正从计算机群被下载，内容下载器252可以获得与参与种子的个别的群计算机相关联的识别信息。例如，一旦群计算机被识别，种子监控系统200可以建立与群计算机的TCP连接并且根据BitTorrent协议开始下载内容的一个或多个部分。在TCP连接的建立期间，种子监控系统200可以知晓IP地址以及与（一个或多个）群计算机相关联的其它识别信息。识别信息以及内容然后可以被存储在数据库110处。进一步，内容下载器252可以在没有活动的群的情况下重新调度这些种子。
因此流行种子成为几个进度表或扫描类型的部分是可能的。如果种子在对应的群工作被完成之前被重新发现，内容下载器252更新群工作以执行由影响的进度表所限定的聚合任务。一旦被下载，内容下载器252就对种子做标记并且放弃群工作。
图3图示用于监控BitTorrent的示例简化程序。程序300在步骤305处开始并且继续到步骤310，其中客户端（例如客户端105）选择一个或多个DSP搜索项。在步骤315中，DSP搜索项通过网络100在种子监控系统200被接收。在步骤320中，种子监控系统200的扫描器244利用接收的DSP搜索项通过网络100来扫描一个或多个BitTorrent管理页面118以获得与这些页面118管理的种子文件相关联的标记。因为不同的BitTorrent管理页面可以具有不同的语法和/或格式，所以步骤320中的扫描调用适当类型的扫描器244（IS、RSSS、WK、ImS等）。
在步骤325中，种子下载器246可以提取或下载一个或多个种子文件，该一个或多个种子文件与由扫描器244所发现的标记相关联。例如，种子下载器246可以从托管种子文件的（一个或多个）BitTorrent管理页面下载一个或多个种子文件。在不同的实施例中，种子下载器246可以利用由（一个或多个）BitTorrent管理页面托管并且与种子文件相关联的密钥或指纹以从分散式网络（例如，DHT和PEX）下载种子文件。在步骤330中，提取的种子文件和与种子文件相关联的信息可以被存储在数据库110中。例如，文本文件可以被生成，在文本文件中在种子的发现期间收集的辅助数据可以被存储在数据库110中。在步骤335中，DSP匹配器250可以使先前存储在数据库110中的种子文件经受匹配/过滤过程。成功匹配的种子被保持在数据库110中，并且可以被移动到永久贮存器，而不匹配的种子文件被放弃。
在步骤340中，匹配的种子在与内容下载器252相关联的队列中排队，并且内容下载器252开始从一个或多个识别的群计算机115下载与具体匹配的种子相关联的内容。在步骤345中，下载的内容和与一个或多个识别的群计算机115相关联的识别信息可以被存储在数据库110中。该程序在步骤350处结束。
图4图示用于搜索与种子监控系统200相关联的信息的示例简化程序。程序400在步骤405处开始并且继续到步骤410，其中客户端（例如客户端105）选择一个或多个DSP搜索项。在步骤410中，DSP搜索项被种子监控系统200接收。在步骤415中，种子监控系统200利用接收的DSP搜索项来在数据库中搜索匹配的种子信息和/或与一个或多个群计算机115相关联的识别信息。在步骤420中，匹配的种子信息和/或与一个或多个群计算机115相关联的识别信息可以被发送到客户端105。该程序在步骤425处结束。
在进一步实施例中，由新颖的种子监控系统200揭开的搜索项相关的信息（例如，与群计算机相关联的识别信息、种子文件信息）可以使用相同的搜索项对照从诸如基于互联网的搜索引擎或对等的网络搜索工具的其它系统所获得的信息进行交叉对比。图5是用于将使用相同的搜索项从种子监控系统200所获得的信息与从其它系统505所获得的信息交叉对比的示例系统500。另一个搜索系统的一个示例被描述在标题为“SYSTEM FOR FORENSIC ANALYSIS OF SEARCH TERMS”、在2012年12月6日提交的待审的美国专利申请序列号13/706，703中。照此，每个系统能够被配置成扫描它的各自信息源（例如，数据库110）并且提供结果给过滤器515和520，该过滤器515和520可以基于文件标题、文件副本等来执行过滤操作。诸如IP地址的其它信息能够提供进一步分类和/或匹配，例如与一个或多个群计算机相关联的数据库110中发现的那些。
来自两个系统的结果可以被存储在集中式数据贮存器系统（诸如数据库525）中，其中意图和威胁能够通过种子监控系统200或传统P2P网络扫描系统505的能力来分类（例如，以确定扫描样式指示信息集中器、黑客威胁、物理/恐怖威胁、还是公司安全威胁）。
图6图示用于将使用相同的搜索项从新颖的种子监控系统200所获得的信息与从其它系统所获得的信息交叉对比的示例简化程序。程序600在步骤605处开始并且继续到步骤610，其中来自P2P网络扫描系统505的结果和来自从种子监控系统200进行的扫描的结果分别被例如过滤器515和520过滤，其中所述扫描利用相同的搜索项。在步骤615中，来自两个系统的过滤的结果被组合并且被存储在集中式数据贮存器系统。在步骤620中，组合的结果根据意图和威胁来分类。在步骤625中，该程序结束。
应当理解的是，上面描述的示例实施例可以以许多不同的方式来实施。在一些实例中，在本文中描述的各种“数据处理器”和“计算机”每个可以通过物理或虚拟的通用计算机来实施，该物理或虚拟的通用计算机具有中央处理器、存储器、磁盘或其它大容量贮存器、（一个或多个）通信接口、（一个或多个）输入/输出（I/O）装置和其它外围设备。通用计算机被变换为处理器并且例如通过加载软件指令到处理器中并且然后造成指令的运行以实行所描述的功能来运行上面描述的过程。
如本领域所知的，这样的计算机可以含有系统总线，其中总线是被用于在计算机或处理系统的部件当中的数据传输的一组硬件线。一个或多个总线是基本上共享的（一个或多个）管道，该管道连接实现元件之间的信息传输的计算机系统的不同元件（例如，处理器、磁盘贮存器、存储器、输入/输出端口、网络端口等）。一个或多个中央处理器单元被附着到系统总线并且提供计算机指令的运行。用于连接各种输入和输出装置（例如，键盘、鼠标、显示器、打印机、扬声器等）的I/O装置接口也典型地被附着到系统总线。（一个或多个）网络接口允许计算机连接到附着到网络的各种其它装置。存储器为用来实施实施例的计算机软件指令和数据提供易失性贮存器。磁盘或其它大容量贮存器为用来实施例如在本文中描述的各种程序的计算机软件指令和数据提供非易失性贮存器。
实施例因此可以典型地被实施在硬件、固件、软件或其任何组合中。
运行上面描述的过程的计算机可以被部署在云计算布置中，该云计算布置针对可配置的计算资源（例如，网络、服务器、贮存器、应用和服务）的共享池经由方便的按需网络访问模型使一个或多个物理和/或虚拟数据处理机器可用，该计算资源能够以最小的管理努力或服务提供者交互快速地供应和释放。
此外，固件、软件、例程或指令在本文中可以被描述为执行某些动作和/或功能。然而，应当理解的是，在本文中含有的这样的描述仅仅是为了方便并且这样的动作事实上由计算装置、处理器、控制器或其它运行固件、软件、例程、指令等的装置产生。
也应当理解的是，框图和网络图可以包含不同布置或不同表示的更多或更少的元件。但是，应当进一步理解的是，某些实施方式可以规定图示以具体方式实施的实施例的运行的框图和网络图以及框图和网络图的数目。
因此，进一步实施例也可以被实施在各种计算机体系结构、物理、虚拟、云计算机和/或其一些组合中，并且因此在本文中描述的计算机系统仅旨在用于图示的目的并且不作为实施例的限制。
虽然本发明已参考其示例实施例被具体地示出和描述，但是本领域技术人员将理解的是，在不脱离由所附权利要求所涵盖的本发明的范围的情况下，在其中可以进行形式和细节上的各种改变。