《用于执行消息交换核算的方法和系统.pdf》由会员分享,可在线阅读,更多相关《用于执行消息交换核算的方法和系统.pdf(38页珍藏版)》请在专利查询网上搜索。
1、10申请公布号CN104247340A43申请公布日20141224CN104247340A21申请号201380022085722申请日2013032161/614,31720120322US61/614,31420120322US13/471,10320120514US13/471,07920120514USH04L12/58200601H04L12/2620060171申请人阿卡麦科技公司地址美国马萨诸塞72发明人MJ斯蒂温斯AP申恩达尔卡尔WD利彻特恩斯特因MD斯泽蒂罗74专利代理机构中国国际贸易促进委员会专利商标事务所11038代理人陈新54发明名称用于执行消息交换核算的方法和系统5。
2、7摘要服务器具有对在服务器处查看到的流量执行核算的防火墙模块。流量包括消息交换,诸如HTTP请求和HTTP响应。服务器测试消息交换以确定它们是否匹配若干消息交换类别中的任一个。服务器保持对匹配流量的统计数据,例如由特定的客户端生成的匹配流量的速率。通常,服务器是作为内容分发网络CDN的一部分的代理服务器,消息交换发生在请求内容的客户端、代理服务器、CDN中的其他服务器、和/或代理服务器从其检索所请求的内容的源服务器之间。使用消息交换模型和由此生成的统计数据,服务器可以标记特定的流量或客户端,并采取保护性动作例如拒绝、报警。在替换实施例中,中央控制系统从多个服务器收集统计数据以供分析。30优先权。
3、数据85PCT国际申请进入国家阶段日2014102786PCT国际申请的申请数据PCT/US2013/0333912013032187PCT国际申请的公布数据WO2013/142743EN2013092651INTCL权利要求书8页说明书18页附图11页19中华人民共和国国家知识产权局12发明专利申请权利要求书8页说明书18页附图11页10申请公布号CN104247340ACN104247340A1/8页21一种在服务器中操作的计算机实现的方法,所述服务器包括形成一个或多个处理器的电路系统以及保持用于由所述一个或多个处理器执行的指令的存储器,所述服务器通信地耦合到计算机网络,所述方法包括在所述。
4、服务器处,参与客户端与所述服务器之间的根据协议的消息交换,所述消息交换包括至少一个请求消息以及至少一个响应消息;对所述消息交换中的多个消息的内容应用一个或多个匹配条件,所述一个或多个匹配条件定义感兴趣的消息流量的类别;如果所述一个或多个匹配条件满足,则在所述服务器处记录关于所述消息交换的信息;以及如果所述一个或多个匹配条件不满足,则不记录所述信息。2根据权利要求1所述的方法,其中消息具有头部和主体,并且所述一个或多个匹配条件指定用于消息头部和消息主体的任一者中的字段的匹配值。3根据权利要求1所述的方法,其中所述协议包括HTTP并且所述一个或多个匹配条件指定用于HTTP方法的匹配值。4根据权利要。
5、求1所述的方法,其中记录信息包括增加与由所述一个或多个匹配条件描述的流量的所述类别相关联的计数。5根据权利要求1所述的方法,其中记录信息包括增加用于与所述客户端相关联的客户端标识符的计数。6根据权利要求1所述的方法,其中记录信息包括增加与有关所述消息交换的URI相关联的计数。7根据权利要求1所述的方法,其中所述一个或多个匹配条件在所述服务器处接收到的控制文件中指定,所述控制文件与给定的域相关联。8根据权利要求1所述的方法,所述协议是HTTP。9根据权利要求1所述的方法,其中记录信息包括增加与由所述一个或多个匹配条件定义的流量的所述类别相关联的计数,并且还包括使用所记录信息来计算流量落入所述类别。
6、的发生率。10根据权利要求1所述的方法,其中所述匹配条件被应用到的所述多个消息包括至少一个请求消息以及至少一个响应消息。11一种服务器,包括电路系统,所述电路系统形成一个或多个处理器;硬件接口,所述硬件接口通信地耦合到计算机网络;存储器,所述存储器保持用于由所述一个或多个处理器执行的指令,其中所述指令在由所述一个或多个处理器执行时使得所述服务器执行以下操作参与客户端与所述服务器之间的根据协议的消息交换,所述消息交换包括至少一个请求消息以及至少一个响应消息;对所述消息交换中的多个消息的内容应用一个或多个匹配条件,所述一个或多个匹配条件定义感兴趣的消息流量的类别;如果所述一个或多个匹配条件满足,则。
7、在所述服务器处记录关于所述消息交换的信息;以及权利要求书CN104247340A2/8页3如果所述一个或多个匹配条件不满足,则不记录所述信息。12一种在代理服务器处操作的计算机实现的方法,所述代理服务器包括形成一个或多个处理器的电路系统以及保持用于由所述一个或多个处理器执行的指令的存储器,所述代理服务器通信地耦合到计算机网络,所述方法包括在所述代理服务器处,参与以下消息交换的至少一者I客户端与所述代理服务器之间的消息交换,以及II所述代理服务器与源服务器之间的消息交换,所述消息交换是根据协议的;针对所述消息交换中的多个消息的内容应用一个或多个匹配条件,所述一个或多个匹配条件定义感兴趣的消息流量。
8、的类别;如果所述一个或多个匹配条件满足,则在所述代理服务器处记录关于所述消息交换的信息;以及如果所述一个或多个匹配条件不满足,则不记录所述信息。13根据权利要求12所述的方法,其中所述消息交换中的所述多个消息包括由所述代理服务器从所述源服务器接收到的至少一个响应消息。14根据权利要求12所述的方法,其中所述消息交换中的所述多个消息包括从所述代理服务器向所述源服务器发送的至少一个请求消息。15根据权利要求12所述的方法,其中所述一个或多个匹配条件包括由从所述代理服务器到所述源服务器的任何请求消息满足的条件。16根据权利要求12所述的方法,其中所述消息交换中的所述多个消息包括至少一个请求消息以及至。
9、少一个响应消息。17根据权利要求12所述的方法,其中消息具有头部和主体,并且所述一个或多个匹配条件指定用于消息头部和消息主体中的任一者中的字段的匹配值。18根据权利要求12所述的方法,其中所述协议包括HTTP并且所述一个或多个匹配条件指定用于HTTP方法的匹配值。19根据权利要求12所述的方法,其中记录信息包括增加与由所述一个或多个匹配条件描述的流量的所述类别相关联的计数。20根据权利要求12所述的方法,其中记录信息包括增加用于与所述客户端相关联的客户端标识符的计数。21根据权利要求12所述的方法,其中记录信息包括增加与有关所述消息交换的URI相关联的计数。22根据权利要求12所述的方法,其中。
10、记录信息包括增加与由所述一个或多个匹配条件定义的消息流量的所述类别相关联的计数,并且还包括使用所记录信息来计算落入所述类别的、与特定的客户端或URI相关联的消息流量的发生率。23根据权利要求12所述的方法,其中记录信息包括增加与由所述一个或多个匹配条件定义的消息流量的所述类别相关联的计数,并且还包括使用所记录信息来计算落入所述类别并与特定的客户端或URI相关联的消息流量的发生率;以及将所述发生率与阈值进行比较来确定是否要限制与所述特定的客户端或URI相关联权利要求书CN104247340A3/8页4的请求。24根据权利要求12所述的方法,其中所述协议是HTTP。25一种代理服务器,包括电路系统。
11、,所述电路系统形成一个或多个处理器;硬件接口,所述硬件接口通信地耦合到计算机网络;存储器,所述存储器保持用于由所述一个或多个处理器执行的指令,其中所述指令在由所述一个或多个处理器执行时使得所述代理服务器执行以下操作参与以下消息交换的至少一者I客户端与所述代理服务器之间的消息交换,以及II所述代理服务器与源服务器之间的消息交换,所述消息交换是根据协议的;针对所述消息交换中的多个消息的内容应用一个或多个匹配条件,所述一个或多个匹配条件定义感兴趣的消息流量的类别;如果所述一个或多个匹配条件满足,则在所述代理服务器处记录关于所述消息交换的信息;以及如果所述一个或多个匹配条件不满足,则不记录所述信息。2。
12、6根据权利要求25所述的代理服务器,其中所述消息交换中的所述多个消息包括由所述代理服务器从所述源服务器接收到的至少一个响应消息。27根据权利要求25所述的代理服务器,其中所述消息交换中的所述多个消息包括从所述代理服务器向所述源服务器发送的至少一个请求消息。28根据权利要求25所述的代理服务器,其中所述一个或多个匹配条件包括由从所述代理服务器到所述源服务器的任何请求消息满足的条件。29根据权利要求25所述的代理服务器,其中所述多个消息包括至少一个请求消息以及至少一个响应消息。30根据权利要求25所述的代理服务器,其中消息具有头部和主体,并且所述一个或多个匹配条件指定用于消息头部和消息主体中的任一。
13、者中的字段的匹配值。31根据权利要求25所述的代理服务器,其中所述协议包括HTTP并且所述一个或多个匹配条件指定用于HTTP方法的匹配值。32根据权利要求25所述的代理服务器,其中所述代理服务器通过增加与由所述一个或多个匹配条件描述的消息流量的所述类别相关联的计数来记录信息。33根据权利要求25所述的代理服务器,其中所述代理服务器通过增加用于与所述客户端相关联的客户端标识符的计数来记录信息。34根据权利要求25所述的代理服务器,其中所述代理服务器通过增加与有关所述消息交换的URI相关联的计数来记录信息。35根据权利要求25所述的代理服务器,其中所述代理服务器通过增加与由所述一个或多个匹配条件定。
14、义的消息流量的所述类别相关联的计数来记录信息,并且所述代理服务器还执行以下操作使用所记录信息来计算落入所述类别并与特定的客户端或URI相关联的消息流量的发生率。36根据权利要求25所述的代理服务器,其中记录信息包括增加与由所述一个或多个匹配条件定义的消息流量的所述类别相关联的计数,并且所述代理服务器还执行以下操权利要求书CN104247340A4/8页5作使用所记录信息来计算落入所述类别的、与特定的客户端或URI相关联的消息流量的发生率;以及将所述发生率与阈值进行比较来确定是否要限制与所述特定的客户端或URI相关联的请求。37根据权利要求25所述的代理服务器,其中所述协议是HTTP。38一种在。
15、代理服务器处操作的计算机实现的方法,所述代理服务器包括形成一个或多个处理器的电路系统以及保持用于由所述一个或多个处理器执行的指令的存储器,服务器通信地耦合到计算机网络,所述方法包括I在所述代理服务器处,参与以下消息交换的至少一者I客户端与所述代理服务器之间的消息交换,和II所述代理服务器与源服务器之间的消息交换,其中所述消息交换是根据协议的并且包括至少一个请求消息以及至少一个响应消息;II一经在所述代理服务器处接收到作为所述消息交换的一部分的请求消息或响应消息,从指示所述代理服务器的对所接收到的请求消息或响应消息进行反应的操作的控制文件进行读取;III确定在所述代理服务器处接收到的所接收的请求。
16、消息或响应消息是否满足在所述控制文件中所指定的、定义感兴趣的消息流量的类别的一个或多个条件;IV对多个所接收到的请求消息或响应消息重复步骤III。39根据权利要求38所述的方法,还包括如果步骤III和IV的结果是所述一个或多个条件的全部都已经满足,则在所述代理服务器处记录关于所述消息交换的信息;否则,不记录所述信息。40根据权利要求38所述的方法,其中所述代理服务器是由代表多个内容提供商客户的服务提供商操作的内容分发网络的一部分,所述内容提供商客户的内容经由所述内容分发网络分发至请求客户端,每个内容提供商与至少一个控制文件相关联。41根据权利要求38所述的方法,其中所述控制文件是基于XML的。。
17、42一种代理服务器,包括电路系统,所述电路系统形成一个或多个处理器;硬件接口,所述硬件接口通信地耦合到计算机网络;存储器,所述存储器保持用于由所述一个或多个处理器执行的指令,其中所述指令在由所述一个或多个处理器执行时使得所述代理服务器执行以下操作I参与以下消息交换的至少一者A客户端与所述代理服务器之间的消息交换,和A所述代理服务器与源服务器之间的消息交换,其中所述消息交换是根据协议的并且包括至少一个请求消息以及至少一个响应消息;II一经在所述代理服务器处接收到作为所述消息交换的一部分的请求消息或响应消息,从指示所述代理服务器的对所接收到的请求消息或响应消息进行反应的操作的控制文件进行读取;II。
18、I确定在所述代理服务器处接收到的所接收的请求消息或响应消息是否满足在所述控制文件中所指定的、定义感兴趣的流量的类别的一个或多个条件;IV对多个所接收到的请求消息或响应消息重复步骤III。权利要求书CN104247340A5/8页643一种分布式计算系统,包括多个内容服务器和一个或多个控制服务器,所述多个内容服务器以及所述一个或多个控制服务器通信地耦合到全球计算机网络;其中所述多个内容服务器中的每一个执行以下操作A参与以下消息交换的至少一者I客户端与所述内容服务器之间的消息交换,以及II所述内容服务器与另一服务器之间的消息交换,其中所述消息交换是根据协议的并且包括至少一个请求消息以及至少一个响应。
19、消息;B针对所述消息交换中的多个消息的内容应用一个或多个匹配条件,所述一个或多个匹配条件定义感兴趣的流量的类别;C如果所述一个或多个匹配条件满足,则在所述内容服务器处记录关于所述消息交换的信息;以及D将以下中的任一者发送到所述一个或多个控制服务器I所记录的信息,和II由所述内容服务器基于所记录信息做出的关于应用强制策略的确定;并且其中所述一个或多个控制服务器执行以下操作E从所述多个内容服务器中的第一内容服务器接收以下中的任一者I第一内容服务器的所记录的信息,以及II第一内容服务器的关于应用所述强制策略的确定;F将指令发送到所述多个内容服务器中的第二内容服务器,所述指令配置所述第二内容服务器来针。
20、对与从所述第一内容服务器接收到的所记录信息和/或所述确定有关的客户端或URI应用强制策略。44根据权利要求43所述的系统,其中,在步骤F中,在所述第二内容服务器处应用的所述强制策略操作以减小来自所述客户端或对于所述URI的请求消息的速率。45根据权利要求43所述的系统,其中所述第二内容服务器在接收到来自所述一个或多个控制服务器的所述指令之前不针对所述客户端或所述URI应用强制策略。46根据权利要求43所述的系统,其中所述第二内容服务器所应用的所述强制策略包括动作,所述动作包括拒绝来自所述客户端或对于所述URI的请求消息。47根据权利要求43所述的系统,其中记录消息包括增加用于与所述客户端相关联。
21、的客户端标识符的计数。48根据权利要求47所述的系统,其中所述客户端由客户端IP地址、会话ID、用户ID、令牌以及COOKIE中的任一者标识。49根据权利要求43所述的系统,其中所述多个内容服务器是代理服务器。50根据权利要求43所述的系统,其中所述多个内容服务器是由内容分发网络服务提供商操作以代表多个内容提供商客户分发内容的代理高速缓存服务器,并且定义流量的所述类别的所述一个或多个匹配条件是基于逐个内容提供商可配置的。51根据权利要求43所述的系统,其中所述协议是HTTP。52根据权利要求43所述的系统,其中所述第一内容服务器和所述第二内容服务器位于不同的地理位置。53一种操作分布式计算机系。
22、统的方法,所述分布式计算机系统包括多个内容服务器和一个或多个控制服务器,所述多个内容服务器和所述一个或多个控制服务器通信地耦合到全球计算机网络,所述方法包括权利要求书CN104247340A6/8页7所述多个内容服务器中的每一个执行以下操作A参与以下消息交换的至少一者I客户端与所述内容服务器之间的消息交换,以及II所述内容服务器与另一服务器之间的消息交换,其中所述消息交换是根据协议的并且包括至少一个请求消息以及至少一个响应消息;B针对所述消息交换中的多个消息的内容应用一个或多个匹配条件,所述一个或多个匹配条件定义感兴趣的流量的类别;C如果所述一个或多个匹配条件满足,则在所述内容服务器处记录关于。
23、所述消息交换的信息;以及D将以下中的任一者发送到所述一个或多个控制服务器I所记录的信息,和II由所述内容服务器基于所记录信息做出的关于应用强制策略的确定;并且所述一个或多个控制服务器执行以下操作E从所述多个内容服务器中的第一内容服务器接收以下中的任一者I第一内容服务器的所记录的信息,以及II第一内容服务器的关于应用所述强制策略的确定;F将指令发送到所述多个内容服务器中的第二内容服务器,所述指令配置所述第二内容服务器来针对与从所述第一内容服务器接收到的所记录信息和/或所述确定有关的客户端或URI应用强制策略。54根据权利要求53所述的方法,其中,在步骤F中,在所述第二内容服务器处应用的所述强制策。
24、略操作以减小来自所述客户端或对于所述URI的请求消息的速率。55根据权利要求53所述的方法,其中所述第二内容服务器在接收到来自所述一个或多个控制服务器的所述指令之前不针对所述客户端或所述URI应用强制策略。56根据权利要求53所述的方法,其中所述第二内容服务器所应用的所述强制策略包括动作,所述动作包括拒绝来自所述客户端或对于所述URI的请求消息。57根据权利要求53所述的方法,其中记录消息包括增加用于与所述客户端相关联的客户端标识符的计数。58根据权利要求57所述的方法,其中所述客户端由客户端IP地址、会话ID、用户ID、令牌以及COOKIE中的任一者标识。59根据权利要求53所述的方法,其中。
25、所述多个内容服务器是代理服务器。60根据权利要求53所述的方法,其中所述多个内容服务器是由内容分发网络服务提供商操作以代表多个内容提供商客户分发内容的代理高速缓存服务器,并且定义流量的所述类别的所述一个或多个匹配条件是基于逐个内容提供商可配置的。61根据权利要求53所述的方法,其中所述协议是HTTP。62根据权利要求53所述的方法,其中所述第一内容服务器和所述第二内容服务器位于不同的地理位置。63一种在代理服务器处操作的计算机实现的方法,所述代理服务器包括形成一个或多个处理器的电路系统以及保持用于由所述一个或多个处理器执行的指令的存储器,所述代理服务器通信地耦合到计算机网络,所述方法包括在所述。
26、代理服务器处,参与以下消息交换的至少一者I客户端与所述代理服务器之间的消息交换,以及II所述代理服务器与高速缓存服务器之间的消息交换,其中所述消息交换是根据协议的并且包括至少一个请求消息以及至少一个响应消息;权利要求书CN104247340A7/8页8针对所述消息交换中的多个消息的内容应用一个或多个匹配条件,所述一个或多个匹配条件定义感兴趣的消息流量的类别;如果所述一个或多个匹配条件满足,则在所述代理服务器处记录关于所述消息交换的信息;以及如果所述一个或多个匹配条件不满足,则不记录所述信息。64根据权利要求63所述的方法,其中所述消息交换中的所述多个消息包括由所述代理服务器从所述高速缓存服务器。
27、接收到的至少一个响应消息。65根据权利要求63所述的方法,其中所述消息交换中的所述多个消息包括从所述代理服务器发送到所述高速缓存服务器的至少一个请求消息。66根据权利要求63所述的方法,其中所述一个或多个匹配条件包括由从所述代理服务器到所述高速缓存服务器的任何请求消息满足的条件。67根据权利要求63所述的方法,其中所述消息交换中的所述多个消息包括至少一个请求消息以及至少一个响应消息。68根据权利要求63所述的方法,其中消息具有头部和主体并且所述一个或多个匹配条件指定用于消息头部和消息主体中的任一者中的字段的匹配值。69根据权利要求63所述的方法,其中所述协议包括HTTP并且所述一个或多个匹配条。
28、件指定用于HTTP方法的匹配值。70根据权利要求63所述的方法,其中记录信息包括增加与由所述一个或多个匹配条件描述的流量的所述类别相关联的计数。71根据权利要求63所述的方法,其中记录信息包括增加用于与所述客户端相关联的客户端标识符的计数。72根据权利要求63所述的方法,其中记录信息包括增加与有关所述消息交换的URI相关联的计数。73根据权利要求63所述的方法,其中记录信息包括增加与由所述一个或多个匹配条件定义的消息流量的所述类别相关联的计数,并且还包括使用所记录信息来计算落入所述类别的、与特定的客户端或URI相关联的消息流量的发生率。74根据权利要求63所述的方法,其中记录信息包括增加与由所。
29、述一个或多个匹配条件定义的消息流量的所述类别相关联的计数,并且还包括使用所记录信息来计算落入所述类别并与特定的客户端或URI相关联的消息流量的发生率;以及将所述发生率与阈值进行比较来确定是否要限制与所述特定的客户端或URI相关联的请求。75根据权利要求63所述的方法,其中所述协议是HTTP。76一种代理服务器,包括电路系统,所述电路系统形成一个或多个处理器;硬件接口,所述硬件接口通信地耦合到计算机网络;存储器,所述存储器保持用于由所述一个或多个处理器执行的指令,其中所述指令在由所述一个或多个处理器执行时使得所述代理服务器执行以下操作权利要求书CN104247340A8/8页9参与以下消息交换的。
30、至少一者I客户端与所述代理服务器之间的消息交换,以及II所述代理服务器与高速缓存服务器之间的消息交换,其中所述消息交换是根据协议的并且包括至少一个请求消息以及至少一个响应消息;针对所述消息交换中的多个消息的内容应用一个或多个匹配条件,所述一个或多个匹配条件定义感兴趣的消息流量的类别;如果所述一个或多个匹配条件满足,则在所述代理服务器处记录关于所述消息交换的信息;以及如果所述一个或多个匹配条件不满足,则不记录所述信息。77根据权利要求76所述的代理服务器,其中所述消息交换中的所述多个消息包括由所述代理服务器从所述高速缓存服务器接收到的至少一个响应消息。78根据权利要求76所述的代理服务器,其中所。
31、述消息交换中的所述多个消息包括从所述代理服务器发送到所述高速缓存服务器的至少一个请求消息。79根据权利要求76所述的代理服务器,其中所述一个或多个匹配条件包括由从所述代理服务器到所述高速缓存服务器的任何请求消息满足的条件。80根据权利要求76所述的代理服务器,其中所述多个消息包括至少一个请求消息以及至少一个响应消息。81根据权利要求76所述的代理服务器,其中消息具有头部和主体并且所述一个或多个匹配条件指定用于消息头部和消息主体中的任一者中的字段的匹配值。82根据权利要求76所述的代理服务器,其中所述协议包括HTTP并且所述一个或多个匹配条件指定用于HTTP方法的匹配值。83根据权利要求76所述。
32、的代理服务器,其中所述代理服务器通过增加与由所述一个或多个匹配条件描述的消息流量的所述类别相关联的计数来记录信息。84根据权利要求76所述的代理服务器,其中所述代理服务器通过增加用于与所述客户端相关联的客户端标识符的计数来记录信息。85根据权利要求76所述的代理服务器,其中所述代理服务器通过增加与有关所述消息交换的URI相关联的计数来记录信息。86根据权利要求76所述的代理服务器,其中所述代理服务器通过增加与由所述一个或多个匹配条件定义的消息流量的所述类别相关联的计数来记录信息,并且所述代理服务器还执行以下操作使用所记录信息来计算落入所述类别并与特定的客户端或URI相关联的消息流量的发生率。8。
33、7根据权利要求76所述的代理服务器,其中记录信息包括增加与由所述一个或多个匹配条件定义的消息流量的所述类别相关联的计数,并且所述代理服务器还执行以下操作使用所记录信息来计算落入所述类别的、与特定的客户端或URI相关联的消息流量的发生率;以及将所述发生率与阈值进行比较来确定是否要限制与所述特定的客户端或URI相关联的请求。88根据权利要求76所述的代理服务器,其中所述协议是HTTP。权利要求书CN104247340A1/18页10用于执行消息交换核算的方法和系统0001相关申请的引用0002本申请要求2012年3月22日提交的美国临时申请第61/614,317号以及2012年3月22日提交的美国。
34、临时申请第61/614,314号的优先权。该申请还要求2012年5月14日提交的美国申请第13/471,079号以及2012年5月14日提交的美国申请第13/471,103号的优先权,并且是其继续申请。所有上述申请的内容通过引用全部结合于此。0003本专利文件包含受版权保护的资料。版权所有者不反对任何人按照专利文档或专利公开在专利商标局专利文件或记录中所呈现的样子而对其进行传真复制,但在其它情况下则保留所有版权。技术领域0004本申请一般地涉及分布式数据处理系统,以及涉及网络流量的分析和核算ACCOUNTING。背景技术0005分布式计算机系统是现有技术所已知的。一种这样的分布式计算机系统是由。
35、服务提供商操作和管理的“内容分发网络”或“CDN”。该服务提供商通常代表第三方提供内容分发服务。这种类型的“分布式系统”通常指的是由单个网络或多个网络链接的自律AUTONOMOUS计算机的集合连同被设计为有利于各种服务的软件、系统、协议和技术,所述各种服务诸如内容分发或支持外包站点基础设施。通常,“内容分发”指的是代表内容提供商的内容诸如网页、流媒体和应用存储、高速缓存或传输,以及与其一起使用的辅助技术,所述辅助技术包括但不限于DNS查询处理、供应、数据监视以及报告、内容定向、个性化和商业智能INTELLIGENCE。0006在诸如图1所示的已知系统中,分布式计算机系统100被配置为内容分发网。
36、络CDN并且假设具有一组分布在因特网上的机器102AN。典型地,大部分的机器是位于因特网边缘附近即在终端用户接入网络处或靠近终端用户接入网络的服务器。网络操作命令中心NOCC104可以被用来监管ADMINISTER和管理系统中的各种机器的操作。隶属于内容提供商的第三方站点诸如网站106分载OFFLOAD内容例如HTML、嵌入式页面对象、流媒体和软件下载等等的分发到分布式计算机系统100,具体地是到服务器有时被称作“边缘”服务器,这是因为它们可以位于因特网的“边缘”附近的事实。这样的服务器可以被分组在一起成为入网点POP107。0007通常,内容提供商通过将给定的内容提供商域或子域别名例如,通过。
37、DNSCNAME为由服务提供商的授权域名服务管理的域来分载它们的内容分发。期望这样的内容的终端用户客户端机器122可以被指向分布式计算机系统中的服务器来更可靠和高效地获取该内容。例如,CDN服务器通常提供代理高速缓存功能,通过从本地高速缓存、从另一CDN服务器高速缓存分层结构、经由转发请求从源服务器106、或从另一源获取所请求的内容来响应客户端请求。说明书CN104247340A102/18页110008尽管没有在图1中具体示出,分布式计算机系统还可以包括其他基础设施,诸如分布式数据收集系统108,其从服务器收集使用和其他数据,聚合整个区域或区域组的数据,以及将该数据传递至其他后端系统110、。
38、112、114和116以有利于监视、记录、报警、计费、管理以及其他操作和监管功能。分布式网络代理118监视网络以及服务器负荷并提供网络、流量和负荷数据至DNS查询处理机制115,其对于由CDN管理的内容域是授权的。分布式数据传送机制120可以被用来将控制信息例如管理内容、有利于负荷平衡等的元数据分布至CDN服务器。0009如图2所示,CDN中的给定机器200有时被称作“边缘机器”包括运行操作系统核心诸如LINUX或变型204的商用硬件例如因特尔奔腾处理器202,其支持一种或多种应用206AN。为了便利于内容分发服务,例如,给定机器通常运行一组应用,诸如HTTP代理207、名称服务器208、本地。
39、监视进程210、分布式数据收集进程212等等。HTTP代理207在此有时被称作全局主机或“GHOST”通常包括管理器进程,用于对来自该机器的内容的分发和高速缓存进行管理。对于流媒体,该机器可以包括一个或多个媒体服务器,诸如WINDOWS媒体服务器WMS或FLASH20服务器,根据所支持的媒体格式的需要。0010图2中所示的机器可以被配置为提供一个或多个扩展的内容分发特征,优选地基于特定域、特定客户,优选地使用用配置系统而分布至CDN服务器的配置文件。给定的配置文件优选地是基于XML的,并且包括便利于一个或多个先进内容处理特征的一组内容处理规则和指令。配置文件可以通过数据传送机制分发至CDN服务。
40、器。美国专利第7,111,057号示出了用于分发和管理服务器内容控制信息的有用的基础设施,并且这种和其他服务器控制信息有时被称作“元数据”由CDN服务提供商本身提供,或通过外联网等由操作源服务器的内容提供商客户提供。0011CDN可以包括网络存储子系统有时被称作“网络存储NETSTORAGE”,其可以位于可由CDN服务器访问的网络数据中心中,诸如在美国专利第7,472,178号中所描述的,其公开通过引用结合于此。0012CDN可以操作服务器高速缓存层次结构来提供客户内容的中间高速缓存;一个这样的高速缓存层次结构子系统在美国专利第7,376,716号中描述,其公开通过引用结合于此。例如,CDN可。
41、以通过具有一组CDN服务器来提供分层的分布服务,该组CDN服务器被组织为多个区域并代表参与的内容提供商而提供内容分发。高速缓存层次结构建立在包括给定CDN服务器区域和以下之一的CDN中A单个父PARENT区域,BCDN服务器区域的子集。响应于确定给定对象请求不可在给定CDN区域中被服务,作为对联系源服务器的代替,该请求被提供至单个父区域或CDN服务器区域的子集中的给定区域来进行处理,优选地作为与给定对象请求相关联的元数据的功能。如果可能的话,给定的对象请求然后由在单个父区域或给定子集区域中的给定CDN服务器服务。如果原始请求不可由中间节点服务,则该请求通常仅被继续转发至源服务器。0013对于实。
42、况流分发,CDN可以包括实况分发子系统,诸如在美国专利第7,296,082号和美国公开第2011/0173345号中所描述的,其公开通过引用结合于此。0014CDN还可以为其客户提供分布式防火墙系统,利用CDN服务器基础设施以分析和阻止来自边缘处的可疑或有害客户端的流量。防火墙系统和服务在美国专利申请第2011/0225647号中描述,其内容通过引用结合于此。如在此所描述的,在某些实施例中,该说明书CN104247340A113/18页12系统通过使CDN服务器对到来的客户端请求应用匹配规则并且一经检测到安全威胁或攻击就采取某些行动诸如拒绝请求或生成报警来进行操作。0015尽管这样的系统是非常。
43、有用和有价值的,但是需要关于点击特定网站的流量的更多信息。这样的信息不仅对于检测攻击和反攻击例如使用上述防火墙机制是有用的,而且在分析和解决站点的其他使用诸如不期望的僵尸BOT活动例如不期望的数据抓取方面也是有用的。另外,这样的信息可以用于获得终端用户在站点上的行为的观察。0016本文的教导针对这些和其他需求,它们通过本公开将变得明晰。发明内容0017根据在下面更详细地公开的某些实施例,CDN服务器的功能扩展有速率核算模块,速率核算模块对客户端与服务器之间和/或服务器与另一服务器例如源服务器之间的流量进行归类,对在一段时间内的落入这些类别中的流量执行核算,使用可配置的阈值标准来识别在该时间段期。
44、间的过量或有其他问题的流量,以及对识别出的这样的流量应用强制策略。通常,识别出的流量有时在此被称为“合格流量”表示来自特定客户端的过量请求速率。在这种情况下,可以采取策略定义的动作来针对该特定客户端如由诸如特定的客户端IP地址、会话ID或其他之类的客户端标识符所表示的。然而,在其他情况下,例如,系统可以识别特定的通用资源标识符URI的过量流量。事实上,流量统计数据STATISTICS可以通过客户端标识符、URI或关于多种多样的其他键KEY中的任一个来保持,这将从下面的讨论而变得更清晰。0018在此描述的速率核算系统和方法扩展了基于云的防火墙模块的能力,基于云的防火墙的能力诸如与在美国专利申请第。
45、2011/0225647号中所描述的,其内容通过引用结合于此。0019流量归类功能优选地利用语义消息交换模型,语义消息交换模型使得能够基于接触CDN服务器的消息交换的一个或多个方面进行归类。例如,消息交换可以涉及在客户端与CDN服务器之间以及/或者在客户端与CDN服务器之间和CDN服务器与源服务器即,在CDN服务器通过转发请求从源服务器检索客户端所请求的内容时之间流动的消息。消息交换还可以包括在两个CDN服务器争取满足客户端请求例如,在高速缓存层次结构方案中时在这两个CDN服务器之间流动的消息。0020实际上,消息交换的任何方面可以用于驱动归类。例如,流量归类可以基于到CDN服务器的初始客户端。
46、请求的内容。在这种情况下,服务器检查客户端请求中的信息,诸如客户端IP地址、会话标识符、用户代理头部、该请求是否包括诸如GET或POST等的HTTP方法、所请求的资源URI或所请求的资源类型、特定URI参数的使用、用户名、其他HTTP头部或主体信息等等。0021流量归类还可以基于消息交换中的其他事件,诸如CDN服务器响应于客户端请求必须执行什么内部/中间动作。例如,该请求是否导致CDN服务器在本地高速缓存中寻找内容、是否针对内容向源服务器转发请求高速缓存缺失、或者所请求的内容是否为非可高速缓存的内容等。类似地,归类可以基于来自源服务器例如HTTP4XX或5XX状态代码,或从源服务器返回的其他错。
47、误消息或来自父CDN服务器的响应的内容。说明书CN104247340A124/18页130022复合标准可以被用来驱动归类脱离上面消息交换的各方面之一。0023优选地,特定的归类的定义是可配置的。可配置性使得CDN的每个内容提供商客户能够定义服务器应保持统计数据所针对的它们网站上的流量的种类归类策略,然后定义在给定类别中查看到过量的该流量时CDN服务器应当做什么加强策略。0024在利用集中式威胁评估和防御的实现中,CDN服务器可将关于归类的消息交换和/或它们所遇到的“合格”客户端的信息报告至中央数据收集和控制系统。中央系统分析来自多个CDN服务器的数据以确定网络应当进行什么防御姿势。然后,中央。
48、系统可以指示CDN服务器尤其包括尚未遇到任何过量的流量的服务器针对识别出的威胁主动应用的策略。0025如本领域技术人员将认识到的,前面的描述仅仅提及本发明的实例,而不是限制性的。而且,在此的教导可以以多种多样的系统、方法、装置和非易失性计算机可读介质来实现。还应当指出的是,功能到不同机器的分配不是限制性的,因为在此记载的功能在不同机器中可以以多种多样的方式组合或分割。0026还要指出,虽然在此的教导应用于CDN,在CDN内实现不是利用这些教导所必要的。因此,任何服务器不是CDN的一部分可以被修改以基于服务器正遇到的请求和响应的消息交换归类来执行速率核算。0027通过进一步举例的方式,在本发明的。
49、一个实施例中,服务器参与在该服务器与客户端之间和/或该服务器与源服务器之间流动的消息的交换。消息交换是根据提供某些种类的请求消息和某些种类的响应消息的协议诸如HTTP的。服务器对消息交换中的消息应用匹配条件,例如测试客户端请求的内容,或者测试来自源的响应的内容,或者测试从服务器本身至这些其他服务器之一所发送或接收的消息的内容。匹配条件定义可以发生在服务器处并且感兴趣的流量的类别。如果匹配条件满足并且当匹配条件满足时,服务器将记录关于消息交换的信息。通常,这包括增加计数以反映已经遇到匹配消息。如上面所指出的,可以基于每客户端ID、每URI、或其他来保持计数。如果匹配条件不满足,则服务器不增加计数。
50、。该计数可用于计算特定流量的速率,然后与可配置的阈值进行比较,以确定该特定流量是否是过量的。如果是这样,则服务器可以采取步骤来限制该流量即通过拒绝其至少一些,或者产生报警或应用一些其他的强制策略。0028匹配条件经常需要服务器检查多个消息,包括在客户端/服务器之间流动的请求和响应两者,以确定整个消息交换是否落入由匹配条件所定义的类别内。例如,匹配条件可以指定某个URI来针对请求进行匹配,但还要求服务器做出到源的转发请求以满足该请求即,由从服务器至源服务器的任何请求消息满足的匹配条件。0029匹配条件可以指定用于消息头部或消息主体的匹配值。对于HTTP,匹配条件可以指定客户端正使用的HTTP方法。