《为内容提供商推荐商业的内容分发网络的方法和系统.pdf》由会员分享,可在线阅读,更多相关《为内容提供商推荐商业的内容分发网络的方法和系统.pdf(24页珍藏版)》请在专利查询网上搜索。
1、10申请公布号CN104202418A43申请公布日20141210CN104202418A21申请号201410475609422申请日20140917H04L29/0820060171申请人北京瑞汛世纪科技有限公司地址100084北京市海淀区农大南路1号院2号楼2层办公B20737072发明人尹浩乔波74专利代理机构北京集佳知识产权代理有限公司11227代理人任苏亚王宝筠54发明名称为内容提供商推荐商业的内容分发网络的方法和系统57摘要本申请提供了一种为内容提供商推荐商业的内容分发网络的方法和系统,该方法包括发现为ICP提供服务的CCDN;统计CCDN服务的域名和为ICP提供服务使用的IP。
2、;计算与ICP对应的CCDN的市场份额参数,对CCDN提供服务的每个IP和地理位置进行分析,确定CCDN的基础设施参数;参考基础设施参数和市场份额参数,测量CCDN的服务器的QOS;计算各个CCDN在每个地理位置上的平均QOS性能值;依据CCDN的平均QOS性能数据,确定为用户推荐的目标CCDN。采用本申请实施例,可以更好地获得CCDN的性能,从而为用户推荐更符合其要求且更合适的CCDN,为用户进行CCDN加速提供辅助决策。51INTCL权利要求书3页说明书17页附图3页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书17页附图3页10申请公布号CN104202418ACN。
3、104202418A1/3页21一种为互联网内容提供商推荐商业的内容分发网络的方法,其特征在于,该方法包括数据挖掘过程和推荐过程,所述数据挖掘过程包括数据采集过程和数据统计过程;其中,所述数据采集过程包括发现为互联网内容提供商ICP提供服务的商业的内容分发网络CCDN;统计所述CCDN服务的域名和为ICP提供服务使用的IP;所述数据统计过程包括依据ICP对应的目标网页中各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数,所述市场份额参数包括CCDN为ICP提供服务的总字节数、总链接数、总IP数、各种类型使用的IP数和字节数;对CCDN提供服务的每个IP和地理位置进行分析,确。
4、定CCDN的基础设施参数,所述基础设施参数为CCDN在每个地理位置、互联网服务提供商ISP使用的IP;根据所述CCDN为ICP提供服务使用的IP,测量CCDN的服务器的QOS;参考所述基础设施参数和市场份额参数,计算各个CCDN在每个地理位置上的平均QOS性能值;所述推荐过程包括响应于用户触发的当前CCDN推荐请求,获取所述CCDN在每个地理位置上的平均QOS性能数据;依据所述CCDN的平均QOS性能数据,确定为所述用户推荐的目标CCDN。2根据权利要求1所述的方法,其特征在于,所述发现为互联网内容提供商ICP提供服务的商业的内容分发网络CCDN,包括提取ICP对应的目标网页的目标域名;对所述。
5、目标域名进行DNS解析以得到所述目标域名的规范名称CNAME;依据所述目标域名的CNAME确定为ICP提供服务的CCDN。3根据权利要求1所述的方法,其特征在于,所述依据ICP对应的目标网页中各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数,包括将ICP对应的目标网页中的超级链接进行分类;依据所述超级链接的分类结果计算每个ICP的各种类型的超级链接数和字节数;依据各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数。4根据权利要求1所述的方法,其特征在于,所述参考所述基础设施参数和市场份额参数,计算各个CCDN在每个地理位置上的平均QOS性能数据,包括参。
6、考CCDN的IP地址,测试各个CCDN的初始QOS性能数据,所述QOS性能数据包括延时、丢包率、HTTP响应时间、服务器响应时间和/或DNS解析时延;依据各个CCDN的初始QOS性能数据,计算每个地理位置上的CCDN的平均QOS性能数据。5根据权利要求4所述的方法,其特征在于,所述依据所述CCDN的平均QOS性能数据,确定为所述用户推荐的目标CCDN,包括按照市场份额参数从大到小的顺序,将每个地理位置上的CCDN的平均QOS性能数据写入推荐表中;将推荐表中符合当前CCDN推荐请求的那部分CCDN确定为待推荐的CCDN。权利要求书CN104202418A2/3页36一种为内容提供商推荐商业的内容。
7、分发网络的系统,其特征在于,该系统包括数据挖掘装置和推荐装置,所述数据挖掘装置包括数据采集单元和数据统计单元;其中,所述数据采集单元包括发现模块,用于发现为互联网内容提供商ICP提供服务的商业的内容分发网络CCDN;统计模块,用于统计所述CCDN服务的域名和为ICP提供服务使用的IP;所述数据统计单元包括第一计算模块,用于依据ICP对应的目标网页中各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数,所述市场份额参数包括CCDN为ICP提供服务的总字节数、总链接数、总IP数、各种类型使用的IP数和字节数;第一确定模块,用于对CCDN提供服务的每个IP和地理位置进行分析,确定C。
8、CDN的基础设施参数,所述基础设施参数为CCDN在每个地理位置、互联网服务提供商ISP使用的IP;测量模块,用于根据所述CCDN为ICP提供服务使用的IP,测量CCDN的服务器的QOS;第二计算模块,用于参考所述基础设施参数和市场份额参数,计算各个CCDN在每个地理位置上的平均QOS性能值;所述推荐装置包括获取模块,用于响应于用户触发的当前CCDN推荐请求,获取所述CCDN在每个地理位置上的平均QOS性能数据;第二确定模块,用于依据所述CCDN的平均QOS性能数据,确定为所述用户推荐的目标CCDN。7根据权利要求6所述的系统,其特征在于,所述发现模块包括提取子模块,用于提取所述ICP对应的目标。
9、网页的目标域名;解析子模块,用于对所述目标域名进行DNS解析以得到所述目标域名的规范名称CNAME;第一确定子模块,用于依据所述目标域名的CNAME确定为ICP提供服务的CCDN。8根据权利要求6所述的系统,其特征在于,所述第一计算模块,包括分类子模块,用于将ICP对应的目标网页中的超级链接进行分类;第一计算子模块,用于依据所述超级链接的分类结果计算每个ICP的各种类型的超级链接数和字节数;第二计算子模块,用于依据各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数。9根据权利要求7所述的系统,其特征在于,所述第二计算模块,包括测试子模块,用于参考CCDN的IP地址,测试各个。
10、CCDN的初始QOS性能数据,所述QOS性能数据包括延时、丢包率、HTTP响应时间、服务器响应时间和/或DNS解析时延;第三计算子模块,用于依据所述各个CCDN的初始QOS性能数据计算每个地理位置上的CCDN的平均QOS性能数据。10根据权利要求9所述的系统,其特征在于,第二确定模块,包括排序子模块,用于按照市场份额参数从大到小的顺序,将每个地理位置上的CCDN的平均QOS性能数据写入推荐表中;权利要求书CN104202418A3/3页4第二确定子模块,用于将推荐表中符合当前CCDN推荐请求的那部分CCDN确定为待推荐的CCDN。权利要求书CN104202418A1/17页5为内容提供商推荐商。
11、业的内容分发网络的方法和系统技术领域0001本申请涉及网络数据处理领域,特别涉及一种为内容提供商推荐商业的内容分发网络的方法和系统。背景技术0002CDNCONTENTDELIVERYNETWORK,内容分发网络,是构建在现有物理网络上的一种覆盖网络。CDN将内容分发存储到网络边缘,通过网络的动态内容分配和全局负载均衡,将用户请求自动指向到健康可用并且距离用户最近的缓存服务器上,有效提高用户访问的响应速度和服务的可用性,从而解决由于网络带宽小、用户访问量大、网点分布不均等原因而造成的应用服务质量差的问题。CDN的业务通常可以包括门户网站的图文分发、音视频媒体网站、视频直播或点播网站的流媒体分发。
12、,在线软件更新等。0003而CCDNCOMMERCIALCONTENTDELIVERYNETWORK,商业的内容分发网络提供商在市场份额大小、基础设施部署、技术实现、资源管理等方面都与CDN有着显著的不同。ICP为了提高自身网站的用户体验,也加大了使用CCDN的力度。根据统计发现,2013年ICP使用CCDN的家数比2011年增长了近20。越来越多的大型互联网内容提供商除了利用CCDN,也已经开始部署自己的PCDNPRIVATECONTENTDELIVERYNETWORK,私人的内容分发网络,用于提高网站的用户体验。这意味着ICP的CDN的选择既不是静态的,也不是唯一的。虽然互联网内容提供商往。
13、往让CCDN提供诸如文本和图像这样的静态内容,但由于不同的ICP的业务类型的侧重不同,对于CCDN的选择也会有所不同,因此ICP往往使用不同的CDN、或同时使用多个CDN提供不同类型的服务。发明内容0004发明人在研究过程中发现,因为ICP的业务类型的侧重不同,所以不同ICP所需要的CCDN也是不同的,但是现有技术并不存在一种针对不同的ICP为其提供更符合要求且更为合适的CCDN的方案,本申请提供一种为ICP推荐CCDN的方法,用以解决现有技术中没有为ICP推荐更合适的CCDN的问题。0005本申请还提供了一种为ICP推荐CCDN的系统,用以保证上述方法在实际中的实现及应用。0006为了解决上。
14、述问题,本申请公开了一种为内容提供商推荐商业的内容分发网络的方法,包括数据挖掘过程和推荐过程,所述数据挖掘过程包括数据采集过程和数据统计过程;0007其中,所述数据采集过程包括0008发现为互联网内容提供商ICP提供服务的商业的内容分发网络CCDN;统计所述CCDN服务的域名和为ICP提供服务使用的IP;0009所述数据统计过程包括0010依据ICP对应的目标网页中各种类型的超级链接数和字节数,计算与ICP对应的说明书CN104202418A2/17页6CCDN的市场份额参数,所述市场份额参数包括CCDN为ICP提供服务的总字节数、总链接数、总IP数、各种类型使用的IP数和字节数;0011对C。
15、CDN提供服务的每个IP和地理位置进行分析,确定CCDN的基础设施参数,所述基础设施参数为CCDN在每个地理位置、互联网服务提供商ISP使用的IP;0012根据所述CCDN为ICP提供服务使用的IP,测量CCDN的服务器的QOS;0013参考所述基础设施参数和市场份额参数,计算各个CCDN在每个地理位置上的平均QOS性能值;0014所述推荐过程包括0015响应于用户触发的当前CCDN推荐请求,获取所述CCDN在每个地理位置上的平均QOS性能数据;0016依据所述CCDN的平均QOS性能数据,确定为所述用户推荐的目标CCDN。0017可选的,所述发现为互联网内容提供商ICP提供服务的商业的内容分。
16、发网络CCDN,包括0018提取ICP对应的目标网页的目标域名;0019对所述目标域名进行DNS解析以得到所述目标域名的规范名称CNAME;0020依据所述目标域名的CNAME确定为ICP提供服务的CCDN。0021可选的,所述依据ICP对应的目标网页中各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数,包括0022将ICP对应的目标网页中的超级链接进行分类;0023依据所述超级链接的分类结果计算每个ICP的各种类型的超级链接数和字节数;0024依据各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数。0025可选的,所述参考所述基础设施参数和市场份额参数。
17、,计算各个CCDN在每个地理位置上的平均QOS性能数据,包括0026参考CCDN的IP地址,测试各个CCDN的初始QOS性能数据,所述QOS性能数据包括延时、丢包率、HTTP响应时间、服务器响应时间和/或DNS解析时延;0027依据各个CCDN的初始QOS性能数据,计算每个地理位置上的CCDN的平均QOS性能数据。0028可选的,所述依据所述CCDN的平均QOS性能数据,确定为所述用户推荐的目标CCDN,包括0029按照市场份额参数从大到小的顺序,将每个地理位置上的CCDN的平均QOS性能数据写入推荐表中;0030将推荐表中符合当前CCDN推荐请求的那部分CCDN确定为待推荐的CCDN。003。
18、1本申请公开了一种为内容提供商推荐商业的内容分发网络的系统,包括0032数据挖掘装置和推荐装置,所述数据挖掘装置包括数据采集单元和数据统计单元;0033其中,所述数据采集单元包括0034发现模块,用于发现为互联网内容提供商ICP提供服务的商业的内容分发网络CCDN;统计模块,用于统计所述CCDN服务的域名和为ICP提供服务使用的IP;0035所述数据统计单元包括说明书CN104202418A3/17页70036第一计算模块,用于依据ICP对应的目标网页中各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数,所述市场份额参数包括CCDN为ICP提供服务的总字节数、总链接数、总I。
19、P数、各种类型使用的IP数和字节数;0037第一确定模块,用于对CCDN提供服务的每个IP和地理位置进行分析,确定CCDN的基础设施参数,所述基础设施参数为CCDN在每个地理位置、互联网服务提供商ISP使用的IP;0038测量模块,用于根据所述CCDN为ICP提供服务使用的IP,测量CCDN的服务器的QOS;0039第二计算模块,用于参考所述基础设施参数和市场份额参数,计算各个CCDN在每个地理位置上的平均QOS性能值;0040所述推荐装置包括0041获取模块,用于响应于用户触发的当前CCDN推荐请求,获取所述CCDN在每个地理位置上的平均QOS性能数据;0042第二确定模块,用于依据所述CC。
20、DN的平均QOS性能数据,确定为所述用户推荐的目标CCDN。0043可选的,所述发现模块包括0044提取子模块,用于提取所述ICP对应的目标网页的目标域名;0045解析子模块,用于对所述目标域名进行DNS解析以得到所述目标域名的规范名称CNAME;0046第一确定子模块,用于依据所述目标域名的CNAME确定为ICP提供服务的CCDN。0047可选的,所述第一计算模块,包括0048分类子模块,用于将ICP对应的目标网页中的超级链接进行分类;0049第一计算子模块,用于依据所述超级链接的分类结果计算每个ICP的各种类型的超级链接数和字节数;0050第二计算子模块,用于依据各种类型的超级链接数和字节。
21、数,计算与ICP对应的CCDN的市场份额参数。0051可选的,所述第二计算模块,包括0052测试子模块,用于参考CCDN的IP地址,测试各个CCDN的初始QOS性能数据,所述QOS性能数据包括延时、丢包率、HTTP响应时间、服务器响应时间和/或DNS解析时延;0053第三计算子模块,用于依据所述各个CCDN的初始QOS性能数据计算每个地理位置上的CCDN的平均QOS性能数据。0054可选的,第二确定模块,包括0055排序子模块,用于按照市场份额参数从大到小的顺序,将每个地理位置上的CCDN的平均QOS性能数据写入推荐表中;0056第二确定子模块,用于将推荐表中符合当前CCDN推荐请求的那部分C。
22、CDN确定为待推荐的CCDN。0057与现有技术相比,本申请包括以下优点0058在本申请中,针对不同的ICP、用户选择的CCDN加速区域以及对加速性能的要求不同,通过对CCDN的性能数据的测量,可以更好地获得CCDN的性能,从而为用户推荐更符说明书CN104202418A4/17页8合其要求且更合适的CCDN,为用户进行CCDN加速提供辅助决策。0059当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。附图说明0060为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技。
23、术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。0061图1是本申请的方法实施例中数据采集过程的流程图;0062图2是本申请的方法实施例中数据统计过程的流程图;0063图3是本申请的方法实施例中推荐过程的流程图;0064图4是本申请的一种为内容提供商推荐商业的内容分发网络的系统实施例的结构框图。具体实施方式0065下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范。
24、围。0066本申请可用于众多通用或专用的计算装置环境或配置中。例如个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。0067本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。0068本申请提供了一种为内容提供商推荐商业的内。
25、容分发网络的方法实施例,本实施例可以包括线下的数据挖掘过程和线上的推荐过程,数据挖掘过程具体可以包括数据采集过程和数据统计过程。在线下数据挖掘过程可以持续执行,而在接收到用户触发的推荐请求时,在触发线上的推荐过程。其中,数据挖掘过程和推荐过程可以相互独立。0069在数据挖掘过程中,可以利用网络爬虫技术,或者是一种系统地按照一定规则自动抓取WEB网页信息的计算机应用程序。网络爬虫是通过网页的链接地址来寻找网页,从网站某一个页面通常是首页开始,读取网页的内容,并找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的相关网页都抓取完为止。因此,在本申请。
26、中,为此设计一个爬虫工具,分发部署在测量节点上,用于对目标网站的超级链接和超级链接对应的信息进行爬取,该工具可以爬取到网页内的超级链接及超级链接对应的相关信息,并且具有自动过滤功能,能够自动识别目标网站以外的链接并将其丢弃,还能够根据需要控制爬取网站的层数。在本申请实施例中,爬虫工具分说明书CN104202418A5/17页9发部署在所有的主动测量节点,对目标网站的超级链接和超级链接对应的信息进行爬取。0070参考图1,示出了本申请的为ICP推荐CCDN的方法实施例的数据挖掘过程中数据采集过程的流程图。其中,数据采集过程具体可以包括0071步骤101发现为互联网内容提供商ICP提供服务的商业的。
27、内容分发网络CCDN。0072其中,在具体实施时步骤101具体可以包括0073步骤1011提取所述ICP对应的目标网页的目标域名。0074首先,基于目标网页的爬虫工具所抓取、存储并索引的对象一般为网站或网页。因此,爬虫工具的工作方法是根据种子样本的获取方式的不同,具体可以分为1预先给定的初始抓取种子样本;2预先给定的网页分类目录与分类目录对应的种子样本、分类结构等;3通过用户行为确定的抓取目标样例。0075例如,针对爬虫工具,输入TOP100的网站网址的数据,其格式可以使用“TXT”,例如表1所示,为ICP目标网页的列表。在表1中每条网站网址可以记录为一行0076表10077ICPHTTP/W。
28、WWQQCOMHTTP/WWWTAOBAOCOMHTTP/WWWSINACOMCN0078HTTP/WWW163COMHTTP/WWWWEIBOCOMHTTP/WWWTMALLCOM0079爬虫工具可以丢表1中的网站网址的链接信息进行抓取,例如表2所示。在表2中,数据格式也可以使用“TXT”,每条链接信息可以记录为一行,记录中的数据项以“/T”隔开。0080表20081LINKSLINKTYPESIZEHTTP/WWWLETVCOM/FAVICONICOIMAGE/XICON11500082因为域名是由一串用点分隔的名字组成的INTERNET上某一台计算机或计算机组的名称,用于在数据传输时标识。
29、计算机的电子方位。所以进行域名提取,是从收集到的网页链接提取域名并消除冗余的域名从而生成DNS解析所需要的域名列表的过程。0083在本申请实施例中,考虑到采用网络爬虫工具获得的链接结果会包含大量重复域说明书CN104202418A6/17页10名,因此,可以对域名进行去重处理,这样,最终获得的域名列表就是完整的目标域名列表。例如表3所示。0084表30085DOMAIN66469SOUFUNCOM1PIC58CONTROLCNATBCDNCN0086接着进入步骤1012对所述目标域名进行DNS解析以得到所述目标域名的规范名称CNAME。0087在本实施例实施时可以设置DNS解析工具,该DNS解。
30、析工具能够分发到各个测量节点上,通过向其附近的公共LDNSLOCALDNS服务器进行域名的查询,来获取目标域名所对应的CNAME,以及IP地址和NS信息。DND解析工具具有以下特点1多线程,在本申请中运用多线程技术能够大大提高DNS解析的效率;2多LDNS解析,在本申请中DNS解析不需要拘泥于默认的LDNS,可以根据配置文件中给出的LDNS列表进行多点DNS解析,从而提高获取信息的完整性。0088在本实施例中,目标域名与IP地址之间是一一对应的,两者之间的转换工作称为域名解析,域名解析需要由专门的域名解析服务器来完成。资源记录是用于答复DNS客户端请求的DNS数据库记录,每一个DNS服务器包含。
31、了它所管理的DNS命名空间的所有资源记录。资源记录包含和特定主机有关的信息,例如IP地址、提供服务的类型,等等。常见的资源记录类型有起始授权结构SOA、主机A规范名称CNAME、邮件交换器MX和名称服务器NS。0089因此,本步骤可以由DNS解析工具执行,可以输入表3所示的目标域名列表。经过DNS解析工具的解析,可以输出各个目标域名的DNS解析信息,输出文件的格式可以是每条记录为一行,记录中的数据项以“/T”隔开,如果每个数据项中含有多个元素,则使用“”将这些元素括起来,每个元素使用“,”隔开,包括数据项见表4所示。0090表400910092接着进入步骤1013依据所述目标域名的CNAME确。
32、定为ICP提供服务的CCDN。说明书CN104202418A107/17页110093在本步骤中可以采用CDN解析算法实现,具体根据DNS解析工具返回的目标域名的CNAME信息,通过把每个域名的CNAME和CDN域名列表进行对比,来发现为目标域名提供服务的CCDN,从而获得CCDN所使用的IP数量和服务的域名数量,还能将原始网页链接与对应的CCDN关联起来,本步骤的结果的一个形式可以参考表5所示,为CCDN统计表的一个具体例子。0094表500950096接着进入步骤102统计所述CCDN服务的域名和为ICP提供服务使用的IP。0097在本步骤中,就可以根据表5的结果来统计出CCDN服务的域名。
33、和为ICP提供服务使用的IP。0098接着介绍本申请的方法实施例中的数据统计过程。参考图2所示,示出了本申请的方法实施例的数据挖掘过程中数据统计过程的流程图。其中,数据统计过程具体可以包括0099步骤201依据ICP对应的目标网页中各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数。0100在本步骤中,市场份额参数可以包括CCDN为ICP提供服务的总字节数、总链接数、总IP数、各种类型使用的IP数和字节数等。首先,需要计算出ICP对应的目标网页中各种类型的超级链接数和字节数。超级链接是指从一个网页指向一个目标的连接关系,而在一个网页中可以进行超级链接的对象,可以是一段文本或。
34、者是一个图片。当浏览用户单击已经进行超级链接的文字或图片后,该文字或图片即超级链接目标将显示在浏览器上,并且根据超级链接目标的类型来打开或运行。0101其中,在具体实施时,所述步骤201具体可以包括0102步骤2011将ICP对应的目标网页中的超级链接进行分类。0103在本步骤中可以基于链接对应信息中的类型属性对链接对象类型文件,图片或视频等进行分类,并统计每个类型对应的字节数的大小。在实施时,按照使用对象的不同,网页中的超级链接可以分为文本链接、图像链接、EMAIL链接和多媒体链接等。0104具体的一个超级链接统计表可以参考表6所示。0105表60106LINKTYPESIZEICPTIME。
35、66469SOUFUNCOM/TEXT96HTTP/WWWSOUFUNCOM说明书CN104202418A118/17页121PIC58CONTROLCN/IMAGE13583HTTP/WWW58COMATBCDNCN/VIDEO107813HTTP/WWWETAOCOM0107步骤2012依据所述超级链接的分类结果计算每个ICP的各种类型的超级链接数和字节数。0108在本步骤中ICP的类型统计主要是对每个ICP的各种内容类型的超级链接数和字节数进行统计。具体可以通过对链接统计表9的各种信息进行统计,可以得到ICP的各种内容类型的链接数和字节数,具体可以参考表7所示。0109表70110011。
36、1步骤2013依据各种类型的超级链接数和字节数,计算与ICP对应的CCDN的市场份额参数。0112在本实施例中,CCDN的市场份额参数具体可以包括CCDN为ICP提供服务的总字节数、总链接数、总IP数、各种类型使用的IP数和字节数,等等。0113在具体实施时,可以从CCDN服务ICP的数量,域名数量和字节数量来反映CCDN的市场占有率。例如,对CCDN服务的ICP数量和域名数统计,对CCDN服务ICP内容类型数量和字节数统计,ICP使用CCDN的统计,以及,对CCDN市场份额的统计。因此在本实施例中可以通过对CCDN的市场份额情况进行统计分析,从CCDN服务ICP数量、域名数量和字节数量来反映。
37、CCDN的市场占有率。0114在本步骤中,可以运用CDN解析得到的映射结果,例如CHINACACHE4399IMGNET可以从表6中获得,与ICP网站使用的域名进行匹配可以分析出CCDN为哪些ICP提供了服务以及服务的域名数量。例如,“4399IMGNET”是4399网站使用的域名,则认为“CHINACACHE”为“4399”提供了服务。如果将CCDN解析得到的映射结果和网页链接分类结果结合使用,可以分析出CCDN为ICP提供服务的字节数量。如果将CCDN解析得到的映射结果和链接类型分类结果结合使用,可以分析出细分子行业CCDN的服务字节数量。0115在进行CCDN服务的ICP数量和域名数统计。
38、的时候,主要是对CCDN提供服务的ICP数量和域名数量进行统计,通过对CCDN统计表参考表5的统计得到CCDN提供服务的ICP的数量和域名数量,还可以打上时间标签,便于对比分析使用。可以参考表8所示,为CCDN服务的ICP数量和域名数统计的一个例子。0116表80117说明书CN104202418A129/17页130118在进行CCDN服务ICP内容类型数量和字节数统计的时候,主要是对CCDN为各个ICP提供服务的类型数量和字节数进行统计。通过对CCDN统计表参考表5所示和链接统计表参考表6的综合统计,可以得到CCDN服务ICP的内容类型数量和字节数,具体可以参考表9所示,为CCDN服务IC。
39、P内容类型数量和字节数统计表。0119表901200121在进行ICP使用CCDN的统计的时候,主要是对ICP总共的链接数和字节数、CCDN提供服务的链接数和字节数进行统计。通过对ICP服务的各种类型和字节数统计表参考表7和CCDN服务ICP的内容类型数量和字节数统计表参考表9的综合统计,可以得到ICP总共的链接数和字节数以及CCDN提供服务的链接数和字节数,还可以打上时间标签。参考表10所示,为ICP使用CCDN的统计表的一个例子。0122表1001230124在本实施例中,在进行CCDN市场份额统计的时候,主要是对CCDN提供服务的总IP数、总字节数、各个类型使用的IP数和字节数进行统计。。
40、具体通过对CCDN服务ICP内容类型数量和字节数统计表如表9和CCDN统计表参考表5的综合统计,可以得到CCDN提供服务的总IP数、总字节数、各个类型使用的IP数和字节数,还可以为此打上时间标签。0125参考表11,CCDN的市场份额参数统计表的一个具体例子。0126表11说明书CN104202418A1310/17页1401270128接着进入步骤202对CCDN提供服务的每个IP和地理位置进行分析,确定CCDN的基础设施参数,所述基础设施参数为CCDN在每个地理位置、互联网服务提供商ISP使用的IP。0129在本步骤中,可以采用CCDN基础设施部署分析算法,该算法主要是对CCDN的基础设施。
41、部署情况进行全面的分析,从而发现CCDN所使用的各类服务器的数量DNS解析服务器和边缘内容加速服务器,部署的物理位置和ISP的情况,并对其服务器在不同区域的增减情况进行分析统计。具体的,可以将CDN解析得到的映射结果,例如“CHINACACHE123451”,按照CCDN进行分类得到每个CCDN所使用的IP列表,然后对每个IP的物理位置和所属ISP进行解析,并按照地域和ISP对每个CCDN使用的IP进行分类,以发现CCDN基础设施的部署情况。0130其中,CDN基础设施部署分析可以包括1CCDN使用IP数量统计,主要对CCDN使用的IP和数量进行统计;2CCDN使用IP归属统计;3CCDN使用。
42、IP分类统计。其中,在统计的时候,可以分别对统计时间打上时间标签。0131具体的,通过对表5中的数据进行分析,可以得到CCDN使用IP的数量。参考表12所示,为CCDN使用IP的数量统计表的一个例子。0132表120133CDNPROVIDERLISTOFIPNUMOFIPTIMECHINACACHE19216811192168232242WANGSU0134而对CCDN使用的IP所属的区域和ISP进行统计,可以通过把CCDN使用IP数量统计表的“LISTOFIP”数据项参考表12作为输入项,可以发现CCDN使用的IP的所属区域和ISP。参考表13,为CCDN使用IP的归属统计表的一个例子。0。
43、135表130136IPCDNLOCATIONISP1111127139蓝汛河北省保定市电信11116126146蓝汛天津市联通说明书CN104202418A1411/17页150137在对CCDN使用IP分类统计时,主要是对CCDN在每个区域和ISP使用的IP数量进行统计,通过对CCDN使用IP归属统计表参考表13进行统计,可以计算出CCDN在每个区域和ISP使用的数量。参考表14,为CCDNIP的服务数量统计表的一个例子。0138表140139LOCATIONGANDISPCDNPROVIDERNUMTIME北京电信CHINACACHE65UPDATETIME北京联通上海电信上海联通014。
44、0步骤203根据所述CCDN为ICP提供服务使用的IP,测量CCDN的服务器的QOS。0141其中,QOSQUALITYOFSERVICE,服务质量是网络的一种安全机制,是用来解决网络延迟和阻塞等问题的一种技术。当网络过载或拥塞时,QOS能确保重要业务量不受延迟或丢弃,同时保证网络的高效运行。对于网络业务,QOS包括传输的带宽、传送的时延、数据的丢包率等。0142因此,在本实施例中,就可以模拟CCDN就近服务的方式对CCDN的边缘服务节点进行QOS的测量。例如,根据从DNS解析得到的IP地址信息,使用QOS测量工具服务器性能测量工具、DNS解析时延测量工具对CCDN的延时、丢包率、HTTP响应。
45、时间、服务器响应时间和DNS解析时延等性能进行测量分析,以全面反映CCDN的QOSQUALITYOFSERVICE,服务质量情况。0143步骤204参考所述基础设施参数和市场份额参数,计算各个CCDN在每个地理位置上的平均QOS性能值。0144在本步骤中根据CCDN的基础设施参数和市场份额参数计算各个CCDN在每个地理位置上的平均QOS性能数据。0145具体的,参考所述基础设施参数和市场份额参数,计算各个CCDN在每个地理位置上的平均QOS性能数据,可以包括0146步骤2041参考CCDN的IP地址,测试各个CCDN的初始QOS性能数据,所述QOS性能数据包括延时、丢包率、HTTP响应时间、服。
46、务器响应时间和/或DNS解析时延。0147首先,将每个CCDN使用的IP地址按照测量节点所在的地域和ISP进行分类,然后把分类好的文件分发到对应的测量节点调用相关的测量工具进行测量。在进行服务器响应时间测试时,可以使用服务器响应时间测量工具进行测量。例如,针对表15所示的CCDN的IP列表,对其中的CCDN进行服务器响应时间测量。在表15中,数据格式使用TXT,每条记录为一行,记录中的数据项以“/T”隔开。0148表150149说明书CN104202418A1512/17页16CCDNIPLOCATIONISPCHINACACHECHINACACHE0150针对表15中的各CCDN,可以测量得。
47、到CCDN时延丢包率数据,这些数据格式使用TXT,每条记录为一行,记录中的数据项以“/T”隔开,其包括的数据项可以参考表16所示,示出了CCDN时延丢包率数据。0151表1601520153同时可以采用DNS解析时延测量工具测量DNS时延。针对例如表17所示的CCDN的CNAME列表,在表17中,格式使用TXT,每条记录为一行,记录中的数据项以“/T”隔开。0154表170155CDNISP代码CNAMECHINACACHE11ACCOUNTSKRJQCTRIPTELCCGSLBCOMCNCHINACACHE10ACTIVITIES1ENGLISHCTRIPCNCCCGSLBNETCHINAC。
48、ACHE00ACTIVITIES1ENGLISHCTRIPCCGSLBNET0156最终得到的CCDN的域名DNS解析时延可以参考表18所示。在表18中,数据格式可以使用TXT,每条记录为一行,记录中的数据项以“/T”隔开。0157表180158CDNISP代码CNAMEDELAYCHINACACHE11ACCOUNTSKRJQCTRIPTELCCGSLBCOMCNCHINACACHE10ACTIVITIES1ENGLISHCTRIPCNCCCGSLBNETCHINACACHE00ACTIVITIES1ENGLISHCTRIPCCGSLBNET0159步骤2042依据各个CCDN的初始QOS性。
49、能数据,计算每个地理位置上的CCDN的说明书CN104202418A1613/17页17平均QOS性能数据。0160再根据各个CCDN的初始QOS性能数据,计算每个地理位置上的CCDN的平均QOS性能数据。0161在介绍为数据挖掘过程中,参考图3所示,示出了本申请的方法实施例中与数据挖掘过程相对独立的推荐过程的流程图。该推荐过程具体可以包括0162步骤301响应于用户触发的当前CCDN推荐请求,获取所述CCDN在每个地理位置上的平均QOS性能数据。0163在本实施例中,数据挖掘过程,包括数据采集过程和数据统计过程,都可以在线下实时执行。而在线上,如果用户触发了CCDN推荐请求,就可以执行图3所示的推荐过程。0164步骤302依据所述CCDN的平均QOS性能数据,确定为所述用户推荐的目标CCDN。0165所述依据所述CCDN的平均QOS性能数据,确定为所述用户推荐的目标CCDN,包括0166步骤3021按照市场份额参数从大到小的顺序,将每个地理位置上的CCDN的平均QOS性能数据写入推荐表中。0167首先,根据数据挖掘过程的结果可以获取到CCDN的市场份额参数,然后按照市场份额参数从大到小的顺便,将每个地理位置上的CCDN的平均QOS性能数据写入推荐表中。0168然后可以生成CCDN推荐表,参考表19所示。0169表190170CCDNBEIJINGSHAN。