收集文件的方法和系统.pdf

本发明实施例公开了一种收集文件的方法和系统，以解决由于人工识别或者通过搜索引擎识别而导致的识别准确率和效率低的问题。其中，收集文件的系统包括日志获取模块，适于获取软件的下载日志；网站提取模块，适于对所述下载日志进行分析，从所述下载日志中提取候选网站；网站过滤模块，适于将所述候选网站中符合预设条件的网站进行过滤；网站确认模块，适于从过滤之后的候选网站中确认出软件的官方网站；收集模块，适于对所述官方网站进行监控，收集所述官方网站中的文件。本发明实施例提高了监控的召回率和收集文件的效率。

权利要求书一种收集文件的方法，包括：
获取软件的下载日志；
对所述下载日志进行分析，从所述下载日志中提取候选网站；
将所述候选网站中符合预设条件的网站进行过滤；
从过滤之后的候选网站中确认出软件的官方网站；
对所述官方网站进行监控，收集所述官方网站中的文件。
根据权利要求1所述的方法，所述下载日志包括软件下载的网站信息，
所述对所述下载日志进行分析，从所述下载日志中提取候选网站，包括：
从所述下载日志中解析出所述软件下载的网站信息；
从所述软件下载的网站信息中提取候选网站标识信息。
根据权利要求1所述的方法，所述符合预设条件的网站包括下载网站，
所述将所述候选网站中符合预设条件的网站进行过滤，包括：
统计每个候选网站下下载的软件的个数FCOUNT和软件下载的总次数DCOUNT；
将所述候选网站下软件下载的总次数DCOUNT与下载的软件的个数FCOUNT的比值DCOUNT/FCOUNT与预设的第一阈值进行比较；
当所述比值DCOUNT/FCOUNT大于所述第一阈值时，确定所述候选网站为下载网站；
将所述下载网站过滤。
根据权利要求3所述的方法，当所述比值DCOUNT/FCOUNT小于或等于所述第一阈值时，还包括：
将所述候选网站下下载的软件的个数FCOUNT与预设的第二阈值进行比较；
当下载的软件的个数FCOUNT大于或等于所述第二阈值时，确定所述网站为下载网站；
将所述下载网站过滤。
根据权利要求1所述的方法，所述符合预设条件的网站包括非可执行文件的下载网站，所述软件的下载日志包括下载的软件文件名，
所述将所述候选网站中的符合预设条件的网站进行过滤，包括：
从所述软件的下载日志中解析出所述候选网站下下载的软件文件名；
判断所述软件文件名中是否存在非可执行文件的名称；
若存在，则确定所述候选网站为非可执行文件的下载网站；
将所述非可执行文件的下载网站过滤。
根据权利要求3所述的方法，所述符合预设条件的网站还包括游戏网站，
所述将所述候选网站中的符合预设条件的网站进行过滤，还包括：
抓取所述候选网站的页面内容；
将所述页面内容输入到预先设置的网站分类器中，通过所述网站分类器过滤所述候选网站中的游戏网站。
根据权利要求6所述的方法，所述网站分类器通过以下步骤获得：
分别获取多个官方网站样本和游戏网站样本；
提取所述官方网站样本的页面内容，以及所述游戏网站样本的页面内容，并对所述页面内容进行分词处理；
统计分词之后的官方网站样本的页面内容对应的词频，生成向量V‑SOFT，统计分词之后的游戏网站样本的页面内容对应的词频，生成向量V‑GAME；
根据所述向量V‑SOFT和向量V‑GAME生成网站分类器。
根据权利要求7所述的方法，所述通过所述网站分类器过滤所述候选网站中的游戏网站，包括：
提取所述候选网站的页面内容，对所述候选网站的页面内容进行分词处理；
统计分词之后的候选网站的页面内容对应的词频，生成向量V‑UNKNOWN；
分别计算向量V‑UNKNOWN和向量V‑SOFT的距离，以及向量V‑UNKNOWN和向量V‑GAME的距离；
当向量V‑UNKNOWN和向量V‑GAME的距离在预设范围内时，确定所述候选网站为官方游戏网站或私服网站；
将所述官方游戏网站或私服网站过滤。
根据权利要求6所述的方法，在抓取所述候选网站的页面内容之前，还包括：
对所述候选网站按照软件下载的总次数DCOUNT从大到小进行排序；
获取处理网站的个数K，从排序后的候选网站中抽取前K个候选网站；
所述抓取所述候选网站的页面内容，包括：
抓取所述前K个候选网站的页面内容。
一种收集文件的系统，包括：
日志获取模块，适于获取软件的下载日志；
网站提取模块，适于对所述下载日志进行分析，从所述下载日志中提取候选网站；
网站过滤模块，适于将所述候选网站中符合预设条件的网站进行过滤；
网站确认模块，适于从过滤之后的候选网站中确认出软件的官方网站；
收集模块，适于对所述官方网站进行监控，收集所述官方网站中的文件。
根据权利要求10所述的系统，所述下载日志包括软件下载的网站信息，
所述网站提取模块包括：
网站信息解析子模块，适于从所述下载日志中解析出所述软件下载的网站信息；
标识提取子模块，适于从所述软件下载的网站信息中提取候选网站标识信息。
根据权利要求10所述的系统，所述符合预设条件的网站包括下载网站，
所述网站过滤模块包括：
统计子模块，适于统计每个候选网站下下载的软件的个数FCOUNT和软件下载的总次数DCOUNT；
第一比较子模块，适于将所述候选网站下软件下载的总次数DCOUNT与下载的软件的个数FCOUNT的比值DCOUNT/FCOUNT与预设的第一阈值进行比较；
第一下载网站确定子模块，适于当所述比值DCOUNT/FCOUNT大于所述第一阈值时，确定所述候选网站为下载网站；
下载网站过滤子模块，适于将所述下载网站过滤。
根据权利要求12所述的系统，所述网站过滤模块还包括：
第二比较子模块，适于当所述第一比较子模块的比较结果为所述比值DCOUNT/FCOUNT小于或等于所述第一阈值时，将所述候选网站下下载的软件的个数FCOUNT与预设的第二阈值进行比较；
第二下载网站确定子模块，适于当下载的软件的个数FCOUNT大于或等于所述第二阈值时，确定所述网站为下载网站。
根据权利要求10所述的系统，所述符合预设条件的网站包括非可执行文件的下载网站，所述软件的下载日志包括下载的软件文件名，
所述网站过滤模块包括：
文件名解析子模块，适于从所述软件的下载日志中解析出在所述候选网站下下载的软件文件名；
判断子模块，适于判断所述软件文件名中是否存在非可执行文件的名称；
文件下载网站确定子模块，适于当判断子模块的判断结果为存在时，确定所述候选网站为非可执行文件的下载网站；
文件下载网站过滤子模块，适于将所述非可执行文件的下载网站过滤。
根据权利要求12所述的系统，所述符合预设条件的网站还包括游戏网站，
所述网站过滤模块还包括：
抓取子模块，适于抓取所述候选网站的页面内容；
游戏网站过滤子模块，适于将所述页面内容输入到预先设置的网站分类器中，通过所述网站分类器过滤所述候选网站中的游戏网站。
根据权利要求15所述的系统，还包括：
样本获取模块，适于分别获取多个官方网站样本和游戏网站样本；
分词模块，适于提取所述官方网站样本的页面内容，以及所述游戏网站样本的页面内容，并对所述页面内容进行分词处理；
向量生成模块，适于统计分词之后的官方网站样本的页面内容对应的词频，生成向量V‑SOFT，统计分词之后的游戏网站样本的页面内容对应的词频，生成向量V‑GAME；
分类器生成模块，适于根据所述向量V‑SOFT和向量V‑GAME生成网站分类器。
根据权利要求16所述的系统，所述游戏网站过滤子模块包括：
分词子单元，适于提取所述候选网站的页面内容，对所述候选网站的页面内容进行分词处理；
向量生成子单元，适于统计分词之后的候选网站的页面内容对应的词频，生成向量V‑UNKNOWN；
计算子单元，适于分别计算向量V‑UNKNOWN和向量V‑SOFT的距离，以及向量V‑UNKNOWN和向量V‑GAME的距离；
游戏网站确定子单元，适于当向量V‑UNKNOWN和向量V‑GAME的距离在预设范围内时，确定所述候选网站为官方游戏网站或私服网站；
游戏网站过滤子单元，适于将所述官方游戏网站或私服网站过滤。
根据权利要求15所述的系统，所述网站过滤模块还包括：
排序子模块，适于在抓取子模块抓取所述候选网站的页面内容之前，对所述候选网站按照软件下载的总次数DCOUNT从大到小进行排序；
抽取子模块，适于获取处理网站的个数K，从排序后的候选网站中抽取前K个候选网站。

说明书收集文件的方法和系统
技术领域
本发明实施例涉及互联网技术领域，具体涉及收集文件的方法和系统。
背景技术
互联网，即广域网、局域网及单机按照一定的通讯协议组成的国际计算机网络。互联网是指将两台计算机或者是两台以上的计算机终端、客户端、服务端通过计算机信息技术的手段互相联系起来的结果，人们可以与远在千里之外的朋友相互发送邮件、共同完成一项工作、共同娱乐。
互联网上每天会产生大量的新的文件，其中大部分是新的软件和升级补丁包，这些新的软件和升级补丁包可以作为白名单数据库中的文件。为了及时将这些新的软件和升级补丁包收录进入白名单数据库中，首先要查看这些软件的发布渠道，通常可以通过查看这些软件的官方网站来确定发布渠道，然后对这些官方网站进行监控。
传统的识别软件官方网站的方法包括以下两种：
(1)通过人工识别软件的官方网站。
(2)通过搜索引擎对一些已知软件名称的软件进行半自动抓取，并分析软件的页面样式，来识别软件的官方网站。
上述第一种方法的识别准确率较高，但是召回率较低，并且，通过人工识别每天处理的软件数量很有限，识别效率低、成本高，该方法对于解决少量的重要软件比较适用，但是对整个互联网的所有软件来说，这个方法是不可行的。
上述第二种方法只能针对软件名称已知的一些软件进行识别，并且识别过程依赖于搜索引擎质量的好坏，识别的准确率和监控的召回率很难保证。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的收集文件的方法和系统。
根据本发明的一个方面，提供了一种识别官方网站的方法，包括：
获取软件的下载日志；
对所述下载日志进行分析，从所述下载日志中提取候选网站；
将所述候选网站中符合预设条件的网站进行过滤；
从过滤之后的候选网站中确认出软件的官方网站。
本发明实施例中，下载日志包括软件下载的网站信息，
所述对所述下载日志进行分析，从所述下载日志中提取候选网站，包括：
从所述下载日志中解析出所述软件下载的网站信息；
从所述软件下载的网站信息中提取候选网站标识信息。
本发明实施例中，符合预设条件的网站包括下载网站，
将所述候选网站中符合预设条件的网站进行过滤，包括：
统计每个候选网站下下载的软件的个数FCOUNT和软件下载的总次数DCOUNT；
将所述候选网站下软件下载的总次数DCOUNT与下载的软件的个数FCOUNT的比值DCOUNT/FCOUNT与预设的第一阈值进行比较；
当所述比值DCOUNT/FCOUNT大于所述第一阈值时，确定所述候选网站为下载网站；
将所述下载网站过滤。
本发明实施例中，当所述比值DCOUNT/FCOUNT小于或等于所述第一阈值时，还包括：
将所述候选网站下下载的软件的个数FCOUNT与预设的第二阈值进行比较；
当下载的软件的个数FCOUNT大于或等于所述第二阈值时，确定所述网站为下载网站；
将所述下载网站过滤。
本发明实施例中，符合预设条件的网站包括非可执行文件的下载网站，所述软件的下载日志包括下载的软件文件名，
将所述候选网站中的符合预设条件的网站进行过滤，包括：
从所述软件的下载日志中解析出所述候选网站下下载的软件文件名；
判断所述软件文件名中是否存在非可执行文件的名称；
若存在，则确定所述候选网站为非可执行文件的下载网站；
将所述非可执行文件的下载网站过滤。
本发明实施例中，符合预设条件的网站还包括游戏网站，
将所述候选网站中的符合预设条件的网站进行过滤，还包括：
抓取所述候选网站的页面内容；
将所述页面内容输入到预先设置的网站分类器中，通过所述网站分类器过滤所述候选网站中的游戏网站。
本发明实施例中，网站分类器通过以下步骤获得：
分别获取多个官方网站样本和游戏网站样本；
提取所述官方网站样本的页面内容，以及所述游戏网站样本的页面内容，并对所述页面内容进行分词处理；
统计分词之后的官方网站样本的页面内容对应的词频，生成向量V‑SOFT，统计分词之后的游戏网站样本的页面内容对应的词频，生成向量V‑GAME；
根据所述向量V‑SOFT和向量V‑GAME生成网站分类器。
本发明实施例中，通过所述网站分类器过滤所述候选网站中的游戏网站，包括：
提取所述候选网站的页面内容，对所述候选网站的页面内容进行分词处理；
统计分词之后的候选网站的页面内容对应的词频，生成向量V‑UNKNOWN；
分别计算向量V‑UNKNOWN和向量V‑SOFT的距离，以及向量V‑UNKNOWN和向量V‑GAME的距离；
当向量V‑UNKNOWN和向量V‑GAME的距离在预设范围内时，确定所述候选网站为官方游戏网站或私服网站；
将所述官方游戏网站或私服网站过滤。
本发明实施例中，在抓取所述候选网站的页面内容之前，还包括：
对所述候选网站按照软件下载的总次数DCOUNT从大到小进行排序；
获取处理网站的个数K，从排序后的候选网站中抽取前K个候选网站；
所述抓取所述候选网站的页面内容，包括：
抓取所述前K个候选网站的页面内容。
根据本发明的另一方面、提供了一种收集文件的方法，包括：
获取软件的下载日志；
对所述下载日志进行分析，从所述下载日志中提取候选网站；
将所述候选网站中符合预设条件的网站进行过滤；
从过滤之后的候选网站中确认出软件的官方网站；
对所述官方网站进行监控，收集所述官方网站中的文件。
根据本发明的另一方面、提供了一种识别官方网站的系统，包括：
日志获取模块，适于获取软件的下载日志；
网站提取模块，适于对所述下载日志进行分析，从所述下载日志中提取候选网站；
网站过滤模块，适于将所述候选网站中符合预设条件的网站进行过滤；
网站确认模块，适于从过滤之后的候选网站中确认出软件的官方网站。
本发明实施例中，下载日志包括软件下载的网站信息，
所述网站提取模块包括：
网站信息解析子模块，适于从所述下载日志中解析出所述软件下载的网站信息；
标识提取子模块，适于从所述软件下载的网站信息中提取候选网站标识信息。
本发明实施例中，符合预设条件的网站包括下载网站，
网站过滤模块包括：
统计子模块，适于统计每个候选网站下下载的软件的个数FCOUNT和软件下载的总次数DCOUNT；
第一比较子模块，适于将所述候选网站下软件下载的总次数DCOUNT与下载的软件的个数FCOUNT的比值DCOUNT/FCOUNT与预设的第一阈值进行比较；
第一下载网站确定子模块，适于当所述比值DCOUNT/FCOUNT大于所述第一阈值时，确定所述候选网站为下载网站；
下载网站过滤子模块，适于将所述下载网站过滤。
本发明实施例中，网站过滤模块还包括：
第二比较子模块，适于当所述第一比较子模块的比较结果为所述比值DCOUNT/FCOUNT小于或等于所述第一阈值时，将所述候选网站下下载的软件的个数FCOUNT与预设的第二阈值进行比较；
第二下载网站确定子模块，适于当下载的软件的个数FCOUNT大于或等于所述第二阈值时，确定所述网站为下载网站。
本发明实施例中，符合预设条件的网站包括非可执行文件的下载网站，所述软件的下载日志包括下载的软件文件名，
网站过滤模块包括：
文件名解析子模块，适于从所述软件的下载日志中解析出在所述候选网站下下载的软件文件名；
判断子模块，适于判断所述软件文件名中是否存在非可执行文件的名称；
文件下载网站确定子模块，适于当判断子模块的判断结果为存在时，确定所述候选网站为非可执行文件的下载网站；
文件下载网站过滤子模块，适于将所述非可执行文件的下载网站过滤。
本发明实施例中，符合预设条件的网站还包括游戏网站，
网站过滤模块还包括：
抓取子模块，适于抓取所述候选网站的页面内容；
游戏网站过滤子模块，适于将所述页面内容输入到预先设置的网站分类器中，通过所述网站分类器过滤所述候选网站中的游戏网站。
本发明实施例中，识别官方网站的系统还包括：
样本获取模块，适于分别获取多个官方网站样本和游戏网站样本；
分词模块，适于提取所述官方网站样本的页面内容，以及所述游戏网站样本的页面内容，并对所述页面内容进行分词处理；
向量生成模块，适于统计分词之后的官方网站样本的页面内容对应的词频，生成向量V‑SOFT，统计分词之后的游戏网站样本的页面内容对应的词频，生成向量V‑GAME；
分类器生成模块，适于根据所述向量V‑SOFT和向量V‑GAME生成网站分类器。
本发明实施例中，游戏网站过滤子模块包括：
分词子单元，适于提取所述候选网站的页面内容，对所述候选网站的页面内容进行分词处理；
向量生成子单元，适于统计分词之后的候选网站的页面内容对应的词频，生成向量V‑UNKNOWN；
计算子单元，适于分别计算向量V‑UNKNOWN和向量V‑SOFT的距离，以及向量V‑UNKNOWN和向量V‑GAME的距离；
游戏网站确定子单元，适于当向量V‑UNKNOWN和向量V‑GAME的距离在预设范围内时，确定所述候选网站为官方游戏网站或私服网站；
游戏网站过滤子单元，适于将所述官方游戏网站或私服网站过滤。
本发明实施例中，网站过滤模块还包括：
排序子模块，适于在抓取子模块抓取所述候选网站的页面内容之前，对所述候选网站按照软件下载的总次数DCOUNT从大到小进行排序；
抽取子模块，适于获取处理网站的个数K，从排序后的候选网站中抽取前K个候选网站。
根据本发明的另一方面，提供了一种收集文件的系统，包括：
日志获取模块，适于获取软件的下载日志；
网站提取模块，适于对所述下载日志进行分析，从所述下载日志中提取候选网站；
网站过滤模块，适于将所述候选网站中符合预设条件的网站进行过滤；
网站确认模块，适于从过滤之后的候选网站中确认出软件的官方网站；
收集模块，适于对所述官方网站进行监控，收集所述官方网站中的文件。
根据本发明实施例的识别软件官方网站的方法和系统可以通过获取软件的下载日志，并对所述下载日志进行分析，从所述下载日志中提取候选网站，然后将所述候选网站中符合预设条件的网站过滤掉，最后从过滤掉所述符合预设条件的网站之后的候选网站中确认软件的官方网站。通过对软件的下载日志进行分析，可以获取到更加准确的下载信息，由此解决了由于人工识别或者通过搜索引擎识别而导致的识别准确率和效率低的问题，取得了提高识别软件官方网站的准确率和效率的有益效果。
其次，本发明实施例还提出了一种收集文件的方法和系统，在识别出软件的官方网站之后，可以将这些官方网站加入到后续的监控流程，当该网站下有新的软件或升级补丁包的时候，及时将这些新的软件或升级补丁包加入到白名单数据库中，从而也可以收录一些关注度不是很高的软件，提高了监控的召回率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种识别官方网站的方法的流程图；
图2A示出了根据本发明一个具体实施例的一种识别官方网站的方法的流程图；
图2B示出了根据本发明另一个具体实施例的一种识别官方网站的方法的流程图；
图2C示出了根据本发明另一个具体实施例的一种识别官方网站的方法的流程图；
图3示出了根据本发明一个实施例的一种识别官方网站的系统的结构框图；
图4示出了根据本发明一个实施例的一种收集文件的方法的流程图；以及
图5示出了根据本发明一个实施例的一种收集文件的系统的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
参考图1，示出了本发明实施例中一种识别官方网站的方法的流程图。
互联网上每天都会产生大量的新的文件，其中大部分是新的软件和升级补丁包，这些新的软件和升级补丁包可以收集为白名单数据库中的文件。为了及时将这些新的软件和升级补丁包收录进入白名单数据库中，首先要查看这些软件的发布渠道，通常可以通过查看这些软件的官方网站来确定发布渠道，然后对这些官方网站进行监控。
但是，目前一般是通过人工识别或者通过搜索引擎进行识别，而这两种识别方法的识别准确率和效率都较低。
针对上述问题，本发明实施例提出了一种识别软件官方网站的方法，该方法可以通过分析软件的下载日志，从中提取候选网站，再对这些候选网站进行处理，进而识别出软件的官方网站。
具体的，该方法可以包括：
步骤100，获取软件的下载日志。
当互联网中某个客户端设备在某个下载网站上下载某些软件的时候，可以采集客户端设备的下载行为，并将客户端设备的下载行为记载为软件的下载日志。该下载日志中会记录一些软件的下载信息，例如软件的下载路径、软件下载的网站信息等，通过这些下载信息，可以获取到软件下载的具体情况。
步骤102，对所述下载日志进行分析，从所述下载日志中提取候选网站。
由于软件的下载日志中记录了软件的下载信息，通过对这些下载信息进行分析，可以获取到软件下载的具体情况，具体的，可以从软件下载的网站信息中提取出软件下载的网站标识信息。
例如，下载日志中软件下载的网站信息为http://www.badiu.com/xxxx和http://www.baidu.com/yyyy，可以从这两个软件下载的网站信息中提取出侯钻网站标识信息均为www.badiu.com。当然，还可以通过其他方式提取软件下载的网站，本发明对此并不加以限制。
步骤104，将所述候选网站中符合预设条件的网站进行过滤。
在该步骤104中，主要是对候选网站中一些具有明显特征的网站进行过滤，这些网站可能不会被作为软件的官方网站进行监控。
例如对于一些下载网站、游戏网站等，对于这些网站进行监控可能没有意义，因此，本发明实施例中可以将候选网站中的这些网站进行过滤。
对于具体的过滤过程，将在下面的实施例中详细介绍。
步骤106，从过滤之后的候选网站中确认出软件的官方网站。
在对候选网站进行过滤之后，即可初步确定出一些可能是软件的官方网站的候选网站，本发明实施例可以进一步对这些网站进行处理，从而最终确认出软件的官方网站。
在本发明实施例中，可以预先设置一些配置信息，然后通过这些配置信息可以自动从上述过滤之后的候选网站中再次进行官方网站的确认。
上述通过配置信息再次确认官方网站的过程可以进一步提高官方网站识别的准确性，并且，本发明实施例已经对候选网站做了初步的过滤处理，因此剩余的候选网站是软件的官方网站的可能性较大，利用上述的确认方式对效率的影响也不大。
当然，本发明实施例还可以通过其他的方式确认官方网站，本发明实施例对此并不加以限制。
对于上述识别官方网站的方法的具体过程，将在下面的实施例中详细介绍。
本发明实施例的识别官方网站的方法通过对软件的下载日志进行分析，可以获取到更加准确的下载信息，从这些下载信息中提取候选网站，再对这些候选网站进行处理，进而识别出软件的官方网站。本发明实施例解决了由于人工识别或者通过搜索引擎识别而导致的识别准确率和效率低的问题，提高了识别软件官方网站的准确率和效率。
下面，对于本发明实施例提出的识别官方网站的方法进行详细的介绍。
参考图2A‑图2C，分别示出了本发明实施例中一种识别官方网站的方法的流程图，该方法具体可以包括：
步骤200，获取软件的下载日志。
本发明实施例中，当客户端设备在下载某些软件时，客户端可以采集客户端设备的下载行为，通过这些下载行为中记录的下载信息生成软件的下载日志。本发明实施例中，首先可以获取这些软件的下载日志，然后对所述下载日志进行分析，以识别软件的官方网站。
具体的，下载日志中可以记录以下信息：
客户端设备下载的软件的签名、客户端设备下载软件的路径、软件下载的网站信息和下载的软件文件名。
当然，所述下载日志中还可以包括一些其他信息，例如软件的下载时间等，本发明实施例对此并不加以限制。
步骤202，对所述下载日志进行分析，从所述下载日志中提取候选网站。
在获取到软件的下载日志之后，进一步对这些下载日志进行分析，从所述下载日志中提取候选网站。具体的，可以从下载日志中存储的软件下载的网站信息中提取候选网站标识信息。
本发明实施例中，该步骤202可以包括：
i，从所述下载日志中解析出所述软件下载的网站信息；
ii，从所述软件下载的网站信息中提取候选网站标识信息。
例如，如果在软件下载日志中包括的软件下载的网站信息为http://www.badiu.com/xxxx，则从该网站信息中提取的候选网站标识信息为www.badiu.com，如果软件下载的网站信息为http://www.baofeng.com/xxxx，则从该网站信息中提取的候选网站标识信息为www.baofeng.com。
也就是说，在本发明实施例中，可以从软件下载日志中的每个软件下载的网站信息中提取一个网站标识信息，本发明实施例可以将所有这些网站标识信息作为候选网站标识信息，当然，也可以将其中的部分网站标识信息作为候选网站标识信息，本发明实施例对此并不加以限制。
需要说明的是，本发明实施例中在某些软件下载的网站信息中提取的网站表示信息可以表示同一个网站，例如，对于两个软件下载的网站信息分别为http://www.badiu.com/xxxx和http://www.baidu.com/yyyy，则从这两个网站信息中提取的网站标识信息均为www.badiu.com。
步骤204，将所述候选网站中符合预设条件的网站进行过滤。
在上述步骤202中提取出候选网站之后，进一步对这些候选网站进行过滤处理，将其中一些符合预设条件的网站过滤掉。
其中，符合预设条件的网站可以包括：下载网站、非可执行文件的下载网站，以及游戏网站等，当然，还可以包括一些其他形式的网站，本发明实施例对此并不加以限制。
下面，分别针对上述三种网站(下载网站、非可执行文件的下载网站和游戏网站)的过滤过程进行介绍。
图2A为针对下载网站进行过滤的流程图，图2B为针对非可执行文件的下载网站进行过滤的流程图，图2C为针对游戏网站进行过滤的流程图。
下面，分别结合图2A、图2B和图2C进行介绍。
(1)下载网站(图2A)
本发明实施例中，下载网站主要是专门提供软件下载的网站，例如天空软件下载站(网站标识信息为www.skycn.com)、太平洋软件下载站(网站标识信息为dl.pconline.com.cn)，等等。
在本发明实施例中，对于下载网站的过滤过程，可以通过预先设置的阈值进行过滤。
具体的，该步骤204可以通过以下子步骤过滤掉候选网站中的下载网站：
子步骤a1，统计每个候选网站下下载的软件的个数FCOUNT和软件下载的总次数DCOUNT。
本发明实施例中，对于每个候选网站，都可以统计在该候选网站下下载的软件的个数FCOUNT和软件下载的总次数DCOUNT。
例如，在www.baofeng.com这个网站中，分别下载了暴风影音pc版，暴风影音手机版和暴风影音ipad版3个版本，那么下载的软件的个数FCOUNT＝3。
子步骤a2，将所述候选网站下软件下载的总次数DCOUNT与下载的软件的个数FCOUNT的比值DCOUNT/FCOUNT与预设的第一阈值进行比较。
子步骤a3，当所述比值DCOUNT/FCOUNT大于所述第一阈值时，确定所述候选网站为下载网站。
子步骤a4，将所述下载网站过滤掉。
在本发明实施例中，可以设置所述第一阈值为2，即当候选网站下软件下载的总次数DCOUNT与下载的软件的个数FCOUNT的比值DCOUNT/FCOUNT＞2时，确定该候选网站为下载网站。
例如，对于候选网站www.skycn.com，如果在该网站下软件下载的总次数DCOUNT＝8，在该网站下下载的软件的个数FCOUNT＝3，则DCOUNT/FCOUNT＞2，因此，可以确定该网站www.skycn.com为下载网站，从而将该下载网站过滤掉。
上述过程中，将所述比值DCOUNT/FCOUNT与2进行比较，可以说明如果在该网站下，软件下载的总次数大于下载的软件的个数的2倍，即在该网站下同一个软件可能被下载了多次，则该网站很有可能是下载网站，本发明实施例可以将这些网站过滤掉。
另外，考虑到通过上述过程可能会漏掉一些下载网站，例如对于某个候选网站，虽然在该候选网站下软件下载的总次数DCOUNT与下载的软件的个数FCOUNT的比值DCOUNT/FCOUNT小于或等于2，但是该候选网站为下载网站，因此，通过上述方法可能不能过滤掉该下载网站。
针对上述情况，本发明实施例进一步提出了将在候选网站下下载的软件的个数FCOUNT与预设的第二阈值进行比较，以进一步过滤掉下载网站。
具体的，当所述比值DCOUNT/FCOUNT小于或等于所述第一阈值时，该步骤204还可以包括：
子步骤a5，将所述候选网站下下载的软件的个数FCOUNT与预设的第二阈值进行比较。
子步骤a6，当下载的软件的个数FCOUNT大于或等于所述第二阈值时，确定所述网站为下载网站。
子步骤a7，将所述下载网站过滤掉。
在本发明实施例中，可以设置所述第二阈值为6，即当在候选网站下下载的软件的个数FCOUNT大于或等于6时，确定该候选网站为下载网站。
例如，对于候选网站dl.pconline.com.cn，如果在该网站下软件下载的总次数DCOUNT＝10，在该网站下下载的软件的个数FCOUNT＝8，虽然DCOUNT/FCOUNT＜2，但是FCOUNT＞6，因此，仍然可以确定该网站dl.pconline.com.cn为下载网站，从而将该下载网站过滤掉。
上述过程中，将所述下载的软件的个数FCOUNT与6进行比较，可以说明如果在该网站下下载的软件的个数比较多，则该网站很有可能是下载网站，本发明实施例可以将这些网站过滤掉。
对于上述第一阈值和第二阈值的具体数值的设置，本发明实施例只是选取的经验值，当然，本领域技术人员还可以根据实际情况选取其他的数值，本发明实施例对此并不加以限制。
(2)非可执行文件的下载网站(图2B)
本发明实施例中，非可执行文件的下载网站可以是一些提供word、excel等文件的下载网站，例如学校网站等等。对于非可执行文件的下载网站的过滤过程，可以通过下载的软件文件名进行过滤。
通过上述步骤200中的相关描述，可以得知在软件的下载日志包括下载的软件文件名。
具体的，该步骤204可以通过以下子步骤过滤掉候选网站中的非可执行文件的下载网站：
子步骤b1，从所述软件的下载日志中解析出在所述候选网站下下载的软件文件名。
子步骤b2，判断所述软件文件名中是否存在非可执行文件的名称。
对于上述的word、excel等文件，所述非可执行文件的名称为扩展名为“.xls”或“.doc”的名称。
当然，非可执行文件还可以包括一些其他的文件，例如Powerpoint文件，该非可执行文件的扩展名为“.ppt”，还可以是扩展名为“.rar”“.exe”的文件，本发明实施例对此并不加以限制。
子步骤b3，若存在，则确定所述候选网站为非可执行文件的下载网站。
子步骤b4，将所述非可执行文件的下载网站过滤掉。
(3)游戏网站(图2C)
在本发明实施例中，对于游戏网站的过滤过程，可以通过网站分类器进行过滤。
首先，介绍一下网站分类器的训练过程。
具体的所述网站分类器可以通过以下步骤获得：
(i)，分别获取多个官方网站样本和游戏网站样本。
(ii)，提取所述官方网站样本的页面内容，以及所述游戏网站样本的页面内容，并对所述页面内容进行分词处理。
(iii)，统计分词之后的官方网站样本的页面内容对应的词频，生成向量V‑SOFT，统计分词之后的游戏网站样本的页面内容对应的词频，生成向量V‑GAME。
例如，
V‑GAME＝{word1_count，word2_count，...，wordn_count}
V‑SOFT＝{word1_count，word2_count，...，wordn_count}
(iv)，根据所述向量V‑SOFT和向量V‑GAME生成网站分类器。
本发明实施例中，可以根据分类器的处理能力选取其中的部分候选网站进行处理，其中，分类器的处理能力可以为分类器能够处理网站的最大个数K(本发明实施例对此并不加以限制)。
具体的，该步骤204可以通过以下子步骤过滤掉候选网站中的游戏网站：
子步骤c1，对所述候选网站按照软件下载的总次数DCOUNT从大到小进行排序。
子步骤c2，获取处理网站的个数K，从排序后的候选网站中抽取前K个候选网站。
在本发明实施例中，该过滤游戏站点的过程可以在对下载站点进行过滤之后执行，通过上述子步骤c1‑子步骤c2从过滤下载站点之后的候选站点中选取K个候选站点，但是本发明实施例对此并不加以限制。
子步骤c3，抓取所述前K个候选网站的页面内容。
子步骤c4，将所述页面内容输入到预先设置的网站分类器中，通过所述网站分类器过滤掉所述候选网站中的游戏网站。
具体的，该子步骤c4可以包括：
a，提取所述候选网站的页面内容，对所述候选网站的页面内容进行分词处理。
b，统计分词之后的候选网站的页面内容对应的词频，生成向量V‑UNKNOWN。
c，分别计算向量V‑UNKNOWN和向量V‑SOFT的距离，以及向量V‑UNKNOWN和向量V‑GAME的距离。
在本发明实施例中，对于计算向量V‑UNKNOWN和向量V‑SOFT的距离以及向量V‑UNKNOWN和向量V‑GAME的距离的过程，可以采用计算明氏距离的方法。
明氏距离又叫做明可夫斯基距离，是欧氏空间中的一种测度，被看做是欧氏距离和曼哈顿距离的一种推广。
例如，两点P和Q：

它们之间的为明氏距离公式：