网页数据分析方法及装置.pdf

《网页数据分析方法及装置.pdf》由会员分享，可在线阅读，更多相关《网页数据分析方法及装置.pdf（23页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN104199969A43申请公布日20141210CN104199969A21申请号201410487202322申请日20140922G06F17/3020060171申请人北京国双科技有限公司地址100086北京市海淀区双榆树小区知春路76号翠宫饭店8层A间72发明人何鑫74专利代理机构北京康信知识产权代理有限责任公司11240代理人李志刚吴贵明54发明名称网页数据分析方法及装置57摘要本发明公开了一种网页数据分析方法及装置。该网页数据分析方法包括获取用户在网页上输入的M个关键词；获取M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在依存关系；以及。

2、将M个关键词中存在依存关系的关键词划分为同一类关键词。通过本发明，实现了通过利用用户需求决定的关键词之间的依存关系对网页数据进行聚类，使聚类结果能准确反映用户需求的效果。51INTCL权利要求书2页说明书13页附图7页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书13页附图7页10申请公布号CN104199969ACN104199969A1/2页21一种网页数据分析方法，其特征在于，包括获取用户在网页上输入的M个关键词；获取所述M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在所述依存关系；以及将所述M个关键词中存在依存关系的关键词划分为同一类关键。

3、词。2根据权利要求1所述的方法，其特征在于，获取用户在网页上输入的M个关键词包括在所述网页加载脚本文件代码；接收所述用户在所述网页的输入行为；以及通过脚本文件代码读取所述网页的输入行为所携带的M个关键词。3根据权利要求1所述的方法，其特征在于，获取所述M个关键词中存在依存关系的关键词包括确定假设条件，其中，所述假设条件是假设的所述M个关键词的输入行为中包含的逻辑关系；根据所述假设条件创建图模型G,S，其中，所述G代表所述M个关键词的集合，所述S代表所述M个关键词之间的依存关系的集合；以及通过所述图模型，获取所述M个关键词中存在依存关系的关键词。4根据权利要求3所述的方法，其特征在于，通过所述图。

4、模型，获取所述M个关键词中存在依存关系的关键词包括根据所述M个关键词之间的依存关系的强度计算转移概率，其中，所述转移概率是每个关键词属于与其存在所述依存关系的关键词的概率；以及按照所述转移概率对所述M个关键词进行迭代，获取所述M个关键词中存在依存关系的关键词。5根据权利要求4所述的方法，其特征在于，按照所述转移概率对所述M个关键词进行迭代，获取所述M个关键词中存在依存关系的关键词包括假设在进行所述迭代之前第I个关键词属于第I关键词簇，其中，所述簇是一类关键词的集合，所述I1，2M；按照所述转移概率对所述第I个关键词进行一次迭代，计算迭代后所述第I个关键词属于的第K关键词簇，其中，所述K1，2I。

5、1,I1M；判断所述第I簇和所述第K簇的差异是否小于预设值，其中，所述预设值是预先设定的所述关键词簇允许的误差值；如果所述第I簇和所述第K簇的差异大于所述预设值，则继续进行迭代；以及如果所述第I簇和所述第K簇的差异小于或者等于所述预设值，则停止迭代，获取所述第I个关键词属于的关键词簇中的所有关键词。6根据权利要求1所述的方法，其特征在于，将所述M个关键词中存在依存关系的关键词划分为同一类关键词之后，所述方法还包括对多个所述同一类关键词分别进行命名；以及按照每一类关键词包含的所述关键词的数量，对命名后的多个所述同一类关键词进行排序。权利要求书CN104199969A2/2页37一种网页数据分析装。

6、置，其特征在于，包括第一获取单元，用于获取用户在网页上输入的M个关键词；第二获取单元，用于获取所述M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在所述依存关系；以及划分单元，用于将所述M个关键词中存在依存关系的关键词划分为同一类关键词。8根据权利要求7所述的装置，其特征在于，所述第一获取单元包括加载模块，用于在所述网页加载脚本文件代码；接收模块，用于接收所述用户在所述网页的输入行为；以及读取模块，用于通过脚本文件代码读取所述网页的输入行为所携带的M个关键词。9根据权利要求7所述的装置，其特征在于，所述第二获取单元包括第一确定模块，用于确定假设条件，其中，所述假设条件是。

7、假设的所述M个关键词的输入行为中包含的逻辑关系；创建模块，用于根据所述假设条件创建图模型G,S，其中，所述G代表所述M个关键词的集合，所述S代表所述M个关键词之间的依存关系的集合；以及第一获取模块，用于通过所述图模型，获取所述M个关键词中存在依存关系的关键词。10根据权利要求9所述的装置，其特征在于，所述第一获取模块包括计算模块，用于根据所述M个关键词之间的依存关系的强度计算转移概率，其中，所述转移概率是每个关键词属于与其存在所述依存关系的关键词的概率；以及第二获取模块，按照所述转移概率对所述M个关键词进行迭代，获取所述M个关键词中存在依存关系的关键词。11根据权利要求10所述的装置，所述第二。

8、获取模块包括假设子模块，用于假设在进行所述迭代之前第I个关键词属于第I关键词簇，其中，所述簇是一类关键词的集合，所述I1，2M；计算子模块，用于按照所述转移概率对所述第I个关键词进行一次迭代，计算迭代后所述第I个关键词属于的第K关键词簇，其中，所述K1，2I1,I1M；判断子模块，用于判断所述第I簇和所述第K簇的差异是否小于预设值，其中，所述预设值是预先设定的所述关键词簇允许的误差值；迭代子模块，用于如果所述第I簇和所述第K簇的差异大于所述预设值，则继续进行迭代；以及获取子模块，用于如果所述第I簇和所述第K簇的差异小于或者等于所述预设值，则停止迭代，获取所述第I个关键词属于的关键词簇中的所有关。

9、键词。12根据权利要求7所述的装置，其特征在于，所述装置还包括命名单元，用于对多个所述同一类关键词分别进行命名；以及排序单元，用于按照每一类关键词包含的所述关键词的数量，对命名后的多个所述同一类关键词进行排序。权利要求书CN104199969A1/13页4网页数据分析方法及装置技术领域0001本发明涉及数据分析领域，具体而言，涉及一种网页数据分析方法及装置。背景技术0002用户通常会抱有一定的目的和意图浏览网站。对于网站而言，了解用户访问的真实意图非常重要。网站通常会通过用户浏览网站的行为轨迹构造模型，训练分类器的方法对访问网站的用户进行分类，或是通过网站站内搜索词QUERY的热度对用户需求进。

10、行描述。0003站内搜索的方式是用户主动寻找信息的行为，可以一定程度上描述用户需求。传统的站内搜索词聚类技术依赖于搜索词本身，通过词语间字面上的重叠进行计算，实现方案一般为第一步对关键词进行字面上的拆解包括逐子或分词，拆解以后的关键词可以表示为词字为单元的序列串；第二步然后逐一计算每一对关键词对的相似度JACCARD或编辑距离等，即比较两个搜索词的词串的吻合程度，并返回相似度的度量；第三步使用聚类算法进行聚类，聚类算法包括KMEANS聚类或层次聚类等，不同的聚类算法实现方式不同但实质上并无差别。由于传统技术是通过关键词字面上的吻合程度来建立联系，并不符合实际情况，仅仅是生硬的构造一种相关依存关。

11、系，因此不能准确的解释用户需求。比如“三星”和“苹果”不包含任何字面上的匹配，但是相关性应该很高，另外“本田”和“本源”是完全无关的两类词，但是字面上仍然存在着相关依存关系。并且，现有的站内搜索词聚类技术需要计算每两个关键词之间的相似度，因此时间复杂度为ON2，不适用于大规模数据挖掘。0004针对相关技术中网页数据分析方法仅仅依赖于搜索词字面上的重叠程度，从而导致的数据分析结果不能准确解释用户需求的问题，目前尚未提出有效的解决方案。发明内容0005针对现有的网页数据分析方法仅仅依赖于搜索词字面上的重叠程度，导致数据分析结果不能准确解释用户需求的问题而提出本发明，为此，本发明的主要目的在于提供一。

12、种网页数据分析方法及装置，以解决上述问题。0006为了实现上述目的，根据本发明的一个方面，提供了一种网页数据分析方法。该方法包括获取用户在网页上输入的M个关键词；获取M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在依存关系；以及将M个关键词中存在依存关系的关键词划分为同一类关键词。0007进一步地，获取用户在网页上输入的M个关键词包括在网页加载脚本文件代码；接收用户在网页的输入行为；以及通过脚本文件代码读取网页的输入行为所携带的M个关键词。0008进一步地，获取M个关键词中存在依存关系的关键词包括确定假设条件，其中，假设条件是假设的M个关键词的输入行为中包含的逻辑关系。

13、；根据假设条件创建图模型说明书CN104199969A2/13页5G，S，其中，G代表M个关键词的集合，S代表M个关键词之间的依存关系的集合；以及通过图模型，获取M个关键词中存在依存关系的关键词。0009进一步地，通过图模型，获取M个关键词中存在依存关系的关键词包括根据M个关键词之间的依存关系的强度计算转移概率，其中，转移概率是每个关键词属于与其存在依存关系的关键词的概率；以及按照转移概率对M个关键词进行迭代，获取M个关键词中存在依存关系的关键词。0010进一步地，按照转移概率对M个关键词进行迭代，获取M个关键词中存在依存关系的关键词包括假设在进行迭代之前第I个关键词属于第I关键词簇，其中，簇。

14、是一类关键词的集合，I1，2M；按照转移概率对第I个关键词进行一次迭代，计算迭代后第I个关键词属于的第K关键词簇，其中，K1，2I1,I1M；判断第I簇和第K簇的差异是否小于预设值，其中，预设值是预先设定的关键词簇允许的误差值；如果第I簇和第K簇的差异大于预设值，则继续进行迭代；以及如果第I簇和第K簇的差异小于或者等于预设值，则停止迭代，获取第I个关键词属于的关键词簇中的所有关键词。0011进一步地，将M个关键词中存在依存关系的关键词划分为同一类关键词之后，方法还包括对多个同一类关键词分别进行命名；以及按照每一类关键词包含的关键词的数量，对命名后的多个同一类关键词进行排序。0012为了实现上述。

15、目的，根据本发明的另一方面，提供了一种网页数据分析装置，该装置包括第一获取单元，用于获取用户在网页上输入的M个关键词；第二获取单元，用于获取M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在依存关系；以及划分单元，用于将M个关键词中存在依存关系的关键词划分为同一类关键词。0013进一步地，第一获取单元包括加载模块，用于在网页加载脚本文件代码；接收模块，用于接收用户在网页的输入行为；以及读取模块，用于通过脚本文件代码读取网页的输入行为所携带的M个关键词。0014进一步地，第二获取单元包括第一确定模块，用于确定假设条件，其中，假设条件是假设的M个关键词的输入行为中包含的逻辑。

16、关系；创建模块，用于根据假设条件创建图模型G，S，其中，G代表M个关键词的集合，S代表M个关键词之间的依存关系的集合；以及第一获取模块，用于通过图模型，获取M个关键词中存在依存关系的关键词。0015进一步地，第一获取模块包括计算模块，用于根据M个关键词之间的依存关系的强度计算转移概率，其中，转移概率是每个关键词属于与其存在依存关系的关键词的概率；以及第二获取模块，按照转移概率对M个关键词进行迭代，获取M个关键词中存在依存关系的关键词。0016进一步地，第二获取模块包括假设子模块，用于假设在进行迭代之前第I个关键词属于第I关键词簇，其中，簇是一类关键词的集合，I1，2M；计算子模块，用于按照转移。

17、概率对第I个关键词进行一次迭代，计算迭代后第I个关键词属于的第K关键词簇，其中，K1，2I1,I1M；判断子模块，用于判断第I簇和第K簇的差异是否小于预设值，其中，预设值是预先设定的关键词簇允许的误差值；迭代子模块，用于如果第I簇和第K簇的差异大于预设值，则继续进行迭代；以及获取子模块，用于如果第I簇和第K簇的差异小于或者等于预设值，则停止迭代，获取第I个关键词属于的关键词簇中的所有关键词。0017进一步地，该装置还包括命名单元，用于对多个同一类关键词分别进行命名；以说明书CN104199969A3/13页6及排序单元，用于按照每一类关键词包含的关键词的数量，对命名后的多个同一类关键词进行排序。

18、。0018通过本发明，采用包括以下步骤的方法获取用户在网页上输入的M个关键词；获取M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在依存关系；以及将M个关键词中存在依存关系的关键词划分为同一类关键词，解决了现有网页数据分析方法仅仅依赖于搜索词字面上的重叠程度，导致数据分析结果不能准确解释用户需求的问题，进而达到了通过利用用户需求决定的关键词之间的依存关系对网页数据进行聚类，从而通过聚类结果准确反映用户需求的效果。附图说明0019构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中0020图。

19、1是根据本发明的数据分析方法的第一实施例的流程图；0021图2是根据本发明的数据分析方法的第二实施例的流程图；0022图3是根据本发明的数据分析方法的第三实施例的流程图；0023图4是根据本发明的数据分析方法的第四实施例的流程图；0024图5是根据本发明的数据分析方法的第五实施例的流程图；0025图6是根据本发明的数据分析方法的第六实施例的流程图；0026图7是根据本发明的数据分析装置的第一实施例的结构框图；0027图8是根据本发明的数据分析装置的第二实施例的结构框图；0028图9是根据本发明的数据分析装置的第三实施例的结构框图；以及0029图10是根据本发明的数据分析装置的第六实施例的结构框。

20、图。具体实施方式0030需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。0031图1是根据本发明的网页数据分析方法的第一实施例的流程图。如图1所示，该方法包括如下步骤0032步骤S102，获取用户在网页上输入的M个关键词。0033用户需求与用户输入的关键词之间应存在多对多的依存关系，即每个用户需求可以通过用户输入的不同的关键词来表示意图，每个关键词也可以表示多个不同的用户需求意图。为了简化问题，该方法定义用户需求与用户输入的关键词之间存在一对多的依存关系。通过对用户在网站中输入的关键词进行聚类的方式可以对用户需求进行识别。

21、。0034步骤S104，获取M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在依存关系。0035对于用户的一次网页数据搜索行为，往往搜索的各关键词之间存在关系，这种关系不是各个关键词字面上的相似性，而是关键词体现的用户需求相同。比如，用户在进行网页数据搜索时，搜索的关键词之间可能存在以下依存关系一个关键词是前个一关键词的归属KIFKI1，或后一个关键词是所有前面关键词的归属KIFKI1,KI2,KI3,说明书CN104199969A4/13页7,K1等等。0036步骤S106，将M个关键词中存在依存关系的关键词划分为同一类关键词。0037因为具有依存关系的一类关键词对应。

22、同一用户需求，因此按照依存关系可以将用户输入的关键词分为几类。通过这种聚类的方式，能够挖掘出深层次的关键词聚合关系，从而准确地表示用户需求。例如能发现“违章”、“电子眼”、“电子JIN”和“电子敬察”之间的关系。0038该实施例由于采取了以下步骤获取用户在网页上输入的M个关键词；获取M个关键词中存在依存关系的关键词；以及将M个关键词中存在依存关系的关键词划分为同一类关键词，使得网页数据分析是基于用户需求决定的关键词之间的依存关系，而不再片面地依赖关键词之间的字面重叠程度。该方法突破了传统QUERY聚合过程基于QUERY本身字面匹配假设的局限性，采用用户行为数据进行数据挖掘，构建出更符合用户需求。

23、的数学模型。0039图2是根据本发明的网页数据分析方法的第二实施例的流程图。该实施例可以作为图1所示实施例的一种优选实施方式，如图2所示，该网页数据分析方法包括0040步骤S201，在网页加载脚本文件代码。0041脚本文件类似于DOS操作系统中的批处理文件，它可以将不同的命令组合起来，并按确定的顺序自动连续地执行。脚本程序相对一般程序开发来说比较接近自然语言，可以不经编译而是解释执行。0042脚本语言种类较多，一般的脚本语言的执行只同具体的解释执行器有关，所以只要系统上有相应语言的解释程序就可以做到跨平台。优选地，在该方法中可使用JAVASCRIPT，通过在网站中添加JAVASCRIPT代码来。

24、获取用户在进行网页浏览时的行为数据。0043步骤S202，接收用户在网页的输入行为。0044用户在网站中进行搜索，其输入的数据可以通过JAVASCRIPT代码监测并实现动态读取。0045步骤S204，通过脚本文件代码读取网页的输入行为所携带的M个关键词。0046用户在一次会话中进行的站内搜索行为，能够构成一条站内搜索的序列，表示为KEYWORD1，KEYWORD2，KEYWORD3，。用唯一键表示每条会话，能够形成如下格式的数据0047会话关键词1KEYWORD11KEYWORD22KEYWORD20048其中，数据包括但不限于会话和关键词两列，还可以包含如搜索时间、搜索次数等说明书CN104。

25、199969A5/13页8更多维度，用以提高聚类的性能。0049步骤S206，获取M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在依存关系。0050该步骤等同于S104，这里不再赘述。0051步骤S207，将M个关键词中存在依存关系的关键词划分为同一类关键词。0052该步骤等同于S106，这里不再赘述。0053在该实施例中，给出了网页数据分析的具体步骤在网页加载脚本文件代码；接收用户在网页的输入行为；通过脚本文件代码读取网页的输入行为所携带的M个关键词；获取M个关键词中存在依存关系的关键词；将M个关键词中存在依存关系的关键词划分为同一类关键词。通过以上步骤，可以动态读。

26、取用户输入的关键词，准确、高效地获取待分析的网页数据，有利于对用户数据高效地进行聚类分析。0054图3是根据本发明的网页数据分析方法的第三实施例的流程图。该实施例可以作为图1所示实施例的一种优选实施方式，如图3所示，该网页数据分析法包括0055步骤S301，获取用户在网页上输入的M个关键词。0056该步骤等同于S102，这里不再赘述。0057步骤S302，确定假设条件，其中，假设条件是假设的M个关键词的输入行为中包含的逻辑关系。0058用户进行搜索行为必定存在用户需求，根据网页数据分析者实际的业务需求即对哪方面的用户需求感兴趣，可提出合理的假设条件。根据假设条件可得到关键词之间的依存关系。00。

27、59例如一次会话的关键词序列是ABCD，该方法的假设条件可以是建立依存关系AD,BD,CD,DD。其他的假设条件可以建立不同的依存关系，如AB,BC,CD或AB,AC,AD,BC,BD,CD等。0060优选地，可提出如下的几点假设1、用户浏览网站时，同一个会话的访问目的唯一；2、用户在同一次会话中所产生的站内关键词在语义上存在相关性；3、用户在达到访问目的的过程中，可能会产生多次站内搜索行为，但这些行为自身具有自我修正的特点。基于以上三条假设，可以得到这样的结论会话中最后一次站内搜索使用的关键词是该会话所有关键词的归属。基于此可以明确关键词之间的依存关系。0061步骤S303，根据假设条件创建。

28、图模型G，S，其中，G代表M个关键词的集合，S代表M个关键词之间的依存关系的集合。0062根据步骤S302的假设，构建M个关键词的有向图G,S，其中G表示图中M个关键词的集合，每一个关键词可以表示为图中的一个节点；S表示图中关键词依存关系的集合，表示图中两个节点之间相连的一条边，其中，边的方向由两节点的依赖关系决定，边的强度由该依赖关系的次数决定。根据步骤S302中优选的假设条件，在一次会话中，所有关键词均具有指向该会话最后一个关键词的一条边。0063步骤S304，通过图模型，获取M个关键词中存在依存关系的关键词。0064图模型中给出了所有关键词及关键词依存关系的集合，根据网页数据分析者实际的。

29、业务需求，可以将代表同一用户需求的多个关键词组识别出来。0065采用简单的图模型寻找社团的算法进行QUERY的聚类，避开了传统的聚类算法，说明书CN104199969A6/13页9复杂度ONLGN。0066步骤S305，将M个关键词中存在依存关系的关键词划分为同一类关键词。0067该步骤等同于S106，这里不再赘述。0068在该实施例中，给出了网页数据分析的具体步骤获取用户在网页上输入的M个关键词；确定假设条件；根据假设条件创建图模型G，S；通过图模型，获取M个关键词中存在依存关系的关键词；将M个关键词中存在依存关系的关键词划分为同一类关键词。在以上步骤中，由于根据用户的不同需求可自行拟定假设。

30、条件，使得该方法适用的网页数据分析范围及其广泛，可满足各种网页数据分析用户的需求。同时，由于该方法是基于网页的输入行为包含的逻辑关系而建立的关键词之间的联系，从而能准确反映用户需求。0069图4是根据本发明的网页数据分析方法的第四实施例的流程图。该实施例可以作为图3所示实施例的一种优选实施方式，如图4所示，该网页数据分析法包括0070步骤S401，获取用户在网页上输入的M个关键词。0071该步骤等同于步骤S102，这里不再赘述。0072步骤S403，确定假设条件，其中，假设条件是假设的M个关键词的输入行为中包含的逻辑关系。0073与步骤S302相同，这里不再赘述。0074步骤S404，根据假设。

31、条件创建图模型G，S，其中，G代表M个关键词的集合，S代表M个关键词之间的依存关系的集合。0075与步骤S303相同，这里不再赘述。0076步骤S405，根据M个关键词之间的依存关系的强度计算转移概率，其中，转移概率是每个关键词属于与其存在依存关系的关键词的概率。0077根据关键词之间的依存关系的强度可以计算出节点依存于各个节点的概率，即转移概率。将转移概率定义为CNI，NJ/CNJ，CNI，NJ是第I个网页数据与第J个网页数据的依存关系的强度，CNJ是第J个网页数据的所有依存关系的强度之和，其中，I,J1,2M并且IJ。0078步骤S406，按照转移概率对M个关键词进行迭代，获取M个关键词中。

32、存在依存关系的关键词。0079按照转移概率对节点关键词进行迭代，每一个节点关键词都以转移概率随机地移动到其依存的节点关键词中去。依此进行多次迭代，计算最终迭代后节点关键词所属于的同一用户需求的关键词组。0080重复进行上述随机游走的过程多次，根据大数定律得到最终节点关键词属于最终的关键词组关键词簇的判定。该重复多次的过程是有必要的，因为模型之初构建的有向图是一个有向有环图，因此节点有可能通过转移概率进入到环中，得到局部最优解。重复步骤可以有效地减少这种错误，使聚类的准确度得到提高。0081步骤S407，将M个关键词中存在依存关系的关键词划分为同一类关键词。0082与步骤S106相同，这里不再赘。

33、述。0083在该实施例中，给出了网页数据分析的具体步骤获取用户在网页上输入的M个关键词；确定假设条件；根据假设条件创建图模型G，S；根据M个关键词之间的依存关系的强度计算转移概率；按照转移概率对M个关键词进行迭代，获取M个关键词中存在依存说明书CN104199969A7/13页10关系的关键词；将M个关键词中存在依存关系的关键词划分为同一类关键词。在以上步骤中，通过采用迭代的方式，待分析的关键词中属于同一用户需求的关键词逐渐聚为一类，这种聚类方式更加符合用户的真实需求，聚类结果更具分析价值。0084图5是根据本发明的网页数据分析方法的第五实施例的流程图。该实施例可以作为图4所示实施例的一种优选。

34、实施方式，如图5所示，该网页数据分析法包括0085步骤S501，获取用户在网页上输入的M个关键词。0086该步骤等同于步骤S102，这里不再赘述。0087步骤S503，确定假设条件，其中，假设条件是假设的M个关键词的输入行为中包含的逻辑关系。0088与步骤S302相同，这里不再赘述。0089步骤S504，根据假设条件创建图模型G，S，其中，G代表M个关键词的集合，S代表M个关键词之间的依存关系的集合。0090与步骤S303相同，这里不再赘述。0091步骤S505，根据M个关键词之间的依存关系的强度计算转移概率，其中，转移概率是每个关键词属于与其存在依存关系的关键词的概率。0092与步骤S405。

35、相同，这里不再赘述。0093步骤S506，假设在进行迭代之前第I个关键词属于第I关键词簇，其中，簇是一类关键词的集合，I1，2M。0094在初始化时假设图中所有的节点关键词都各自属于一个关键词簇各自都持有自己的一次投票机会，以每个节点为起点，开始进行迭代。0095步骤S507，按照转移概率对第I个关键词进行一次迭代，计算迭代后第I个关键词属于的第K关键词簇，其中，K1，2I1,I1M。0096在迭代进行的过程中，每一个节点都以转移概率随机地移动到其依存节点中去。随着迭代的进行，体现相同用户需求的关键词会越聚越多，直到该关键词簇涵盖了M个关键词中均具有该依存关系的所有关键词。0097步骤S508。

36、，判断第I簇和第K簇的差异是否小于预设值，其中，预设值是预先设定的关键词簇允许的误差值。0098预设值的设定可以根据不同数据分析者的自身需求进行设定。0099每进行一次迭代得到该节点属于的关键词簇，则将其与该节点迭代前属于的关键词簇进行对比。然后判断当前关键词簇与前一个关键词簇之间的差异，其中，当前关键词簇与前一个关键词簇之间差异的定义是差异值本次改变所属关键词簇的节点的个数/总节点数DIFFNCHANGE/N。通过该判断步骤，可以促使第I个关键词一步步逼近自身属于的关键词簇。0100步骤S509，如果第I簇和第K簇的差异大于预设值，则继续进行迭代。0101该步骤是重复步骤S507。当第I关键。

37、词簇和第K关键词簇的差异大于预设值时，说明体现同一用户需求的关键词还没有完全涵盖进该关键词簇中，需要继续进行迭代。0102步骤S510，如果第I关键词簇和第K关键词簇的差异小于或者等于预设值，则停止迭代，获取第I个关键词属于的关键词簇中的所有关键词。0103当第I关键词簇和第K关键词簇的差异小于或者等于预设值，可认为体现同一用说明书CN104199969A108/13页11户需求的关键词已经完全涵盖进该关键词簇中。0104可选地，也可以根据数据分析者的分析需求，设定迭代次数。当完成预设迭代次数，则获取第I个关键词属于的关键词簇中的所有关键词。0105步骤S511，将M个关键词中存在依存关系的关。

38、键词划分为同一类关键词。0106与步骤S106相同，这里不再赘述。0107在该实施例中，给出了网页数据分析的具体步骤获取用户在网页上输入的M个关键词；确定假设条件；根据假设条件创建图模型G，S；根据M个关键词之间的依存关系的强度计算转移概率；假设在进行迭代之前第I个关键词属于第I关键词簇；按照转移概率对第I个关键词进行一次迭代，计算迭代后第I个关键词属于的第K关键词簇；判断第I簇和第K簇的差异是否小于预设值；如果第I簇和第K簇的差异大于预设值，则继续进行迭代；如果第I关键词簇和第K关键词簇的差异小于或者等于预设值，则停止迭代，获取第I个关键词属于的关键词簇中的所有关键词；将M个关键词中存在依存。

39、关系的关键词划分为同一类关键词。在上述步骤中，由于可按照用户需求自行拟定预设值，即自行设定关键词簇的误差范围，因此能够满足不同数据分析人士的需求，使该方法适用范围变大。同时，这种多次重复的迭代方式，也使聚类结果更加准确。0108图6是根据本发明的网页数据分析方法的第六实施例的流程图。该实施例可以作为图1所示实施例的一种优选实施方式，如图6所示，该网页数据分析法包括0109步骤S601，获取用户在网页上输入的M个关键词。0110该步骤等同于步骤S102，这里不再赘述。0111步骤S602，获取M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在依存关系。0112该步骤同于步。

40、骤S104，这里不再赘述。0113步骤S603，将M个关键词中存在依存关系的关键词划分为同一类关键词。0114该步骤同于步骤S106，这里不再赘述。0115步骤S604，对多个同一类关键词分别进行命名。0116由于各个同一类的关键词反映不同的用户需求，因此为对用户需求进行描述，可以对得到的同一类的关键词进行命名。0117优选地，命名方法可以为基于规则的命名方法和基于统计的命名方法两种，也可以将两种方法相结合，即混合的命名方法。同一类关键词的命名方法包括但不限于根据用户搜索次数或用户搜索点击次数等行为进行命名，选取排序较高的关键词作为命名；根据图模型收敛时的聚集点进行最大似然估计，取集中收敛的关。

41、键词进行命名等。0118步骤S605，按照每一类关键词包含的关键词的数量，对命名后的多个同一类关键词进行排序。0119排序是指按照同一类关键词的统计量进行排序，统计量越高的同一类关键词关键词簇所对应的用户需求越强烈。优选地，常用的统计量包括簇内关键词搜索次数和簇内关键词所属的会话数等。0120在该实施例中，给出了网页数据分析的具体步骤获取用户在网页上输入的M个关键词；获取M个关键词中存在依存关系的关键词；将M个关键词中存在依存关系的关键词划分为同一类关键词；对多个同一类关键词分别进行命名；按照每一类关键词包含的关说明书CN104199969A119/13页12键词的数量，对命名后的多个同一类关。

42、键词进行排序。通过以上步骤，对聚类得到的每一类关键词分别进行命名，并且按各自包含的关键词数量进行排序，从而更加清晰地展现出每一类数据的搜索热度，并将结果更加直观地呈现给网页数据分析者。0121图7是根据本发明的网页数据分析装置的第一实施例的结构框图。如图7所示，该装置结构包括0122第一获取单元22，用于获取用户在网页上输入的M个关键词。0123用户需求与用户输入的关键词之间应存在多对多的依存关系，即每个用户需求可以通过用户输入的不同的关键词来表示意图，每个关键词也可以表示多个不同的用户需求意图。为了简化问题，定义用户需求与用户输入的关键词之间存在一对多的依存关系。该装置通过对用户在网站中输入。

43、的关键词进行聚类的方式可以对用户需求进行识别。0124第二获取单元24，用于获取M个关键词中存在依存关系的关键词，其中，对应的用户需求相同的关键词之间存在依存关系。0125对于用户的一次网页数据搜索行为，往往搜索的各关键词之间存在关系，这种关系不是各个关键词字面上的相似性，而是关键词体现的用户需求相同。比如，用户在进行网页数据搜索时，搜索的关键词之间可能存在以下依存关系一个关键词是前个一关键词的归属KIFKI1，或后一个关键词是所有前面关键词的归属KIFKI1,KI2,KI3,K1等等。该单元用于获取M个关键词中存在依存关系的关键词。0126划分单元26，用于将M个关键词中存在依存关系的关键词。

44、划分为同一类关键词。0127因为具有依存关系的一类关键词对应同一用户需求，因此按照依存关系可以将用户输入的关键词分为几类。通过该装置所实现的聚类方式，能够挖掘出深层次的关键词聚合关系，从而准确地表示用户需求。例如利用该装置能发现“违章”、“电子眼”、“电子JIN”和“电子敬察”之间的关系。0128本实施例提供的网页数据分析装置包括第一获取单元22、第二获取单元24和划分单元26。通过该装置使得网页数据分析是基于用户需求决定的关键词之间的依存关系，而不再片面地依赖关键词之间的字面重叠程度。该装置突破了传统QUERY聚合过程基于QUERY本身字面匹配假设的局限性，利用用户行为数据进行数据挖掘，获得。

45、的聚类结果能够更加准确地反映用户需求。0129图8是根据本发明的网页数据分析装置的第二实施例的流程图。该实施例可以作为图7所示实施例的一种优选实施方式，如图8所示，该网页数据分析装置包括0130第一获取单元22、第二获取单元24和划分单元26，其中，第二获取单元24和划分单元26与图7中所述相同，这里不再赘述。其中，第一获取单元22还可以包括0131加载模块32，用于在网页加载脚本文件代码。0132脚本文件类似于DOS操作系统中的批处理文件，它可以将不同的命令组合起来，并按确定的顺序自动连续地执行。脚本程序相对一般程序开发来说比较接近自然语言，可以不经编译而是解释执行。0133脚本语言种类较多。

46、，一般的脚本语言的执行只同具体的解释执行器有关，所以只要系统上有相应语言的解释程序就可以做到跨平台。优选地，该模块可使用JAVASCRIPT，通过在网站中添加JAVASCRIPT代码来获取用户在进行网页浏览时的行为数据。0134接收模块34，用于接收用户在网页的输入行为。说明书CN104199969A1210/13页130135用户在网站中进行搜索，接收模块34可接收其输入的数据，通过JAVASCRIPT代码监测并实现动态读取。0136读取模块36，用于通过脚本文件代码读取网页的输入行为所携带的M个关键词。0137用户在一次会话中进行的站内搜索行为，能够构成一条站内搜索的序列，表示为KEYWO。

47、RD1，KEYWORD2，KEYWORD3，。用唯一键表示每条会话，能够形成如下格式的数据0138会话关键词1KEYWORD11KEYWORD22KEYWORD20139其中，数据包括但不限于会话和关键词两列，还可以包含如搜索时间、搜索次数等更多维度，用以提高聚类的性能。0140本实施例提供的网页数据分析装置中第一获取单元22还可以包括以下模块加载模块32、接收模块34和读取模块36。通过以上模块，可以动态读取用户输入的关键词，准确、高效地获取待分析的网页数据，有利于对用户数据高效地进行聚类分析。0141图9是根据本发明的网页数据分析装置的第三实施例的流程图。该实施例可以作为图7所示实施例的一。

48、种优选实施方式，如图9所示，该网页数据分析装置包括0142第一获取单元22、第二获取单元24和划分单元26，其中，第一获取单元22和划分单元26与图7中相同，这里不再赘述。第二获取单元24还可以包括0143第一确定模块42，用于确定假设条件，其中，假设条件是假设的M个关键词的输入行为中包含的逻辑关系。0144用户进行搜索行为必定存在用户需求，第一确定模块42可获得网页数据分析者根据其自身业务需求提出的合理的假设条件。需要注意的是，假设条件体现的是关键词之间的依存关系。0145例如一次会话的关键词序列是ABCD，假设条件可以是建立依存关系AD,BD,CD,DD。其他的假设条件可以建立不同的依存关。

49、系，如AB,BC,CD或AB,AC,AD,BC,BD,CD等。0146优选地，假设条件可以是如下几点1、用户浏览网站时，同一个会话的访问目的唯一；2、用户在同一次会话中所产生的站内关键词在语义上存在相关性；3、用户在达到访问目的的过程中，可能会产生多次站内搜索行为，但这些行为自身具有自我修正的特点。基于以上三条假设，可以得到这样的结论会话中最后一次站内搜索使用的关键词是该会话所有关键词的归属。基于此可以明确关键词之间的依存关系。0147创建模块44，用于根据假设条件创建图模型G，S，其中，G代表M个关键词的集合，S代表M个关键词之间的依存关系的集合。说明书CN104199969A1311/13页140148根据第一确定模块42确定的假设条件，创建模块44可构建M个关键词的有向图G,S，其中G表示图中M个关键词的集合，每一个关键词可以表示为图中的一个节点；S表示图中关键词依存关系的集合，表示图中两个节点之间相连的一条边，其中，边的方向由两节点的依赖关系决定，边的强度由该依赖关系的次数决定。如果是上述介绍的优选的假设条件，则在一次会话中，所有关键词均具有指向该会话最后一个关键词的一条边。0149第一获取模块46，用于通过图模型，获取M个关键词中存在依。