《一种基于机器学习的社交网络垃圾用户过滤方法.pdf》由会员分享，可在线阅读，更多相关《一种基于机器学习的社交网络垃圾用户过滤方法.pdf（6页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104090961A43申请公布日20141008CN104090961A21申请号201410332643622申请日20140714G06F17/3020060171申请人福州大学地址350108福建省福州市闽侯县上街镇大学城学园路2号福州大学新区72发明人郑相涵陈国龙曾志鹏74专利代理机构福州元创专利商标代理有限公司35100代理人蔡学俊54发明名称一种基于机器学习的社交网络垃圾用户过滤方法57摘要本发明涉及一种基于机器学习的社交网络垃圾用户过滤方法，包括以下步骤1、针对一社交网络，定义需要从社交网络的社交用户中提取的特征向量，构建一垃圾消息过滤规则集；2、从社交网络中。
2、取一定数量的社交用户作为训练样本，然后对各训练样本发布的社交消息进行特征提取，得到各训练样本的特征向量中除平均垃圾关键字得分之外的所有元素；3、根据垃圾消息过滤规则集，计算各训练样本的平均垃圾关键字得分，得到各训练样本完整的特征向量；4、将各训练样本的特征向量，输入支持向量机进行训练，得到垃圾用户过滤模型；5、利用垃圾用户过滤模型对待测用户进行检测，判断待测用户是否为垃圾用户。该方法有利于准确提取、过滤社交网络中的垃圾用户。51INTCL权利要求书1页说明书3页附图1页19中华人民共和国国家知识产权局12发明专利申请权利要求书1页说明书3页附图1页10申请公布号CN104090961ACN10。
3、4090961A1/1页21一种基于机器学习的社交网络垃圾用户过滤方法，其特征在于，包括以下步骤步骤S1针对一社交网络，定义需要从所述社交网络的社交用户中提取的特征向量，构建一垃圾消息过滤规则集；所述垃圾消息过滤规则集中定义有多个垃圾关键字，各垃圾关键字对应有一分值，从而可根据社交消息中出现垃圾关键字的个数、频次，计算社交消息的垃圾关键字得分；步骤S2从所述社交网络中取一定数量的社交用户作为训练样本，所述社交用户包括正常用户和垃圾用户，然后通过信息增益算法对各训练样本发布的社交消息进行特征提取，得到各训练样本的特征向量中除平均垃圾关键字得分之外的所有元素；步骤S3根据垃圾消息过滤规则集，计算各。
4、训练样本发布的所有社交消息的垃圾关键字得分，进而求得各训练样本的平均垃圾关键字得分，得到各训练样本完整的特征向量；步骤S4将步骤S3得到的各训练样本的特征向量，输入支持向量机进行训练，得到垃圾用户过滤模型；步骤S5利用所述垃圾用户过滤模型对待测用户进行检测，判断待测用户是否为垃圾用户。2根据权利要求1所述的一种基于机器学习的社交网络垃圾用户过滤方法，其特征在于，步骤S1中，所述社交用户的特征向量V2为V2关注数，粉丝数，消息数，双向关注数，收藏数，注册天数，关注数/粉丝数，日发消息数，平均被转发次数，平均被评论次数，平均被赞次数，平均URL链接数，平均图片数，平均话题数，平均的用户数，平均垃圾。
5、关键字得分，原创消息比例，垃圾消息比例。3根据权利要求1所述的一种基于机器学习的社交网络垃圾用户过滤方法，其特征在于，步骤S1中，所述垃圾消息过滤规则集的建立方法如下步骤S101从所述社交网络中获取一定数量的垃圾消息；步骤S102对每条垃圾消息进行中文分词，每条垃圾消息得到一个词语列表KEY1,KEY2,KEYI,，KEYI表示所述垃圾消息的第I个分词；步骤S103对每个词语列表采用信息增益算法计算信息增益值，每个词语列表得到一个键值对集合KEY1IGKEY1,KEY2IGKEY2,KEYIIGKEYI,，IGKEYI表示第I个分词的信息增益值；步骤S104将不同的键值对集合进行合并，其中对不。
6、同键值对集合中均有出现的分词的信息增益值进行累加，作为合并后的键值对集合对应于该分词的信息增益值；步骤S105对于合并后的键值对集合，根据信息增益值从大到小对分词进行排序，取出前N个分词作为垃圾消息过滤规则集的垃圾关键字，分词的信息增益值作为垃圾关键字的分值，从而建立所述垃圾消息过滤规则集。权利要求书CN104090961A1/3页3一种基于机器学习的社交网络垃圾用户过滤方法技术领域0001本发明涉及网络垃圾过滤技术领域，特别是一种基于机器学习的社交网络垃圾用户过滤方法。背景技术0002在线社交网络平台如FACEBOOK、TWITTER、新浪微博等都是WEB20最受欢迎的应用程序。数以百万的用。
7、户活跃在社交网络中（好友互动，阅读新闻等），并且用户的规模正在逐年增加。社交网站在用户规模扩大的同时，也吸引了大量的垃圾消息（SPAM）和垃圾用户（SPAMMER），SPAMMER在社交平台上散布广告、色情、暴力、恐怖等活动，给正常用户的社交带来严重的影响。0003有研究表明发布在TWITTER上的20万条URL中有8是钓鱼或者色情链接，而由于社交网络中大量用户的存在，每条URL被点击的概率为013，这个比例远远高于垃圾邮件中URL被点击的概率，因此，在社交网站中，用户更容易受到钓鱼网站的攻击。0004传统的基于内容的垃圾邮件过滤是指通过对邮件内容进行分析来判定邮件是否属于垃圾邮件。由于垃圾邮。
8、件和正常邮件的内容风格迥异，因此可以利用机器学习算法对垃圾邮件和正常邮件的内容进行训练，利用训练好的模型进行预测。但是，在社交网络（例如新浪微博、TWITTER等）中，由于用户发布的消息受到字数（例如140）的限制，垃圾消息和正常消息在内容上并没有太大区别，因此，传统的基于内容的过滤算法不再适用于社交网络SPAM过滤。发明内容0005本发明的目的在于提供一种基于机器学习的社交网络垃圾用户过滤方法，该方法有利于准确提取、过滤社交网络中的垃圾用户。0006本发明采用的技术方案是一种基于机器学习的社交网络垃圾用户过滤方法，包括以下步骤步骤S1针对一社交网络，定义需要从所述社交网络的社交用户中提取的特。
9、征向量，构建一垃圾消息过滤规则集；所述垃圾消息过滤规则集中定义有多个垃圾关键字，各垃圾关键字对应有一分值，从而可根据社交消息中出现垃圾关键字的个数、频次，计算社交消息的垃圾关键字得分；步骤S2从所述社交网络中取一定数量的社交用户作为训练样本，所述社交用户包括正常用户和垃圾用户，然后通过信息增益算法对各训练样本发布的社交消息进行特征提取，得到各训练样本的特征向量中除平均垃圾关键字得分之外的所有元素；步骤S3根据垃圾消息过滤规则集，计算各训练样本发布的所有社交消息的垃圾关键字得分，进而求得各训练样本的平均垃圾关键字得分，得到各训练样本完整的特征向量；步骤S4将步骤S3得到的各训练样本的特征向量，输。
10、入支持向量机进行训练，得到垃圾用户过滤模型；说明书CN104090961A2/3页4步骤S5利用所述垃圾用户过滤模型对待测用户进行检测，判断待测用户是否为垃圾用户。0007进一步的，步骤S1中，所述社交用户的特征向量V2为V2关注数，粉丝数，消息数，双向关注数，收藏数，注册天数，关注数/粉丝数，日发消息数，平均被转发次数，平均被评论次数，平均被赞次数，平均URL链接数，平均图片数，平均话题数，平均的用户数，平均垃圾关键字得分，原创消息比例，垃圾消息比例。0008进一步的，步骤S1中，所述垃圾消息过滤规则集的建立方法如下步骤S101从所述社交网络中获取一定数量的垃圾消息；步骤S102对每条垃圾消。
11、息进行中文分词，每条垃圾消息得到一个词语列表KEY1,KEY2,KEYI,，KEYI表示所述垃圾消息的第I个分词；步骤S103对每个词语列表采用信息增益算法计算信息增益值，每个词语列表得到一个键值对集合KEY1IGKEY1,KEY2IGKEY2,KEYIIGKEYI,，IGKEYI表示第I个分词的信息增益值；步骤S104将不同的键值对集合进行合并，其中对不同键值对集合中均有出现的分词的信息增益值进行累加，作为合并后的键值对集合对应于该分词的信息增益值；步骤S105对于合并后的键值对集合，根据信息增益值从大到小对分词进行排序，取出前N个分词作为垃圾消息过滤规则集的垃圾关键字，分词的信息增益值作为。
12、垃圾关键字的分值，从而建立所述垃圾消息过滤规则集。0009本发明的有益效果是将机器学习算法和社交元素相结合，提出了一种基于机器学习的社交网络垃圾用户过滤方法，该方法适用于社交网络SPAMMER过滤，能够准确提取、过滤社交网络中的垃圾用户，具有很强的实用性和广阔的应用前景。附图说明0010图1是本发明实施例的实现流程图。0011图2是本发明实施例中建立垃圾消息过滤规则集的流程图。0012具体实施方式下面结合附图及具体实施例对本发明作进一步的详细说明。0013本发明将机器学习算法和社交元素相结合，通过社交元素自身特征而不是内容来提取社交网络垃圾消息。在社交网络中，垃圾用户（SPAMMER）通常会关。
13、注大量用户，大量发布消息，希望借此达到宣传的目的，但是由于这些用户很少受到正常用户的关注，因此他们具有较少的粉丝数。通过提取这些社交元素特征，运用于过滤社交网络SPAMMER。0014本发明基于机器学习的社交网络垃圾用户过滤方法，如图1所示，包括以下步骤步骤S1针对一社交网络（如微博、TWITTER等），定义需要从所述社交网络的社交用户中提取的特征向量，构建一垃圾消息过滤规则集；所述垃圾消息过滤规则集中定义有多个垃圾关键字，各垃圾关键字对应有一分值，从而可根据社交消息中出现垃圾关键字的个数、频次，计算社交消息的垃圾关键字得分。0015所述社交用户的特征向量V2为V2关注数，粉丝数，消息数，双向。
14、关注数，收藏数，注册天数，关注数/粉丝数，日发消息数，平均被转发次数，平均被评论次数，平均被赞次数，平均URL链接数，平均图片数，平说明书CN104090961A3/3页5均话题数，平均的用户数，平均垃圾关键字得分，原创消息比例，垃圾消息比例。其中，关注数，粉丝数，消息数，双向关注数，收藏数，注册天数，关注数/粉丝数，日发消息数可以通过社交用户的个人信息得到，其他的特征根据社交用户发布的社交消息来计算，类似于垃圾消息过滤，计算每条消息转发评论以及垃圾关键字得分，然后求平均值。0016图2是本发明实施例中建立垃圾消息过滤规则集的流程图。如图2所示，所述垃圾消息过滤规则集的建立方法如下步骤S101。
15、从所述社交网络中获取一定数量（如10万条）的垃圾消息。0017步骤S102对每条垃圾消息进行中文分词，每条垃圾消息得到一个词语列表KEY1,KEY2,KEYI,，KEYI表示所述垃圾消息的第I个分词。0018步骤S103对每个词语列表采用信息增益算法计算信息增益值，每个词语列表得到一个键值对集合KEY1IGKEY1,KEY2IGKEY2,KEYIIGKEYI,，IGKEYI表示第I个分词的信息增益（IG，INFOGAIN）值。所述信息增益算法为上式中，表示T不出现的概率，表示T出现的情况下文本属于分类的概率，表示T不出现的情况下文本属于分类的概率。因此，IG的值反映了特征在各分类的分布状况。0。
16、019步骤S104将不同的键值对集合进行合并，其中对不同键值对集合中均有出现的分词的信息增益值进行累加，作为合并后的键值对集合对应于该分词的信息增益值。0020步骤S105对于合并后的键值对集合，根据信息增益值从大到小对分词进行排序，取出前N个（如前5000个）分词作为垃圾消息过滤规则集的垃圾关键字，分词的信息增益值作为垃圾关键字的分值，从而建立所述垃圾消息过滤规则集。0021步骤S2从所述社交网络中取一定数量的社交用户作为训练样本，所述社交用户包括正常用户和垃圾用户，然后通过信息增益算法对各训练样本发布的社交消息进行特征提取，得到各训练样本的特征向量中除平均垃圾关键字得分之外的所有元素。00。
17、22步骤S3根据垃圾消息过滤规则集，计算各训练样本发布的所有社交消息的垃圾关键字得分，对所有社交消息的垃圾关键字得分求平均值，进而求得各训练样本的平均垃圾关键字得分，得到各训练样本完整的特征向量。0023步骤S4将步骤S3得到的各训练样本的特征向量，输入支持向量机进行训练，得到垃圾用户过滤模型。0024步骤S5利用所述垃圾用户过滤模型对待测用户进行检测，判断待测用户是否为垃圾用户。0025以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。说明书CN104090961A1/1页6图1图2说明书附图CN104090961A。