网络内容过滤方法及装置.pdf

本公开揭示了一种网络内容过滤方法及装置，属于数据处理技术领域。所述网络内容过滤方法包括：接收网络数据包；提取该网络数据包中各个数据块的关键信息，该关键信息至少包括数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；筛选出关键信息与数据库中关键信息匹配的数据块；删除该网络数据包中被筛选出的数据块。通过获取网络数据包，筛选出该网络数据包中关键信息与数据库中的关键信息重复的数据块，并将筛选出的数据块从该网络数据包中删除；解决了不同应用程序请求下载的网络数据包中的数据块可能对应相同的网络内容，从而导致展示的网络内容重复的问题；达到了提高网络内容展示的简洁性的效果。

权利要求书1.  一种网络内容过滤方法，其特征在于，所述方法包括：接收网络数据包；提取所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；筛选出关键信息与数据库中关键信息匹配的数据块；删除所述网络数据包中被筛选出的所述数据块。2.  根据权利要求1所述的方法，其特征在于，所述筛选出关键信息与数据库中关键信息匹配的数据块，包括：对于所述网络数据包中的每个数据块，检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息；若所述数据库中存在与所述数据块的关键信息匹配的关键信息，则将所述数据块筛选为与所述数据库中关键信息匹配的数据块；若所述数据库中不存在与所述数据块的关键信息匹配的关键信息，则将所述数据块的关键信息添加至所述数据库中。3.  根据权利要求2所述的方法，其特征在于，所述检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息，包括：当所述数据块的关键信息仅包括文本摘要时，检测所述数据库中是否存在符合第一匹配条件的关键信息，所述第一匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于预定文本相似度阈值；当所述数据块的关键信息仅包括文本摘要和图片特征值时，检测所述数据库中是否存在符合第二匹配条件的关键信息，所述第二匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于预定图片相似度阈值；当所述数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测所述数据库中是否存在符合第三匹配条件的关键信息，所述第三匹 配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值，且所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。4.  根据权利要求3所述的方法，其特征在于，所述检测所述数据库中是否存在符合第三匹配条件的关键信息，包括：检测所述数据库中是否存在符合第一条件的关键信息，所述第一条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值；若所述数据库中存在符合所述第一条件的关键信息，则检测符合所述第一条件的关键信息中是否存在符合第二条件的关键信息，所述第二条件为所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值；若符合所述第一条件的关键信息中存在符合所述第二条件的关键信息，则检测符合所述第二条件的关键信息中是否存在符合第三条件的关键信息，所述第三条件为所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于所述预定视频展示图片相似度阈值。5.  根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：每隔预定时间间隔清空所述数据库中的关键信息；或，接收清空指令，清空所述数据库中的关键信息；或，接收备份指令，将所述数据库中的关键信息进行备份，并在成功备份后清空所述数据库中的关键信息。6.  一种网络内容过滤装置，其特征在于，所述装置包括：接收模块，被配置为接收网络数据包；提取模块，被配置为提取所述接收模块接收的所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和 视频展示图片特征值中的至少一种；筛选模块，被配置为筛选出关键信息与数据库中关键信息匹配的数据块；删除模块，被配置为删除所述网络数据包中被所述筛选模块筛选出的所述数据块。7.  根据权利要求6所述的装置，其特征在于，所述筛选模块，包括：第一检测子模块，被配置为对于所述网络数据包中的每个数据块，检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息；筛选子模块，被配置为当所述第一检测子模块检测到所述数据库中存在与所述数据块的关键信息匹配的关键信息时，将所述数据块筛选为与所述数据库中关键信息匹配的数据块；添加子模块，被配置为当所述第一检测子模块检测到所述数据库中不存在与所述数据块的关键信息匹配的关键信息时，将所述数据块的关键信息添加至所述数据库中。8.  根据权利要求7所述的装置，其特征在于，所述第一检测子模块，包括：第二检测子模块，被配置为当所述数据块的关键信息仅包括文本摘要时，检测所述数据库中是否存在符合第一匹配条件的关键信息，所述第一匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于预定文本相似度阈值；第三检测子模块，被配置为当所述数据块的关键信息仅包括文本摘要和图片特征值时，检测所述数据库中是否存在符合第二匹配条件的关键信息，所述第二匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于预定图片相似度阈值；第四检测子模块，被配置为当所述数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测所述数据库中是否存在符合第三匹配条件的关键信息，所述第三匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相 似度阈值，且所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。9.  根据权利要求8所述的装置，其特征在于，所述第四检测子模块，包括：第五检测子模块，被配置为检测所述数据库中是否存在符合第一条件的关键信息，所述第一条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值；第六检测子模块，被配置为在所述第五检测子模块检测到所述数据库中存在符合所述第一条件的关键信息后，检测符合所述第一条件的关键信息中是否存在符合第二条件的关键信息，所述第二条件为所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值；第七检测子模块，被配置为在所述第六检测子模块检测到符合所述第一条件的关键信息中存在符合所述第二条件的关键信息后，检测符合所述第二条件的关键信息中是否存在符合第三条件的关键信息，所述第三条件为所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于所述预定视频展示图片相似度阈值。10.  根据权利要求6至9任一所述的装置，其特征在于，所述装置还包括：第一清空模块，被配置为每隔预定时间间隔清空所述数据库中的关键信息；或，第二清空模块，被配置为接收清空指令，清空所述数据库中的关键信息；或，第三清空模块，被配置为接收备份指令，将所述数据库中的关键信息进行备份，并在成功备份后清空所述数据库中的关键信息。11.  一种网络内容过滤装置，其特征在于，所述装置包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：接收网络数据包；提取所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；筛选出关键信息与数据库中关键信息匹配的数据块；删除所述网络数据包中被筛选出的所述数据块。

说明书网络内容过滤方法及装置
技术领域
本公开涉及数据处理技术领域，特别涉及一种网络内容过滤方法及装置。
背景技术
随着网络的发展，电子设备上安装的应用程序越来越多，不同的应用程序都会通过连接自己的服务器来请求数据。
当前，电子设备在将应用程序请求下载的网络数据包从指定的服务器中下载到本地后，直接将该网络数据包传送给该应用程序，该应用程序则将该网络数据包中的各个数据块所对应的网络内容进行展示。
发明内容
本公开提供一种网络内容过滤方法及装置。所述技术方案如下：
根据本公开实施例的第一方面，提供一种网络内容过滤方法，所述方法包括：
接收网络数据包；
提取所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；
筛选出关键信息与数据库中关键信息匹配的数据块；
删除所述网络数据包中被筛选出的所述数据块。
可选的，所述筛选出关键信息与数据库中关键信息匹配的数据块，包括：
对于所述网络数据包中的每个数据块，检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息；
若所述数据库中存在与所述数据块的关键信息匹配的关键信息，则将所述数据块筛选为与所述数据库中关键信息匹配的数据块；
若所述数据库中不存在与所述数据块的关键信息匹配的关键信息，则将所述数据块的关键信息添加至所述数据库中。
可选的，所述检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息，包括：
当所述数据块的关键信息仅包括文本摘要时，检测所述数据库中是否存在符合第一匹配条件的关键信息，所述第一匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于预定文本相似度阈值；
当所述数据块的关键信息仅包括文本摘要和图片特征值时，检测所述数据库中是否存在符合第二匹配条件的关键信息，所述第二匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于预定图片相似度阈值；
当所述数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测所述数据库中是否存在符合第三匹配条件的关键信息，所述第三匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值，且所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。
可选的，所述检测所述数据库中是否存在符合第三匹配条件的关键信息，包括：
检测所述数据库中是否存在符合第一条件的关键信息，所述第一条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值；
若所述数据库中存在符合所述第一条件的关键信息，则检测符合所述第一条件的关键信息中是否存在符合第二条件的关键信息，所述第二条件为所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值；
若符合所述第一条件的关键信息中存在符合所述第二条件的关键信息，则检测符合所述第二条件的关键信息中是否存在符合第三条件的关键信息，所述第三条件为所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于所述预定视频展示图片相似度阈值。
可选的，所述方法还包括：
每隔预定时间间隔清空所述数据库中的关键信息；或，
接收清空指令，清空所述数据库中的关键信息；或，
接收备份指令，将所述数据库中的关键信息进行备份，并在成功备份后清空所述数据库中的关键信息。
根据本公开实施例的第二方面，提供一种网络内容过滤装置，所述装置包括：
接收模块，被配置为接收网络数据包；
提取模块，被配置为提取所述接收模块接收的所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；
筛选模块，被配置为筛选出关键信息与数据库中关键信息匹配的数据块；
删除模块，被配置为删除所述网络数据包中被所述筛选模块筛选出的所述数据块。
可选的，所述筛选模块，包括：
第一检测子模块，被配置为对于所述网络数据包中的每个数据块，检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息；
筛选子模块，被配置为当所述第一检测子模块检测到所述数据库中存在与所述数据块的关键信息匹配的关键信息时，将所述数据块筛选为与所述数据库中关键信息匹配的数据块；
添加子模块，被配置为当所述第一检测子模块检测到所述数据库中不存在与所述数据块的关键信息匹配的关键信息时，将所述数据块的关键信息添加至所述数据库中。
可选的，所述第一检测子模块，包括：
第二检测子模块，被配置为当所述数据块的关键信息仅包括文本摘要时，检测所述数据库中是否存在符合第一匹配条件的关键信息，所述第一匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于预定文本相似度阈值；
第三检测子模块，被配置为当所述数据块的关键信息仅包括文本摘要和图片特征值时，检测所述数据库中是否存在符合第二匹配条件的关键信息，所述 第二匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于预定图片相似度阈值；
第四检测子模块，被配置为当所述数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测所述数据库中是否存在符合第三匹配条件的关键信息，所述第三匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值，且所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。
可选的，所述第四检测子模块，包括：
第五检测子模块，被配置为检测所述数据库中是否存在符合第一条件的关键信息，所述第一条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值；
第六检测子模块，被配置为在所述第五检测子模块检测到所述数据库中存在符合所述第一条件的关键信息后，检测符合所述第一条件的关键信息中是否存在符合第二条件的关键信息，所述第二条件为所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值；
第七检测子模块，被配置为在所述第六检测子模块检测到符合所述第一条件的关键信息中存在符合所述第二条件的关键信息后，检测符合所述第二条件的关键信息中是否存在符合第三条件的关键信息，所述第三条件为所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于所述预定视频展示图片相似度阈值。
可选的，所述装置还包括：
第一清空模块，被配置为每隔预定时间间隔清空所述数据库中的关键信息；或，
第二清空模块，被配置为接收清空指令，清空所述数据库中的关键信息；或，
第三清空模块，被配置为接收备份指令，将所述数据库中的关键信息进行备份，并在成功备份后清空所述数据库中的关键信息。
根据本公开实施例的第三方面，提供一种网络内容过滤装置，所述装置包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为：
接收网络数据包；
提取所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；
筛选出关键信息与数据库中关键信息匹配的数据块；
删除所述网络数据包中被筛选出的所述数据块。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过获取网络数据包，筛选出该网络数据包中关键信息与数据库中的关键信息重复的数据块，并将筛选出的数据块从该网络数据包中删除；由于能够在展示各个数据块所对应的网络内容之前将重复的网络内容删除，因此解决了不同应用程序请求下载的网络数据包中的数据块可能对应相同的网络内容，从而导致展示的网络内容重复的问题；达到了消除重复网络内容对用户造成的困扰，提高网络内容展示的简洁性的效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种网络内容过滤方法的流程图；
图2A是根据另一示例性实施例示出的一种网络内容过滤方法的流程图；
图2B是根据一示例性实施例示出的一种检测数据库中是否存在与数据块的关键信息匹配的关键信息的流程图；
图3是根据一示例性实施例示出的一种网络内容过滤装置的框图；
图4是根据另一示例性实施例示出的一种网络内容过滤装置的框图；
图5是根据一示例性实施例示出的一种用于过滤网络内容的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种网络内容过滤方法的流程图，如图1所示，该网络内容过滤方法可应用于电子设备中，该电子设备可以是智能手机、平板电脑、智能电视、电子书阅读器、多媒体播放器、膝上型便携计算机和台式计算机等等。该网络内容过滤方法包括以下步骤。
在步骤101中，接收网络数据包。
在步骤102中，提取网络数据包中各个数据块的关键信息，该关键信息至少包括数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种。
在步骤103中，筛选出关键信息与数据库中关键信息匹配的数据块。
在步骤104中，删除网络数据包中被筛选出的数据块。
综上所述，本公开实施例中提供的网络内容过滤方法，通过获取网络数据包，筛选出该网络数据包中关键信息与数据库中的关键信息重复的数据块，并将筛选出的数据块从该网络数据包中删除；由于能够在展示各个数据块所对应的网络内容之前将重复的网络内容删除，因此解决了不同应用程序请求下载的网络数据包中的数据块可能对应相同的网络内容，从而导致展示的网络内容重复的问题；达到了消除重复网络内容对用户造成的困扰，提高网络内容展示的简洁性的效果。
图2A是根据另一示例性实施例示出的一种网络内容过滤方法的流程图，如图2A所示，该网络内容过滤方法可应用于电子设备中，该电子设备可以是智能手机、平板电脑、智能电视、电子书阅读器、多媒体播放器、膝上型便携计算机和台式计算机等等。该网络内容过滤方法包括以下步骤。
在步骤201中，接收网络数据包。
这里的网络数据包是指由服务器一次性下发给电子设备的所有网络数据所形成的数据包。该网络数据包可以是由安装在电子设备中的应用程序向服务器请求获取的网络数据包，也可以是服务器主动向电子设备推送的网络数据包。
举例来讲，电子设备中新闻类的应用程序会每隔预定时间间隔向服务器发送获取新闻消息的请求。服务器在接收到该请求后，就会向电子设备发送与该请求对应的网络数据包。
在步骤202中，提取网络数据包中各个数据块的关键信息，该关键信息至少包括数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种。
由于每个服务器中的编码规则不同，因此，电子设备在接收到网络数据包后，需要根据下发该网络数据包的服务器中的编码规则来提取该网络数据包中位于固定字段之间的各个数据块，并提取各个数据块中的关键信息。这里的固定字段用于区分网络数据包中的各个数据块，比如，每个数据块开头都用<block header>标识，每个数据块结尾都用<block tail>标识等。可选的，电子设备中可以预先存储各个服务器所对应的固定字段。可选的，服务器还可以在网络数据包携带用于指示固定字段的标记，电子设备可以根据该标记从网络数据包中获取该固定字段。
这里的数据块是指网络数据包中的能够表示一段完整数据信息的数据块，比如，当该网络数据包是由新闻类的应用程序请求获取的时，该网络数据包中的一个数据块即对应一条新闻消息；当该网络数据包是由微博类的应用程序请求获取的时，该网络数据包中的一个数据块即对应一条微博消息。
可选的，电子设备可以利用自然语言处理技术中的自动文摘算法来提取各个数据块的文本摘要，可以利用图像识别技术中的特征值提取技术来提取各个数据块的图片、视频展示图片的特征值。
可选的，当某个数据块中仅包括文字信息时，电子设备可以仅提取该数据块的文本摘要；当某个数据块中包括文本信息和图片时，电子设备可以提取该数据块的文本摘要和图片特征值；当某个数据块中包括文本信息和视频时，电子设备可以提取该数据块的文本摘要和视频展示图片特征值；当某个数据块中包括文本信息、图片和视频时，电子设备可以提取该数据块的文本摘要、图片特征值以及视频展示图片特征值。
这里的视频展示图片是指在展示该视频时显示的静态图片，且该视频展示 图片通常取自该视频中的某一帧图片。
在步骤203中，对于网络数据包中的每个数据块，检测数据库中是否存在与该数据块的关键信息匹配的关键信息。
这里的数据库用于存储已经接收到的各个网络数据包中的数据块的关键信息，可选的，该数据库中存储的各个关键信息之间互不相同。
在电子设备提取网络数据包中的每个数据块的关键信息后，针对每个数据块，电子设备都将该数据块的关键信息与数据库中存储的各个关键信息进行匹配，以此来检测数据库中是否存在与该数据块的关键信息匹配的关键信息。
电子设备在检测数据库中是否存在与该数据块的关键信息匹配的关键信息时，可以针对该数据块的关键信息中所包括的内容不同，而采用不同的检测方式。详细请参见下述步骤203A至步骤203C，另请参见图2B，其是根据一示例性实施例示出的一种检测数据库中是否存在与数据块的关键信息匹配的关键信息的流程图。
在步骤203A中，当数据块的关键信息仅包括文本摘要时，检测数据库中是否存在符合第一匹配条件的关键信息，该第一匹配条件为该关键信息的文本摘要与数据块的文本摘要之间的文本相似度大于预定文本相似度阈值。
当数据块的关键信息仅包括文本摘要时，电子设备依次计算该数据块的文本摘要与数据库中存储的各个关键信息的文本摘要之间的文本相似度，当计算得到的某个文本相似度大于预定文本相似度阈值时，则判定数据库中存在符合第一匹配条件的关键信息，也即判定数据库中存在与数据块的关键信息匹配的关键信息。
而当电子设备计算得到的各个文本相似度都小于预定文本相似度阈值时，则判定数据库中不存在符合第一匹配条件的关键信息，也即判定数据库中不存在与数据块的关键信息匹配的关键信息。
在步骤203B中，当数据块的关键信息仅包括文本摘要和图片特征值时，检测数据库中是否存在符合第二匹配条件的关键信息，该第二匹配条件为该关键信息的文本摘要与数据块的文本摘要之间的文本相似度大于预定文本相似度阈值，且该关键信息的图片特征值与数据块的图片特征值之间的图片相似度大于预定图片相似度阈值。
为了提高检测效率，当数据块的关键信息仅包括文本摘要和图片特征值时， 电子设备可以先依次计算该数据块的文本摘要与数据库中存储的各个关键信息的文本摘要之间的文本相似度，当电子设备计算得到的各个文本相似度都小于预定文本相似度阈值时，则判定数据库中不存在符合第二匹配条件的关键信息，也即判定数据库中不存在与数据块的关键信息匹配的关键信息；当计算得到的文本相似度大于预定文本相似度阈值时，也即该文本相似度所对应的数据库中的关键信息符合第一条件，对于数据库中每个符合第一条件的关键信息，电子设备计算该关键信息的图片特征值与该数据块的图片特征值之间的图片相似度。
当该图片相似度大于预定图片相似度阈值时，也即该图片相似度所对应的数据库中的关键信息符合第二条件，判定数据库中存在符合第二匹配条件的关键信息，也即判定数据库中存在与数据块的关键信息匹配的关键信息；当该图片相似度小于预定图片相似度阈值时，则说明该文本相似度所对应的数据库中的关键信息与数据块的关键信息不匹配，且当数据库中所有符合第一条件的关键信息与数据块的关键信息均不匹配时，则判定数据库中不存在符合第二匹配条件的关键信息，也即判定数据库中不存在与数据块的关键信息匹配的关键信息。
由于电子设备在计算文本相似度时的计算量非常小，而在计算图片相似度时的计算量相对较大。因此，电子设备可以先依次计算该数据块的文本摘要与数据库中存储的各个关键信息的文本摘要之间的文本相似度，当电子设备计算得到的各个文本相似度都小于预定文本相似度阈值时，则可以直接判定数据库中不存在与该数据块的关键信息匹配的关键信息，不需要再计算该数据块的图片特征值与关键信息的图片特征值之间的图片相似度，从而减少了检测时间，提高了检测效率。
需要说明的是，在实际应用中，电子设备也可以先计算图片相似度再计算文本相似度，本实施例对此不作限定。
在步骤203C中，当数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测数据库中是否存在符合第三匹配条件的关键信息，该第三匹配条件为该关键信息的文本摘要与数据块的文本摘要之间的文本相似度大于预定文本相似度阈值，且该关键信息的图片特征值与数据块的图片特征值之间的图片相似度大于预定图片相似度阈值，且该关键信息的视频展示图片特征 值与数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。
为了提高检测效率，当数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，电子设备可以先依次计算该数据块的文本摘要与数据库中存储的各个关键信息的文本摘要之间的文本相似度，当电子设备计算得到的各个文本相似度都小于预定文本相似度阈值时，则判定数据库中不存在符合第三匹配条件的关键信息，也即判定数据库中不存在与数据块的关键信息匹配的关键信息；当计算得到的文本相似度大于预定文本相似度阈值时，也即该文本相似度所对应的数据库中的关键信息符合第一条件，对于数据库中每个符合第一条件的关键信息，电子设备计算该关键信息的图片特征值与该数据块的图片特征值之间的图片相似度。
当该图片相似度小于预定图片相似度阈值时，则说明该文本相似度所对应的数据库中的关键信息与数据块的关键信息不匹配，且当数据库中所有符合第一条件的关键信息与数据块的关键信息均不匹配时，则判定数据库中不存在符合第三匹配条件的关键信息，也即判定数据库中不存在与数据块的关键信息匹配的关键信息；当计算得到的图片相似度大于预定图片相似度阈值时，也即该图片相似度所对应的数据库中的关键信息符合第二条件，对于数据库中每个符合第二条件的关键信息，电子设备计算该关键信息的视频展示图片特征值与该数据块的视频展示图片特征值之间的视频展示图片相似度。
当该视频展示图片相似度大于预定视频展示图片相似度阈值时，也即该视频展示图片相似度所对应的数据库中的关键信息符合第三条件，判定数据库中存在符合第三匹配条件的关键信息，也即判定数据库中存在与数据块的关键信息匹配的关键信息；当该视频展示图片相似度小于预定视频展示图片相似度阈值时，则说明该图片相似度所对应的数据库中的关键信息与数据块的关键信息不匹配，且当数据库中所有符合第二条件的关键信息与数据块的关键信息均不匹配时，则判定数据库中不存在符合第三匹配条件的关键信息，也即判定数据库中不存在与数据块的关键信息匹配的关键信息。
由于电子设备在计算文本相似度时的计算量非常小，而在计算图片相似度和视频展示图片相似度时的计算量相对较大。因此，电子设备可以先依次计算该数据块的文本摘要与数据库中存储的各个关键信息的文本摘要之间的文本相 似度，当电子设备计算得到的各个文本相似度都小于预定文本相似度阈值时，电子设备则可以直接判定数据库中不存在与该数据块的关键信息匹配的关键信息，不需要再计算该数据块的图片特征值与关键信息的图片特征值之间的图片相似度。同样的，当电子设备计算得到的各个图片相似度小于预定图片相似度阈值时，则可以直接判定数据库中不存在与该数据块的关键信息匹配的关键信息，不需要再计算该数据块的视频展示图片特征值与关键信息的视频展示图片特征值之间的视频展示图片相似度。
需要说明的是，在实际应用中，电子设备也可以先计算视频展示图片相似度，再计算图片相似度，最后计算文本相似度；或者电子设备也可以先计算图片相似度，再计算视频展示图片相似度，最后计算文本相似度；或者电子设备也可以先计算文本相似度，再计算视频展示图片相似度，最后计算图片相似度等。本实施例对计算各个相似度的先后顺序不作限定。
在步骤204中，若数据库中存在与该数据块的关键信息匹配的关键信息，则将该数据块筛选为与该数据库中关键信息匹配的数据块。
当电子设备经过检测后发现数据库中存在与该数据块的关键信息匹配的关键信息，电子设备将该数据块筛选为与该数据库中关键信息匹配的数据块。
可选的，电子设备可以对筛选出的数据块进行标记，以便在电子设备筛选出所有与该数据库中关键信息匹配的数据块后，对所有筛选出的数据块进行统一删除。
可选的，网络数据包中的各个数据块通常会被配置一个标识，电子设备可以将筛选出的数据块的标识添加至一个对应于该网络数据包的列表中(比如该列表利用该网络数据包的URL(Uniform Resource Locator，统一资源定位符)进行标识)，以便电子设备在筛选出该网络数据包中所有与该数据库中关键信息匹配的数据块后，删除该网络数据包中标识位于该列表中的各个数据块。
在步骤205中，若数据库中不存在与该数据块的关键信息匹配的关键信息，则将该数据块的关键信息添加至该数据库中。
当电子设备经过检测后发现数据库中不存在与该数据块的关键信息匹配的关键信息时，说明该数据块所对应的关键信息是唯一的，为了避免后续展示与该数据块重复的数据块所对应的网络内容，电子设备可以将该数据块的关键信息添加至该数据库中。
可选的，数据库中可以包含一张关键信息表，一个数据块可以被保存为该关键信息表中的一条记录。一条记录可以包含多个字段，每个字段分别对应数据块中的一个关键信息。每条记录中包含的字段可以是该记录在关键信息表中的ID(Identity，身份标识号码)、该记录所对应数据块的URL、请求该数据块的应用程序名称、下载该数据块的时间、该数据块的文本摘要、该数据块的图片特征值以及该数据块的视频展示图片特征值等。电子设备在将数据块的关键信息添加至数据库中时，则可以按照上述格式在数据库的关键信息表中添加记录。
需要说明的是，当数据块的关键信息中没有图片特征值和视频展示图片特征值时，该数据块所对应的记录中则可以没有图片特征值以及视频展示图片特征值。当数据块的关键信息中具有多个图片特征值和多个视频展示图片特征值时，该数据块所对应的记录中则可以有多个图片特征值以及多个视频展示图片特征值。
在步骤206中，删除网络数据包中被筛选出的数据块。
为了防止电子设备展示重复的网络内容，电子设备需要将被筛选出的数据块从网络数据包中删除。
可选的，电子设备可以在筛选出一个数据块后就删除该数据块；电子设备也可以标记筛选出的数据块，在筛选出所有与该数据库中关键信息匹配的数据块后，删除所有被标记的数据块。
在步骤207中，在删除网络数据包中被筛选出的数据块后，加载显示网络数据包的内容。
电子设备在将被筛选出的数据块从网络数据包中删除后，还需要对该网络数据包中剩下的数据块所对应的网络内容进行加载显示。
可选的，电子设备也可以在将被筛选出的数据块从网络数据包中删除后，将该网络数据包传递给应用程序进行加载显示。比如，该网络数据包是由新闻类的应用程序a请求获取的，且该网络数据包中包括新闻消息A、新闻消息B和新闻消息C。当电子设备在检测后仅发现新闻消息B是重复的新闻消息时，电子设备将该新闻消息B从网络数据包中删除，并将新闻消息A和新闻消息C的关键信息添加至数据库中，将该网络数据包传递给该新闻类的应用程序a。该新闻类的应用程序a在加载该网络数据包后，仅显示新闻消息A和新闻消息C。 当新闻类的应用程序b在应用程序a之后请求获取的网络数据包中存在新闻消息D，且该新闻消息D的关键信息与数据库中新闻消息A的关键信息匹配成功时，电子设备则将新闻消息D从应用程序b请求获取的网络数据包中删除。
为了提高筛选出关键信息与数据库中关键信息匹配的数据块的筛选效率，且由于网络内容通常具有一定的时效性，电子设备也可对数据库中的关键信息进行清空处理。请参见下述步骤208至步骤210。
在步骤208中，每隔预定时间间隔清空数据库中的关键信息。
由于网络内容具有较强的时效性，比如，在一天内各个应用程序推送的消息可能会重复，但应用程序推送的消息要与前一天推送的消息重复的可能性将会很小。因此，为了提高筛选出关键信息与数据库中关键信息匹配的数据块的筛选效率，电子设备可以每隔预定时间间隔清空数据库中的关键信息，这里的预定时间间隔可以是一天或两天等。
在步骤209中，接收清空指令，清空数据库中的关键信息。
电子设备可以在接收到清空指令后清空数据库中的关键信息，以此来提高筛选出关键信息与数据库中关键信息匹配的数据块的筛选效率。
在步骤210中，接收备份指令，将数据库中的关键信息进行备份，并在成功备份后清空该数据库中的关键信息。
为了提高电子设备在筛选时的准确性，电子设备在清空该数据库中的关键信息之前，可以在接收到备份指令后将保存至数据库中的关键信息进行备份。在下一次进行筛选时，电子设备可以同时调用数据库中的关键信息和备份的关键信息，以此来提高电子设备在筛选时的准确性。
综上所述，本公开实施例中提供的网络内容过滤方法，通过获取网络数据包，筛选出该网络数据包中关键信息与数据库中的关键信息重复的数据块，并将筛选出的数据块从该网络数据包中删除；由于能够在展示各个数据块所对应的网络内容之前将重复的网络内容删除，因此解决了不同应用程序请求下载的网络数据包中的数据块可能对应相同的网络内容，从而导致展示的网络内容重复的问题；达到了消除重复网络内容对用户造成的困扰，提高网络内容展示的简洁性的效果。
另外，本公开实施例通过对于网络数据包中的每个数据块，检测数据库中是否存在与该数据块的关键信息匹配的关键信息，当数据库中不存在与数据块 的关键信息匹配的关键信息时，将数据块的关键信息添加至数据库中；由于数据库中的关键信息都是电子设备接收到的网络数据包中数据块的关键信息，因此解决了由于数据库中关键信息针对性较差而导致重复显示或漏显示网络内容的问题；达到了提高网络内容显示的准确性的效果。
另外，本公开实施例通过每隔预定时间间隔清空数据库中的关键信息，或在接收到清空指令后清空数据库中的关键信息；解决了由于数据库中关键信息较多而导致筛选所需时间较长，筛选效率较低的问题；到达了提高网络内容的筛选效率的效果。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是根据一示例性实施例示出的一种网络内容过滤装置的框图，如图3所示，该网络内容过滤装置可应用于电子设备中，该电子设备可以是智能手机、平板电脑、智能电视、电子书阅读器、多媒体播放器、膝上型便携计算机和台式计算机等等。该网络内容过滤装置可以包括但不限于：接收模块301、提取模块302、筛选模块303和删除模块304。
该接收模块301，被配置为接收网络数据包。
该提取模块302，被配置为提取接收模块301接收的网络数据包中各个数据块的关键信息，该关键信息至少包括数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种。
该筛选模块303，被配置为筛选出关键信息与数据库中关键信息匹配的数据块。
该删除模块304，被配置为删除网络数据包中被筛选模块303筛选出的数据块。
综上所述，本公开实施例中提供的网络内容过滤装置，通过获取网络数据包，筛选出该网络数据包中关键信息与数据库中的关键信息重复的数据块，并将筛选出的数据块从该网络数据包中删除；由于能够在展示各个数据块所对应的网络内容之前将重复的网络内容删除，因此解决了不同应用程序请求下载的网络数据包中的数据块可能对应相同的网络内容，从而导致展示的网络内容重复的问题；达到了消除重复网络内容对用户造成的困扰，提高网络内容展示的 简洁性的效果。
图4是根据另一示例性实施例示出的一种网络内容过滤装置的框图，如图4所示，该网络内容过滤装置可应用于电子设备中，该电子设备可以是智能手机、平板电脑、智能电视、电子书阅读器、多媒体播放器、膝上型便携计算机和台式计算机等等。该网络内容过滤装置可以包括但不限于：接收模块401、提取模块402、筛选模块403和删除模块404。
该接收模块401，被配置为接收网络数据包。
该提取模块402，被配置为提取接收模块401接收的网络数据包中各个数据块的关键信息，该关键信息至少包括数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种。
该筛选模块403，被配置为筛选出关键信息与数据库中关键信息匹配的数据块。
该删除模块404，被配置为删除网络数据包中被筛选模块403筛选出的数据块。
在一种可能的实施例中，该筛选模块403可以包括：第一检测子模块403a、筛选子模块403b和添加子模块403c。
该第一检测子模块403a，被配置为对于网络数据包中的每个数据块，检测数据库中是否存在与该数据块的关键信息匹配的关键信息。
该筛选子模块403b，被配置为当第一检测子模块403a检测到数据库中存在与数据块的关键信息匹配的关键信息时，将该数据块筛选为与该数据库中关键信息匹配的数据块。
该添加子模块403c，被配置为当第一检测子模块403a检测到数据库中不存在与数据块的关键信息匹配的关键信息时，将该数据块的关键信息添加至该数据库中。
在一种可能的实施例中，该第一检测子模块403a可以包括：第二检测子模块403a1、第三检测子模块403a2或第四检测子模块403a3。
该第二检测子模块403a1，被配置为当数据块的关键信息仅包括文本摘要时，检测数据库中是否存在符合第一匹配条件的关键信息，该第一匹配条件为关键信息的文本摘要与该数据块的文本摘要之间的文本相似度大于预定文本相 似度阈值。
该第三检测子模块403a2，被配置为当数据块的关键信息仅包括文本摘要和图片特征值时，检测数据库中是否存在符合第二匹配条件的关键信息，该第二匹配条件为关键信息的文本摘要与该数据块的文本摘要之间的文本相似度大于预定文本相似度阈值，且该关键信息的图片特征值与该数据块的图片特征值之间的图片相似度大于预定图片相似度阈值。
该第四检测子模块403a3，被配置为当数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测数据库中是否存在符合第三匹配条件的关键信息，该第三匹配条件为关键信息的文本摘要与该数据块的文本摘要之间的文本相似度大于预定文本相似度阈值，且该关键信息的图片特征值与该数据块的图片特征值之间的图片相似度大于预定图片相似度阈值，且该关键信息的视频展示图片特征值与该数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。
在一种可能的实施例中，该第四检测子模块403a3可以包括：第五检测子模块403a3A、第六检测子模块403a3B和第七检测子模块403a3C。
第五检测子模块403a3A，被配置为检测数据库中是否存在符合第一条件的关键信息，该第一条件为关键信息的文本摘要与数据块的文本摘要之间的文本相似度大于预定文本相似度阈值；
第六检测子模块403a3B，被配置为在第五检测子模块403a3A检测到数据库中存在符合第一条件的关键信息后，检测符合第一条件的关键信息中是否存在符合第二条件的关键信息，该第二条件为关键信息的图片特征值与数据块的图片特征值之间的图片相似度大于预定图片相似度阈值；
第七检测子模块403a3C，被配置为在第六检测子模块403a3B检测到符合第一条件的关键信息中存在符合第二条件的关键信息后，检测符合第二条件的关键信息中是否存在符合第三条件的关键信息，该第三条件为关键信息的视频展示图片特征值与数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。
在一种可能的实施例中，该网络内容过滤装置还可以包括：第一清空模块405、第二清空模块406或第三清空模块407。
该第一清空模块405，被配置为每隔预定时间间隔清空数据库中的关键信 息；或，
该第二清空模块406，被配置为接收清空指令，清空数据库中的关键信息；或，
该第三清空模块407，被配置为接收备份指令，将数据库中的关键信息进行备份，并在成功备份后清空数据库中的关键信息。
综上所述，本公开实施例中提供的网络内容过滤装置，通过获取网络数据包，筛选出该网络数据包中关键信息与数据库中的关键信息重复的数据块，并将筛选出的数据块从该网络数据包中删除；由于能够在展示各个数据块所对应的网络内容之前将重复的网络内容删除，因此解决了不同应用程序请求下载的网络数据包中的数据块可能对应相同的网络内容，从而导致展示的网络内容重复的问题；达到了消除重复网络内容对用户造成的困扰，提高网络内容展示的简洁性的效果。
另外，本公开实施例通过对于网络数据包中的每个数据块，检测数据库中是否存在与该数据块的关键信息匹配的关键信息，当数据库中不存在与数据块的关键信息匹配的关键信息时，将数据块的关键信息添加至数据库中；由于数据库中的关键信息都是电子设备接收到的网络数据包中数据块的关键信息，因此解决了由于数据库中关键信息针对性较差而导致重复显示或漏显示网络内容的问题；达到了提高网络内容显示的准确性的效果。
另外，本公开实施例通过每隔预定时间间隔清空数据库中的关键信息，或在接收到清空指令后清空数据库中的关键信息；解决了由于数据库中关键信息较多而导致筛选所需时间较长，筛选效率较低的问题；到达了提高网络内容的筛选效率的效果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种用于过滤网络内容的装置的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，个人数字助理等。
参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器 504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)接口512，传感器组件514，以及通信组件516。
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器518来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进 一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述网络内容过滤方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器518执行以完成上述网络内容过滤方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。