一种社交网络数据采集与分析系统.pdf

本发明公开了一种社交网络数据采集与分析系统，其具体实现过程为：数据分析模块对用户设定的帖子内容进行分词、语义分析，并触发CRM系统进行自动或者人工响应，然后以形容词为基准位置，在形容词的前后识别子的主题，这条数据的提取的结果每一个子主题一条记录存储到数据库中。当数据库子主题的数目累计到一定程度，启动文本分类模块和聚类，剔除同义词，推送给产品设计部门进行产品改进。最终完成社交网络数据采集、分析、处理与触发ERP等企业应用系统的业务处理。该一种社交网络数据采集与分析系统与现有技术相比，保证系统数据分析的准确性和有效性，实现了互联网数据分析系统能够被复用，降低了企业进行大数据分析的成本，实用性强。

权利要求书
1.  一种社交网络数据采集与分析系统，其特征在于，其具体实现过程为：
一、首先设置主题词作为社交网络数据采集的关键词，该主题词即为用户输入的产品名称；
二、数据预处理模块将用于输入的文档信息自动根据同义词分解为多个订阅请求，然后调度任务模块向数据采集模块提交采集任务，采集模块得到的文档按照有效时间进行预处理，对于超出时效的文档进行丢弃，保留下来的文档保存到数据库中进行后续的处理；
三、调度任务模块根据达到的触发条件触发语义分析模块进行文档分析任务，文档分析任务针对收集到的文档进行一般性分类，即进行文本分词，单词的语义分析，当已经抽取文本的摘要时，对摘要进行语义分析，判断出文档内容是否消极；
四、知识抽取模块从积累的文本摘要中，分解出来的主语和表语进行聚类，基于聚类的结果运用统计分析方法提取知识，并对提取的知识的有效性进行验证，基于验证的结果将知识以文本的方式进行输出。

2.  根据权利要求1所述的一种社交网络数据采集与分析系统，其特征在于，所述步骤二中分析任务的具体分析判断过程为：首先定义了产品评价相关的形容词字典库和对形容词进行修饰的副词词典，副词的修饰作用和形容词的评价类型已知；然后在文档的产品关键词前后搜索形容词，基于形容词的词义和修饰副词的作用对于这个文档的性质进行保守的初步判断；当保守的判断认为文档的内容是消极时，触发事件，并将文档的ID以事件参数的形式传递给CRM模块；CRM模块触发服务请求，人工进一步判断，并进行相应的处理。

3.  根据权利要求2所述的一种社交网络数据采集与分析系统，其特征在于，所述步骤三种基于摘要的语义分析进一步触发相关的业务事件让CRM模块进行相应的处理流程；文本摘要的内容被存储在数据库中作为后续知识抽取的输入。

4.  根据权利要求3所述的一种社交网络数据采集与分析系统，其特征在于，所述步骤四中提取出来的知识为产品的某个特性的改进或者是产品本身设计的缺陷，对应到PLM产品中的产品缺陷和产品需求；输出的知识以产品缺陷或者产品需求的方式存储到PLM产品中，并触发产品设计部门的新版本设计的参考，产品设计部门基于抽取的知识设计产品的最新版本，经过研发后转换为产品的生产BOM。

5.  根据权利要求1-4中任一所述的一种社交网络数据采集与分析系统，其特征在于，所述社交网络数据采集与分析系统通过松耦合的方式集成连接企业管理应用系统。

6.  根据权利要求5所述的一种社交网络数据采集与分析系统，其特征在于，当社交网络数据采集与分析系统基于文档的分类或者文档语义分析的结果，触发CRM模块的服务请求，服务请求被分配给企业管理应用系统的服务人员时，该文档内容或者摘要的内容以及用户的相关信息显示给服务人员，服务人员根据这些信息判断是否需要跟进与客户进行交互：如果需要，则触发客户交流的过程，期间会与客户管理模块进行交互；如果需要进行进一步的处理，则创建服务订单触发售后维修或者换货的流程；当客户评价积累到一定的数目，则从客户评价中识别产品设计缺陷或者不满足消费者需求的功能，进而触发产品设计部门的新版本设计的参考。

7.  根据权利要求6所述的一种社交网络数据采集与分析系统，其特征在于，社交网络数据采集与分析系统基于提取的文本摘要，经过知识抽取的处理步骤以后，转换为描述产品需求或者缺陷的知识文本，通过调用PLM系统API的方式输出给PLM系统以产品缺陷或者产品特性需求的数据存储，此后PLM系统的产品设计流程依据这些数据对产品进行改进形成产品生产BOM。

说明书一种社交网络数据采集与分析系统
技术领域
本发明涉及大数据处理技术领域，具体地说是一种实用性强、社交网络数据采集与分析系统。
背景技术
在移动互联网和社交网络广泛使用的背景下，企业产品交付给用户后，用户对于产品的评价往往会发布在社交网络和公众互联网上。这些评价信息借助互联网构成一种链式传播效应，影响力前所未有，并且消费者在购买之前参照互联网评价进行选择已经越来越成为一种消费习惯，所以企业必须具备及时响应社交网络和互联网上的产品评价的信息，通过及时响应，澄清用户评价，改善客户关系，从而形成口碑响应，帮助企业扩大销售，降低市场推广成本。另一方面，基于用户评价能够帮助企业改善产品设计，避免产品功能脱离用户需求，提高产品的竞争力和需求满足度。
针对上述需求背景，目前市面上的主流CRM系统和PLM系统用于解决该需求，传统企业应用软件（ERP，CRM，PLM等）在标准软件基础上通过定制实施将企业的业务流程固化在软件中，按照一定的业务规则，收集企业业务运营过程中的各种业务数据，根据一定的优化算法，优化企业的销售、采购、生产、资金、人力资源等业务经营活动帮助企业创造最大的经济效益。
但随着移动互联网的发展，企业面对的数据种类更多了，除了传统的企业业务运营外，互联网上的数据对于企业运营也具备巨大的价值。如互联网上的实时行情数据能够帮助企业更好的制定市场价格和控制采购成本；用户对于产品的评价数据能够帮助企业改善产品设计，提高用户需求满足度；社交网络数据能够帮助人才密集型企业快速定位到专业能力匹配的人才。传统的企业应用软件（如ERP，CRM，PLM）都不具备大数据分析处理能力，无法满足企业融合互联网大数据分析结果进行企业运营优化的需求；另一方面，以ERP为核心的企业应用系统已经成为企业日常运营的信息中枢，企业的业务流程执行和优化以传统的企业应用做支撑。在这个背景下 ，企业既不能抛弃传统的企业管理应用系统，又面临传统企业应用改造成本高的难题，急需通过一种有效的方法将数据分析应用和企业管理应用综合集成的方法。
目前大数据应用被广泛的应用在互联网应用或者行业专有应用上，在企业应用领域局限于个别创新性企业的零星应用，应用产品化程度不高，没有形成系统的大数据应用和传统ERP为代表的企业应用方法论和最佳实践。本发明从应用最广泛的客户服务为突破点，设计了不针对具体行业和企业的通用社交网络产品评价数据采集与分析系统，从而实现利用社交网络数据提升客户服务并改进产品设计的企业信息化系统。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、社交网络数据采集与分析系统。
一种社交网络数据采集与分析系统，其具体实现过程为：
一、首先设置主题词作为社交网络数据采集的关键词，该主题词即为用户输入的产品名称；
二、数据预处理模块将用于输入的文档信息自动根据同义词分解为多个订阅请求，然后调度任务模块向数据采集模块提交采集任务，采集模块得到的文档按照有效时间进行预处理，对于超出时效的文档进行丢弃，保留下来的文档保存到数据库中进行后续的处理；
三、调度任务模块根据达到的触发条件触发语义分析模块进行文档分析任务，文档分析任务针对收集到的文档进行一般性分类，即进行文本分词，单词的语义分析，当已经抽取文本的摘要时，对摘要进行语义分析，判断出文档内容是否消极；
四、知识抽取模块从积累的文本摘要中，分解出来的主语和表语进行聚类，基于聚类的结果运用统计分析方法提取知识，并对提取的知识的有效性进行验证，基于验证的结果将知识以文本的方式进行输出。
所述步骤二中分析任务的具体分析判断过程为：首先定义了产品评价相关的形容词字典库和对形容词进行修饰的副词词典，副词的修饰作用和形容词的评价类型已知；然后在文档的产品关键词前后搜索形容词，基于形容词的词义和修饰副词的作用对于这个文档的性质进行保守的初步判断；当保守的判断认为文档的内容是消极时，触发事件，并将文档的ID以事件参数的形式传递给CRM模块；CRM模块触发服务请求，人工进一步判断，并进行相应的处理。
所述步骤三种基于摘要的语义分析进一步触发相关的业务事件让CRM模块进行相应的处理流程；文本摘要的内容被存储在数据库中作为后续知识抽取的输入。
所述步骤四中提取出来的知识为产品的某个特性的改进或者是产品本身设计的缺陷，对应到PLM产品中的产品缺陷和产品需求；输出的知识以产品缺陷或者产品需求的方式存储到PLM产品中，并触发产品设计部门的新版本设计的参考，产品设计部门基于抽取的知识设计产品的最新版本，经过研发后转换为产品的生产BOM。
所述社交网络数据采集与分析系统通过松耦合的方式集成连接企业管理应用系统。
当社交网络数据采集与分析系统基于文档的分类或者文档语义分析的结果，触发CRM模块的服务请求，服务请求被分配给企业管理应用系统的服务人员时，该文档内容或者摘要的内容以及用户的相关信息显示给服务人员，服务人员根据这些信息判断是否需要跟进与客户进行交互：如果需要，则触发客户交流的过程，期间会与客户管理模块进行交互；如果需要进行进一步的处理，则创建服务订单触发售后维修或者换货的流程；当客户评价积累到一定的数目，则从客户评价中识别产品设计缺陷或者不满足消费者需求的功能，进而触发产品设计部门的新版本设计的参考。
社交网络数据采集与分析系统基于提取的文本摘要，经过知识抽取的处理步骤以后，转换为描述产品需求或者缺陷的知识文本，通过调用PLM系统API的方式输出给PLM系统以产品缺陷或者产品特性需求的数据存储，此后PLM系统的产品设计流程依据这些数据对产品进行改进形成产品生产BOM。
本发明的一种社交网络数据采集与分析系统，具有以下优点：
本发明提出的一种社交网络数据采集与分析系统，针对产品评价的具体场景设计了实用高效的社交网络数据采集与数据挖掘系统，帮助企业及时响应客户的产品评价，提高客户满意度和产品需求满足度；针对传统企业管理信息系统相对封闭，实施成本高，应对变化速度慢的缺点，提出了社交网络数据分析系统与企业管理应用集成交互方法，以事件响应和服务调用的方式使得企业管理应用通过及时响应外部环境的数据，实用性强，易于推广。
附图说明
附图1是本发明的社交网络数据采集与分析系统结构图。
附图2是本发明的社交网络数据采集与分析系统与企业管理应用系统集成图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
本发明公开了一种社交网络数据采集与分析系统，提出基于用户设定关键词如“空气净化器”，系统通过网络爬虫和社交网站的API推送采集包含关键词的论坛帖子和微博等社交网络产品评价数据。对于每一条数据，数据分析模块对于帖子内容进行分词、语义分析。基于产品评价语义分析的结果，此时可以触发CRM系统进行自动或者人工响应（如积极的评价产品，则自动回复；如果是负面的产品抱怨，则触发CRM系统的售后服务请求进行人工处理），然后以形容词为基准位置，在形容词的前后识别子的主题（如静音效果，滤网），这条数据的提取的结果每一个子主题一条记录存储到数据库中。当数据库子主题的数目累计到一定程度，启动文本分类模块和聚类，剔除同义词，基于所有的数据记录抽取为针对子主题的定性定义，此时可以推送给产品设计部门进行产品改进。最终完成社交网络数据采集、分析、处理与触发ERP等企业应用系统的业务处理。
本发明的社交网络数据采集与分析系统如附图1所示。对于发明的内容阐述如下：
用户一般输入本公司或者竞争对手产品名称作为主题词进行社交网络数据采集的关键词，数据预处理模块自动根据同义词分解为多个订阅请求（避免信息遗漏），然后调度任务模块向数据采集模块提交采集任务，采集模块得到的文档按照有效时间进行预处理，对于超出时效的文档进行丢弃，保留下来的文档保存到数据库中进行后续的处理。
调度任务模块根据一定的条件触发文档分析任务，文档分析任务首先针对收集到的文档进行一般性分类。这个步骤的主要目的是识别文档是否对于本公司产品进行了负面的评价。为了提高效率，这一步没有按照传统的文本挖掘的方式进行处理。首先定义了一些产品评价相关的形容词字典库和对形容词进行修饰的副词词典，副词的修饰作用和形容词的评价类型已知。然后在文档的产品关键词前后搜索形容词，然后基于形容词的词义和修饰副词的作用对于这个文档的性质进行保守的初步判断。保守的判断会偏向认为文档的内容是消极的，从而触发事件，并将文档的ID以事件参数的形式传递给CRM模块。CRM模块触发服务请求，人工进一步判断，并进行相应的处理。
一般社交网络的帖子对于一个产品的评价，除了总体评价外，还会包含对于产品的一些特性的评价，以及与竞争对手产品的比较。所以需要对于文档的内容进行进一步的分析。文档的语义分析模块按照文本挖掘的处理方式进行，首先进行文本分词，单词的语义分析，已经抽取文本的摘要，并对摘要进行语义分析。基于摘要的语义分析可以进一步触发相关的业务事件让CRM系统进行相应的处理流程。文本摘要的内容被存储在数据库中作为后续知识抽取的输入。
知识抽取模块将从积累的文本摘要中，分解出来的主语和表语进行聚类，基于聚类的结果运用统计分析方法提取知识，并对提取的知识的有效性进行验证，基于验证的结果将知识以文本的方式进行输出。提取出来的知识一般为产品的某个特性的改进或者是产品本身设计的缺陷，对应到PLM产品中的产品缺陷和产品需求。输出的知识以产品缺陷或者产品需求的方式存储到PLM产品中，并触发产品设计部门的新版本设计的参考，产品设计部门基于抽取的知识设计产品的最新版本，经过原型验证等研发步骤后转换为产品的生产BOM。
本发明在社交网络数据采集与文本挖掘的基础上，设计了社交网络产品评价数据分析应用与企业管理应用集成方法，将文本挖掘的发现的知识转化为企业管理应用的业务流程，实现从知识到行动的转化，实现企业业务流程优化。集成系统的软件组件参考架构和工作原理如附图2所示：
附图2中左侧部分属于社交网络数据挖掘部分，右侧属于企业管理应用系统部分。两个系统以松耦合的方式进行集成，当社交网络数据挖掘模块基于文档的分类或者文档语义分析的结果，触发CRM系统的服务请求，服务请求被分配给Service Desk的一级售后人员后，将能够看到文档内容或者摘要的内容已经用户的相关信息。服务人员根据这些信息判断是否需要跟进与客户进行交互，如果需要，则触发客户交流的过程，期间会与客户管理模块进行交互。如果需要进行进一步的处理，则创建服务订单触发售后维修或者换货的流程。通过这个流程能够及时响应客户对于产品的评价，提高客户满意度，当客户的抱怨等到妥善处理后，客户一般会通过社交网络进行分享，有助于帮助树立企业的口碑，实现链式口碑效应。
客户评价积累到一定的数目，需要从客户评价中识别产品设计缺陷或者不满足消费者需求的功能。社交网络数据挖掘系统基于提取的文本摘要，经过知识抽取的处理步骤以后，转换为描述产品需求或者缺陷的知识文本，通过调用PLM系统API的方式输出给PLM系统以产品缺陷或者产品特性需求的数据存储，此后PLM系统的产品设计流程依据这些数据对产品进行改进形成产品生产BOM，从而实现开放的产品研发体系，帮助产品研发贴合消费者需求，提高产品的市场占有率。
在上述系统中，提出了一种社交网络产品评价大数据分析系统，该系统允许用户设定采集的关键词，基于用户关键词系统采集相关的公众网络数据，通过对社交网络数据进行语义分析与分类，产生能够帮助企业提升客户服务和改进产品设计的知识。基于关键词使得该系统具备一定的通用性，为了保证系统数据分析的准确性和有效性，系统限定了数据分析的范畴是产品评价数据。
提出了一种将社交网络数据挖掘结果与CRM或者PLM系统结合，利用数据挖掘的分析结果，触发CRM系统或者PLM系统业务逻辑，使得封闭的传统企业管理信息系统能及时对外部互联网数据进行响应。该方法可以作为一般大数据分析应用与企业管理信息系统进行交互集成的方法。
本发明提出了基于关键词定制的通用社交网络数据采集与分析系统，使得该系统不局限某一个企业的个性需求，实现了互联网数据分析系统能够被复用，降低了企业进行大数据分析的成本。
本发明基于产品评价数据的特性，提出一种预置一个产品评价相关的形容词词典，词典中的单词对于产品的评价是正面还是负面已经确定。同时预置一组表示肯定或者否定的副词。基于这两个个词典，搜索定制关键词前后的形容词和副词，基于形容词和副词的组合判断社交网络产品评价是正面或者负面的，可以大大提高数据初步分析的效率，保证企业响应客户需求的及时性。同时针对社交网络产品评价的特性，初步的数据分类通过参数设置一定的偏置，使得分类结果偏向负面评价，保证系统不会遗漏负面的评价。系统将真正的负面评价或者误划为负面的正面评价提交给CRM系统的服务人员进行甄别处理。
本发明针对企业改善客户服务和改进产品设计的需求，结合产品评价数据往往包含了产品子功能的评价的特点，提出了一种基于文本摘要的产品功能特性反馈挖掘系统。该系统重点提取文本摘要的名词和表语，并通过对表达主题的名词和对主题进行评价的表语部分进行聚类，形成产品功能评价知识库，将知识经过有效性过滤后输出给产品设计部门进行产品改进。
所述的社交网络数据挖掘结果与CRM或者PLM系统集成方法，系统通过异步事件或者服务调用的方式与传统企业应用系统进行集成，无需对传统进行进行大规模的重新实施定制。通过数据挖掘分析结果触发业务数据创建的方式驱动业务流程，实现企业售后服务人员和产品研发人员及时响应互联网上的用户反馈，提升用户体验，提高产品竞争力，从而最终提高公司的经济效益。该方法可以推广运用到数据挖掘分析系统与其他企业管理应用系统的集成，实现企业管理综合利用公众网络数据和企业经营数据进行企业运营优化。
实施例：
企业应用系统：
针对产品评价系统，社交网络数据分析结果需要和CRM的服务请求以及PLM的产品缺陷和产品需求进行交互。交互的方式可以是服务调用或者事件触发两种方式。
服务调用方式：如果业务数据（服务请求，产品缺陷，产品需求）有第三方开放的需求，则适合通过提供服务接口的方式。在CRM或者PLM系统中提供Web Service接口能够创建这三类数据。然后社交网络数据分析系统在必要的时候直接调用对应的Web服务创建业务数据，然后由业务数据触发后续的处理流程。
事件触发方式：如果业务数据没有向第三方开放的需求，而且社交网络数据分析结果有被其他系统使用的需求，则可以采用事件触发的方式。在这种情况下，数据分析系统开发事件接口，业务系统开发事件处理程序，通过在事件处理程序中创建业务数据。
根据企业实际的业务系统需要，也可能需要混合模式下，这时两种方式都需要支持。
社交网络产品评价数据采集与分析系统：
社交网络产品评价数据采集与分析系统需要由以下几个功能组件构成：
1、数据采集部分：
数据采集部分需要根据采集的数据来源分别进行实施，对于主流的公共社交网络平台，都提供了数据定制API，需要订阅平台提供的数据订阅服务，实现推送过来的数据分析处理组件。对于内部社交网络数据，则需要自行针对内部社交网络的软件进行开发。对于论坛等平台需要利用网络爬虫进行设置自动采集。
2、任务调度部分：
任务调度分为数据采集的任务调度和数据分析的任务调度两个部分。任务调度一般Java和C#语言都提供相应的组件来开发调度任务，并调度任务的执行。数据采集的任务调度接受用户输入的关键词，根据简单的算法进行分解或者合并，然后根据系统配置的采集器的个数，按照搜索关键词数目和采集器数目的组合产品独立的采集器任务。
数据分析任务对于收集到的每一份社交网络数据都要进行定性分析，所以每份数据都要触发一个定性分析任务。深入的知识发现则需要根据帖子数目的阈值，当帖子数目达到用户设定的数目时才触发，否则数目太少分析的结果可能只是少数人的片面意见，不具备代表性。
3、文档分类器：
文档分类器需要创建副词词典和产品评价形容词词典，然后需要进行分本抽取和文本搜索，并记录单词出现的相对位置。然后设计算法根据形容词的类别，副词的类别以及关键词出现的位置设计分类算法对文档的类别进行判断。判断结束后抛出事件或者调用业务系统的业务数据创建Web服务。
4、文档语义分析与知识发现：
这部分可以利用已有的文本挖掘的研究成果和开源软件搭建分本分析和文本摘要的软件。在文本摘要的基础上，对文本摘要进行分词与词性判断。然后通过聚类器识别出同义词，通过文本聚类器的结果将类别特性输出给业务系统。
系统使用方式：
用户设置数据采集关键词和知识发现的数据量阈值，然后启动数据采集的过程。之后企业业务系统用户只要根据业务系统中的数据执行相应的业务流程即可。其中售后支持人员根据服务请求进行人工二次判定和服务处理，产品设计人员根据产品缺陷或者产品需求进行产品改进协同设计任务。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种社交网络数据采集与分析系统的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。