物联网多源异构数据统计分析处理方法和装置.pdf

本发明公开了一种物联网多源异构数据统计分析处理方法和装置，为物联网多源异构数据提供一种较佳的信息整合、数据处理的方式。本发明对物联网海量多源异构数据进行统一化有限集表示与建模，多源异构数据被转化成相同的表示形式，变成了“同构”数据，为后续的统计分析处理提供了前提条件；又采用贝叶斯统计工具对所有的观测数据进行融合分析处理，有助于充分地利用数据信息，挖掘知识进而做出最优决策。本发明的实施将对物联网相关技术的产业化应用具有正面促进作用。

1.  一种物联网多源异构数据统计分析处理方法，其特征在于，包括如下步骤：
S1：在中心服务器端，实时收集物联网传感器终端发送而来的观测数据；
S2：在中心服务器端，利用随机有限集统计模型对所述观测数据进行统一建模与表示，得到有限集表示数据；
S3：在中心服务器端，采用贝叶斯统计分析原理对所述有限集表示数据进行统计分析处理，输出模型参数后验概率密度分布；
S4：在中心服务器端，基于上述统计分析处理结果，进行知识提取及最优决策。

2.  根据权利要求1所述的方法，其特征是，在步骤S2中，将所有的观测数据统一转换、表示为随机有限集的形式；观测中所包含的不精确、不确定和模糊性因素由随机有限集模型统一表示。

3.  根据权利要求1或2所述的方法，其特征是，在步骤S3中，采用贝叶斯方法对由随机有限集表示的观测数据进行统计分析与处理的具体过程为：将对前一终端观测数据进行处理后生成的模型参数概率分布作为处理当前观测数据时的先验分布，定义似然函数描述模型参数与当前观测数据的相互依赖关系，基于贝叶斯公式融合先验分布和似然函数，计算得到后验分布，该后验分布作为处理下一终端观测数据时的先验分布。

4.  根据权利要求3所述的方法，其特征是，数据统计分析处理操作包括统计聚类、分类、预测、估计、试验设计操作。

5.  根据权利要求3所述的方法，其特征是，步骤S4具体为：利用后验分布采样技术，对由S3步骤输出的模型参数后验概率密度分布进行统计采样，然后基于采样样本进行统计推断与最优决策。

6.  一种物联网多源异构数据统计分析处理装置，其特征在于，包括实时物联网终端数据接收与存储模块、数据统一化建模与表示模块、数据统计分析处理模块以及知识提取与最优决策模块，其中：
实时物联网终端数据接收与存储模块由集成电路和存储芯片构成，负责采集、存储物联网终端所发送的实时观测数据；
数据统一化建模与表示模块负责处理终端数据，该模块将多源异构的物联网观测数据统一表示成随机有限集形式；
数据统计分析处理模块负责对有限集形式观测数据进行统计建模、分析与处理；
知识提取与最优决策模块负责输出在数据统计分析处理过程中产生的知识和所做的最优决策。

物联网多源异构数据统计分析处理方法和装置
技术领域
本发明涉及一种数据建模与统计分析处理方法和装置，属于物联网信息融合与数据处理技术领域。
背景技术
物联网是一个基于互联网、传统电信网等信息载体，让所有能被独立寻址的普通物理对象实现互联互通的网络。普通对象设备化、自治终端互联化和普适服务智能化是其三个重要特征。根据信息生成、传输、处理和应用可将物联网分为感知识别层、网络构建层、信息整合层和综合应用层。信息整合层位于感知识别和网络构建层之上，综合应用层之下。人们通常把物联网应用冠以“智能”的名称，如智能电网、智能交通、智能物流、智能家居等，其中的智慧就来自这一层。当感知识别层生成的大量数据经过网络层传输汇聚到信息整合层，如果不能有效地整合与利用，将无异于入宝山而空返，望“数据的海洋”而兴叹。因此信息整合性能的好坏、数据利用程度的高低将直接影响物联网整体“智慧”的程度。
物联网数据具有海量性、多源、多态、异构、复杂时空特性的特点，这为实施有效的信息整合带来了严峻的挑战。目前我国已启动的一批科研项目，如国家重点基础研究发展计划(973计划)项目《物联网体系结构基础研究》(起止时间：2010年9月至2015年9月)和《物联网的基础理论与实践研究》(起止时间：2011年1月至2013年8月)，将多源信息融合、异质网元信息交互等相关课题列为关键性科学问题进行研究。尽管如此，相较于数据感知与应用， 针对信息整合层的信息融合和数据挖掘尚没有得到国内业界应有的重视，并且有被忽视的趋势。
发明内容
为了解决上述问题，针对物联网数据海量、多源、多态、异构的特点，本发明提供了一种物联网多源异构数据统计分析处理方法和装置，具体采用的技术方案如下：
本发明的物联网多源异构数据统计分析处理方法主要包括如下步骤：
S1：在中心服务器端，实时收集物联网传感器终端发送而来的观测数据；
S2：在中心服务器端，利用随机有限集统计模型对上述观测数据进行统一建模与表示；
S3：在中心服务器端，采用贝叶斯统计分析原理对上述有限集表示数据进行统计分析处理，输出模型参数后验概率密度分布；
S4：在中心服务器端，基于上述统计分析处理结果，进行知识提取及最优决策。
进一步，在步骤S1中，中心服务器采用标准的无线传感网数据通信与传输协议来实时收集由物联网传感器终端发送而来的多源异构观测数据。
进一步，在步骤S2中，采用随机有限集统计模型对收集到的所有传感器观测数据进行统一化的建模与表示，也就是将所有的观测数据统一转换、表示为随机有限集的形式。观测中所包含的不精确、不确定和模糊性因素由随机有限集模型统一表示。
进一步，在步骤S3中，采用贝叶斯方法对由随机有限集表示的观测数据进行统计分析与处理的具体过程为：对各个传感终端发送来的观测数据依次进行处理，将对前一终端观测数据进行处理后生成的模型参数概率分布作为处理当前观测数据时的先验分布，定义似然函数描述模型参数与当前观测数据的相互依赖关系，基于贝叶斯公式融合先验分布和似然函数，计算得到后验分布，该后验分布作为处理下一终端观测数据时的先验分布。该方法的输出为模型参数的后验概率密度分布。
进一步，在步骤S3中，数据统计分析处理操作包括各种统计聚类、分类、预测、估计、试验设计操作。
进一步，在步骤S4中，利用后验分布采样技术，包括马尔科夫链蒙特卡洛方法和序列蒙特卡洛采样算法，对由S3步骤输出的模型参数后验概率密度分布进行统计采样，然后基于采样样本进行统计推断与最优决策。
本发明的物联网多源异构数据统计分析处理装置
实时物联网终端数据接收与存储模块：由集成电路和存储芯片构成，用于采集、存储物联网终端所发送的实时观测数据；
数据统一化建模与表示模块：负责处理终端数据，该模块将多源异构的物联网观测数据统一表示成随机有限集形式；
数据统计分析处理模块：负责对有限集形式观测数据进行统计建模、分析与处理。
知识提取与最优决策模块：用于输出在数据统计分析处理过程中产生的知 识，和所做的最优决策。知识与决策的生成过程也通过贝叶斯原则得出。
本发明对物联网海量多源异构数据进行统一化有限集表示与建模，多源异构数据被转化成相同的表示形式，变成了“同构”数据，为后续的统计分析处理提供了前提条件；又采用贝叶斯统计工具对所有的观测数据进行融合分析处理，有助于充分地利用数据信息，挖掘知识进而做出最优决策。本发明为物联网多源异构数据的表示、分析、处理提供了统一的模型算法框架，将对物联网相关技术的产业化应用具有正面促进作用。
附图说明
图1是本发明方法的流程图。
图2是本发明系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
实施例一
如图1所示，本发明方法包括以下步骤：
S1：在中心服务器端，实时收集物联网传感终端发送而来的观测数据；
在步骤S1中，物联网传感终端包括各种类型的传感器、有数据采集传输功能的移动通信设备(如手机)、摄像头等。这些设备采用特定的数据通信传输标准与中心服务器进行互联通信，将观测数据传送给中心服务器。中心服务器是指具有一定数据存储、计算功能的电子设备，如个人电脑、工作站或大型服务器等。
S2：在中心服务器端，利用随机有限集统计模型对上述观测数据进行统一建模与表示；
在步骤S2中，采用随机有限集模型对收集到的各种观测数据进行统一建模与表示。观测中所隐含的各种不确定、不精确和模糊性都涵盖于有限集表示模型之下。
S3：在中心服务器端，采用贝叶斯统计分析原理对上述有限集表示数据进行统计分析处理；
S4：在中心服务器端，基于上述统计分析处理结果，进行知识提取或最优决策。
在本发明方法的步骤S2中对物联网海量多源异构数据进行统一化有限集表示与建模，也就是说，多源异构数据被转化成相同的表示形式，变成了“同构”数据，为后续的统计分析处理提供了前提条件。在步骤S3和S4中，采用贝叶斯统计工具对所有的观测数据进行融合分析处理，有助于充分地利用数据信息，挖掘知识进而做出最优决策。
本发明主要针对现有数据统计分析方法在处理物联网多源异构数据方面存在的不足，提供了一种有效的异构数据统计建模及分析处理方法装置，该发明将对物联网相关技术的产业化应用具有正面促进作用。
实施例二
如图2所示，本发明装置由实时物联网终端数据接收与存储模块、数据统计化建模与表示模块、数据统计分析处理模块和知识提取与最优决策模块构成。
实时物联网终端数据接收与存储模块是用于采集、存储物联网终端所发送的实时观测数据的终端设备，由集成电路和存储芯片构成；
数据统一化建模与表示模块是运行特定算法的终端数据处理装置，该装置将多源异构的物联网观测数据统一表示成随机有限集形式；
数据统计分析处理模块是运行特定算法的终端数据处理装置。用于对有限集形式的观测数据进行统计建模、分析与处理，进而实现统计聚类、分类、预测、估计、试验设计的目的。
知识提取与最优决策模块用于输出在数据统计分析处理过程中产生的知识，和所做的最优决策。
本发明不限于上述实施例，一切采用等同替换或等效替换形成的技术方案均属于本发明要求保护的范围。