一种流数据存储方法及装置技术领域
本发明涉及流数据存储技术领域，特别涉及一种流数据存储方法及装置。
背景技术
伴随着工业4.0的浪潮，制造业的信息化水平越来越高，在工业自动化生产过程中
会相应的产生海量的实时数据，这些数据即是流数据。流数据的持续产生，海量，实时的特
性，使得这类数据的存储以及查询异常困难。采用本地化的关系型数据进行处理，会大大延
迟数据查询的速度以及存储的数据量。针对此问题，国内外开始了大量的研究。比较传统的
做法是在本地采用实时数据库或者实时数据库与关系型数据库集成的做法解决此问题。但
是在工业互联网时代显然本地的数据无法发挥其数据的真正价值。另外一种做法是以单独
的流数据处理系统对数据文件进行管理从而达到流数据实时处理的效果。
这种方法大部分用在消费级互联网领域，而且需要强大的服务器体系做支撑，在
工业领域，数据的产生会量远远超过消费级的数据量，而且数据一般只有在某一段时间内
算是实时数据，超过这一时间段即是历史数据，而且目前尚未出现巨大的服务器体系。因此
采用一种将实时数据与历史数据进行区分存储处理，可以在满足用户查询历史数据的基础
上，大大减小流数据处理系统的压力。
发明内容
本发明实施例的目的在于提供一种流数据存储方法及装置，以解决流数据的实时
查询问题，以及本地存储量有限的问题，而且将流数据中实时数据与历史数据进行区分，可
以有效的对数据进行存储以及处理，既可以减小服务器体系的成本，又可以达到实时数据
快速查询的效果。
为达到上述目的，本发明实施例公开了一种流数据存储方法及装置，技术方案如
下：
一种流数据存储方法，其特征在于，应用于服务器，包括物联网层，云端，网关、数据采
集器，所述物联网层与云端物理连接，所述方法包括：
所述物联网固定时间间隔的采集用户提交的数据查询请求；
分析所述查询请求，包括所述查询请求的时间属性及特征属性；
根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并根据划分的分
段中待查询数据的存储量选定待写入的缓存区的大小；
根据所述时间属性、所述特征属性、所述待查询数据的存储量、分段的端点和待写入的
缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；
数据采集器接收网络流数据，并将网络流数据转发给文件服务器，所述服务器上的接
收进程接收转发来的网络流数据；
所述服务器读取配置文件，按照配置文件存储接收到的网络流数据。
优选的，所述云端包括：
流数据处理系统、控制器和关系型数据库，所述云端中的流数据处理系统存储接收到
的流数据，并存储为历史数据；所述控制器查询流数据处理系统中的历史数据将其存储到
关系型数据库，并且从流数据库中将这些数据删除。
优选的，所述时间属性的时间跨度及每个特征属性的出现频率，根据每个特征属
性的出现频率，选择超出预设出现频率的阈值的特征属性进行确定。
优选的，所述流数据处理系统采用HDFS分布式文件存储系统与Impala平台相结合
的数据处理系统。
优选的，所述方法还包括：
采用窗口显示类显示实时流数据；
接收客户端的应用层通过服务端发送数据查询请求；
所述控制器根据不同的查询的请求从数据库中查询不同的数据；
所述控制器将查询到的数据发送给数据查询类；
数据查询类将数据传送至数据类；
数据类根据用户的动作显示实时数据或者历史数据。
优选的，所述方法还包括：
所述服务器上的数据接收进程将网络流数据转发给数据存储进程，数据存储进程按照
配置文件将网络流数据分配到对应的一级缓存区中进行存储；
每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；
将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采
用追加写的方式将压缩后的数据文件写入到相应的存储文件中。
一种流数据存储装置，应用于服务器，包括物联网层，云端，网关、数据采集器，所
述物联网层与云端物理连接，所述装置包括：
采集单元，用于所述物联网固定时间间隔的采集用户提交的数据查询请求；
分析单元，用于分析所述查询请求，包括所述查询请求的时间属性及特征属性；
选定单元，用于根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并
根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；
生成单元，用于根据所述时间属性、所述特征属性、所述待查询数据的存储量、分段的
端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；
第一转发单元，用于数据采集器接收网络流数据，并将网络流数据转发给文件服务器，
所述服务器上的接收进程接收转发来的网络流数据；
存储单元，用于所述服务器读取配置文件，按照配置文件存储接收到的网络流数据。
优选的，所述装置还包括：
第二转发单元，用于所述服务器上的数据接收进程将网络流数据转发给数据存储进
程，数据存储进程按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；
排序单元，用于将每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；
写入单元，用于将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预
定的大小时，采用追加写的方式将压缩后的数据文件写入到相应的存储文件中。
优选的，所述云端包括：
流数据处理系统、控制器和关系型数据库，所述云端中的流数据处理系统存储接收到
的流数据，并存储为历史数据；所述控制器查询流数据处理系统中的历史数据将其存储到
关系型数据库，并且从流数据库中将这些数据删除。
优选的，所述装置还包括：
第一显示单元，用于采用窗口显示类显示实时流数据；
第一发送单元，用于接收客户端的应用层通过服务端发送数据查询请求；
查询单元，用于所述控制器根据不同的查询的请求从数据库中查询不同的数据；
第二发送单元，用于所述控制器将查询到的数据发送给数据查询类；
传送单元，用于数据查询类将数据传送至数据类；
第二显示单元，用于数据类根据用户的动作显示实时数据或者历史数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
图1为一种流数据存储方法的流程图。
图2为另一种流数据存储方法的流程图。
图3为一种流数据存储装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
图1为一种流数据存储方法的流程图，应用于服务器，包括物联网层，云端，网关、
数据采集器，物联网层与云端物理连接，所述方法包括如下步骤：
A、物联网固定时间间隔的采集用户提交的数据查询请求；
B、分析查询请求，包括查询请求的时间属性及特征属性；
C、根据时间属性和特征属性，选定分段的数量和分段的端点，并根据划分的分段中待
查询数据的存储量选定待写入的缓存区的大小；
D、根据时间属性、特征属性、待查询数据的存储量、分段的端点和待写入的缓存区的大
小生成配置文件，并将配置文件存储于文件服务器上；
E、数据采集器接收网络流数据，并将网络流数据转发给文件服务器，服务器上的接收
进程接收转发来的网络流数据；
F、服务器读取配置文件，按照配置文件存储接收到的网络流数据。
进一步的，云端包括：流数据处理系统、控制器和关系型数据库，云端中的流数据
处理系统存储接收到的流数据，并存储为历史数据；控制器查询流数据处理系统中的历史
数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。
进一步的，时间属性的时间跨度及每个特征属性的出现频率，根据每个特征属性
的出现频率，选择超出预设出现频率的阈值的特征属性进行确定。
进一步的，流数据处理系统采用HDFS分布式文件存储系统与Impala平台相结合的
数据处理系统。
图2为另一种流数据存储方法的流程图，在图1的基础上，方法还包括如下步骤：
G、采用窗口显示类显示实时流数据；
H、接收客户端的应用层通过服务端发送数据查询请求；
I、控制器根据不同的查询的请求从数据库中查询不同的数据；
J、控制器将查询到的数据发送给数据查询类；
K、数据查询类将数据传送至数据类；
L、数据类根据用户的动作显示实时数据或者历史数据。
进一步的，方法还包括：
服务器上的数据接收进程将网络流数据转发给数据存储进程，数据存储进程按照配置
文件将网络流数据分配到对应的一级缓存区中进行存储；
每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；
将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采
用追加写的方式将压缩后的数据文件写入到相应的存储文件中。
图3为一种流数据存储装置的结构图，所述装置包括：
采集单元a，用于物联网固定时间间隔的采集用户提交的数据查询请求；
分析单元b，用于分析查询请求，包括查询请求的时间属性及特征属性；
选定单元c，用于根据时间属性和特征属性，选定分段的数量和分段的端点，并根据划
分的分段中待查询数据的存储量选定待写入的缓存区的大小；
生成单元d，用于根据时间属性、特征属性、待查询数据的存储量、分段的端点和待写入
的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；
第一转发单元e，用于数据采集器接收网络流数据，并将网络流数据转发给文件服务
器，服务器上的接收进程接收转发来的网络流数据；
存储单元f，用于服务器读取配置文件，按照配置文件存储接收到的网络流数据。
进一步的，装置还包括：
第二转发单元，用于服务器上的数据接收进程将网络流数据转发给数据存储进程，数
据存储进程按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；
排序单元，用于将每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；
写入单元，用于将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预
定的大小时，采用追加写的方式将压缩后的数据文件写入到相应的存储文件中。
进一步的，云端包括：
流数据处理系统、控制器和关系型数据库，云端中的流数据处理系统存储接收到的流
数据，并存储为历史数据；控制器查询流数据处理系统中的历史数据将其存储到关系型数
据库，并且从流数据库中将这些数据删除。
进一步的，所述装置还包括：
第一显示单元，用于采用窗口显示类显示实时流数据；
第一发送单元，用于接收客户端的应用层通过服务端发送数据查询请求；
查询单元，用于控制器根据不同的查询的请求从数据库中查询不同的数据；
第二发送单元，用于控制器将查询到的数据发送给数据查询类；
传送单元，用于数据查询类将数据传送至数据类；
第二显示单元，用于数据类根据用户的动作显示实时数据或者历史数据。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实
体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存
在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备
所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在
包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部
分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实
施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例
的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可
以通过程序来指令相关的硬件来完成，所述程序可以存储于计算机可读取存储介质中，这
里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在
本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围
内。