一种数据监控方法、设备和系统.pdf

上传人:小** 文档编号:6012802 上传时间:2019-04-03 格式:PDF 页数:20 大小:1.33MB
返回 下载 相关 举报
摘要
申请专利号:

CN201610781103.5

申请日:

2016.08.31

公开号:

CN106371984A

公开日:

2017.02.01

当前法律状态:

实审

有效性:

审中

法律详情:

授权|||实质审查的生效IPC(主分类):G06F 11/32申请日:20160831|||公开

IPC分类号:

G06F11/32

主分类号:

G06F11/32

申请人:

广州品唯软件有限公司

发明人:

余洋; 杨培培; 罗书花

地址:

510145 广东省广州市荔湾区芳村大道中314号自编之一

优先权:

专利代理机构:

北京万慧达知识产权代理有限公司 11111

代理人:

梁顺珍;王虎

PDF下载: PDF下载
内容摘要

本发明实施例提供了一种数据监控方法、设备和系统,属于计算机领域,包括:接收针对不同数据源的数据监控请求,并从数据监控请求解析出监控规则关键字和待监控数据标识;从规则库中获取监控规则关键字对应的监控规则;从不同数据源中获取待监控数据标识对应的多个数据集合;根据监控规则对多个数据集合进行监控;当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。由此能够实现统一对不同数据源数据进行监控,并降低了数据监控的难度,提高了监控执行效率。

权利要求书

1.一种数据监控方法,其特征在于,所述方法包括:
接收针对不同数据源的数据监控请求,并从所述数据监控请求解析出监控规则关键字
和待监控数据标识;
从规则库中获取所述监控规则关键字对应的监控规则;
从所述不同数据源中获取所述待监控数据标识对应的多个数据集合;
根据所述监控规则对所述多个数据集合进行监控;
当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终端。
2.根据权利要求1所述的方法,其特征在于,所述监控规则关键字包括监控规则名称、
监控规则描述、监控规则公式中的至少一个,所述从规则库中获取所述监控规则关键字对
应的监控规则包括:
分析所述监控规则关键字与预先建立的规则库中各监控规则的匹配度;
根据所述匹配度,从所述规则库中获取所述监控规则关键字对应的监控规则。
3.根据权利要求2所述的方法,其特征在于,所述从所述不同数据源中获取所述待监控
数据标识对应的多个数据集合包括:
根据所述监控规则和所述待监控数据标识,确定所述待监控数据标识对应的多个数据
源;
从所述多个数据源中获取所述待监控数据标识对应的多个数据集合。
4.根据权利要求3所述的方法,其特征在于,所述从所述多个数据源中获取所述待监控
数据标识对应的多个数据集合包括:
判断所述多个数据源是否是应用程序编程接口数据表或数据文件,若判定是,则对所
述多个数据源进行数据抽取;
对抽取后的数据进行数据转换;
生成所述待监控数据标识对应的所述多个数据集合。
5.根据权利要求4所述的方法,其特征在于,所述根据所述监控规则对所述多个数据集
合进行监控包括:
获取与所述监控规则对应的规则脚本;
将所述多个数据集合写入所述规则脚本中,并执行所述规则脚本。
6.一种电子设备,其特征在于,所述设备包括:
接收模块,用于接收针对不同数据源的数据监控请求;
解析模块,用于并从所述数据监控请求解析出监控规则关键字和待监控数据标识;
第一获取模块,用于从规则库中获取所述监控规则关键字对应的监控规则;
第二获取模块,用于从所述不同数据源中获取所述待监控数据标识对应的多个数据集
合;
监控模块,用于根据所述监控规则对所述多个数据集合进行监控;
发送模块,用于当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据
至用户终端。
7.根据权利要求6所述的设备,其特征在于,所述监控规则关键字包括监控规则名称、
监控规则描述、监控规则公式中的至少一个,所述第一获取模块具体用于:
根据所述监控关键字与所述监控规则的匹配度,从预先建立的规则库中获取所述监控
规则关键字对应的监控规则。
8.根据权利要求7所述的设备,其特征在于,所述第二获取模块包括:
确定子模块,用于根据所述监控规则和所述待监控数据标识,确定所述待监控数据标
识对应的多个数据源;
获取子模块,用于从所述多个数据源中获取所述待监控数据标识对应的多个数据集
合。
9.根据权利要求8所述的设备,其特征在于,所述获取子模块包括:
判定单元,用于判断所述多个数据源是否是应用程序编程接口数据表或数据文件,若
判定是,则对所述多个数据源进行数据抽取;
数据转换单元,用于对抽取后的数据进行数据转换;
数据集合生成单元,用于生成所述待监控数据标识对应的所述多个数据集合。
10.根据权利要求9所述的设备,其特征在于,所述监控模块包括:
规则脚本获取子模块,用于获取与所述监控规则对应的规则脚本;
规则脚本执行子模块,用于将所述多个数据集合写入所述规则脚本中,并执行所述规
则脚本。
11.一种数据监控系统,其特征在于,所述系统包括:
接收设备,用于接收针对不同数据源的数据监控请求;
解析设备,用于从所述数据监控请求解析出监控规则关键字和待监控数据标识;
第一获取设备,用于从规则库中获取所述监控规则关键字对应的监控规则;
第二获取设备,用于从所述不同数据源中获取所述待监控数据标识对应的多个数据集
合;
监控设备,用于根据所述监控规则对所述多个数据集合进行监控;
发送设备,用于当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据
至用户终端。

说明书

一种数据监控方法、设备和系统

技术领域

本发明涉及计算机领域,特别涉及一种数据监控方法、设备和系统。

背景技术

随着电子商务技术的应用和不断成熟,在电商运营过程中,以计算机技术为基础
的业务系统需要处理的数据量不断增加,为了实时掌控各个业务系统的运行状况,需要对
业务系统中的数据进行实时监控,从而为正常运营活动提供保障。

目前,通常使用规则引擎的方式实现对业务系统进行监控,规则引擎是嵌入在应
用程序中的组件,能够实现将业务决策从一个业务系统的应用程序代码中分离出来,并使
用预定义的语义模块编写业务决策。然而由于各业务系统都是独立开发的,采用数据库的
可能不同,数据的存储结构可能也不同,需要分别采用各业务系统适用的规则引擎才能进
行数据监控,因此,现有技术存在不能实现统一对不同数据源数据进行监控,且数据监控难
度较大、监控执行效率较低的问题。

发明内容

为了能够实现统一对不同数据源数据进行监控,降低数据监控难度,并提高监控
执行效率,本发明实施例提供了一种数据监控方法、设备和系统。所述技术方案如下:

第一方面,提供了一种数据监控方法,所述方法包括:

接收针对不同数据源的数据监控请求,并从所述数据监控请求解析出监控规则关
键字和待监控数据标识;

从规则库中获取所述监控规则关键字对应的监控规则;

从所述不同数据源中获取所述待监控数据标识对应的多个数据集合;

根据所述监控规则对所述多个数据集合进行监控;

当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终
端。

结合第一方面,在第一种可能的实现方式中,所述监控规则关键字至少包括监控
规则名称、监控规则描述、监控规则公式中的一种,所述从规则库中获取所述监控规则关键
字对应的监控规则包括:

根据所述监控关键字与所述监控规则的匹配度,从预先建立的规则库中获取所述
监控规则关键字对应的监控规则。

结合第一方面的第一种可能的实现方式中,在第二种可能的实现方式中,所述从
所述不同数据源中获取所述待监控数据标识对应的多个数据集合包括:

根据所述监控规则和所述待监控数据标识,确定所述待监控数据标识对应的多个
数据源;

从所述多个数据源中获取所述待监控数据标识对应的多个数据集合。

结合第一方面的第二种可能的实现方式中,在第三种可能的实现方式中,所述从
所述多个数据源中获取所述待监控数据标识对应的多个数据集合包括:

判断所述多个数据源是否是应用程序编程接口数据表或数据文件,若判定是,则
对所述多个数据源进行数据抽取;

对抽取后的数据进行数据转换;

生成所述待监控数据标识对应的所述多个数据集合。

结合第一方面的第三种可能的实现方式中,在第四种可能的实现方式中,所述根
据所述监控规则对所述多个数据集合进行监控包括:

获取与所述监控规则对应的规则脚本;

将所述多个数据集合写入所述规则脚本中,并执行所述规则脚本。

第二方面,提供了一种电子设备,所述设备包括:

接收模块,用于接收针对不同数据源的数据监控请求;

解析模块,用于从所述数据监控请求解析出监控规则关键字和待监控数据标识;

第一获取模块,用于从规则库中获取所述监控规则关键字对应的监控规则;

第二获取模块,用于从所述不同数据源中获取所述待监控数据标识对应的多个数
据集合;

监控模块,用于根据所述监控规则对所述多个数据集合进行监控;

发送模块,用于当监控结果指示所述多个数据集合为异常数据时,发送所述异常
数据至用户终端。

结合第二方面,在第一种可能的实现方式中,所述监控规则关键字包括监控规则
名称、监控规则描述、监控规则公式中的至少一个,所述第一获取模块具体用于:

根据所述监控关键字与所述监控规则的匹配度,从预先建立的规则库中获取所述
监控规则关键字对应的监控规则。

结合第二方面的第一种可能的实现方式中,在第二种可能的实现方式中,所述第
二获取模块包括:

所述第二获取模块包括:

确定子模块,用于根据所述监控规则和所述待监控数据标识,确定所述待监控数
据标识对应的多个数据源;

获取子模块,用于从所述多个数据源中获取所述待监控数据标识对应的多个数据
集合。

结合第二方面的第二种可能的实现方式中,在第三种可能的实现方式中,所述获
取子模块包括:

判定单元,用于判断所述多个数据源是否是应用程序编程接口数据表或数据文
件,若判定是,则对所述多个数据源进行数据抽取;

数据转换单元,用于对抽取后的数据进行数据转换;

数据集合生成单元,用于生成所述待监控数据标识对应的所述多个数据集合。

结合第二方面的的第三种可能的实现方式中,在第四种可能的实现方式中,所述
监控模块包括:

规则脚本获取子模块,用于获取与所述监控规则对应的规则脚本;

规则脚本执行子模块,用于将所述多个数据集合写入所述规则脚本中,并执行所
述规则脚本。

第三方面,提供了一种电子设备,其特征在于,所述电子设备包括存储器以及与所
述存储器连接的处理器,其中,所述存储器用于存储一组程序代码,所述处理器调用所述存
储器所存储的程序代码用于执行以下操作:

接收针对不同数据源的数据监控请求,并从所述数据监控请求解析出监控规则关
键字和待监控数据标识;

从规则库中获取所述监控规则关键字对应的监控规则;

从所述不同数据源中获取所述待监控数据标识对应的多个数据集合;

根据所述监控规则对所述多个数据集合进行监控;

当监控结果指示所述多个数据集合为异常数据时,发送所述异常数据至用户终
端。

结合第三方面,在第一种可能的实现方式中,所述监控规则关键字包括监控规则
名称、监控规则描述、监控规则公式中的至少一个,所述处理器调用所述存储器所存储的程
序代码用于执行以下操作:

根据所述监控关键字与所述监控规则的匹配度,从预先建立的规则库中获取所述
监控规则关键字对应的监控规则。

结合第三方面的第一种可能的实现方式中,在第二种可能的实现方式中,所述处
理器调用所述存储器所存储的程序代码用于执行以下操作:

根据所述监控规则和所述待监控数据标识,确定所述待监控数据标识对应的多个
数据源;

从所述多个数据源中获取所述待监控数据标识对应的多个数据集合。

结合第三方面的第二种可能的实现方式中,在第三种可能的实现方式中,所述处
理器调用所述存储器所存储的程序代码用于执行以下操作:

判断所述不同数据源是否是应用程序编程接口数据表或数据文件,若判定是,则
对所述不同数据源进行数据抽取;

对抽取后的数据进行数据转换;

生成所述待监控数据标识对应的所述多个数据集合。

结合第三方面的第三种可能的实现方式中,在第四种可能的实现方式中,所述处
理器调用所述存储器所存储的程序代码用于执行以下操作:

获取与所述监控规则对应的规则脚本;

将所述多个数据集合写入所述规则脚本中,并执行所述规则脚本。

第四方面,提供了一种数据监控系统,所述系统包括:

接收设备,用于接收针对不同数据源的数据监控请求;

解析设备,用于从所述数据监控请求解析出监控规则关键字和待监控数据标识;

第一获取设备,用于从规则库中获取所述监控规则关键字对应的监控规则;

第二获取设备,用于从所述不同数据源中获取所述待监控数据标识对应的多个数
据集合;

监控设备,用于根据所述监控规则对所述多个数据集合进行监控;

发送设备,用于当监控结果指示所述多个数据集合为异常数据时,发送所述异常
数据至用户终端。

结合第四方面,在第一种可能的实现方式中,所述监控规则关键字包括监控规则
名称、监控规则描述、监控规则公式中的至少一个,所述第一获取设备具体用于:

根据所述监控关键字与所述监控规则的匹配度,从预先建立的规则库中获取所述
监控规则关键字对应的监控规则。

结合第四方面的第一种可能的实现方式中,在第二种可能的实现方式中,所述第
二获取设备包括:

确定子设备,用于根据所述监控规则和所述待监控数据标识,确定所述待监控数
据标识对应的多个数据源;

获取子设备,用于从所述多个数据源中获取所述待监控数据标识对应的多个数据
集合。

结合第四方面的第二种可能的实现方式中,在第三种可能的实现方式中,所述获
取子设备包括:

判定模块,用于判断所述不同数据源是否是应用程序编程接口数据表或数据文
件,若判定是,则对所述不同数据源进行数据抽取;

数据转换模块,用于对抽取后的数据进行数据转换;

数据集合生成模块,用于生成所述待监控数据标识对应的所述多个数据集合。

结合第四方面的的第三种可能的实现方式中,在第四种可能的实现方式中,所述
监控设备包括:

规则脚本获取子设备,用于获取与所述监控规则对应的规则脚本;

规则脚本执行子设备,用于将所述多个数据集合写入所述规则脚本中,并执行所
述规则脚本。

本发明实施例提供了一种数据监控方法、设备和系统,包括:接收针对不同数据源
的数据监控请求,数据监控请求至少包括监控规则关键字和待监控数据标识;从规则库中
获取监控规则关键字对应的监控规则;从不同数据源中获取待监控数据标识对应的多个数
据集合;根据监控规则对多个数据集合进行监控;当监控结果指示多个数据集合为异常数
据时,发送异常数据至用户终端。由此通过解析数据监控请求,为非专业人员提供了简单、
灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的数据监控请求对不同
的业务系统进行数据监控的目的;通过从规则库中获取监控规则关键字对应的监控规则,
无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地获取监控规则,提高
了监控的执行效率;通过从不同数据源中获取待监控数据标识对应的多个数据集合,多个
数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼容性;通过监控规则
对多个数据集合进行监控,实现了规则引擎不拘泥于单个业务系统,不仅能够对同一业务
系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横向监控,由此提高了
规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行监控,降低了数据监
控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到了提醒数据监控操作
人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质量问题,以避免造成
更大损失。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使
用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于
本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他
的附图。

图1是本发明实施例提供的一种数据监控方法流程图;

图2是本发明实施例提供的一种数据监控方法流程图;

图3是本发明实施例提供的一种电子设备结构示意图;

图4是本发明实施例提供的一种电子设备结构示意图;

图5是本发明实施例提供的一种数据监控系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附
图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本
发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在
没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供了一种数据监控方法,该方法应用于在不同业务系统的数据库
的场景下,能够根据用户的数据监控请求实现跨业务系统对数据进行监控。除此之外,该方
法还可以应用于在电子商务过程中,在多个电子商务平台互联且进行数据交互的场景下,
或者,在多个业务系统互联且进行数据交互的场景下,实现对来自多个电子商务平台或者
多个业务系统的业务数据进行监控,该业务系统的数据可以是销售数据、供应商数据、商品
数据、订单数据、用户数据、流量数据等。

实施例一为本发明实施例提供的一种数据监控方法,参照图1所示,该方法包括:

101、接收针对不同数据源的数据监控请求,数据监控请求至少包括监控规则关键
字和待监控数据标识。

102、从规则库中获取监控规则关键字对应的监控规则。

具体的,监控规则关键字包括监控规则名称、监控规则描述、监控规则公式中的至
少一个,根据监控关键字与监控规则的匹配度,从预先建立的规则库中获取监控规则关键
字对应的监控规则。

103、从不同数据源中获取待监控数据标识对应的多个数据集合。

具体的,根据所述监控规则和所述待监控数据标识,确定所述待监控数据标识对
应的多个数据源;

从所述多个数据源中获取所述待监控数据标识对应的多个数据集合。

其中,从所述多个数据源中获取所述待监控数据标识对应的多个数据集合,该过
程可以包括:

判断多个数据源是否是应用程序编程接口数据表或数据文件,若判定是,则对多
个数据源进行数据抽取;

对抽取后的数据进行数据转换;

生成待监控数据标识对应的多个数据集合。

104、根据监控规则对多个数据集合进行监控。

获取与监控规则对应的规则脚本;

将多个数据集合写入规则脚本中,并执行规则脚本。

105、当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。

可选的,除了上述步骤之外,本发明实施例所提供的方法还可以包括:

保存异常数据至异常数据库

本发明实施例提供了一种数据监控方法,通过解析数据监控请求,为非专业人员
提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的数据监
控请求对不同的业务系统进行数据监控的目的;通过从规则库中获取监控规则关键字对应
的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地获取监
控规则,提高了监控的执行效率;通过从不同数据源中获取待监控数据标识对应的多个数
据集合,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼容性;通
过监控规则对多个数据集合进行监控,实现了规则引擎不拘泥于单个业务系统,不仅能够
对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横向监控,
由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行监控,降
低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到了提醒数
据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质量问题,
以避免造成更大损失。

实施例二为本发明实施例提供的一种数据监控方法,参照图2所示,该方法包括:

201、接收针对不同数据源的数据监控请求,并从数据监控请求解析出监控规则关
键字和待监控数据标识。

其中,数据源(Data Source)是提供某种所需要数据的器件或原始媒体。在数据源
中存储了所有建立数据库连接的信息,就象通过指定文件名称可以在文件系统中找到文件
一样,通过提供正确的数据源名称,可以找到相应的数据库连接。数据源的类型可以包括数
据库、应用程序编程接口数据表(API接口)和数据文件三种类型,数据库比如常用的mysql
库、Oracle库、Hive库等,应用程序编程接口数据表是指存放于某个API接口指向的数据表,
数据文件是指以文件的形式保存的数据。

数据监控请求可以用于指示对不同数据源中的多个业务数据进行监控,该多个业
务数据可以包括流程数据、销售数据、供应商数据、商品数据、用户数据、订单数据和物流数
据等。

具体的,接收用户输入的数据监控请求;根据预定的解析规则对数据监控请求进
行解析,获取监控规则关键字和待监控数据标识。其中,该数据监控请求是通过用户在客户
端提供的数据监控界面输入的信息生成的,该信息可以用户在客户端上的数据监控界面上
输入的用于描述对不同数据源进行数据监控的自然语言,根据该自然语言形式的输入信息
生成数据监控请求。本发明实施例对具体的解析过程不加以限定。

其中,监控规则关键字可以是监控规则名称、监控规则描述或者监控规则公式中
的任意一个。待监控数据标识用于限定待监控数据,该待监控数据可以是数值类型的字段,
待监控数据标识可以通过附加时间条件限定待监控数据。

可选的,数据监控请求还可以包括用户输入的监控执行时间,该监控有效时间用
于控制基于数据监控请求的监控任务的执行时间。示例性的,将次日的零点时间设置为监
控执行时间,若时间到达该时间点时,则数据监控任务得以执行。

通过本发明,接收将用户输入的自然语言形式的数据监控请求并进行解析,通过
解析数据监控请求,从而保证了非专业人员操作的简单化和灵活性。

202、分析监控规则关键字与预先建立的规则库中各监控规则的匹配度。

具体的,监控规则关键字包括监控规则名称、监控规则描述、监控规则公式中的至
少一个,根据监控规则关键字对应的规则库类型确定规则库以及规则库中的各监控规则,
其中规则库包括第一规则库和第二规则库,第一规则库包括用于对多个数据集合进行数据
查询的多个监控规则,第二规则库包括用于对多个数据集合进行数据比对的多个监控规
则。

通过监控规则关键字分别与规则库中各监控规则的特征信息进行比对,确定监控
规则关键字与各监控规则的匹配度,并根据匹配度高低进行匹配度排序。

203、根据匹配度,从规则库中获取监控规则关键字对应的监控规则。

具体的,确定匹配度最高的监控规则为监控规则关键字对应的监控规则,并从规
则库中获取该监控规则。

通过本发明,根据匹配度分析,进而快速从大量的监控规则中获取到对应的监控
规则,实现了自动地从规则库中获取监控规则,避免监控操作人员费时费力地筛选监控规
则,从而提高了数据监控的执行效率。

本发明实施例对具体的获取方式不加以限定。

值得注意的是,步骤202至步骤203是实现从规则库中获取监控规则关键字对应的
监控规则的过程,除了上述步骤的方式之外,还可以通过其他方式实现该过程,本发明实施
例对具体的方式不加以限定。

204、根据监控规则和待监控数据标识,确定待监控数据标识对应的多个数据源。

具体的,本发明实施例对具体的确定方式不加以限定。

205、判断多个数据源是否是应用程序编程接口数据表或数据文件,若判定是,则
对多个数据源进行数据抽取。

具体的,该过程可以包括:

根据数据源的类型信息,判断该数据源是否是应用程序编程接口数据表或数据文
件;

若判定是,则根据抽取规则从数据源为应用程序编程接口数据表或数据文件中进
行数据抽取。其中,该抽取规则为预先设定的,可以多次抽取数据,例如数据源为数据文件,
设置抽取3次数据,第一次从数据文件1中抽取数据,第二次从数据文件2中抽取数据。本发
明实施例对具体的抽取过程不加以限定。

需要说明的是,若判定数据源是数据库,则无需执行步骤205中对多个数据源进行
数据抽取的过程和步骤206,直接执行步骤207。其中,数据库可以是mysql库、Oracle库、
Hive库等。

206、对抽取后的数据进行数据转换。

具体的,对抽取后的数据转换成目标数据形式。

本发明实施例对具体的数据转换过程不加以限定。

207、生成待监控数据标识对应的多个数据集合。

其中,多个数据集合中包含有多个业务数据,该多个业务数据与数据监控请求中
包含的监控数据字段相对应,示例性的,多个数据集合可以包含有销售数据、供应商数据、
商品数据等。多个数据集合可以为描述同一实体的数据,例如,针对某件衣服的商品信息,
可以获取来自供应商系统提供的数据、采购系统提供的数据和订单系统的数据等,而上述
数据均为描述该件衣服的相关数据信息,该相关数据信息可以是衣服的名称、订单数量、单
价和总价等相关数据。

具体的,将待监控数据标识对应的多个业务数据生成多个数据集合。

本发明实施例对具体的生成过程不加以限定。

值得注意的是,步骤205至步骤207是实现从多个数据源中获取待监控数据标识对
应的多个数据集合的过程,除了上述步骤的方式之外,还可以通过其他方式实现该过程,本
发明实施例对具体的方式不加以限定。

通过本发明,判断不同数据源是否是应用程序编程接口数据表或数据文件,若判
定是,则对不同数据源进行数据抽取;以及对抽取后的数据进行数据转换,生成待监控数据
标识对应的多个数据集合,实现了从不同数据源中获取待监控数据标识对应的多个数据集
合,由此实现了跨平台、跨业务系统进行数据监控,提高了使用规则引擎对跨业务系统进行
数据监控的兼容性。

208、获取与监控规则对应的规则脚本。

具体的,规则脚本通过业务逻辑的编程语言实现,其中,编程语言可以包括Pyke、
Python和SQL等,Pyke与Python可以融为一体,可以从Python程序中调用Pyke,也可以在
Pyke程序中,加入Python的语句和表达式,以及使用SQL返回结果。本发明实施例对具体的
获取方式不加以限定。

需要说明的是,该监控规则对应的规则脚本由一个用户编写并进行保存后,该监
控规则同样适用于后续的其他用户的调用操作。

209、将多个数据集合写入规则脚本中,并执行规则脚本。

具体的,将多个数据集合作为参数传递到规则脚本中,基于预设的规则触发事件
执行规则脚本,其中,规则触发事件可以是数据监控请求中包含的监控执行时间进行触发
的,本发明实施例对具体的执行方式不加以限定。

值得注意的是,步骤208至步骤209是实现根据监控规则对多个数据集合进行监控
的过程,除了上述步骤的方式之外,还可以通过其他方式实现该过程,本发明实施例对具体
的方式不加以限定。

210、当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。

具体的,根据规则脚本返回的执行结果中判定多个数据集合是否为异常数据,若
监控规则指示对多个数据集合进行数据查询,则根据SQL查询出是否为负值来判定多个数
据集合是否为异常数据;若监控规则指示对多个数据集合进行数据比对,则根据规则脚本
返回的执行结果中包含的差异比与预设的监控阈值的比较结果来判定多个数据集合是否
为异常数据,其中,可以通过使用状态标识来指示执行结果状态。

例如,用户想要监控多个数据集合中的A字段是否小于0,如果A<0则判定为异常数
据,在执行对应的规则脚本后输出结果包含一个SQL语句(select A from tablename
where A<0)、A字段的数据总量、以及A<0的数据量。

又例如,用户想要监控多个数据集合中的某个字段在A数据源中是否与在B数据源
中相等,如果不相等则判定为异常数据,其中不相等可以表示预设阈值为0,也可以表示预
设阈值为5%,即A与B的差异比大于5%,或者其它预设阈值。在执行对应的规则脚本后输出
结果中包含A与B的差异比、待监控数据的数据总量、以及差异比大于5%的异常数据量。

具体的,实现发送异常数据至用户终端的过程可以包括:

发送指示异常数据的告警邮件至用户终端;和/或

发送指示异常数据的短信告警至用户终端。

其中,用户终端可以包括台式计算机、个人计算机、膝上性计算机、手机、个人数字
助理等。

可选的,方法还可以包括:

停止更新存在异常数据的业务系统,并发送指示异常数据的告警通知至其他业务
系统。

通过本发明,当存在异常数据时,停止更新存在异常数据的业务系统的数据,以及
发送告警通知至其他业务系统以停止调用异常数据,一方面避免了数据占用机器资源,另
一方面保障了其他业务系统的数据质量。

可选的,除了上述步骤之外,本发明实施例所提供的方法还可以包括:

保存异常数据至异常数据库。

通过本发明,对异常数据保存至异常数据库,以便相关人员后续对异常数据进行
分析。

由于当前业务系统繁多且可能采用不同的数据源,使得无法根据用户的监控需求
实现跨业务系统对数据进行统一监控;或者,使得规则引擎受到某个业务系统的约束,而不
能适用其他业务系统,而通过本发明实施例所提供的方法,通过解析数据监控请求,为非专
业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的
数据监控请求对不同的业务系统进行数据监控的目的;通过从规则库中获取监控规则关键
字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地
获取监控规则,提高了监控的执行效率;通过从不同数据源中获取待监控数据标识对应的
多个数据集合,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼
容性;通过监控规则对多个数据集合进行监控,实现了规则引擎不拘泥于单个业务系统,不
仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横
向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行
监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到
了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质
量问题,以避免造成更大损失。

实施例三为本发明实施例提供的一种电子设备3,参照图3所示,该设备作为对基
于不同数据源的业务系统进行数据监控设备,既可以位于客户端,也可以位于服务器端,还
可以是既不位于客户端也不位于服务器端的独立设备,该设备3包括:

接收模块31,用于接收针对不同数据源的数据监控请求;

解析模块32,用于从数据监控请求解析出监控规则关键字和待监控数据标识;

第一获取模块33,用于从规则库中获取监控规则关键字对应的监控规则;

第二获取模块34,用于从不同数据源中获取待监控数据标识对应的多个数据集
合;

监控模块35,用于根据监控规则对多个数据集合进行监控;

发送模块36,用于当监控结果指示多个数据集合为异常数据时,发送异常数据至
用户终端。

可选的,监控规则关键字包括监控规则名称、监控规则描述、监控规则公式中的至
少一个,第一获取模块具体33用于:

根据监控关键字与监控规则的匹配度,从预先建立的规则库中获取监控规则关键
字对应的监控规则。

可选的,第二获取模块34包括:

确定子模块341,用于根据所述监控规则和所述待监控数据标识,确定所述待监控
数据标识对应的多个数据源;

获取子模块342,用于从所述多个数据源中获取所述待监控数据标识对应的多个
数据集合。

可选的,获取子模块342包括:

判定单元3421,用于判断多个数据源是否是应用程序编程接口数据表或数据文
件,若判定是,则对多个数据源进行数据抽取;

数据转换单元3422,用于对抽取后的数据进行数据转换;

数据集合生成单元3423,用于生成待监控数据标识对应的多个数据集合。

可选的,监控模块35包括:

规则脚本获取子模块351,用于获取与监控规则对应的规则脚本;

规则脚本执行子模块352,用于将多个数据集合写入规则脚本中,并执行规则脚
本。

本发明实施例提供了一种电子设备,该电子设备通过解析数据监控请求,为非专
业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的
数据监控请求对不同的业务系统进行数据监控的目的;通过从规则库中获取监控规则关键
字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地
获取监控规则,提高了监控的执行效率;通过从不同数据源中获取待监控数据标识对应的
多个数据集合,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼
容性;通过监控规则对多个数据集合进行监控,实现了规则引擎不拘泥于单个业务系统,不
仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横
向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行
监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到
了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质
量问题,以避免造成更大损失。

实施例四为本发明实施例提供的一种电子设备4,参照图4所示,该电子设备4包括
存储器41以及与存储器41连接的处理器42,其中,存储器41用于存储一组程序代码,处理器
42调用存储器41所存储的程序代码用于执行以下操作:

接收针对不同数据源的数据监控请求,并从数据监控请求解析出监控规则关键字
和待监控数据标识;

从规则库中获取监控规则关键字对应的监控规则;

从不同数据源中获取待监控数据标识对应的多个数据集合;

根据监控规则对多个数据集合进行监控;

当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。

可选的,监控规则关键字包括监控规则名称、监控规则描述、监控规则公式中的至
少一个,处理器42调用存储器41所存储的程序代码用于执行以下操作:

根据监控关键字与监控规则的匹配度,从预先建立的规则库中获取监控规则关键
字对应的监控规则。

可选的,处理器42调用存储器41所存储的程序代码用于执行以下操作:

根据所述监控规则和所述待监控数据标识,确定所述待监控数据标识对应的多个
数据源;

从所述多个数据源中获取所述待监控数据标识对应的多个数据集合。

可选的,处理器42调用存储器41所存储的程序代码用于执行以下操作:

判断多个数据源是否是应用程序编程接口数据表或数据文件,若判定是,则对多
个数据源进行数据抽取;

对抽取后的数据进行数据转换;

生成待监控数据标识对应的多个数据集合。

可选的,处理器42调用存储器41所存储的程序代码用于执行以下操作:

获取与监控规则对应的规则脚本;

将多个数据集合写入规则脚本中,并执行规则脚本。

本发明实施例提供了一种电子设备,该电子设备通过解析数据监控请求,为非专
业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的
数据监控请求对不同的业务系统进行数据监控的目的;通过从规则库中获取监控规则关键
字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地
获取监控规则,提高了监控的执行效率;通过从不同数据源中获取待监控数据标识对应的
多个数据集合,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼
容性;通过监控规则对多个数据集合进行监控,实现了规则引擎不拘泥于单个业务系统,不
仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横
向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行
监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到
了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质
量问题,以避免造成更大损失。

实施例五为本发明实施例提供的一种数据监控系统5,参照图5所示,该系统5包
括:

接收设备51,用于接收针对不同数据源的数据监控请求;

解析设备52,用于从数据监控请求解析出监控规则关键字和待监控数据标识;

第一获取设备53,用于从规则库中获取监控规则关键字对应的监控规则;

第二获取设备54,用于从不同数据源中获取待监控数据标识对应的多个数据集
合;

监控设备55,用于根据监控规则对多个数据集合进行监控;

发送设备56,用于当监控结果指示多个数据集合为异常数据时,发送异常数据至
用户终端。

可选的,监控规则关键字包括监控规则名称、监控规则描述、监控规则公式中的至
少一个,第一获取设备具体53用于:

根据监控关键字与监控规则的匹配度,从预先建立的规则库中获取监控规则关键
字对应的监控规则。

可选的,第二获取设备54包括:

确定子设备541,用于根据所述监控规则和所述待监控数据标识,确定所述待监控
数据标识对应的多个数据源;

获取子设备542,用于从所述多个数据源中获取所述待监控数据标识对应的多个
数据集合。

可选的,获取子设备542包括:

判定模块5421,用于判断多个数据源是否是应用程序编程接口数据表或数据文
件,若判定是,则对多个数据源进行数据抽取;

数据转换模块5422,用于对抽取后的数据进行数据转换;

数据集合生成模块5423,用于生成待监控数据标识对应的多个数据集合。

可选的,监控设备55包括:

规则脚本获取子设备551,用于获取与监控规则对应的规则脚本;

规则脚本执行子设备552,用于将多个数据集合写入规则脚本中,并执行规则脚
本。

本发明实施例提供了一种数据监控系统,该系统通过解析数据监控请求,为非专
业人员提供了简单、灵活和便捷的操作方式,实现了非专业人员通过输入自然语言形式的
数据监控请求对不同的业务系统进行数据监控的目的;通过从规则库中获取监控规则关键
字对应的监控规则,无需经过人工方式从大量的监控规则中确定监控规则,实现了自动地
获取监控规则,提高了监控的执行效率;通过从不同数据源中获取待监控数据标识对应的
多个数据集合,多个数据集合来源于不同数据源,进而提高了跨业务系统的数据监控的兼
容性;通过监控规则对多个数据集合进行监控,实现了规则引擎不拘泥于单个业务系统,不
仅能够对同一业务系统的历史数据进行纵向监控,而且能够对多平台、多系统数据进行横
向监控,由此提高了规则重复利用率和数据监控范围,实现了统一对不同数据源数据进行
监控,降低了数据监控难度,并提高了监控执行效率;通过发送异常数据至用户终端,达到
了提醒数据监控操作人员的目的,并使数据监控操作人员提前发现业务系统存在的数据质
量问题,以避免造成更大损失。

上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再
一一赘述。

需要说明的是:上述实施例提供的电子设备在执行数据监控方法时,仅以上述各
功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功
能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部
分功能。另外,上述实施例提供的数据监控方法与电子设备实施例属于同一构思,其具体实
现过程详见方法实施例,这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件
来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读
存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和
原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

一种数据监控方法、设备和系统.pdf_第1页
第1页 / 共20页
一种数据监控方法、设备和系统.pdf_第2页
第2页 / 共20页
一种数据监控方法、设备和系统.pdf_第3页
第3页 / 共20页
点击查看更多>>
资源描述

《一种数据监控方法、设备和系统.pdf》由会员分享,可在线阅读,更多相关《一种数据监控方法、设备和系统.pdf(20页珍藏版)》请在专利查询网上搜索。

本发明实施例提供了一种数据监控方法、设备和系统,属于计算机领域,包括:接收针对不同数据源的数据监控请求,并从数据监控请求解析出监控规则关键字和待监控数据标识;从规则库中获取监控规则关键字对应的监控规则;从不同数据源中获取待监控数据标识对应的多个数据集合;根据监控规则对多个数据集合进行监控;当监控结果指示多个数据集合为异常数据时,发送异常数据至用户终端。由此能够实现统一对不同数据源数据进行监控,并降。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1