基于任务调度实现指标数据自动校验的方法.pdf

上传人:a**** 文档编号:623657 上传时间:2018-02-26 格式:PDF 页数:5 大小:345.39KB
返回 下载 相关 举报
摘要
申请专利号:

CN201410343367.3

申请日:

2014.07.18

公开号:

CN104112014A

公开日:

2014.10.22

当前法律状态:

撤回

有效性:

无权

法律详情:

发明专利申请公布后的视为撤回IPC(主分类):G06F 17/30申请公布日:20141022|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140718|||公开

IPC分类号:

G06F17/30

主分类号:

G06F17/30

申请人:

国家电网公司; 江苏省电力公司; 江苏电力信息技术有限公司; 江苏省电力公司信息通信分公司

发明人:

费建法; 杜淳; 李辉

地址:

100031 北京市西城区西长安街86号

优先权:

专利代理机构:

南京汇盛专利商标事务所(普通合伙) 32238

代理人:

陈扬

PDF下载: PDF下载
内容摘要

本发明公开了一种基于任务调度实现指标数据自动校验的方法:梳理全部需要接入的指标清单,根据指标的接收频率和指标数据单位,划分指标范围,提取校验及时性较高的和指标接收频率较快的指标;制定一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致;在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,检查数据接收的及时性、数据类型的正确性、数据阀值的合规性;通过配置指标间的规则形成新的复合指标,通过复合指标和待校验指标数据比较确定是否正确;指标校验产生的校验结果通过日常告警统一对用户显示,由用户重新确认指标数据,或者关闭告警。该方法通过配置化校验规则,提升效率。

权利要求书

1.  一种基于任务调度实现指标数据自动校验的方法,其特征在于该方法包括以下步骤:
1)梳理全部需要接入的指标清单,根据指标的接收频率和指标数据单位,划分指标范围,提取校验及时性较高的和指标接收频率较快的指标;
2)制定一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致;
3)在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,检查数据接收的及时性、数据类型的正确性、数据阀值的合规性;
4)通过配置指标间的规则形成新的复合指标,通过复合指标和待校验指标数据比较确定是否正确;
5)指标校验产生的校验结果通过日常告警统一对用户显示,由用户重新确认指标数据,或者关闭告警。

说明书

基于任务调度实现指标数据自动校验的方法
 
技术领域
本发明涉及一种数据库数据校验方法,具体地说是一种基于任务调度实现指标数据自动校验的方法。
在业务系统在上报的各种数据按照事先约定的周期上报,上报完成后的数据往往通过人工的方式对数据本身的合法性进行确认,其中确认过程较为繁琐,甚至需要多次确认,为了减少人工校验操作,本发明采用基于任务调度实现多种频率的数据质量的校验,节约人力成本,有效提升了工作效率。
背景技术
目前信息化系统的使用成为企业有效、规范的进行业务操作,指标成为体现工作成果的一个比较关键的因数,指标数据的校验成为重要的环节,其中常见的校验规则有数据及时性、数据合法性、数据阀值和数据质量等。按照校验规则基本可以分为两个部分:指标基本校验、指标业务校验。
现有技术中,业务系统上报的各种数据按照事先约定的周期上报,上报完成后的数据往往通过人工的方式对数据本身的合法性进行确认,其中确认过程较为繁琐,甚至需要多次确认,指标数据采用人工校验的方式缺点是:不能及时进行校验,而且校验人员的工作量大。
发明内容
为了解决指标数据人工校验的不及时,缓解校验人员的工作量,本发明的目的是提供一种基于任务调度实现指标数据自动校验的方法,该方法通过配置化校验规则,提升效率。
本发明的目的通过以下技术方案实现:
一种基于任务调度实现指标数据自动校验的方法,其特征在于该方法包括以下步骤:
1)梳理全部需要接入的指标清单,根据指标的接收频率和指标数据单位,划分指标范围,提取校验及时性较高的和指标接收频率较快的指标;
2)制定一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致;
3)在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,检查数据接收的及时性、数据类型的正确性、数据阀值的合规性;
4)通过配置指标间的规则形成新的复合指标,通过复合指标和待校验指标数据比较确定是否正确;
5)指标校验产生的校验结果通过日常告警统一对用户显示,由用户重新确认指标数据,或者关闭告警。
本发明采用基于任务调度实现多种频率的数据质量的校验,减少人工校验操作,节约人力成本,有效提升了工作效率。
附图说明
图 1是基于任务调度实现指标数据自动校验的方法流程图。
具体实施方式
一种基于任务调度实现指标数据自动校验的方法,创建一个任务调度控制器,并在控制器中提供可配置化的指标数据校验规则,通过设置产生各种频率的任务,实现对数据库中对应的数据的扫描校验,代替人工数据校验,具体如下:
1、梳理全部需要接入的指标清单,重点了解指标的接收频率和指标数据单位。合理划分指标范围,提取校验及时性较高的和指标接收频率较快的指标。
在任务调度控制器创建配置校验规则和任务执行频率,比如:制定一个频率为5分钟,规则为数据不为空,且要求指标A=指标B+指标C的条件。
2、设计一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致。在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,重点检查数据接收的及时性、数据类型的正确性、数据阀值的合规性。
任务启动后,主动去数据控中扫描指标频率为5分钟的指标数据,并判断指标的数据是否为空,并将指标值做A=B+C的校验判断。
3、如果指标的数据为空,这将该指标的信息和检查时间存储到告警模块中,并及时提醒用户,待用户手动确认后关闭该告警。
如果指标数据不为空则在告警模块中存储A=B+C不满足条件的判断。
4、  如果校验的数据合法,则直接退出,无需人工干预。

基于任务调度实现指标数据自动校验的方法.pdf_第1页
第1页 / 共5页
基于任务调度实现指标数据自动校验的方法.pdf_第2页
第2页 / 共5页
基于任务调度实现指标数据自动校验的方法.pdf_第3页
第3页 / 共5页
点击查看更多>>
资源描述

《基于任务调度实现指标数据自动校验的方法.pdf》由会员分享,可在线阅读,更多相关《基于任务调度实现指标数据自动校验的方法.pdf(5页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104112014A43申请公布日20141022CN104112014A21申请号201410343367322申请日20140718G06F17/3020060171申请人国家电网公司地址100031北京市西城区西长安街86号申请人江苏省电力公司江苏电力信息技术有限公司江苏省电力公司信息通信分公司72发明人费建法杜淳李辉74专利代理机构南京汇盛专利商标事务所普通合伙32238代理人陈扬54发明名称基于任务调度实现指标数据自动校验的方法57摘要本发明公开了一种基于任务调度实现指标数据自动校验的方法梳理全部需要接入的指标清单,根据指标的接收频率和指标数据单位,划分指标范围,提。

2、取校验及时性较高的和指标接收频率较快的指标;制定一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致;在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,检查数据接收的及时性、数据类型的正确性、数据阀值的合规性;通过配置指标间的规则形成新的复合指标,通过复合指标和待校验指标数据比较确定是否正确;指标校验产生的校验结果通过日常告警统一对用户显示,由用户重新确认指标数据,或者关闭告警。该方法通过配置化校验规则,提升效率。51INTCL权利要求书1页说明书2页附图1页19中华人民共和国国家知识产权局12发明专利申请权利要求书1页说明书2页附图1页10申请公布号CN1041。

3、12014ACN104112014A1/1页21一种基于任务调度实现指标数据自动校验的方法,其特征在于该方法包括以下步骤1)梳理全部需要接入的指标清单,根据指标的接收频率和指标数据单位,划分指标范围,提取校验及时性较高的和指标接收频率较快的指标;2)制定一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致;3)在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,检查数据接收的及时性、数据类型的正确性、数据阀值的合规性;4)通过配置指标间的规则形成新的复合指标,通过复合指标和待校验指标数据比较确定是否正确;5)指标校验产生的校验结果通过日常告警统一对用户显示,由用户重。

4、新确认指标数据,或者关闭告警。权利要求书CN104112014A1/2页3基于任务调度实现指标数据自动校验的方法0001技术领域0002本发明涉及一种数据库数据校验方法,具体地说是一种基于任务调度实现指标数据自动校验的方法。0003在业务系统在上报的各种数据按照事先约定的周期上报,上报完成后的数据往往通过人工的方式对数据本身的合法性进行确认,其中确认过程较为繁琐,甚至需要多次确认,为了减少人工校验操作,本发明采用基于任务调度实现多种频率的数据质量的校验,节约人力成本,有效提升了工作效率。背景技术0004目前信息化系统的使用成为企业有效、规范的进行业务操作,指标成为体现工作成果的一个比较关键的因。

5、数,指标数据的校验成为重要的环节,其中常见的校验规则有数据及时性、数据合法性、数据阀值和数据质量等。按照校验规则基本可以分为两个部分指标基本校验、指标业务校验。0005现有技术中,业务系统上报的各种数据按照事先约定的周期上报,上报完成后的数据往往通过人工的方式对数据本身的合法性进行确认,其中确认过程较为繁琐,甚至需要多次确认,指标数据采用人工校验的方式缺点是不能及时进行校验,而且校验人员的工作量大。发明内容0006为了解决指标数据人工校验的不及时,缓解校验人员的工作量,本发明的目的是提供一种基于任务调度实现指标数据自动校验的方法,该方法通过配置化校验规则,提升效率。0007本发明的目的通过以下。

6、技术方案实现一种基于任务调度实现指标数据自动校验的方法,其特征在于该方法包括以下步骤1)梳理全部需要接入的指标清单,根据指标的接收频率和指标数据单位,划分指标范围,提取校验及时性较高的和指标接收频率较快的指标;2)制定一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致;3)在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,检查数据接收的及时性、数据类型的正确性、数据阀值的合规性;4)通过配置指标间的规则形成新的复合指标,通过复合指标和待校验指标数据比较确定是否正确;5)指标校验产生的校验结果通过日常告警统一对用户显示,由用户重新确认指标数据,或者关闭告警。000。

7、8本发明采用基于任务调度实现多种频率的数据质量的校验,减少人工校验操作,说明书CN104112014A2/2页4节约人力成本,有效提升了工作效率。附图说明0009图1是基于任务调度实现指标数据自动校验的方法流程图。具体实施方式0010一种基于任务调度实现指标数据自动校验的方法,创建一个任务调度控制器,并在控制器中提供可配置化的指标数据校验规则,通过设置产生各种频率的任务,实现对数据库中对应的数据的扫描校验,代替人工数据校验,具体如下1、梳理全部需要接入的指标清单,重点了解指标的接收频率和指标数据单位。合理划分指标范围,提取校验及时性较高的和指标接收频率较快的指标。0011在任务调度控制器创建配。

8、置校验规则和任务执行频率,比如制定一个频率为5分钟,规则为数据不为空,且要求指标A指标B指标C的条件。00122、设计一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致。在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,重点检查数据接收的及时性、数据类型的正确性、数据阀值的合规性。0013任务启动后,主动去数据控中扫描指标频率为5分钟的指标数据,并判断指标的数据是否为空,并将指标值做ABC的校验判断。00143、如果指标的数据为空,这将该指标的信息和检查时间存储到告警模块中,并及时提醒用户,待用户手动确认后关闭该告警。0015如果指标数据不为空则在告警模块中存储ABC不满足条件的判断。00164、如果校验的数据合法,则直接退出,无需人工干预。说明书CN104112014A1/1页5图1说明书附图CN104112014A。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1