《基于任务调度实现指标数据自动校验的方法.pdf》由会员分享,可在线阅读,更多相关《基于任务调度实现指标数据自动校验的方法.pdf(5页珍藏版)》请在专利查询网上搜索。
1、10申请公布号CN104112014A43申请公布日20141022CN104112014A21申请号201410343367322申请日20140718G06F17/3020060171申请人国家电网公司地址100031北京市西城区西长安街86号申请人江苏省电力公司江苏电力信息技术有限公司江苏省电力公司信息通信分公司72发明人费建法杜淳李辉74专利代理机构南京汇盛专利商标事务所普通合伙32238代理人陈扬54发明名称基于任务调度实现指标数据自动校验的方法57摘要本发明公开了一种基于任务调度实现指标数据自动校验的方法梳理全部需要接入的指标清单,根据指标的接收频率和指标数据单位,划分指标范围,提。
2、取校验及时性较高的和指标接收频率较快的指标;制定一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致;在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,检查数据接收的及时性、数据类型的正确性、数据阀值的合规性;通过配置指标间的规则形成新的复合指标,通过复合指标和待校验指标数据比较确定是否正确;指标校验产生的校验结果通过日常告警统一对用户显示,由用户重新确认指标数据,或者关闭告警。该方法通过配置化校验规则,提升效率。51INTCL权利要求书1页说明书2页附图1页19中华人民共和国国家知识产权局12发明专利申请权利要求书1页说明书2页附图1页10申请公布号CN1041。
3、12014ACN104112014A1/1页21一种基于任务调度实现指标数据自动校验的方法,其特征在于该方法包括以下步骤1)梳理全部需要接入的指标清单,根据指标的接收频率和指标数据单位,划分指标范围,提取校验及时性较高的和指标接收频率较快的指标;2)制定一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致;3)在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,检查数据接收的及时性、数据类型的正确性、数据阀值的合规性;4)通过配置指标间的规则形成新的复合指标,通过复合指标和待校验指标数据比较确定是否正确;5)指标校验产生的校验结果通过日常告警统一对用户显示,由用户重。
4、新确认指标数据,或者关闭告警。权利要求书CN104112014A1/2页3基于任务调度实现指标数据自动校验的方法0001技术领域0002本发明涉及一种数据库数据校验方法,具体地说是一种基于任务调度实现指标数据自动校验的方法。0003在业务系统在上报的各种数据按照事先约定的周期上报,上报完成后的数据往往通过人工的方式对数据本身的合法性进行确认,其中确认过程较为繁琐,甚至需要多次确认,为了减少人工校验操作,本发明采用基于任务调度实现多种频率的数据质量的校验,节约人力成本,有效提升了工作效率。背景技术0004目前信息化系统的使用成为企业有效、规范的进行业务操作,指标成为体现工作成果的一个比较关键的因。
5、数,指标数据的校验成为重要的环节,其中常见的校验规则有数据及时性、数据合法性、数据阀值和数据质量等。按照校验规则基本可以分为两个部分指标基本校验、指标业务校验。0005现有技术中,业务系统上报的各种数据按照事先约定的周期上报,上报完成后的数据往往通过人工的方式对数据本身的合法性进行确认,其中确认过程较为繁琐,甚至需要多次确认,指标数据采用人工校验的方式缺点是不能及时进行校验,而且校验人员的工作量大。发明内容0006为了解决指标数据人工校验的不及时,缓解校验人员的工作量,本发明的目的是提供一种基于任务调度实现指标数据自动校验的方法,该方法通过配置化校验规则,提升效率。0007本发明的目的通过以下。
6、技术方案实现一种基于任务调度实现指标数据自动校验的方法,其特征在于该方法包括以下步骤1)梳理全部需要接入的指标清单,根据指标的接收频率和指标数据单位,划分指标范围,提取校验及时性较高的和指标接收频率较快的指标;2)制定一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致;3)在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,检查数据接收的及时性、数据类型的正确性、数据阀值的合规性;4)通过配置指标间的规则形成新的复合指标,通过复合指标和待校验指标数据比较确定是否正确;5)指标校验产生的校验结果通过日常告警统一对用户显示,由用户重新确认指标数据,或者关闭告警。000。
7、8本发明采用基于任务调度实现多种频率的数据质量的校验,减少人工校验操作,说明书CN104112014A2/2页4节约人力成本,有效提升了工作效率。附图说明0009图1是基于任务调度实现指标数据自动校验的方法流程图。具体实施方式0010一种基于任务调度实现指标数据自动校验的方法,创建一个任务调度控制器,并在控制器中提供可配置化的指标数据校验规则,通过设置产生各种频率的任务,实现对数据库中对应的数据的扫描校验,代替人工数据校验,具体如下1、梳理全部需要接入的指标清单,重点了解指标的接收频率和指标数据单位。合理划分指标范围,提取校验及时性较高的和指标接收频率较快的指标。0011在任务调度控制器创建配。
8、置校验规则和任务执行频率,比如制定一个频率为5分钟,规则为数据不为空,且要求指标A指标B指标C的条件。00122、设计一套任务调度规则,保证任务的执行频率和指标数据的接收时间点保持一致。在数据采集入库后,由任务调度配置相应的规则,实现对入库指标的校验,重点检查数据接收的及时性、数据类型的正确性、数据阀值的合规性。0013任务启动后,主动去数据控中扫描指标频率为5分钟的指标数据,并判断指标的数据是否为空,并将指标值做ABC的校验判断。00143、如果指标的数据为空,这将该指标的信息和检查时间存储到告警模块中,并及时提醒用户,待用户手动确认后关闭该告警。0015如果指标数据不为空则在告警模块中存储ABC不满足条件的判断。00164、如果校验的数据合法,则直接退出,无需人工干预。说明书CN104112014A1/1页5图1说明书附图CN104112014A。