一种数据监控方法.pdf

本发明公开了一种数据监控方法，包括以下步骤：分别与多个数据库建立连接，以读取数据库中的数据表和数据表中的数据；根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控；完成监控任务后，输出监控报告；根据监控报告中的告警信息所对应的数据表读取该数据表的负责人的联系信息，利用联系信息向该负责人发送告警信息。本发明的有益效果在于：支持多种类型的数据库连接，通过注册的方式将所需的数据表及其数据纳入监控范围内。提供三种类型的数据监控规则，分别为同表自查规则、同表联查规则和异表联查规则，通过三种规则可将所有数据库中的数据表的字段进行关联监控，使监控范围最大化。

权利要求书
1.  一种数据监控方法，其特征在于，包括以下步骤：
步骤A：分别与多个数据库建立连接，以读取数据库中的数据表 和数据表中的数据；
步骤B：根据监控任务中的监控规则对数据库中的数据表及其数 据表中的数据进行监控；
步骤C：完成监控任务后，输出监控报告。

2.  根据权利要求1所述的数据监控方法，其特征在于，监控任务 的设置步骤如下：
接收针对数据表中的字段设置监控规则的请求；
将被选择的字段与被选择的监控规则进行绑定；
针对绑定后的字段和监控规则生成监控任务；
其中，监控规则包括同表自查规则、同表联查规则和异表联查规 则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中 的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段 中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选 定的字段中的数据与另一数据表中被选定的字段中的数据之间的关 系进行监控。

3.  根据权利要求2所述的数据监控方法，其特征在于，将被选 择的字段与被选择的监控规则进行绑定的步骤如下：
将被选择的监控规则中的sql语句转换为相应的文字描述语句， 并将文字描述语句中的参数设为可调参数，参数为字段名；
接收设置可调参数的请求；
将被选择的可调参数中的内容设为被选择的字段名；
将经过设置可调参数的文字描述语句再转换为相应的sql语句。

4.  根据权利要求1所述的数据监控方法，其特征在于，监控任 务的设置步骤如下：
接收针对两个数据表设置监控规则的请求，监控规则为对两个数 据表之间的数据量一致性进行监控；
将两个被选择的数据表进行绑定，两个被选择的数据表位于同一 数据库或者位于不同数据库；
针对绑定后的两个数据表生成监控任务。

5.  根据权利要求1所述的数据监控方法，其特征在于，监控任 务的设置步骤如下：
接收针对单个数据表设置监控规则的请求，监控规则为对数据表 的数据增量进行监控；
根据监控规则中所设置的阈值生成监控任务。

6.  根据权利要求1所述的数据监控方法，其特征在于，在步骤 B中，监控任务中包括监控任务执行频率设置、监控任务执行次数设 置和监控任务执行时间设置；在步骤C中，每完成一次监控任务，便 输出一份监控报告。

7.  根据权利要求1所述的数据监控方法，其特征在于，将步骤 B中的监控规则标记为告警规则，当该监控规则所对应的数据表或者 数据不满足该监控规则，则在步骤C的监控报告中生成相应的告警信 息。

8.  根据权利要求7所述的数据监控方法，其特征在于，在步骤 C之后还包括以下步骤：
步骤D：根据告警信息所对应的数据表读取该数据表的负责人的 联系信息，利用联系信息向该负责人发送告警信息。

9.  根据权利要求1所述的数据监控方法，其特征在于，与数据 库建立连接的步骤如下：
读取由用户填入的数据库连接信息；
根据数据库类型读取相应的驱动包；
利用数据库连接信息和读取的驱动包向对应的数据库发起连接；
若连接失败，则返回连接错误信息；
若连接成功，则读取该数据库中的表结构信息。

10.  根据权利要求9所述的数据监控方法，其特征在于，数据库 连接信息包括：数据库URL、数据库用户名和数据库密码。

说明书一种数据监控方法
技术领域
本发明涉及数据监控技术领域。
背景技术
随着公安信息化工程的不断建设，以及实际应用的成效表明，数 据质量至关重要。
众所周知，信息资源是开展信息化侦查最为重要的支撑条件。但 是目前公安网系统里所存储的信息资源质量并不高，公安网上的犯罪 信息良莠不齐，质量高的和质量低的并存。
简而言之就是信息污染较严重，即信息资源混入了干扰性、欺骗 性和误导性的信息。虽然近几年公安信息化建设取得了很大进步，各 地区各警种均建立各种各样的信息系统，公安工作的基础数据也在日 益完善。如：常(暂)住人口信息，机动车信息，各种证照信息，旅 馆业信息，以及刑侦部门收集的大量案件、人员、物品信息等。所有 这些，都为信息资源的利用奠定了坚实的基础。但是，在工作中也发 现大量虚假、夸大、重复、和过时的无用信息，这些垃圾信息与有效 信息混杂在一起，降低了网络信息资源的可靠性和对有效信息的判 断，严重影响了民警对有效信息的吸收和利用。民警为了获得有用信 息，不得不花大量的时间去阅读那些无关的信息，容易导致无功而返。
主要表现如下：
1、数据录入随意性大，应采必采、当录必录的要求不严，致 使缺项多、差错多。
以案件信息为例，案件信息的不报、漏报、错报问题就十分突出。 如有一个抓如实立案的典型单位，一年间补立年前案件和隐漏案件就 多达1000多起。
2、不严格遵循数据标准规范，或标准修订滞后，给跨地区、 跨系统数据整合、清理带来很多困难，大量信息冗余。
目前，随着各单位各部门之间都开发了一些专业软件系统。但由 于不严格遵循数据标准规范，数据共享性差，数据格式不同，重复和 多余现象经常出现。在跨系统数据整合时会产生大量的信息冗余，这 些多余重复的无用信息，非但不能给人们以新的认识，反而还成为人 们认识领域的障碍，给信息的甄别带来困难，让民警在分析研判时无 从着手。
3、缺乏责任机制确保数据质量的约束机制和激励机制尚不健 全。
特别是前几年，“各级加快推进信息化建设，经常组织开展集中 突击式的信息资源采集，在短时间内完成海量数据的采集录入，但由 于部分民警的信息化应用技能较低、培训学习不够，又缺乏科学合理 的约束机制、考核标准来保证信息采集的质量和信息录入的规范化， 致使部分单位和个人片面追求考核指标中的数据数量指标，忽视数据 质量，甚至采取一些投机取巧的办法加大数据量，在系统中录入了大 量的垃圾信息；少数单位仍然存在辅警或聘用人员录入数据的情况， 也可能造成录入数据与原始数据有所偏差”。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种数据监控 方法，对多个数据库之间的数据表及其数据进行关联监控，通过具体 的监控规则达到监控数据是否异常的目的，并且能在监控报告中直观 地查看监控结果和是否有异常告警信息。
为解决上述问题，本发明所采用的技术方案如下：
一种数据监控方法，包括以下步骤：
步骤A：分别与多个数据库建立连接，以读取数据库中的数据表 和数据表中的数据；
步骤B：根据监控任务中的监控规则对数据库中的数据表及其数 据表中的数据进行监控；
步骤C：完成监控任务后，输出监控报告。
进一步地，监控任务的设置步骤如下：
接收针对数据表中的字段设置监控规则的请求；
将被选择的字段与被选择的监控规则进行绑定；
针对绑定后的字段和监控规则生成监控任务；
其中，监控规则包括同表自查规则、同表联查规则和异表联查规 则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中 的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段 中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选 定的字段中的数据与另一数据表中被选定的字段中的数据之间的关 系进行监控。
进一步地，将被选择的字段与被选择的监控规则进行绑定的步骤 如下：
将被选择的监控规则中的sql语句转换为相应的文字描述语句， 并将文字描述语句中的参数设为可调参数，参数为字段名；
接收设置可调参数的请求；
将被选择的可调参数中的内容设为被选择的字段名；
将经过设置可调参数的文字描述语句再转换为相应的sql语句。
进一步地，监控任务的设置步骤如下：
接收针对两个数据表设置监控规则的请求，监控规则为对两个数 据表之间的数据量一致性进行监控；
将两个被选择的数据表进行绑定，两个被选择的数据表位于同一 数据库或者位于不同数据库；
针对绑定后的两个数据表生成监控任务。
进一步地，监控任务的设置步骤如下：
接收针对单个数据表设置监控规则的请求，监控规则为对数据表 的数据增量进行监控；
根据监控规则中所设置的阈值生成监控任务。
进一步地，在步骤B中，监控任务中包括监控任务执行频率设置、 监控任务执行次数设置和监控任务执行时间设置；在步骤C中，每完 成一次监控任务，便输出一份监控报告。
进一步地，将步骤B中的监控规则标记为告警规则，当该监控规 则所对应的数据表或者数据不满足该监控规则，则在步骤C的监控报 告中生成相应的告警信息。
进一步地，在步骤C之后还包括以下步骤：
步骤D：根据告警信息所对应的数据表读取该数据表的负责人的 联系信息，利用联系信息向负责人发送告警信息。
进一步地，与数据库建立连接的步骤如下：
读取由用户填入的数据库连接信息；
根据数据库类型读取相应的驱动包；
利用数据库连接信息和读取的驱动包向对应的数据库发起连接；
若连接失败，则返回连接错误信息；
若连接成功，则读取该数据库中的表结构信息。
进一步地，数据库连接信息包括：数据库URL、数据库用户名和 数据库密码。
相比现有技术，本发明的有益效果在于：1、支持多种类型的数 据库连接，通过注册的方式将所需的数据表及其数据纳入监控范围 内。2、提供三种类型的数据监控规则，分别为同表自查规则、同表 联查规则和异表联查规则，通过三种规则可将所有数据库中的数据表 的字段进行关联监控，使监控范围最大化。3、针对三种类型的数据 监控规则设定了大量的预设监控规则，覆盖了常见的数据完整性、一 致性、有效性、唯一性和关联性问题，同时也提供了自定义监控规则 的方式供用户根据业务的需求进行规则的扩充和更新。4、除了针对 字段的监控规则，还设有数据表之间的数据量一致性的监控规则，以 及数据表的数据增量异常的监控规则。5、对于生成的监控任务可以 根据实际业务需求对任务的执行频率、执行次数、执行开始时间和执 行结束时间等常规设置项进行设置。6、对于被标记为告警规则的监 控规则，在输出监控报告时也输出相应的告警信息，并且通过告警信 息可读取问题数据源头，还可以将告警信息发送至相关的负责人，以 提醒负责人核查问题数据。
附图说明
图1为本发明的数据监控方法的流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述：
本发明的数据监控方法主要针对不同地区的不同公安部门所建 立的数据系统中的数据进行关联监控，目前的公安部门所建立的数据 系统中的数据均由不同的数据负责人进行录入和管理，会存在数据质 量高低不平的情况，其中可能存在一些虚假、重复或者过期数据，这 些数据可以理解为垃圾数据，与有效数据混在一起将大大降低数据系 统的数据可靠性和有效性，严重影响了有效数据的利用率，或者有些 数据并没有录入系统，因此公安人员在办案时，会出现读取不到相关 数据的情况，或者需要花大量时间在混杂了垃圾数据的数据库中读取 有效数据的过程。因此需要建立一个数据监控系统，利用其中的数据 监控方法对多个数据库之间的数据表及其数据进行关联监控，通过具 体的监控规则达到监控数据是否异常的目的，并且能在监控报告中直 观地查看是否有异常告警。
本发明的方法的基本流程如图1所示，包括以下步骤：
S1：分别与多个数据库建立连接，以读取数据库中的数据表和数 据表中的数据。
S2：根据监控任务中的监控规则对数据库中的数据表及其数据表 中的数据进行监控。
S3：完成监控任务后，输出监控报告。
步骤的具体内容在以下的各个实施例中进行描述。
实施例1：
一种数据监控方法，包括以下步骤：
S1：分别与多个数据库建立连接，以读取数据库中的数据表和数 据表中的数据。
进一步地，管理员可对经过注册的数据表的基本信息进行编辑， 例如对数据表进行中文描述，选择数据表的类型，是否为字典表等不 破坏数据表结构的编辑。对于数据表中的字段，也可编辑字段的描述， 即对该字段的含义进行解释。
S2：根据监控任务中的监控规则对数据库中的数据表及其数据表 中的数据进行监控。
设置监控任务中的监控规则是为了评估数据的精确性、完整性、 一致性、有效性、唯一性和关联性等基本指标。监控规则包括同表自 查规则、同表联查规则和异表联查规则，同表自查规则为对数据表中 当前被选定的字段中的数据进行监控，通过监控同一数据表中单个字 段值的数据类型、长度、取值范围等，以发现数据表中的错误数据； 同表联查规则为对同一数据表中被选定的多个字段中的数据之间的 关系进行监控，从而得到字段之间完整性约束，一致性约束，以发现 数据表中的错误数据；异表联查规则为对当前数据表中被选定的字段 中的数据与另一数据表中被选定的字段中的数据之间的关系进行监 控，从而得到不同数据表字段之间完整性约束或者一致性约束，以发 现目标数据表中的错误数据。监控规则分为预设监控规则和自定义监 控规则，预设监控规则保存于监控规则库中，使用时只需要调用即可， 若预设监控规则不能满足监控任务的需求，用户可选择自定义监控规 则，自定义监控规则支持sql语句和正则表达式两种规则设置方式， 用户根据实际需求设定了监控规则的逻辑后，可通过测试判断该规则 是否达到预期的目的。在步骤S2中，设置监控任务包括以下步骤：
S21：接收针对数据表中的字段设置监控规则的请求。
S22：将被选择的字段与被选择的监控规则进行绑定。
S23：针对绑定后的字段和监控规则生成监控任务。
以用户的角度在设置监控任务时，首先选择数据表，再选择其中 的字段，然后选择具体的监控规则与字段进行绑定，便可生成监控任 务。其中，同一个字段可以绑定多个监控规则，例如，以身份证字段 为例，可以同时绑定多个同表自查规则、同表联查规则和异表联查规 则，同表自查规则可以是数据长度检查规则和数据唯一性规则，同表 联查规则可以是身份证中的出生日期码与出生日期字段一致性检查 规则和身份证中的性别码与性别一致性检查规则，异表联查规则可以 是异表身份证重号检查，即针对当前选择的身份证字段中的数据与另 一指定的表中的身份证字段中的数据相同而对应的姓名不同的情况 进行检查。
对于被选择的字段与被选择的监控规则进行绑定的步骤如下：
S221：将被选择的监控规则中的sql语句转换为相应的文字描述 语句，并将文字描述语句中的参数设为可调参数，参数为字段名。
S222：接收设置可调参数的请求。
S223：将被选择的可调参数中的内容设为被选择的字段名。
S224：将经过设置可调参数的文字描述语句再转换为相应的sql 语句。
上述绑定的步骤是为了将监控规则转换为让普通用户也能看懂 的文字描述语句，即使不懂sql语句也可以对字段进行规则设置，其 中，在每条监控规则中都预设有相应的文字描述语句，文字描述语句 相当于将sql语句翻译为通俗文字。首先将规则转换为文字描述形 式，在文字描述语句中将可以设置的参数设为可调参数。其中，在绑 定同表自查规则时，被选择的当前字段为不可调的默认参数；在绑定 同表联查规则时，除了当前被选择的当前字段外，还有相应的关联字 段，则关联字段则为可调参数，点击可调参数后会列出当前数据表中 的所有字段，以供用户选择，选择某一字段后则该可调参数中的内容 便设为刚才选择的字段；在绑定异表联查规则时，除了当前被选择的 当前字段外，还有相应的关联字段，则关联字段则为可调参数，点击 可调参数后会列出所有已注册的数据表中的所有字段，以供用户选 择，选择某一字段后则该可调参数中的内容便设为用户选择的字段， 用户选择的字段所对应的数据表名也会被选择。经过用户对可调参数 进行设置后的文字描述语句再转换为对应的sql语句，实际上是将用 户选择的字段填入sql语句中对应的位置，如果用户选择的字段为另 一数据表中的字段，则该字段对应的数据表名也填入sql语句中对应 的位置。通过上述的监控规则绑定方法，用户可以直观地对监控规则 中的相关的字段进行设置，而且通过将sql语句转换为通俗的文字描 述语句，降低用户设置监控规则的难度，提高了易用性。
进一步地，在完成监控规则的参数设置后，会对该监控规则中的 参数进行非空检查，若某个参数为空则会提示对应的参数未设置，若 全部参数均为非空则完成监控规则的绑定。
进一步地，除了设置监控规则外，还需要对监控任务进行常规设 置，该常规设置与一般的计算机任务相似，包括监控任务执行频率设 置、监控任务执行次数设置和监控任务执行时间设置，还可以对监控 任务中的监控规则进行启/禁用设置。
S3：每完成一次监控任务后，便输出一份监控报告。监控报告以 列表的形式写在报告列表中，例如，上面针对某一字段的监控任务每 天执行一次，则该字段对应的监控报告则以日期先后顺序排列在报告 列表中。
进一步地，在S2中，可将监控规则标记为告警规则，当该监控 规则所对应的数据不满足该监控规则时，例如，监控规则是对某字段 中的数据进行非空检查，若存在数据为空的情况，则不满足该监控规 则，相应地在S3中的监控报告中生成相应的告警信息。用户可以通 过点击告警信息查看数据源头。
S4：根据告警信息所对应的数据表读取该数据表的负责人的联系 信息，利用联系信息向负责人发送告警信息。通过该步骤可以将告警 信息发送至相关负责人手上，以提醒该负责人处理告警信息所对应的 问题。
实施例2：
S1：分别与多个数据库建立连接，以读取数据库中的数据表和数 据表中的数据。其内容与实施例1中的S1内容相同，不再赘述。
S2：根据监控任务中的监控规则对数据库中的数据表及其数据表 中的数据进行监控。
该实施例中所设置的监控任务中的监控规则为监控两个数据表 之间的数据量一致性，由于在实际情况中，会存在需要将一个数据表 中的数据同步至另一数据表的情况，两个数据表可以是在同一数据库 中，也可以是在不同数据库中，但是在同步过程中，可能会出现同步 重复数据，同步数据不全和丢失等问题，导致两个数据库之间的数据 不统一。因此在该步骤中，监控任务的设置包括以下步骤：
S21：接收针对两个数据表设置监控规则的请求，监控规则为对 两个数据表之间的数据量一致性进行监控。
S22：将两个被选择的数据表进行绑定，两个被选择的数据表位 于同一数据库或者位于不同数据库。
S23：针对绑定后的两个数据表生成监控任务。
以用户的角度设置上述监控任务时，可以通过选择第一数据库中 的第一数据表和第二数据库中的第二数据表，提交后便实现将第一数 据表和第二数据表绑定并开始执行监控任务。
进一步地，除了设置监控规则外，还需要对监控任务进行常规设 置，该常规设置与一般的计算机任务相似，包括监控任务执行频率设 置、监控任务执行次数设置、监控任务执行时间设置和监控任务结束 时间设置等设置中的一种或多种。
S3：每完成一次监控任务后，便输出一份监控报告。监控报告以 列表的形式写在报告列表中，监控报告中可以看出两个数据表各自的 数据量。
实施例3：
S1：分别与多个数据库建立连接，以读取数据库中的数据表和数 据表中的数据。其内容与实施例1中的S1内容相同，不再赘述。
S2：根据监控任务中的监控规则对数据库中的数据表及其数据表 中的数据进行监控。
该实施例中所设置的监控任务中的监控规则为对数据表的数据 增量进行监控，在实际的数据库正常运行过程中，一般来说，对于一 些用于统计流量的数据表的数据增量会维持在一个稳定的范围内，如 果突然出现数据量变化过少或过多，很有可能是数据发生异常，如果 没有及时的监控，很难发现数据发生异常，也就无法及时排查原因。 因此在该步骤中，监控任务的设置包括以下步骤：
S21：接收针对单个数据表设置监控规则的请求，监控规则为对 数据表的数据增量进行监控。
S22：根据监控规则中所设置的阈值生成监控任务。
具体地，监控规则中的阈值为阈值范围并由用户设置，监控任务 中的执行频率设为一天，即监控数据日增量，则判断数据日增量是否 异常的方式如下：统计当前数据表中的平均日增量，当天结束后统计 当前数据表的实际日增量，阈值范围为以平均日增量为中心的一个范 围值，例如阈值范围的百分比为30％，平均日增量为10000，则阈值 范围为[10000*130％,10000*70％]，如果实际日增量不在阈值范围内， 则判断为数据增量异常。监控任务的设置除了执行频率外，还可以设 置监控任务执行次数、监控任务执行时间和监控任务结束时间等。
S3：每完成一次监控任务后，便输出一份监控报告。监控报告以 列表的形式写在报告列表中。
进一步地，在S2中将监控规则设为告警规则，当该监控规则所 对应的数据日增量不在阈值范围内时，则不满足该监控规则，相应地 在S3中的监控报告中生成相应的告警信息，例如在监控报告中，除 了列出实际日增量、平均日增量、阈值范围百分比这些基本信息外， 还会生成告警时间和异常比率，异常比率指平均日增量减去实际日增 量得到的结果的绝对值再除以平均日增量所得到的百分比。
S4：根据告警信息所对应的数据表读取该数据表的负责人的联系 信息，利用联系信息向负责人发送告警信息。通过该步骤可以将告警 信息发送至相关负责人手上，以提醒该负责人处理告警信息所对应的 问题。
在实施例1-3中的步骤S1的内容相同，具体地，与数据库建立 连接的步骤如下：
S11：读取由用户填入的数据库连接信息，数据库连接信息包括： 数据库URL、数据库用户名和数据库密码。
S12：根据数据库类型读取相应的驱动包。
S13：利用数据库连接信息和读取的驱动包向对应的数据库发起 连接，若连接失败，则返回连接错误信息，若连接成功，则读取该数 据库中的表结构信息。
优选地，本方案可连接的数据库类型包括DB2数据库、ORACLE 数据库和MYSQL数据库，不同类型的数据库对应有不同的数据库驱动 包，根据驱动包才能解析出对应数据库中的结构。
读取了数据库中的表结构信息后，用户可读取数据库中的所有数 据表信息，再通过对所需的数据表进行注册便可读取其中的数据结构 和数据内容。
本发明的数据监控方法的优点在于：1、支持多种类型的数据库 连接，通过注册的方式将所需的数据表及其数据纳入监控范围内。2、 提供三种类型的数据监控规则，分别为同表自查规则、同表联查规则 和异表联查规则，通过三种规则可将所有数据库中的数据表的字段进 行关联监控，使监控范围最大化。3、针对三种类型的数据监控规则 设定了大量的预设监控规则，覆盖了常见的数据完整性、一致性、有 效性、唯一性和关联性问题，同时也提供了自定义监控规则的方式供 用户根据业务的需求进行规则的扩充和更新。4、除了针对字段的监 控规则，还设有数据表之间的数据量一致性的监控规则，以及数据表 的数据增量异常的监控规则。5、对于生成的监控任务可以根据实际 业务需求对任务的执行频率、执行次数、执行开始时间和执行结束时 间等常规设置项进行设置。6、对于被标记为告警规则的监控规则， 在输出监控报告时也输出相应的告警信息，并且通过告警信息可读取 问题数据源头，还可以将告警信息发送至相关的负责人，以提醒负责 人核查问题数据。
对本领域的技术人员来说，可根据以上描述的技术方案以及构 思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变 都应该属于本发明权利要求的保护范围之内。