《主备数据库数据一致性核查备份方法及其系统.pdf》由会员分享，可在线阅读，更多相关《主备数据库数据一致性核查备份方法及其系统.pdf（11页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104021132 A (43)申请公布日 2014.09.03 C N 1 0 4 0 2 1 1 3 2 A (21)申请号 201310650884.0 (22)申请日 2013.12.08 G06F 17/30(2006.01) G06F 11/14(2006.01) (71)申请人郑州正信科技发展股份有限公司 地址 450001 河南省郑州市高新技术开发区 翠竹街6号863软件园8号楼 申请人北京邮电大学 (72)发明人石瑞生 段现辉 石瑞军 秦英 岳修垒 范文明 (74)专利代理机构郑州中原专利事务所有限公 司 41109 代理人李想 霍彦伟 (54) 发。
2、明名称 主备数据库数据一致性核查备份方法及其系 统 (57) 摘要 一种主备数据库数据一致性核查备份方法， 它包括如下步骤：、读取主用数据库与备用数 据库中数据，使用MD5信息摘要算法分别对主用 数据库与备用数据库中数据进行逐条散列；、 采用快速查找算法比对主用数据库中数据的MD5 散列值与备用数据库中的数据的MD5散列值，采 用标记法生成比对结果LOG文件；、依据比对结 果LOG文件，获取主数据库中对应的业务数据，并 将业务数据更新至比对结果LOG文件；、依据 LOG文件同步完成备份数据库增量备份和备份库 备份操作LOG记录表的更新。本发明通过对主备 数据库分别进行MD5散列，然后采用二分查。
3、找快 速查找算法比对两套MD5散列值，加快了核查效 率，提高了海量数据一致性核查备份的效率。 (51)Int.Cl. 权利要求书2页 说明书5页 附图3页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书5页 附图3页 (10)申请公布号 CN 104021132 A CN 104021132 A 1/2页 2 1.一种主备数据库数据一致性核查备份方法，其特征在于，它包括如下步骤： 、读取主用数据库与备用数据库中数据，使用MD5信息摘要算法分别对主用数据库 与备用数据库中数据进行逐条散列； 、采用快速查找算法比对主用数据库中数据的MD5散列值与备用数据库中的数。
4、据的 MD5散列值，采用标记法生成比对结果LOG文件； 、依据比对结果LOG文件，获取主数据库中对应的业务数据，并将业务数据更新至比 对结果LOG文件； 、依据LOG文件同步完成备份数据库增量备份和备份库备份操作LOG记录表的更新。 2.根据权利要求1所述的主备数据库数据一致性核查备份方法，其特征在于：在步骤 中，根据业务确定资源对象的业务主键，依次读取主用数据库中的每一条记录，抽取其业 务主键值和整条记录的值，通过MD5信息摘要算法将业务主键值与其对应的整条记录的值 转化成MD5散列值，分别存入到主用数据库业务主键值字符串数组（TS1）和主用数据库整 条记录值字符串数组（TS2）中； 采用上。
5、述同样的数据读取方式，将MD5散列值存入备用数据库业务主键值字符串数组 （YS1）和备用数据库整条记录字符串数组（YS2）。 3.根据权利要求2所述的主备数据库数据一致性核查备份方法，其特征在于：在步骤 中，快速查找算法为二分查找算法，其比对过程如下： 第一步：将主用数据库中的主用数据库业务主键值字符串数组（TS1）和主用数据库整 条记录值字符串数组（TS2）与备用数据库中的备用数据库业务主键值字符串数组（YS1）和 备用数据库整条记录字符串数组（YS2）进行逐条比对，用于筛选出新增、修改的数据； 第二步：将备用数据库中的备用数据库业务主键值字符串数组（YS1）和备用数据库整 条记录字符串数组。
6、（YS2）与主用数据库中的主用数据库业务主键值字符串数组（TS1）和主 用数据库整条记录值字符串数组（TS2）进行逐条比对，用于筛选出删除的数据。 4.根据权利要求3所述的主备数据库数据一致性核查备份方法，其特征在于，筛选新 增、修改数据的步骤如下：首先将备用数据库业务主键值字符串数组（YS1）和备用数据库 整条记录字符串数组（YS2）排序，依次使用主用数据库中每一条主用数据库业务主键值字 符串数组（TS1）在备用数据库业务主键值字符串数组（YS1）中使用二分查找算法查找，分 以下情况： 若不存在，则说明该条数据为新增数据，在LOG文件中记录主用数据库中该条据的业 务主键值，并以A进行标记； 。
7、若存在，则比较主用数据库整条记录值字符串数组（TS2）与备用数据库整条记录字符 串数组（YS2）是否相同：不相同，则说明该条数据做了更新，在LOG文件中记录主用数据库 中该条据的主键值，并以M进行标记；相同，即说明该数据的MD5散列值不变，即说明该条记 录无变化，无需更新。 5.根据权利要求3所述的主备数据库数据一致性核查备份方法，其特征在于，筛选删 除数据的步骤如下：首先将主用数据库业务主键值字符串数组（TS1）排序，依次读取备用 数据库中每一条备用数据库业务主键值字符串数组（YS1）在主用数据库业务主键值字符串 数组（TS1）中使用二分查找算法查找，若不存在则说明该条数据已被主用数据库删除。
8、，则在 LOG文件中记录该数据的业务主键值，以D进行标记。 权 利 要 求 书CN 104021132 A 2/2页 3 6.一种主备数据库数据一致性核查备份系统，其特征在于，它包括： MD5散列模块，它读取主用数据库与备用数据库中数据，使用MD5信息摘要算法分别对 主用数据库与备用数据库中数据进行逐条散列； LOG文件生成模块，它采用快速查找算法比对主用数据库中数据的MD5散列值与备用 数据库中的数据的MD5散列值，采用标记法生成比对结果LOG文件； LOG文件更新模块，它依据比对结果LOG文件，获取主数据库中对应的业务数据，并将 业务数据更新至比对结果LOG文件； 备份库更新模块，依据LO。
9、G文件同步完成备份数据库增量备份和备份库备份操作LOG 记录表的更新。 权 利 要 求 书CN 104021132 A 1/5页 4 主备数据库数据一致性核查备份方法及其系统 技术领域 0001 本发明涉及计算机信息技术领域，特别涉及一种主备数据库数据一致性核查备份 的方法。 背景技术 0002 随着信息化技术的广泛应用，各机构或单位都建立了多个IT系统，这些IT系统因 为机构分割管冶或是不同集成厂商的原因，出于对审计的考虑，很多关键业务数据往往存 在同样的数据需要在主本方和副本方各存贮一份，主本方的业务数据（即主数据库）通常是 业务数据的生产方的IT系统所用，而副本方的业务数据（即备份数据库。
10、）通常是业务数据的 消费方的IT系统所有，备份数据库需要定期与主数据库保持一致，以保持副本方业务数据 与主本方的正确性。 0003 现有技术中对于主备数据一致性核查备份有两种方法，方法一是将主数据库设备 中所有需要备份的数据通过数据通道全部发送到备份数据设备中，备份设备将主设备发来 的数据与本设备上的数据进行比较，如果发现数据不一致再进行相关处理。这种方法在主 备份设备间传送和比较的是所有需要备份的数据，因此传送和核查比对需要比较长的时 间。 0004 方法二是将主备数据库设备上的数据分别进行杂凑类算法加密后，再进行一致性 比较，如果发现数据不一致再进行相关处理。因为传递和比较的是经杂凑类算法。
11、加密后的 摘要信息，因此能够较快的进行主备设备之间数据核查，缩短数据核查周期。 0005 这两种方法在进行比对查找时，均未采用快速查找算法，来提升核查效率，对于数 据量非常大-数亿级时，难于实现高效的核查备份；在进行一致性备份处理时，没有在备份 数据库设备中形成备份数据库一致性处理的数据库操作LOG记录，不能直观的呈现备份操 作，不利于数据操作的安全审计。 0006 CN201210353715.6采用的技术方案是：客户端对文件进行MD5加密，并生成文件 快照后上传服务器端进行文件全备份。这种方法的主要目的是增强文件管理的安全性；但 是，数据上传服务器需要耗费大量的时间，对于数据量非常大-数亿。
12、级时，难于实现高效的 核查备份。 0007 CN200510132328.X采用的技术方案是：通过分别对主备设备的用户数据进行MD5 杂凑加密后，进行比较核查处理并最终使主备设备用户数据一致的方法。但是这种方法在 进行核查校验时，没有采用快速查找方法，不适用于海量数据一致性核查备份；在进行一致 性处理时，没有形成直观的备份操作记录表，不利于数据安全审计。 发明内容 0008 本发明的目的有三个：一是核查对比效率高；二是形成直观的备份操作记录表； 三是数据库操作的安全审计，基于此，提供一种主备数据库数据一致性核查备份方法及其 系统。 说 明 书CN 104021132 A 2/5页 5 0009。
13、 为实现上述目的，本发明采用以下技术方案： 一种主备数据库数据一致性核查备份方法，它包括如下步骤： 、读取主用数据库与备用数据库中数据，使用MD5信息摘要算法分别对主用数据库 与备用数据库中数据进行逐条散列； 、采用快速查找算法比对主用数据库中数据的MD5散列值与备用数据库中的数据的 MD5散列值，采用标记法生成比对结果LOG文件； 、依据比对结果LOG文件，获取主数据库中对应的业务数据，并将业务数据更新至比 对结果LOG文件； 、依据LOG文件同步完成备份数据库增量备份和备份库备份操作LOG记录表的更新。 0010 在步骤中，根据业务确定资源对象的业务主键，依次读取主用数据库中的每一 条记录。
14、，抽取其业务主键值和整条记录的值，通过MD5信息摘要算法将业务主键值与其对 应的整条记录的值转化成MD5散列值，分别存入到主用数据库业务主键值字符串数组和主 用数据库整条记录值字符串数组中； 采用上述同样的数据读取方式，将MD5散列值存入备用数据库业务主键值字符串数组 和备用数据库整条记录字符串数组。 0011 在步骤中，快速查找算法为二分查找算法，其比对过程如下： 第一步：将主用数据库中的主用数据库业务主键值字符串数组和主用数据库整条记录 值字符串数组与备用数据库中的备用数据库业务主键值字符串数组和备用数据库整条记 录字符串数组进行逐条比对，用于筛选出新增、修改的数据； 第二步：将备用数据库。
15、中的备用数据库业务主键值字符串数组和备用数据库整条记录 字符串数组与主用数据库中的主用数据库业务主键值字符串数组和主用数据库整条记录 值字符串数组进行逐条比对，用于筛选出删除的数据。 0012 筛选新增、修改数据的步骤如下：首先将备用数据库业务主键值字符串数组和备 用数据库整条记录字符串数组排序，依次使用主用数据库中每一条主用数据库业务主键值 字符串数组在备用数据库业务主键值字符串数组中使用二分查找算法查找，分以下情况： 若不存在，则说明该条数据为新增数据，在LOG文件中记录主用数据库中该条据的业 务主键值，并以A进行标记； 若存在，则比较主用数据库整条记录值字符串数组与备用数据库整条记录字符。
16、串数组 是否相同：不相同，则说明该条数据做了更新，在LOG文件中记录主用数据库中该条据的主 键值，并以M进行标记；相同，即说明该数据的MD5散列值不变，即说明该条记录无变化，无 需更新。 0013 筛选删除数据的步骤如下：首先将主用数据库业务主键值字符串数组排序，依次 读取备用数据库中每一条备用数据库业务主键值字符串数组在主用数据库业务主键值字 符串数组中使用二分查找算法查找，若不存在则说明该条数据已被主用数据库删除，则在 LOG文件中记录该数据的业务主键值，以D进行标记。 0014 一种主备数据库数据一致性核查备份系统，它包括： MD5散列模块，它读取主用数据库与备用数据库中数据，使用MD5。
17、信息摘要算法分别对 主用数据库与备用数据库中数据进行逐条散列； LOG文件生成模块，它采用快速查找算法比对主用数据库中数据的MD5散列值与备用 说 明 书CN 104021132 A 3/5页 6 数据库中的数据的MD5散列值，采用标记法生成比对结果LOG文件； LOG文件更新模块，它依据比对结果LOG文件，获取主数据库中对应的业务数据，并将 业务数据更新至比对结果LOG文件； 备份库更新模块，依据LOG文件同步完成备份数据库增量备份和备份库备份操作LOG 记录表的更新。 0015 采用上述技术方案的本发明，通过对主备数据库分别进行MD5散列，然后采用二 分查找快速查找算法比对两套MD5散列值。
18、，加快了核查效率，提高了海量数据一致性核查 备份的效率；采用标记法生成比对结果，进而形成直观的备份操作LOG记录表，并最终实现 备份数据库的增量备份。相比现有的技术，本发明在对比时采用快速查找算法提高核查速 度；核查备份中采用标记法形成直观的操作记录，利于业务数据操作安全审计；而且，在实 现时，核查时上一次生成的主用数据库中数据的MD5散列值，作为本次备用数据库中数据 的MD5散列值，减少散列次数。 附图 说明 0016 图1为读取主用数据库与备用数据库当前数据流程图。 0017 图2为筛选新增数据、修改数据的流程图。 0018 图3为筛选删除数据的流程图。 具体实施方式 0019 一种主备数。
19、据库数据一致性核查备份方法，它包括如下步骤： 、读取主用数据库与备用数据库中数据，使用MD5信息摘要算法分别对主用数据库 与备用数据库中数据进行逐条散列。 0020 如图1所示，根据业务确定资源对象的业务主键，依次读取主用数据库中的每一 条记录，抽取其业务主键值和整条记录的值，通过MD5信息摘要算法将业务主键值与其对 应的整条记录的值转化成MD5散列值，分别存入到主用数据库业务主键值字符串数组TS1 和主用数据库整条记录值字符串数组TS2中； 采用上述同样的数据读取方式，将MD5散列值存入备用数据库业务主键值字符串数组 YS1和备用数据库整条记录字符串数组YS2。由于备份操作往往是周期性的，系。
20、统可以将上 一次生成的主用数据库中数据的MD5散列值保存，作为本次备用数据库中数据的MD5散列 值。 0021 、采用快速查找算法比对主用数据库中数据的MD5散列值与备用数据库中的数 据的MD5散列值，采用标记法生成比对结果LOG文件。其中，快速查找算法为二分查找算法， 其比对过程如下： 第一步：将主用数据库中的主用数据库业务主键值字符串数组TS1和主用数据库整条 记录值字符串数组TS2与备用数据库中的备用数据库业务主键值字符串数组YS1和备用数 据库整条记录字符串数组YS2进行逐条比对，用于筛选出新增、修改的数据； 第二步：将备用数据库中的备用数据库业务主键值字符串数组YS1和备用数据库整条。
21、 记录字符串数组YS2与主用数据库中的主用数据库业务主键值字符串数组TS1和主用数据 库整条记录值字符串数组TS2进行逐条比对，用于筛选出删除的数据。 说 明 书CN 104021132 A 4/5页 7 0022 如图2所示，筛选新增、修改数据的步骤如下：首先将备用数据库业务主键值字符 串数组YS1和备用数据库整条记录字符串数组YS2排序，依次使用主用数据库中每一条主 用数据库业务主键值字符串数组TS1在备用数据库业务主键值字符串数组YS1中使用二分 查找算法查找，分以下情况： 若不存在，则说明该条数据为新增数据，在LOG文件中记录主用数据库中该条据的业 务主键值，并以A进行标记； 若存在，。
22、则比较主用数据库整条记录值字符串数组TS2与备用数据库整条记录字符串 数组YS2是否相同：不相同，则说明该条数据做了更新，在LOG文件中记录主用数据库中该 条据的主键值，并以M进行标记；相同，即说明该数据的MD5散列值不变，即说明该条记录无 变化，无需更新。 0023 如图3所示，筛选删除数据的步骤如下：首先将主用数据库业务主键值字符串数 组TS1排序，依次读取备用数据库中每一条备用数据库业务主键值字符串数组YS1在主用 数据库业务主键值字符串数组TS1中使用二分查找算法查找，若不存在则说明该条数据已 被主用数据库删除，则在LOG文件中记录该数据的业务主键值，以D进行标记。 0024 、依据比。
23、对结果LOG文件，获取主数据库中对应的业务数据，并将业务数据更新 至比对结果LOG文件。其具体步骤分为以下三步：首先，将比对结果LOG文件中标识位为 I和U的记录对应的业务主键发给主设备；其次，主设备依据发来的业务主键获取实际 业务数据，并发送给备份设备；再次，备份设备收到发来的业务数据，将业务数据按主键值 更新至比对结果LOG文件中。 0025 、依据LOG文件同步完成备份数据库增量备份和备份库备份操作LOG记录表的 更新。 0026 i）、逐条读取比对结果LOG文件，批量完成备份库的数据增量备份，如下： LOG文件中标识码为I，则在备份数据库相对应的表中插入该条记录； LOG文件中标识码为。
24、D，则在备份数据库相对应的表中删除该条记录； LOG文件中标识码为U，则在备份数据库相对应的表中先删除当前数据库该条记录， 再把LOG文件中与该条记录的业务主键值相等的记录插入到数据库中； ii）、逐条读取比对结果LOG文件，批量完成备份操作LOG记录表追加。 0027 备份操作LOG记录表的表结构为对应的业务数据表结构+更新日期，比对结果中 标记的数据更新方式与LOG记录表中的标记对应如下： LOG文件中A对应备份操作LOG记录表中I（insert 新增的数据）； LOG文件中M对应备份操作LOG记录表中U（update更新的数据）； LOG文件中D 对应备份操作LOG记录表中（delete。
25、删除的数据）。 0028 一种主备数据库数据一致性核查备份系统，它包括： MD5散列模块，它读取主用数据库与备用数据库中数据，使用MD5信息摘要算法分别对 主用数据库与备用数据库中数据进行逐条散列； LOG文件生成模块，它采用快速查找算法比对主用数据库中数据的MD5散列值与备用 数据库中的数据的MD5散列值，采用标记法生成比对结果LOG文件； LOG文件更新模块，它依据比对结果LOG文件，获取主数据库中对应的业务数据，并将 业务数据更新至比对结果LOG文件； 说 明 书CN 104021132 A 5/5页 8 备份库更新模块，依据LOG文件同步完成备份数据库增量备份和备份库备份操作LOG 记录表的更新。 说 明 书CN 104021132 A 1/3页 9 图1 说 明 书 附 图CN 104021132 A 2/3页 10 图2 说 明 书 附 图CN 104021132 A 10 3/3页 11 图3 说 明 书 附 图CN 104021132 A 11 。