一种集中清算系统的数据管理方法及系统.pdf

摘要
申请专利号：	CN201410642550.3	申请日：	2014.11.07
公开号：	CN104391899A	公开日：	2015.03.04
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):G06F 17/30申请日:20141107\|\|\|公开
IPC分类号：	G06F17/30	主分类号：	G06F17/30
申请人：	中国建设银行股份有限公司
发明人：	何嘉杰; 杜智铨; 史文; 李兴华; 黄东生; 柳扬歌
地址：	100033北京市西城区金融大街25号
优先权：
专利代理机构：	北京集佳知识产权代理有限公司11227	代理人：	王宝筠
PDF下载：	PDF下载

内容摘要

本发明实施例公开了一种集中清算系统的数据管理方法及系统，本发明方法实施例中数据管理方法包括：获取待写入报文数据；解析待写入报文数据，得到报文关系数据及报文内容数据；将报文关系数据保存在RDBMS数据库，将报文内容数据保存在NoSQL数据库中，并在RDBMS数据库建立报文内容数据查询索引；获取报文读取请求；根据报文读取请求从RDBMS数据库中获取报文关系数据及报文内容数据查询索引，从NoSQL数据库中查询报文内容数据；将报文关系数据和报文内容数据组合后，读取报文信息。本发明实施例节省了RDBMS数据库的IO开销，提高了RDBMS数据库查询缓存命中率，提升了RDBMS数据库主从同步效率，同时由于RDBMS数据库存储的数据的减小，提高了RDBMS数据库中数据备份和恢复的速度。

权利要求书

权利要求书
1.  一种集中清算系统的数据管理方法，其特征在于，所述集中清算系统的数据库包括NoSQL数据库和RDBMS数据库，所述数据管理方法包括：
获取待写入报文数据；
解析所述待写入报文数据，得到报文关系数据及报文内容数据；
将所述报文关系数据保存在所述RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，并在所述RDBMS数据库建立报文内容数据查询索引；
获取报文读取请求；
根据所述报文读取请求从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据；
将所述报文关系数据和所述报文内容数据组合后，读取报文信息。

2.  根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取业务处理信息；
根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和所述RDBMS数据库中的报文关系数据。

3.  根据权利要求1或2所述的方法，其特征在于，所述报文关系数据包括原始报文中的标志数据、区分业务处理主体及标志业务状态的数据。

4.  根据权利要求3所述的方法，其特征在于，所述原始报文中的标志数据包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式。

5.  根据权利要求3所述的方法，其特征在于，所述区分业务处理主体及标志业务状态的数据包括归属分行、客户类型、业务来源、处理状态，特殊标志。

6.  一种集中清算系统的数据管理子系统，其特征在于，所述集中清算系统的数据库包括NoSQL数据库和RDBMS数据库，所述数据管理子系统包括：
第一获取单元，用于获取待写入报文数据；
解析单元，用于解析所述待写入报文数据，得到报文关系数据及报文内容数据；
保存单元，用于将所述报文关系数据保存在所述RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，并在所述RDBMS数据库建立报文内容数据查询索引；
第二获取单元，用于获取报文读取请求；
第三获取单元，根据所述报文读取请求从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据；
读取单元，用于将所述报文关系数据和所述报文内容数据组合后，读取报文信息。

7.  根据权利要求6所述的数据管理子系统，其特征在于，所述数据管理子系统还包括：
第四获取单元，用于获取业务处理处理信息；
更新单元，用于根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和所述RDBMS数据库中的报文关系数据。

8.  根据权利要求6或7所述的数据管理子系统，其特征在于，所述报文关系数据包括原始报文中的标志数据、区分业务处理主体及标志业务状态的数据。

9.  根据权利要求8所述的数据管理子系统，其特征在于，所述原始报文中的标志数据包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式。

10.  根据权利要求8所述的数据管理子系统，其特征在于，所述区分业务处理主体及标志业务状态的数据包括归属分行、客户类型、业务来源、处理状态，特殊标志。

说明书

说明书一种集中清算系统的数据管理方法及系统
技术领域
本发明涉及计算机技术领域，特别涉及一种集中清算系统的数据管理方法及系统。
背景技术
银行的集中清算系统上联SWIFT Alliance系统及当地清算接口系统，下联行内相关业务系统，集中处理外汇清算相关业务报文，实现外汇清算“总行一口进，一口出”的业务目标。
随着外汇清算业务及人民币离岸业务不断发展，预期现有集中清算系统将承担越来越大的处理压力，为适应业务发展需求，对现有系统进行性能分析后发现缺陷主要在于数据库层面，存在两个问题：其一是业务高速发展，在大数据量高并发环境下数据库读写性能瓶颈初现端倪；其二是应用开发日益复杂，分库分表规则繁多，对需求变更响应变慢，数据库中文本存储报文原数据，造成库表庞大，导致库表过大，不便于对数据进行归档处理及进一步分析。
目前银行集中清算系统的数据库采用了两种不同方案：一种是采用传统的关系数据库(relationaldatabase management system，RDBMS)，但RDBMS对硬件要求过大，且不支持分布式存储，无法透明地扩展节点；另一种是采用非关系数据库(Not Only SQL，NoSQL)，其具有RDBMS数据库所不具备的优势：对硬件要求不高，支持分布式存储，能透明地扩展节点，典型的NoSQL数据库以key-values的形式存储数据，具有模式自由的特点，但是随着业务的不断发展以及相关系统的扩展，简单的NoSQL数据库无法适应不断发展的业务需求。
发明内容
本发明实施例提供了涉及一种集中清算系统的数据管理方法及系统，在集中清算系统中融合使用RDBMS数据库与NoSQL数据库，节省了RDBMS 数据库的IO开销，提高了RDBMS数据库查询缓存命中率，提升了RDBMS数据库主从同步效率，同时由于RDBMS数据库存储的数据的减小，提高了RDBMS数据库中数据备份和恢复的速度。
本发明实施例第一方面提供了一种集中清算系统的数据管理方法，包括：
所述集中清算系统的数据库包括NoSQL数据库和RDBMS数据库，所述数据管理方法包括：
获取待写入报文数据；
解析所述待写入报文数据，得到报文关系数据及报文内容数据；
将所述报文关系数据保存在所述RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，并在所述RDBMS数据库建立报文内容数据查询索引；
获取报文读取请求；
根据所述报文读取请求从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据；
将所述报文关系数据和所述报文内容数据组合后，读取报文信息。
可选的，所述方法还可以包括：
获取业务处理信息；
根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和RDBMS数据库中的报文关系数据。
可选的，所述报文关系数据包括原始报文中的标志数据、区分业务处理主体及标志业务状态的数据。
可选的，所述原始报文中的标志数据包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式。
可选的，所述区分业务处理主体及标志业务状态的数据包括归属分行、客户类型、业务来源、处理状态，特殊标志。
本发明实施例的第二方面提供了一种集中清算系统的数据管理子系统，所述集中清算系统的数据库包括NoSQL数据库和RDBMS数据库，所述数据管理子系统包括：
第一获取单元，用于获取待写入报文数据；
解析单元，用于解析所述待写入报文数据，得到报文关系数据及报文内容数据；
保存单元，用于将所述报文关系数据保存在所述RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，并在所述RDBMS数据库建立报文内容数据查询索引；
第二获取单元，用于获取报文读取请求；
第三获取单元，根据所述报文读取请求从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述NoSQL数据库中获取报文内容数据；
读取单元，用于将所述报文关系数据和所述报文内容数据组合后，读取报文信息。
可选的，所述数据管理子系统还包括：
第四获取单元，用于获取业务处理处理信息；
更新单元，用于根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和RDBMS数据库中的报文关系数据。
可选的，所述报文关系数据包括原始报文中的标志数据、区分业务处理主体及标志业务状态的数据。
可选的，所述原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式。
可选的，所述区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中在集中清算系统中融合使用RDBMS数据库与NoSQL数据库，使两类数据库各司其职，让RDBMS专门负责处理擅长的关系存储的报文关系数据，而NoSQL作为报文内容数据的存储，由于RDBMS数据库只存储需要查询的小字段报文关系数据，不再负责存储大文本字段(报文内容数据)，节省了RDBMS数据库的IO开销，提高了RDBMS数据库查询缓存命中率，提升了RDBMS主从同步效率，同时由于RDBMS数据库存储的数据的减小，提高了RDBMS数据库中数据备份和恢复的速度。
附图说明
图1是本发明实施例中集中清算系统的数据管理方法的一个实施例示意图；
图2是本发明实施例中集中清算系统的数据管理方法的另一个实施例示意图；
图3是本发明实施例中集中清算系统的数据管理子系统的一个实施例示意图；
图4是本发明实施例中集中清算系统的数据管理子系统的另一个实施例示意图；
图5是本发明实施例中集中清算系统的数据管理子系统的另一个实施例示意图。
具体实施方式
本发明实施例提供了一种集中清算系统的数据管理方法及系统，在集中清算系统中融合使用RDBMS数据库与NoSQL数据库，节省了RDBMS数据库的IO开销，提高了RDBMS数据库查询缓存命中率，提升了RDBMS数据库主从同步效率，同时由于RDBMS数据库存储的数据的减小，提高了RDBMS数据库中数据备份和恢复的速度。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例中，集中清算系统包括国内清算、报文管理及海外清算三个子系统。
国内清算子系统连接人行通讯前置及国内通讯总线，实现与国内的报文交换。海外清算子系统通过文件交换服务器实现与海外相关系统(如核心系统、网银系统、贸易融资系统等)连接，通过广域网与当地清算系统、黑名单系统连接，例如纽约分行的CHIPS、FEDWIRE美元清算系统、纽约分行的PRIME黑名单检索系统，海外分行只部署客户端，然后通过专线连接海外外汇清算子系统进行业务操作。
国内国外对外报文统一通过报文管理子系统，与总行SWIFT Alliance系统连接，实现与境外交换。
请参阅图1，本发明实施例中集中清算系统的数据管理方法一个实施例包括：
101、获取待写入报文数据；
本发明实施例中，在集中清算系统的数据层融合使用NoSQL数据库和RDBMS数据库，在集中清算系统的数据管理进行数据管理前，需要进行NoSQL数据库和RDBMS数据库的如下准备工作：(1)在RDBMS数据库中创建清算系统数据库Database及相关报文数据表Table，创建的表可以包括：报文记录表、汇入流水表、汇出流水表、机构表、用户表；(2)在NoSQL数据库中创建原始报文数据库及Collection集合；(3)编译RDBMS数据库及NoSQL数据库，创建报文信息处理的规则,包括：来报自动登记报文信息、报文自动分发登记、汇入报文自动匹配登记、转发报文登记、按照特定规则(登记日期、业务编号、起息日、金额、币别等)获取报文信息、根据业务处理情况(编辑、复核、授权)更新报文信息；(4)使用Java6编译RDBMS数据库及NoSQL数据库，为NoSQL数据库和RDBMS数据库提供数据访问接口，如分别提供过程(1)、(2)中创建的存储过程所对应的数据访问接口；(5)在集中清算系统中加载编译的NoSQL数据库和RDBMS数据库，此时即可以融合使用NoSQL数据库和RDBMS数据库，根据不同的业务需要调用不同接口，分别读取和写入业务所需要的数据。
在集中清算系统中，在进行业务操作或业务处理的时候，在报文数据写入时，可以获取待写入的报文数据。
102、解析所述待写入报文数据，得到报文关系数据及报文内容数据；
集中清算系统对获取的报文数据进行解析，即可以得到报文关系数据，和报文内容数据，所述报文关系数据为标志报文数据的各种属性信息及关系信息的数据，所述报文关系数据可以包括如下两类：
第一类为原始报文中的标志数据，第二类为区分业务处理主体及标志业务状态的数据；
其中，原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式等；区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志等。
103、将所述报文关系数据保存在所述RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，并在所述RDBMS数据库建立报文内容数据查询索引；
集中清算系统将获取的报文关系数据保存在RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，此时在RDBMS数据库只负责保存擅长的关系存储，即报文关系数据，而在NoSQL数据库保存报文的实质内容数据，即报文的内容数据，在保存数据在NoSQL数据库及RDBMS数据库中时，在所述RDBMS数据库建立报文内容数据查询索引，以方便在读取报文数据时，根据报文关系数据，及报文内容数据查询索引，将报文关系数据和报文内容数据对应。
104、获取报文读取请求；
在报文读取时，集中清算系统可以获取到报文读取的请求；
105、根据所述报文读取请求从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据；
集中清算系统在获取报文读取请求后，根据报文读取请求可以获知需要读取的报文数据，根据所述报文读取请求可以从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，然后根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据。
106、将所述报文关系数据和所述报文内容数据组合后，读取报文信息。
在获取到报文关系数据和报文内容数据后，即可对报文关系数据和报文内容数据按设定的报文组成规则组合成完整的报文数据，读取报文信息。
本实施例中，步骤101至步骤103为在NoSQL数据库和RDBMS数据库中存入数据，步骤104至步骤106为在NoSQL数据库和RDBMS数据库读取数据，上述过程可以是两个相对独立的过程，此处不作限定。
本发明实施例中在集中清算系统中融合使用RDBMS数据库与NoSQL数据库，使两类数据库各司其职，让RDBMS数据库专门负责处理擅长的关系存储的报文关系数据，而NoSQL数据库作为报文内容数据的存储，由于RDBMS数据库只存储需要查询的小字段报文关系数据，不再负责存储大文本字段的报文内容数据，节省了RDBMS数据库的IO开销，提高了RDBMS数据库查询缓存命中率，提升了RDBMS数据库主从同步效率，同时由于RDBMS数据库存储的数据的减小，提高了RDBMS数据库中数据备份和恢复的速度。
具体的，本发明实施例具有以下优点：
节省RDBMS数据库的IO开销：由于RDBMS数据库只存储需要查询的小字段，不再负责存储大文本字段，这样就可以节省RDBMS数据库存储的空间开销，从而节省RDBMS数据库的磁盘IO。
提高RDBMS数据库查询缓存命中率：由于查询缓存失效是表级的，表一旦被更新就会失效，经过这种字段的分离，更新的字段如果不是存储在RDBMS数据库中，那么对查询缓存就没有任何影响。而NoSQL数据库的缓存往往都是行级别的，只对更新的记录的缓存失效。
提升RDBMS数据库主从同步效率：由于RDBMS数据库存储空间的减小，同步的数据记录也减小了，而部分数据的更新落在NoSQL数据库而不是 RDBMS数据库，这样也减少了RDBMS数据库数据需要同步的次数。
提高RDBMS数据库数据备份和恢复的速度。由于RDBMS数据库存储的数据的减小，很容易看到数据备份和恢复的速度也将极大的提高。比以前更容易扩展，NoSQL数据库天生就容易扩展，经过这种优化，RDBMS数据库性能也得到提高。
图1所示的实施例中，NoSQL数据库及RDBMS数据库中的数据可以在处理业务后实时获得更新，请参阅图2，本发明实施例中集中清算系统的数据管理方法另一个实施例包括：
201、获取待写入报文数据；
本发明实施例中，在集中清算系统的数据层融合使用NoSQL数据库和RDBMS数据库，在集中清算系统的数据管理进行数据管理前，需要进行NoSQL数据库和RDBMS数据库的如下准备工作：(1)在RDBMS数据库中创建清算系统数据库Database及相关报文数据表Table，创建的表可以包括：报文记录表、汇入流水表、汇出流水表、机构表、用户表；(2)在NoSQL数据库中创建原始报文数据库及Collection集合；(3)编译RDBMS数据库及NoSQL数据库，创建报文信息处理的规则,包括：来报自动登记报文信息、报文自动分发登记、汇入报文自动匹配登记、转发报文登记、按照特定规则(登记日期、业务编号、起息日、金额、币别等)获取报文信息、根据业务处理情况(编辑、复核、授权)更新报文信息；(4)使用Java6编译RDBMS数据库及NoSQL数据库，为NoSQL数据库和RDBMS数据库提供数据访问接口，如分别提供过程(1)、(2)中创建的存储过程所对应的数据访问接口；(5)在集中清算系统中加载编译的NoSQL数据库和RDBMS数据库，此时即可以融合使用NoSQL数据库和RDBMS数据库，根据不同的业务需要调用不同接口，分别读取和写入业务所需要的数据。
在集中清算系统中，在进行业务操作或业务处理的时候，在报文数据写入时，可以获取待写入的报文数据。
202、解析所述待写入报文数据，得到报文关系数据及报文内容数据；
集中清算系统对获取的报文数据进行解析，即可以得到报文关系数据，和报文内容数据，所述报文关系数据为标志报文数据的各种属性信息及关系信息的数据，所述报文关系数据可以包括如下两类：
第一类为原始报文中的标志数据，第二类为区分业务处理主体及标志业务状态的数据；
其中，原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式等信息；区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志等信息。
203、将所述报文关系数据保存在所述RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，并在所述RDBMS数据库建立报文内容数据查询索引；
集中清算系统将获取的报文关系数据保存在RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，此时在RDBMS数据库只负责保存擅长的关系存储，即报文关系数据，而在NoSQL数据库保存报文的实质内容数据，即报文的内容数据，在保存数据在NoSQL数据库及RDBMS数据库中时，在所述RDBMS数据库建立报文内容数据查询索引，以方便在读取报文数据时，根据报文关系数据，及报文内容数据查询索引，将报文关系数据和报文内容数据对应。
204、获取报文读取请求；
在报文读取时，集中清算系统可以获取到报文读取的请求；
205、根据所述报文读取请求从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据；
集中清算系统在获取报文读取请求后，根据报文读取请求可以获知需要读取的报文数据，根据所述报文读取请求可以从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，然后根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据。
206、将所述报文关系数据和所述报文内容数据组合后，读取报文信息。
在获取到报文关系数据和报文内容数据后，即可对报文关系数据和报文内容数据按报文组成组合成完整的报文数据，读取报文信息。
207、获取业务处理信息；
集中清算系统在进行业务处理和操作的时候，获取业务处理信息，如编辑、复核、授权等操作的业务信息。
208、根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和RDBMS数据库中的报文关系数据。
在集中清算系统在进行业务处理和操作后，更新所述NoSQL数据库中的报文内容数据和RDBMS数据库中的报文关系数据，使NoSQL数据库、RDBMS数据库中保存最新的数据。
本实施例中，步骤201至步骤203为在NoSQL数据库和RDBMS数据库中存入数据，步骤204至步骤206为在NoSQL数据库和RDBMS数据库读取数据，步骤207至步骤208为在业务处理后，在NoSQL数据库和RDBMS数据库中实时更新数据，上述三个过程可以是相对独立的过程，此处不作限定。
本发明实施例中在集中清算系统中融合使用RDBMS数据库与NoSQL数据库，使两类数据库各司其职，让RDBMS数据库专门负责处理擅长的关系存储的报文关系数据，而NoSQL数据库作为报文内容数据的存储，由于RDBMS数据库只存储需要查询的小字段报文关系数据，不再负责存储大文本字段的报文内容数据，节省了RDBMS数据库的IO开销，提高了RDBMS数据库查询缓存命中率，提升了RDBMS数据库主从同步效率，同时由于RDBMS数据库存储的数据的减小，提高了RDBMS数据库中数据备份和恢复的速度；
具体的，本发明实施例具有以下优点：
节省RDBMS数据库的IO开销：由于RDBMS数据库只存储需要查询的小字段，不再负责存储大文本字段，这样就可以节省RDBMS数据库存储的空间开销，从而节省RDBMS数据库的磁盘IO。
提高RDBMS数据库查询缓存命中率：由于查询缓存失效是表级的，表一旦被更新就会失效，经过这种字段的分离，更新的字段如果不是存储在RDBMS数据库中，那么对查询缓存就没有任何影响。而NoSQL数据库的缓存往往都是行级别的，只对更新的记录的缓存失效。
提升RDBMS数据库主从同步效率：由于RDBMS数据库存储空间的减小，同步的数据记录也减小了，而部分数据的更新落在NoSQL数据库而不是 RDBMS数据库，这样也减少了RDBMS数据库数据需要同步的次数。
提高RDBMS数据库数据备份和恢复的速度。由于RDBMS数据库存储的数据的减小，很容易看到数据备份和恢复的速度也将极大的提高。比以前更容易扩展，NoSQL数据库天生就容易扩展，经过这种优化，RDBMS数据库性能也得到提高。
其次，在集中清算系统在进行业务处理和操作后，更新所述NoSQL数据库中的报文内容数据和RDBMS数据库中的报文关系数据，使NoSQL数据库、RDBMS数据库中保存最新的数据。
下面介绍本发明实施例中的集中清算系统的数据管理子系统实施例，请参阅图3，本发明实施例中的集中清算系统的数据管理子系统一个实施例中，所述集中清算系统的数据库包括NoSQL数据库和RDBMS数据库，所述数据管理子系统300包括：
第一获取单元301，用于获取待写入报文数据；
解析单元302，用于解析所述待写入报文数据，得到报文关系数据及报文内容数据；
保存单元303，用于将所述报文关系数据保存在所述RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，并在所述RDBMS数据库建立报文内容数据查询索引；
第二获取单元304，用于获取报文读取请求；
第三获取单元305，根据所述报文读取请求从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据；
读取单元306，用于将所述报文关系数据和所述报文内容数据组合后，读取报文信息。
其中，所述报文关系数据可以包括如下两类：
第一类为原始报文中的标志数据，第二类为区分业务处理主体及标志业务状态的数据；
其中，原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式等信息；区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志等信息。
本发明实施例中在集中清算系统中融合使用RDBMS数据库与NoSQL数据库，使两类数据库各司其职，保存单元303在RDBMS数据库保存报文关系数据，在NoSQL数据库保存报文内容数据，由于RDBMS数据库只存储需要查询的小字段报文关系数据，不再负责存储大文本字段的报文内容数据，节省RDBMS数据库的IO开销，提高RDBMS数据库查询缓存命中率，提升RDBMS数据库主从同步效率，同时由于RDBMS数据库存储的数据的减小，提高RDBMS数据库中数据备份和恢复的速度；
请参阅图4，本发明实施例中的集中清算系统的数据管理子系统一个实施例中，所述集中清算系统的数据库包括NoSQL数据库和RDBMS数据库，所述数据管理子系统400包括：
第一获取单元401，用于获取待写入报文数据；
解析单元402，用于解析所述待写入报文数据，得到报文关系数据及报文内容数据；
保存单元403，用于将所述报文关系数据保存在所述RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，并在所述RDBMS数据库建立报文内容数据查询索引；
第二获取单元404，用于获取报文读取请求；
第三获取单元405，根据所述报文读取请求从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据；
读取单元406，用于将所述报文关系数据和所述报文内容数据组合后，读取报文信息。
进一步的，所述数据管理子系统还可以包括：
第四获取单元407，用于获取业务处理处理信息；
更新单元408，用于根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和RDBMS数据库中的报文关系数据。
其中，所述报文关系数据可以包括如下两类：
第一类为原始报文中的标志数据，第二类为区分业务处理主体及标志业务状态的数据；
其中，原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式等信息；区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志等信息。
上面从模块化功能实体的角度对本发明实施例中的数据管理子系统进行描述，下面从硬件处理的角度对本发明实施例中的安装所述数据管理子系统的服务器进行描述。
请参阅图5，本发明实施例中安装所述数据管理子系统的服务器包括：接收器501、发送器502和处理器503(可以有一个或多个)。
本发明实施例涉及的终端可以具有比图5所示出的更多或更少的部件，可以组合两个或更多个部件，或者可以具有不同的部件配置或设置，各个部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件或硬件和软件的组合实现。
所述处理器503用于执行如下操作：
获取待写入报文数据；
解析所述待写入报文数据，得到报文关系数据及报文内容数据；
将所述报文关系数据保存在所述RDBMS数据库，将所述报文内容数据保存在所述NoSQL数据库中，并在所述RDBMS数据库建立报文内容数据查询索引；
获取报文读取请求；
根据所述报文读取请求从所述RDBMS数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述NoSQL数据库中查询报文内容数据；
将所述报文关系数据和所述报文内容数据组合后，读取报文信息。
在本发明一些实施例中，所述处理器503还用于执行如下操作：
获取业务处理信息；
根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和 RDBMS数据库中的报文关系数据。
本实施例中，所述报文关系数据可以包括如下两类：
第一类为原始报文中的标志数据，第二类为区分业务处理主体及标志业务状态的数据；
其中，原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式等信息；区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志等信息。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

资源描述

《一种集中清算系统的数据管理方法及系统.pdf》由会员分享，可在线阅读，更多相关《一种集中清算系统的数据管理方法及系统.pdf（17页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 (43)申请公布日 (21)申请号 201410642550.3 (22)申请日 2014.11.07 G06F 17/30(2006.01) (71)申请人中国建设银行股份有限公司地址 100033 北京市西城区金融大街 25 号 (72)发明人何嘉杰杜智铨史文李兴华黄东生柳扬歌 (74)专利代理机构北京集佳知识产权代理有限公司 11227 代理人王宝筠 (54) 发明名称一种集中清算系统的数据管理方法及系统 (57) 摘要本发明实施例公开了一种集中清算系统的数据管理方法及系统，本发明方法实施例中数据管理方法包括：获取待写入报文数据；。

2、解析待写入报文数据，得到报文关系数据及报文内容数据；将报文关系数据保存在 RDBMS 数据库，将报文内容数据保存在 NoSQL 数据库中，并在 RDBMS 数据库建立报文内容数据查询索引；获取报文读取请求；根据报文读取请求从 RDBMS 数据库中获取报文关系数据及报文内容数据查询索引，从 NoSQL 数据库中查询报文内容数据；将报文关系数据和报文内容数据组合后，读取报文信息。本发明实施例节省了 RDBMS 数据库的 IO 开销，提高了 RDBMS 数据库查询缓存命中率，提升了 RDBMS 数据库主从同步效率，同时由于 RDBMS 数据库存储的。

3、数据的减小，提高了 RDBMS 数据库中数据备份和恢复的速度。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书2页说明书10页附图4页 (10)申请公布号 CN 104391899 A (43)申请公布日 2015.03.04 CN 104391899 A 1/2 页 2 1. 一种集中清算系统的数据管理方法，其特征在于，所述集中清算系统的数据库包括 NoSQL 数据库和 RDBMS 数据库，所述数据管理方法包括：获取待写入报文数据；解析所述待写入报文数据，得到报文关系数据及报文内容数据；将所述报文关系数据保存在所述。

4、 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，并在所述 RDBMS 数据库建立报文内容数据查询索引；获取报文读取请求；根据所述报文读取请求从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述 NoSQL 数据库中查询报文内容数据；将所述报文关系数据和所述报文内容数据组合后，读取报文信息。 2. 根据权利要求 1 所述的方法，其特征在于，所述方法还包括：获取业务处理信息；根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和所述RDBMS数据库中的报文关系数据。 3.根据。

5、权利要求1或2所述的方法，其特征在于，所述报文关系数据包括原始报文中的标志数据、区分业务处理主体及标志业务状态的数据。 4. 根据权利要求 3 所述的方法，其特征在于，所述原始报文中的标志数据包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式。 5. 根据权利要求 3 所述的方法，其特征在于，所述区分业务处理主体及标志业务状态的数据包括归属分行、客户类型、业务来源、处理状态，特殊标志。 6. 一种集中清算系统的数据管理子系统，其特征在于，所述集中清算系统的数据库包括 NoSQL 数据库和 RDBMS 数据库，所述数据管理子系统包括。

6、：第一获取单元，用于获取待写入报文数据；解析单元，用于解析所述待写入报文数据，得到报文关系数据及报文内容数据；保存单元，用于将所述报文关系数据保存在所述 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，并在所述 RDBMS 数据库建立报文内容数据查询索引；第二获取单元，用于获取报文读取请求；第三获取单元，根据所述报文读取请求从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述 NoSQL 数据库中查询报文内容数据；读取单元，用于将所述报文关系数据和所述报文内容数据组合。

7、后，读取报文信息。 7. 根据权利要求 6 所述的数据管理子系统，其特征在于，所述数据管理子系统还包括：第四获取单元，用于获取业务处理处理信息；更新单元，用于根据所述业务处理信息更新所述 NoSQL 数据库中的报文内容数据和所述 RDBMS 数据库中的报文关系数据。 8.根据权利要求6或7所述的数据管理子系统，其特征在于，所述报文关系数据包括原始报文中的标志数据、区分业务处理主体及标志业务状态的数据。 9. 根据权利要求 8 所述的数据管理子系统，其特征在于，所述原始报文中的标志数据包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方。

8、式。权利要求书 CN 104391899 A 2 2/2 页 3 10. 根据权利要求 8 所述的数据管理子系统，其特征在于，所述区分业务处理主体及标志业务状态的数据包括归属分行、客户类型、业务来源、处理状态，特殊标志。权利要求书 CN 104391899 A 3 1/10 页 4 一种集中清算系统的数据管理方法及系统技术领域 0001 本发明涉及计算机技术领域，特别涉及一种集中清算系统的数据管理方法及系统。背景技术 0002 银行的集中清算系统上联SWIFT Alliance系统及当地清算接口系统，下联行内相关业务系统，集中处理外汇清算相关业务。

9、报文，实现外汇清算 “总行一口进，一口出” 的业务目标。 0003 随着外汇清算业务及人民币离岸业务不断发展，预期现有集中清算系统将承担越来越大的处理压力，为适应业务发展需求，对现有系统进行性能分析后发现缺陷主要在于数据库层面，存在两个问题：其一是业务高速发展，在大数据量高并发环境下数据库读写性能瓶颈初现端倪；其二是应用开发日益复杂，分库分表规则繁多，对需求变更响应变慢，数据库中文本存储报文原数据，造成库表庞大，导致库表过大，不便于对数据进行归档处理及进一步分析。 0004 目前银行集中清算系统的数据库采用了两种不同方案：一种是采用传统的关系数。

10、据库(relationaldatabase management system， RDBMS)，但RDBMS对硬件要求过大，且不支持分布式存储，无法透明地扩展节点；另一种是采用非关系数据库(Not Only SQL， NoSQL)，其具有 RDBMS 数据库所不具备的优势：对硬件要求不高，支持分布式存储，能透明地扩展节点，典型的NoSQL数据库以key-values的形式存储数据，具有模式自由的特点，但是随着业务的不断发展以及相关系统的扩展，简单的 NoSQL 数据库无法适应不断发展的业务需求。发明内容 0005 本发明实施例提供了涉及一种集中清算系统的数。

11、据管理方法及系统，在集中清算系统中融合使用 RDBMS 数据库与 NoSQL 数据库，节省了 RDBMS 数据库的 IO 开销，提高了 RDBMS 数据库查询缓存命中率，提升了 RDBMS 数据库主从同步效率，同时由于 RDBMS 数据库存储的数据的减小，提高了 RDBMS 数据库中数据备份和恢复的速度。 0006 本发明实施例第一方面提供了一种集中清算系统的数据管理方法，包括： 0007 所述集中清算系统的数据库包括 NoSQL 数据库和 RDBMS 数据库，所述数据管理方法包括： 0008 获取待写入报文数据； 0009 解析所述待写入报文数据，得到报文关系数。

12、据及报文内容数据； 0010 将所述报文关系数据保存在所述 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，并在所述 RDBMS 数据库建立报文内容数据查询索引； 0011 获取报文读取请求； 0012 根据所述报文读取请求从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述 NoSQL 数据库中查询报文内容数说明书 CN 104391899 A 4 2/10 页 5 据； 0013 将所述报文关系数据和所述报文内容数据组合后，读取报文信息。 0014 可选的，所述方法还可以包括： 001。

13、5 获取业务处理信息； 0016 根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和RDBMS数据库中的报文关系数据。 0017 可选的，所述报文关系数据包括原始报文中的标志数据、区分业务处理主体及标志业务状态的数据。 0018 可选的，所述原始报文中的标志数据包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式。 0019 可选的，所述区分业务处理主体及标志业务状态的数据包括归属分行、客户类型、业务来源、处理状态，特殊标志。 0020 本发明实施例的第二方面提供了一种集中清算系统的数据管理子系统，所述集中清算系统的数据库包括。

14、NoSQL 数据库和 RDBMS 数据库，所述数据管理子系统包括： 0021 第一获取单元，用于获取待写入报文数据； 0022 解析单元，用于解析所述待写入报文数据，得到报文关系数据及报文内容数据； 0023 保存单元，用于将所述报文关系数据保存在所述 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，并在所述 RDBMS 数据库建立报文内容数据查询索引； 0024 第二获取单元，用于获取报文读取请求； 0025 第三获取单元，根据所述报文读取请求从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据。

15、查询索引从所述 NoSQL 数据库中获取报文内容数据； 0026 读取单元，用于将所述报文关系数据和所述报文内容数据组合后，读取报文信息。 0027 可选的，所述数据管理子系统还包括： 0028 第四获取单元，用于获取业务处理处理信息； 0029 更新单元，用于根据所述业务处理信息更新所述 NoSQL 数据库中的报文内容数据和 RDBMS 数据库中的报文关系数据。 0030 可选的，所述报文关系数据包括原始报文中的标志数据、区分业务处理主体及标志业务状态的数据。 0031 可选的，所述原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、。

16、起息日、费用承担方式。 0032 可选的，所述区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志。 0033 从以上技术方案可以看出，本发明实施例具有以下优点： 0034 本发明实施例中在集中清算系统中融合使用 RDBMS 数据库与 NoSQL 数据库，使两类数据库各司其职，让RDBMS专门负责处理擅长的关系存储的报文关系数据，而NoSQL作为报文内容数据的存储，由于 RDBMS 数据库只存储需要查询的小字段报文关系数据，不再负责存储大文本字段(报文内容数据)，节省了RDBMS数据库的IO开销，提高了RDBMS数。

17、据库查询缓存命中率，提升了 RDBMS 主从同步效率，同时由于 RDBMS 数据库存储的数据的减小，说明书 CN 104391899 A 5 3/10 页 6 提高了 RDBMS 数据库中数据备份和恢复的速度。附图说明 0035 图 1 是本发明实施例中集中清算系统的数据管理方法的一个实施例示意图； 0036 图 2 是本发明实施例中集中清算系统的数据管理方法的另一个实施例示意图； 0037 图 3 是本发明实施例中集中清算系统的数据管理子系统的一个实施例示意图； 0038 图 4 是本发明实施例中集中清算系统的数据管理子系统的另一个实施例示意图； 0039 图 5 是本。

18、发明实施例中集中清算系统的数据管理子系统的另一个实施例示意图。具体实施方式 0040 本发明实施例提供了一种集中清算系统的数据管理方法及系统，在集中清算系统中融合使用 RDBMS 数据库与 NoSQL 数据库，节省了 RDBMS 数据库的 IO 开销，提高了 RDBMS 数据库查询缓存命中率，提升了RDBMS数据库主从同步效率，同时由于RDBMS数据库存储的数据的减小，提高了 RDBMS 数据库中数据备份和恢复的速度。 0041 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述。

19、的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。 0042 本发明的说明书和权利要求书及上述附图中的术语 “第一” 、“第二” 等 ( 如果存在 ) 是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语 “包括” 和 “具有” 以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方。

20、法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。 0043 本发明实施例中，集中清算系统包括国内清算、报文管理及海外清算三个子系统。 0044 国内清算子系统连接人行通讯前置及国内通讯总线，实现与国内的报文交换。海外清算子系统通过文件交换服务器实现与海外相关系统 ( 如核心系统、网银系统、贸易融资系统等 ) 连接，通过广域网与当地清算系统、黑名单系统连接，例如纽约分行的 CHIPS、 FEDWIRE 美元清算系统、纽约分行的 PRIME 黑名单检索系统，海外分行只部署客。

21、户端，然后通过专线连接海外外汇清算子系统进行业务操作。 0045 国内国外对外报文统一通过报文管理子系统，与总行 SWIFT Alliance 系统连接，实现与境外交换。 0046 请参阅图 1，本发明实施例中集中清算系统的数据管理方法一个实施例包括： 0047 101、获取待写入报文数据； 0048 本发明实施例中，在集中清算系统的数据层融合使用 NoSQL 数据库和 RDBMS 数据库，在集中清算系统的数据管理进行数据管理前，需要进行 NoSQL 数据库和 RDBMS 数据库的如下准备工作： (1) 在 RDBMS 数据库中创建清算系统数据库 Database 。

22、及相关报文数据表说明书 CN 104391899 A 6 4/10 页 7 Table，创建的表可以包括：报文记录表、汇入流水表、汇出流水表、机构表、用户表； (2) 在 NoSQL数据库中创建原始报文数据库及Collection集合； (3)编译RDBMS数据库及NoSQL数据库，创建报文信息处理的规则 , 包括：来报自动登记报文信息、报文自动分发登记、汇入报文自动匹配登记、转发报文登记、按照特定规则 ( 登记日期、业务编号、起息日、金额、币别等)获取报文信息、根据业务处理情况(编辑、复核、授权)更新报文信息； (4)使用Java6。

23、编译 RDBMS 数据库及 NoSQL 数据库，为 NoSQL 数据库和 RDBMS 数据库提供数据访问接口，如分别提供过程 (1)、 (2) 中创建的存储过程所对应的数据访问接口； (5) 在集中清算系统中加载编译的 NoSQL 数据库和 RDBMS 数据库，此时即可以融合使用 NoSQL 数据库和 RDBMS 数据库，根据不同的业务需要调用不同接口，分别读取和写入业务所需要的数据。 0049 在集中清算系统中，在进行业务操作或业务处理的时候，在报文数据写入时，可以获取待写入的报文数据。 0050 102、解析所述待写入报文数据，得到报文关系数据及报文内容数据。

24、； 0051 集中清算系统对获取的报文数据进行解析，即可以得到报文关系数据，和报文内容数据，所述报文关系数据为标志报文数据的各种属性信息及关系信息的数据，所述报文关系数据可以包括如下两类： 0052 第一类为原始报文中的标志数据，第二类为区分业务处理主体及标志业务状态的数据； 0053 其中，原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式等；区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志等。 0054 103、将所述报文关系数据保存在所述 RDBMS。

25、数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，并在所述 RDBMS 数据库建立报文内容数据查询索引； 0055 集中清算系统将获取的报文关系数据保存在 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，此时在 RDBMS 数据库只负责保存擅长的关系存储，即报文关系数据，而在 NoSQL 数据库保存报文的实质内容数据，即报文的内容数据，在保存数据在 NoSQL 数据库及 RDBMS 数据库中时，在所述 RDBMS 数据库建立报文内容数据查询索引，以方便在读取报文数据时，根据报文关系数据，及报文内容数据查询索引，将报文关系数。

26、据和报文内容数据对应。 0056 104、获取报文读取请求； 0057 在报文读取时，集中清算系统可以获取到报文读取的请求； 0058 105、根据所述报文读取请求从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述 NoSQL 数据库中查询报文内容数据； 0059 集中清算系统在获取报文读取请求后，根据报文读取请求可以获知需要读取的报文数据，根据所述报文读取请求可以从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，然后根据所述报文内容数据查询索引从所述 NoSQL 数据库中查询报文内容。

27、数据。 0060 106、将所述报文关系数据和所述报文内容数据组合后，读取报文信息。 0061 在获取到报文关系数据和报文内容数据后，即可对报文关系数据和报文内容数据说明书 CN 104391899 A 7 5/10 页 8 按设定的报文组成规则组合成完整的报文数据，读取报文信息。 0062 本实施例中，步骤 101 至步骤 103 为在 NoSQL 数据库和 RDBMS 数据库中存入数据，步骤 104 至步骤 106 为在 NoSQL 数据库和 RDBMS 数据库读取数据，上述过程可以是两个相对独立的过程，此处不作限定。 0063 本发明实施例中在集中清算系统中融合使。

28、用 RDBMS 数据库与 NoSQL 数据库，使两类数据库各司其职，让 RDBMS 数据库专门负责处理擅长的关系存储的报文关系数据，而 NoSQL 数据库作为报文内容数据的存储，由于 RDBMS 数据库只存储需要查询的小字段报文关系数据，不再负责存储大文本字段的报文内容数据，节省了RDBMS数据库的IO开销，提高了 RDBMS 数据库查询缓存命中率，提升了 RDBMS 数据库主从同步效率，同时由于 RDBMS 数据库存储的数据的减小，提高了 RDBMS 数据库中数据备份和恢复的速度。 0064 具体的，本发明实施例具有以下优点： 0065 节省 RDBMS 数据。

29、库的 IO 开销：由于 RDBMS 数据库只存储需要查询的小字段，不再负责存储大文本字段，这样就可以节省RDBMS数据库存储的空间开销，从而节省RDBMS数据库的磁盘 IO。 0066 提高 RDBMS 数据库查询缓存命中率：由于查询缓存失效是表级的，表一旦被更新就会失效，经过这种字段的分离，更新的字段如果不是存储在 RDBMS 数据库中，那么对查询缓存就没有任何影响。而 NoSQL 数据库的缓存往往都是行级别的，只对更新的记录的缓存失效。 0067 提升 RDBMS 数据库主从同步效率：由于 RDBMS 数据库存储空间的减小，同步的数据记录也减小了，。

30、而部分数据的更新落在NoSQL数据库而不是RDBMS数据库，这样也减少了 RDBMS 数据库数据需要同步的次数。 0068 提高RDBMS数据库数据备份和恢复的速度。由于RDBMS数据库存储的数据的减小，很容易看到数据备份和恢复的速度也将极大的提高。比以前更容易扩展， NoSQL 数据库天生就容易扩展，经过这种优化， RDBMS 数据库性能也得到提高。 0069 图 1 所示的实施例中， NoSQL 数据库及 RDBMS 数据库中的数据可以在处理业务后实时获得更新，请参阅图 2，本发明实施例中集中清算系统的数据管理方法另一个实施例包括： 0070 201、获取待写入报文。

31、数据； 0071 本发明实施例中，在集中清算系统的数据层融合使用 NoSQL 数据库和 RDBMS 数据库，在集中清算系统的数据管理进行数据管理前，需要进行 NoSQL 数据库和 RDBMS 数据库的如下准备工作： (1) 在 RDBMS 数据库中创建清算系统数据库 Database 及相关报文数据表 Table，创建的表可以包括：报文记录表、汇入流水表、汇出流水表、机构表、用户表； (2) 在 NoSQL数据库中创建原始报文数据库及Collection集合； (3)编译RDBMS数据库及NoSQL数据库，创建报文信息处理的规则 , 包括：来报自动登记报。

32、文信息、报文自动分发登记、汇入报文自动匹配登记、转发报文登记、按照特定规则 ( 登记日期、业务编号、起息日、金额、币别等)获取报文信息、根据业务处理情况(编辑、复核、授权)更新报文信息； (4)使用Java6 编译 RDBMS 数据库及 NoSQL 数据库，为 NoSQL 数据库和 RDBMS 数据库提供数据访问接口，如分别提供过程 (1)、 (2) 中创建的存储过程所对应的数据访问接口； (5) 在集中清算系统中加载编译的 NoSQL 数据库和 RDBMS 数据库，此时即可以融合使用 NoSQL 数据库和 RDBMS 数说明书 CN 104391。

33、899 A 8 6/10 页 9 据库，根据不同的业务需要调用不同接口，分别读取和写入业务所需要的数据。 0072 在集中清算系统中，在进行业务操作或业务处理的时候，在报文数据写入时，可以获取待写入的报文数据。 0073 202、解析所述待写入报文数据，得到报文关系数据及报文内容数据； 0074 集中清算系统对获取的报文数据进行解析，即可以得到报文关系数据，和报文内容数据，所述报文关系数据为标志报文数据的各种属性信息及关系信息的数据，所述报文关系数据可以包括如下两类： 0075 第一类为原始报文中的标志数据，第二类为区分业务处理主体及标志业务状态的数据；。

34、0076 其中，原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式等信息；区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志等信息。 0077 203、将所述报文关系数据保存在所述 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，并在所述 RDBMS 数据库建立报文内容数据查询索引； 0078 集中清算系统将获取的报文关系数据保存在 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，此时在 RDBMS 数据库只负责保存擅。

35、长的关系存储，即报文关系数据，而在 NoSQL 数据库保存报文的实质内容数据，即报文的内容数据，在保存数据在 NoSQL 数据库及 RDBMS 数据库中时，在所述 RDBMS 数据库建立报文内容数据查询索引，以方便在读取报文数据时，根据报文关系数据，及报文内容数据查询索引，将报文关系数据和报文内容数据对应。 0079 204、获取报文读取请求； 0080 在报文读取时，集中清算系统可以获取到报文读取的请求； 0081 205、根据所述报文读取请求从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述 No。

36、SQL 数据库中查询报文内容数据； 0082 集中清算系统在获取报文读取请求后，根据报文读取请求可以获知需要读取的报文数据，根据所述报文读取请求可以从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，然后根据所述报文内容数据查询索引从所述 NoSQL 数据库中查询报文内容数据。 0083 206、将所述报文关系数据和所述报文内容数据组合后，读取报文信息。 0084 在获取到报文关系数据和报文内容数据后，即可对报文关系数据和报文内容数据按报文组成组合成完整的报文数据，读取报文信息。 0085 207、获取业务处理信息； 0086 集中清算系统在进。

37、行业务处理和操作的时候，获取业务处理信息，如编辑、复核、授权等操作的业务信息。 0087 208、根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和RDBMS数据库中的报文关系数据。 0088 在集中清算系统在进行业务处理和操作后，更新所述 NoSQL 数据库中的报文内容数据和RDBMS数据库中的报文关系数据，使NoSQL数据库、 RDBMS数据库中保存最新的数据。说明书 CN 104391899 A 9 7/10 页 10 0089 本实施例中，步骤 201 至步骤 203 为在 NoSQL 数据库和 RDBMS 数据库中存入数据，步骤 204 至步骤。

38、 206 为在 NoSQL 数据库和 RDBMS 数据库读取数据，步骤 207 至步骤 208 为在业务处理后，在NoSQL数据库和RDBMS数据库中实时更新数据，上述三个过程可以是相对独立的过程，此处不作限定。 0090 本发明实施例中在集中清算系统中融合使用 RDBMS 数据库与 NoSQL 数据库，使两类数据库各司其职，让 RDBMS 数据库专门负责处理擅长的关系存储的报文关系数据，而 NoSQL 数据库作为报文内容数据的存储，由于 RDBMS 数据库只存储需要查询的小字段报文关系数据，不再负责存储大文本字段的报文内容数据，节省了RDBMS数据库的IO开销，。

39、提高了 RDBMS 数据库查询缓存命中率，提升了 RDBMS 数据库主从同步效率，同时由于 RDBMS 数据库存储的数据的减小，提高了 RDBMS 数据库中数据备份和恢复的速度； 0091 具体的，本发明实施例具有以下优点： 0092 节省 RDBMS 数据库的 IO 开销：由于 RDBMS 数据库只存储需要查询的小字段，不再负责存储大文本字段，这样就可以节省RDBMS数据库存储的空间开销，从而节省RDBMS数据库的磁盘 IO。 0093 提高 RDBMS 数据库查询缓存命中率：由于查询缓存失效是表级的，表一旦被更新就会失效，经过这种字段的分离，更新的。

40、字段如果不是存储在 RDBMS 数据库中，那么对查询缓存就没有任何影响。而 NoSQL 数据库的缓存往往都是行级别的，只对更新的记录的缓存失效。 0094 提升 RDBMS 数据库主从同步效率：由于 RDBMS 数据库存储空间的减小，同步的数据记录也减小了，而部分数据的更新落在NoSQL数据库而不是RDBMS数据库，这样也减少了 RDBMS 数据库数据需要同步的次数。 0095 提高RDBMS数据库数据备份和恢复的速度。由于RDBMS数据库存储的数据的减小，很容易看到数据备份和恢复的速度也将极大的提高。比以前更容易扩展， NoSQL 数据库天生就容易扩展，经过这种优。

41、化， RDBMS 数据库性能也得到提高。 0096 其次，在集中清算系统在进行业务处理和操作后，更新所述 NoSQL 数据库中的报文内容数据和 RDBMS 数据库中的报文关系数据，使 NoSQL 数据库、 RDBMS 数据库中保存最新的数据。 0097 下面介绍本发明实施例中的集中清算系统的数据管理子系统实施例，请参阅图 3，本发明实施例中的集中清算系统的数据管理子系统一个实施例中，所述集中清算系统的数据库包括 NoSQL 数据库和 RDBMS 数据库，所述数据管理子系统 300 包括： 0098 第一获取单元 301，用于获取待写入报文数据； 0099 解析单元 3。

42、02，用于解析所述待写入报文数据，得到报文关系数据及报文内容数据； 0100 保存单元 303，用于将所述报文关系数据保存在所述 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，并在所述 RDBMS 数据库建立报文内容数据查询索引； 0101 第二获取单元 304，用于获取报文读取请求； 0102 第三获取单元 305，根据所述报文读取请求从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述 NoSQL 数据库中查询报文内容数据；说明书 CN 104391899 A 10 8/1。

43、0 页 11 0103 读取单元 306，用于将所述报文关系数据和所述报文内容数据组合后，读取报文信息。 0104 其中，所述报文关系数据可以包括如下两类： 0105 第一类为原始报文中的标志数据，第二类为区分业务处理主体及标志业务状态的数据； 0106 其中，原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式等信息；区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志等信息。 0107 本发明实施例中在集中清算系统中融合使用 RDBMS 数据库与 NoSQL 数据库。

44、，使两类数据库各司其职，保存单元 303 在 RDBMS 数据库保存报文关系数据，在 NoSQL 数据库保存报文内容数据，由于 RDBMS 数据库只存储需要查询的小字段报文关系数据，不再负责存储大文本字段的报文内容数据，节省 RDBMS 数据库的 IO 开销，提高 RDBMS 数据库查询缓存命中率，提升 RDBMS 数据库主从同步效率，同时由于 RDBMS 数据库存储的数据的减小，提高 RDBMS 数据库中数据备份和恢复的速度； 0108 请参阅图 4，本发明实施例中的集中清算系统的数据管理子系统一个实施例中，所述集中清算系统的数据库包括 NoSQL 数据库。

45、和 RDBMS 数据库，所述数据管理子系统 400 包括： 0109 第一获取单元 401，用于获取待写入报文数据； 0110 解析单元 402，用于解析所述待写入报文数据，得到报文关系数据及报文内容数据； 0111 保存单元 403，用于将所述报文关系数据保存在所述 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，并在所述 RDBMS 数据库建立报文内容数据查询索引； 0112 第二获取单元 404，用于获取报文读取请求； 0113 第三获取单元 405，根据所述报文读取请求从所述 RDBMS 数据库中获取所述报文关系数据及报文内容。

46、数据查询索引，根据所述报文内容数据查询索引从所述 NoSQL 数据库中查询报文内容数据； 0114 读取单元 406，用于将所述报文关系数据和所述报文内容数据组合后，读取报文信息。 0115 进一步的，所述数据管理子系统还可以包括： 0116 第四获取单元 407，用于获取业务处理处理信息； 0117 更新单元 408，用于根据所述业务处理信息更新所述 NoSQL 数据库中的报文内容数据和 RDBMS 数据库中的报文关系数据。 0118 其中，所述报文关系数据可以包括如下两类： 0119 第一类为原始报文中的标志数据，第二类为区分业务处理主体及标志业务状态的数据。

47、； 0120 其中，原始报文中的标志数据可以包括发报行、业务编号、登记日期、币种代码、金额、起息日、费用承担方式等信息；区分业务处理主体及标志业务状态的数据可以包括归属分行、客户类型、业务来源、处理状态，特殊标志等信息。 0121 上面从模块化功能实体的角度对本发明实施例中的数据管理子系统进行描述，下说明书 CN 104391899 A 11 9/10 页 12 面从硬件处理的角度对本发明实施例中的安装所述数据管理子系统的服务器进行描述。 0122 请参阅图 5，本发明实施例中安装所述数据管理子系统的服务器包括：接收器 501、发送器 502 和。

48、处理器 503( 可以有一个或多个 )。 0123 本发明实施例涉及的终端可以具有比图 5 所示出的更多或更少的部件，可以组合两个或更多个部件，或者可以具有不同的部件配置或设置，各个部件可以在包括一个或多个信号处理和 / 或专用集成电路在内的硬件、软件或硬件和软件的组合实现。 0124 所述处理器 503 用于执行如下操作： 0125 获取待写入报文数据； 0126 解析所述待写入报文数据，得到报文关系数据及报文内容数据； 0127 将所述报文关系数据保存在所述 RDBMS 数据库，将所述报文内容数据保存在所述 NoSQL 数据库中，并在所述 RDBMS 数据库建立报文。

49、内容数据查询索引； 0128 获取报文读取请求； 0129 根据所述报文读取请求从所述 RDBMS 数据库中获取所述报文关系数据及报文内容数据查询索引，根据所述报文内容数据查询索引从所述 NoSQL 数据库中查询报文内容数据； 0130 将所述报文关系数据和所述报文内容数据组合后，读取报文信息。 0131 在本发明一些实施例中，所述处理器 503 还用于执行如下操作： 0132 获取业务处理信息； 0133 根据所述业务处理信息更新所述NoSQL数据库中的报文内容数据和RDBMS数据库中的报文关系数据。 0134 本实施例中，所述报文关系数据可以包括如下两类： 0135 第一类为原始报文中的标志数据，第二类为区。

展开阅读全文