《一种利用Q复制技术实现数据集成和访问控制的方法.pdf》由会员分享，可在线阅读，更多相关《一种利用Q复制技术实现数据集成和访问控制的方法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104112001A43申请公布日20141022CN104112001A21申请号201410330030922申请日20140712G06F17/30200601H04L29/0820060171申请人浙商银行股份有限公司地址310006浙江省杭州市庆春路288号72发明人姚京京胡旭峰74专利代理机构杭州求是专利事务所有限公司33200代理人邱启旺54发明名称一种利用Q复制技术实现数据集成和访问控制的方法57摘要本发明公开了一种利用Q复制技术实现数据集成和访问控制的方法，该方法通过Q复制技术实时将数据从源系统复制到统一数据平台，再复制到应用系统，该过程可以完成数据筛选、转。
2、化、整合等功能，因而统一数据平台实现了基本的数据集成；Q复制实时进行，使得应用系统能够及时获得源系统的数据；Q复制技术只对增量数据进行复制，减轻了网络的压力；应用系统将数据录入本地，减轻了源系统的访问压力；通过统一的数据平台，简化了应用系统和数据源之间的关系网络；此外，统一数据平台到应用系统实现了一对多Q复制，可有效地减少统一数据平台的内存资源要求。51INTCL权利要求书2页说明书4页附图1页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书4页附图1页10申请公布号CN104112001ACN104112001A1/2页21一种利用Q复制技术实现数据集成和访问控制的方法，。
3、其特征在于，该方法包括以下步骤（1）新建一个DB2数据库作为统一数据平台，统一数据平台与备份系统间配置成双机集群系统；（2）统一数据平台、备份系统、多个源系统和多个应用系统分别安装MQ应用程序；（3）创建源系统到统一数据平台的Q复制，该步骤包括以下子步骤（31）在源系统创建CAPTURE队列管理器，在CAPTURE队列管理器中创建传输队列、重启队列和管理队列；（32）在统一数据平台创建APPLY队列管理器，在APPLY队列管理器中创建传输队列、接收队列；（33）创建远程队列APPLY队列管理器的接收队列通过消息通道映射到CAPTURE队列管理器，作为发送队列；CAPTURE队列管理器的管理队列。
4、通过消息通道映射到APPLY队列管理器，作为管理队列；（34）在源系统和统一数据平台的数据库里分别创建Q复制控制表的表空间，用来存放Q复制控制表；（35）在统一数据平台中生成密码文件，用于Q复制程序自动连接数据库，并对Q复制控制表进行操作；（36）在源系统和统一数据平台的数据库里分别创建Q复制控制表；（37）在源系统与统一数据平台之间创建Q复制队列映射；（38）在源系统与统一数据平台之间创建Q复制预订；Q复制预订分为全部复制和部分复制，对部分复制进行数据筛选；（39）在源系统与统一数据平台分别启动Q复制；（4）创建统一数据平台到应用系统的Q复制，该步骤包括以下子步骤（41）在统一数据平台创建C。
5、APTURE队列管理器，在CAPTURE队列管理器中创建传输队列、重启队列和管理队列；（42）在应用系统创建APPLY队列管理器，在APPLY队列管理器中创建传输队列、接收队列；（43）创建远程队列APPLY队列管理器的接收队列通过消息通道映射到CAPTURE队列管理器，作为发送队列；CAPTURE队列管理器的管理队列通过消息通道映射到APPLY队列管理器，作为管理队列；（44）统一数据平台到应用系统的复制，复制过程包括两种一种为复统一数据平台到应用系统的存储过程复制，运用存储过程的逻辑对数据进行整理后存入应用系统数据库中；另一种为统一数据平台到接收队列的事件发布，通过事件发布的方式，将数据发。
6、送到接收队列后，可以被应用程序直接读取并使用。2根据权利要求所述利用Q复制技术实现数据集成和访问控制的方法，其特征在于，所述步骤（38）中所述对部分复制进行数据筛选，具体为通过指定预订命令中的TRGCOLSINCLUDE参数，对源系统中待复制的字段进行筛选。3根据权利要求所述利用Q复制技术实现数据集成和访问控制的方法，其特征在于，所述步骤（38）中所述对部分复制进行数据筛选，具体为通过指定预订命令中的权利要求书CN104112001A2/2页3SEARCHCONDITION参数，对源系统中待复制的内容进行筛选。4根据权利要求所述利用Q复制技术实现数据集成和访问控制的方法，其特征在于，所述步骤（。
7、44）中所述统一数据平台到应用系统的存储过程复制，具体包括以下步骤（A）在统一数据平台和应用系统的数据库里分别创建Q复制控制表的表空间；（B）在应用系统中生成密码文件；（C）在统一数据平台和应用系统的数据库里分别创建Q复制控制表；（D）在统一数据平台和应用系统之间创建Q复制队列映射；（E）在统一数据平台和应用系统之间创建Q复制预订；通过指定预订命令中的TYPE参数为STOREDPROC，将内容复制到存储过程；存储过程中，XPARM1传递主键字段的原值，PARM1传递主键字段的当前值，PARM2传递非主键字段的当前值；（F）在统一数据平台和应用系统分别启动Q复制。5根据权利要求所述利用Q复制技术。
8、实现数据集成和访问控制的方法，其特征在于，所述步骤（44）中所述统一数据平台到接收队列的事件发布，具体包括以下步骤（A）在统一数据平台和应用系统之间创建Q复制队列映射；（B）在统一数据平台和应用系统之间创建事件发布预订；（C）使用应用程序直接访问统一数据平台发送的数据消息；应用程序通过实现接口COMIBMDB2TOOLSREPLPUBLICATIONPUBLICATIONMSGLISTENE并实现方法PUBLICATIONMSGMSGPUBMSG，即可获得事件发布的数据消息；（D）启动应用程序读取事件发布的数据消息。权利要求书CN104112001A1/4页4一种利用Q复制技术实现数据集成和访。
9、问控制的方法技术领域0001本发明涉及数据交互技术领域，尤其涉及一种利用Q复制技术实现数据集成和访问控制的方法。背景技术0002现有的多系统企业应用环境中，系统间进行数据交互的方法主要如下1、通过联邦等技术，数据应用系统（T）直接访问数据源系统（S）。该方法将S的表映射到T当中。T访问该表时，实际将命令发送到S，由S执行命令并返回结果数据给T。该方法主要缺陷在于每个T需要和所有相关的S之间建立访问关系，导致数据访问网络混乱、权限控制困难，同时容易引起S以及网路的压力过大。00032、通过SQL复制等技术，数据应用系统（T）将数据源系统（S）的数据复制到本地。该方法通过SQL复制等实时技术，将S。
10、中的增量数据复制到T中，T可以直接使用。该方法的主要缺陷与联邦技术类似数据缺乏集成、访问网络复杂等。虽然该方法可以有效减轻S和网络的压力，但实现方法较联邦技术复杂。00043、通过建立数据仓库（DW），将多个数据源系统（S）的数据整合后提供给数据应用系统（T）。该方法按照一定的周期将各S的数据通过ETL（抽取、转化、加载）的方式录入到DW当中，然后再通过ETL方式录入到各个T当中。该方法简化了访问网络，强化了权限控制，能很好的进行数据整合，但ETL过程占用大量系统资源且用时较长，且DW中的数据不是实时数据，这都影响了T的任务完成时点。发明内容0005本发明的目的在于针对现有技术的不足，提供一种。
11、利用Q复制技术实现数据集成和访问控制的方法，该方法实时集成多个数据源系统的重要数据，再单独分发给数据应用系统，从而简化了数据交互网络、加强了访问权限控制、减轻源系统和网络的压力。0006本发明的目的是通过以下技术方案来实现的一种利用Q复制技术实现数据集成和访问控制的方法，包括以下步骤（1）新建一个DB2数据库作为统一数据平台，统一数据平台与备份系统间配置成双机集群系统；（2）统一数据平台、备份系统、多个源系统和多个应用系统分别安装MQ应用程序；（3）创建源系统到统一数据平台的Q复制，该步骤包括以下子步骤（31）在源系统创建CAPTURE队列管理器，在CAPTURE队列管理器中创建传输队列、重启。
12、队列和管理队列；（32）在统一数据平台创建APPLY队列管理器，在APPLY队列管理器中创建传输队列、接收队列；（33）创建远程队列APPLY队列管理器的接收队列通过消息通道映射到CAPTURE队列管理器，作为发送队列；CAPTURE队列管理器的管理队列通过消息通道映射到APPLY队列管说明书CN104112001A2/4页5理器，作为管理队列；（34）在源系统和统一数据平台的数据库里分别创建Q复制控制表的表空间，用来存放Q复制控制表；（35）在统一数据平台中生成密码文件，用于Q复制程序自动连接数据库，并对Q复制控制表进行操作；（36）在源系统和统一数据平台的数据库里分别创建Q复制控制表；（3。
13、7）在源系统与统一数据平台之间创建Q复制队列映射；（38）在源系统与统一数据平台之间创建Q复制预订；Q复制预订分为全部复制和部分复制，对部分复制进行数据筛选；（39）在源系统与统一数据平台分别启动Q复制；（4）创建统一数据平台到应用系统的Q复制，该步骤包括以下子步骤（41）在统一数据平台创建CAPTURE队列管理器，在CAPTURE队列管理器中创建传输队列、重启队列和管理队列；（42）在应用系统创建APPLY队列管理器，在APPLY队列管理器中创建传输队列、接收队列；（43）创建远程队列APPLY队列管理器的接收队列通过消息通道映射到CAPTURE队列管理器，作为发送队列；CAPTURE队列管。
14、理器的管理队列通过消息通道映射到APPLY队列管理器，作为管理队列；（44）统一数据平台到应用系统的复制，复制过程包括两种一种为复统一数据平台到应用系统的存储过程复制，运用存储过程的逻辑对数据进行整理后存入应用系统数据库中；另一种为统一数据平台到接收队列的事件发布，通过事件发布的方式，将数据发送到接收队列后，可以被应用程序直接读取并使用。0007进一步地，所述步骤（38）中所述对部分复制进行数据筛选，具体为通过指定预订命令中的TRGCOLSINCLUDE参数，对源系统中待复制的字段进行筛选。0008进一步地，所述步骤（38）中所述对部分复制进行数据筛选，具体为通过指定预订命令中的SEARCHC。
15、ONDITION参数，对源系统中待复制的内容进行筛选。0009进一步地，所述步骤（44）中所述统一数据平台到应用系统的存储过程复制，具体包括以下步骤（A）在统一数据平台和应用系统的数据库里分别创建Q复制控制表的表空间；（B）在应用系统中生成密码文件；（C）在统一数据平台和应用系统的数据库里分别创建Q复制控制表；（D）在统一数据平台和应用系统之间创建Q复制队列映射；（E）在统一数据平台和应用系统之间创建Q复制预订；通过指定预订命令中的TYPE参数为STOREDPROC，将内容复制到存储过程；存储过程中，XPARM1传递主键字段的原值，PARM1传递主键字段的当前值，PARM2传递非主键字段的当前。
16、值；（F）在统一数据平台和应用系统分别启动Q复制；进一步地，所述步骤（44）中所述统一数据平台到接收队列的事件发布，具体包括以下步骤（A）在统一数据平台和应用系统之间创建Q复制队列映射；说明书CN104112001A3/4页6（B）在统一数据平台和应用系统之间创建事件发布预订；（C）使用应用程序直接访问统一数据平台发送的数据消息；应用程序通过实现接口COMIBMDB2TOOLSREPLPUBLICATIONPUBLICATIONMSGLISTENE并实现方法PUBLICATIONMSGMSGPUBMSG，即可获得事件发布的数据消息；（D）启动应用程序读取事件发布的数据消息。0010本发明的有益。
17、效果通过Q复制技术，实时将数据从源系统复制到统一数据平台，再复制到应用系统，该过程可以完成数据筛选、转化、整合等功能，因而统一数据平台实现了基本的数据集成；Q复制实时进行，使得应用系统能够及时获得源系统的数据；Q复制技术只对增量数据进行复制，减轻了网络的压力；应用系统将数据录入本地，减轻了源系统的访问压力；通过统一的数据平台，简化了应用系统和数据源之间的关系网络；此外，统一数据平台到应用系统实现了一对多Q复制，可有效地减少统一数据平台的内存资源要求。附图说明0011图1本发明数据交互网络结构图；图2为本发明一对多Q复制原理框图。具体实施方式0012下面结合附图对本发明作进一步详细说明。0013。
18、如图1、2所示，一种利用Q复制技术实现数据集成和访问控制的方法，该方法在数据交互网络上实现，所述数据交互网络包括统一数据平台、备份系统、多个源系统和多个应用系统，所述多个源系统、多个应用系统和备份系统均与统一数据平台连接，多个源系统、多个应用系统和备份系统与统一数据平台之间通过MQ消息通道实现数据传输。0014一种利用Q复制技术实现数据集成和访问控制的方法，该方法包括以下步骤（1）新建一个DB2数据库作为统一数据平台，统一数据平台与备份系统间配置成双机集群系统（HA）；（2）统一数据平台、备份系统、多个源系统和多个应用系统分别安装MQ应用程序；（3）创建源系统到统一数据平台的Q复制，该步骤包括。
19、以下子步骤（31）在源系统创建CAPTURE队列管理器，在CAPTURE队列管理器中创建传输队列、重启队列和管理队列；（32）在统一数据平台创建APPLY队列管理器，在APPLY队列管理器中创建传输队列、接收队列；（33）创建远程队列APPLY队列管理器的接收队列通过消息通道映射到CAPTURE队列管理器，作为发送队列；CAPTURE队列管理器的管理队列通过消息通道映射到APPLY队列管理器，作为管理队列；（34）在源系统和统一数据平台的数据库里分别创建Q复制控制表的表空间，用来存放Q复制控制表，确保Q复制数据独立；（35）在统一数据平台中生成密码文件，用于Q复制程序自动连接数据库，并对Q复制。
20、控制表进行操作；（36）在源系统和统一数据平台的数据库里分别创建Q复制控制表；说明书CN104112001A4/4页7（37）在源系统与统一数据平台之间创建Q复制队列映射；（38）在源系统与统一数据平台之间创建Q复制预订；Q复制预订分为全部复制和部分复制，其中对部分复制进行数据筛选，包括两种方法方法1通过指定预订命令中的TRGCOLSINCLUDE参数，对源系统中待复制的字段进行筛选例如TRGCOLSINCLUDESC1TC1,SC2TC2表示源表中的SC1字段复制到目标表的TC1字段中，SC2类似，未提及的字段不复制；方法2通过指定预订命令中的SEARCHCONDITION参数，对源系统中待。
21、复制的内容进行筛选例如SEARCHCONDITION“WHERESC1Y“表示源表中的SC1字段为Y的数据记录，才会被复制到目标表中，其他记录不复制；（39）在源系统与统一数据平台分别启动Q复制；（4）创建统一数据平台到应用系统的Q复制，该步骤包括以下子步骤（41）在统一数据平台创建CAPTURE队列管理器，在CAPTURE队列管理器中创建传输队列、重启队列和管理队列；统一数据平台的队列管理器需要创建多个发送队列，其中一个用于到存储过程的Q复制，一个用于事件发布；（42）在应用系统创建APPLY队列管理器，在APPLY队列管理器中创建传输队列、接收队列；（43）创建远程队列APPLY队列管理器。
22、的接收队列通过消息通道映射到CAPTURE队列管理器，作为发送队列；CAPTURE队列管理器的管理队列通过消息通道映射到APPLY队列管理器，作为管理队列；（44）统一数据平台到应用系统的复制，复制过程包括两种方法其中一种方法复制数据到存储过程，运用存储过程的逻辑对数据进行整理后存入应用系统数据库中；另一方法通过事件发布的方式，将数据发送到接收队列后，可以被应用程序直接读取并使用，具体为一、统一数据平台到应用系统的存储过程复制，包括以下子步骤1）在统一数据平台和应用系统的数据库里分别创建Q复制控制表的表空间；2）在应用系统中生成密码文件；3）在统一数据平台和应用系统的数据库里分别创建Q复制控制。
23、表；4）在统一数据平台和应用系统之间创建Q复制队列映射；5）在统一数据平台和应用系统之间创建Q复制预订；通过指定预订命令中的TYPE参数为STOREDPROC，将内容复制到存储过程。存储过程中，XPARM1传递主键字段的原值，PARM1传递主键字段的当前值，PARM2传递非主键字段的当前值；6）在统一数据平台和应用系统分别启动Q复制；二、统一数据平台到接收队列的事件发布，包括以下子步骤1）在统一数据平台和应用系统之间创建Q复制队列映射；2）在统一数据平台和应用系统之间创建事件发布预订；3）使用应用程序直接访问统一数据平台发送的数据消息；应用程序通过实现接口COMIBMDB2TOOLSREPLPUBLICATIONPUBLICATIONMSGLISTENE并实现方法PUBLICATIONMSGMSGPUBMSG，即可获得事件发布的数据消息；4）启动应用程序读取事件发布的数据消息。说明书CN104112001A1/1页8图1图2说明书附图CN104112001A。