《一种CDC数据分发方法和装置.pdf》由会员分享,可在线阅读,更多相关《一种CDC数据分发方法和装置.pdf(15页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 102663020 A(43)申请公布日 2012.09.12CN102663020A*CN102663020A*(21)申请号 201210076928.9(22)申请日 2012.03.21G06F 17/30(2006.01)(71)申请人北京英孚斯迈特信息技术有限公司地址 100083 北京市海淀区华清嘉园7号楼1707(72)发明人官辉 文彦峰 齐科军 李俊冯志强(74)专利代理机构北京轻创知识产权代理有限公司 11212代理人杨立(54) 发明名称一种CDC数据分发方法和装置(57) 摘要本发明涉及一种CDC数据分发方法和装置,其特征在于,它包括以下步骤:。
2、配置抽取信息:通过配置界面配置用于抽取数据库中数据的抽取信息;抽取进程:读取配置的抽取信息,把源数据库中的数据从与业务相关的系统的数据库中抽取出来生成文本文件;配置装载信息:通过配置界面配置用于装载数据库中数据的装载信息;装载进程:读取所述装载信息,并把抽取进程导出的文本文件装载到用于存放抽取的文本文件的目标数据库中。本发明具有图形化灵活开放的配置模式,数据抽取快,完全基于源数据API实现,流水化作业方式的抽取和转载。(51)Int.Cl.权利要求书3页 说明书6页 附图5页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 3 页 说明书 6 页 附图 5 页1/3页21.一。
3、种CDC数据分发方法,其特征在于,它包括以下步骤:配置抽取信息:通过配置界面配置用于抽取数据库中数据的抽取信息;抽取进程:读取配置的抽取信息,把源数据库中的数据从与业务相关的系统的数据库中抽取出来生成文本文件;配置装载信息:通过配置界面配置用于装载数据库中数据的装载信息;装载进程:读取所述装载信息,并把抽取进程导出的文本文件装载到用于存放抽取的文本文件的目标数据库中。2.根据权利要求1所述的一种CDC数据分发方法,其特征在于:所述抽取进程包括Mysql抽取、Sql server抽取、greenplum抽取、Oracle抽取、db2抽取和/或组抽取。3.根据权利要求2所述的一种CDC数据分发方法。
4、,其特征在于:其中,所述Mysql抽取包括以下步骤:Mysql抽取进程向Mysql数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在Mysql连接的时间窗口内,如果在时间窗口范围内,连接Mysql数据库,利用Mysql API接口将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;所述Sql server抽取包括以下步骤:Sql server抽取进程向Sql server数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在Sql server连接的时间窗口内,如果在时间窗口范围内,连接Sql server数据库,利用freetds API接口将数据导出生成文。
5、本文件,如果不在时间窗口范围内,直接结束抽取工作;所述greenplum抽取包括以下步骤:greenplum抽取进程向greenplum分布式数据仓库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在greenplum连接的时间窗口内,如果在时间窗口范围内,连接greenplum数据库,利用copy命令接口将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;所述Oracle抽取包括以下步骤:Oracle抽取进程向Oracle数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在Oracle连接的时间窗口内,如果在时间窗口范围内,连接Oracle数据库,通过记录的数据。
6、块地址,抽取进程对一张数据源表进行抽取,最终将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;所述db2抽取包括以下步骤:db2抽取进程向db2数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在db2连接的时间窗口内,如果在时间窗口范围内,连接db2数据库,在db2多分区数据中自动在所有分区开启多个对应的分区抽取进程,分布式导出数据生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;所述组抽取包括以下步骤:组抽取进程向两个或两个以上相同或者不同类型的数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在组抽取下抽取连接的时间窗口内,如果在时间窗口范围内,。
7、连接相对应的数据库,当组抽取下所有的抽取完成后,整个组抽取结束,否则权 利 要 求 书CN 102663020 A2/3页3为失败,如果不在时间窗口范围内,直接结束抽取工作。4.根据权利要求1所述的一种CDC数据分发方法,其特征在于:所述装载数据进程包括数据装载、db2装载、Oracle装载、和/或greenplum装载。5.根据权利要求1所述的一种CDC数据分发方法,其特征在于:在进行所述装载进程中读取配置的装载信息时,根据对应的抽取信息,把抽取出来的文本文件装载到目标数据库,如果装载失败,重新读取装载配置信息再进行装载。6.根据权利要求5所述的一种CDC数据分发方法,其特征在于:所述数据装。
8、载包括以下步骤:装载进程Mysql数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在装载连接的时间窗口内,如果在时间窗口范围内,调用Mysql数据库的load data装载接口,把文件装载到Mysql数据库中,如果不在时间窗口范围内,直接结束抽取工作;所述db2装载包括以下步骤:db2装载进程向db2数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在db2装载连接的时间窗口内,如果在时间窗口范围内,调用db2装载接口,把文件装载到db2数据库中,如果不在时间窗口范围内,直接结束抽取工作;所述Oracle装载包括以下步骤:Oracle装载进程向Oracle数据库发起一个连。
9、接,读取配置的装载信息,判断当时系统时间是否在Oracle数据库装载连接的时间窗口内,如果在时间窗口范围内,调用Oracle装载接口,在Oracle装载接口调用sql loader接口把文本文件装载到Oracle数据库中,如果不在时间窗口范围内,直接结束抽取工作;所述greenplum装载包括以下步骤:greenplum装载进程向greenplum数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在greenplum装载连接的时间窗口内,如果在时间窗口范围内,调用greenplum装载接口连接greenplum数据库,连接greenplum数据库后,装载进程在greenplum数据库。
10、中创建外部表和目标表,装载进程在greenplum分布式数据仓库中执行insert into select操作,把文件装载到greenplum分布式数据仓库中,如果不在时间窗口范围内,直接结束抽取工作。7.一种CDC数据分发装置,其特征在于,该装置包括配置抽取信息模块,抽取模块,配置装载信息模块,装载数据模块,其中:配置抽取信息模块,用于通过配置界面配置用于抽取数据库中数据的抽取信息;抽取模块,用于读取配置的抽取信息,把源数据库中的数据从与业务相关的系统的数据库中抽取出来生成文本文件;配置装载信息模块,用于通过配置界面配置用于装载数据库中数据的装载信息;装载模块,用于读取所述装载信息,并把抽取。
11、进程导出的文本文件装载到用于存放抽取的文本文件的目标数据库中。8.根据权利要求7所述的一种CDC数据分发装置,其特征在于:所述抽取模块包括Mysql抽取子模块、Sql server抽取子模块、greenplum抽取子模块、Oracle抽取子模块、db2抽取子模块和/或组抽取子模块。权 利 要 求 书CN 102663020 A3/3页49.根据权利要求8所述的一种CDC数据分发装置,其特征在于:所述Mysql抽取子模块,用于把Mysql数据库的数据通过指定的SQL语句把数据从Mysql数据库中导出成文本文件;所述Sql server抽取子模块,用于把数据整合到数据仓库平台中;所述greenpl。
12、um抽取子模块,用于针对Sql server数据库类型,把greenplum分布式数据仓库的数据抽取出来,将数据分发到其它应用环境中;所述Oracle抽取子模块,用于利用抽取进程对Oracle数据库中Oracle数据源表抽取;所述db2抽取子模块,用于针对db2多分区数据,从可行多分区数据库并行导出数据;所述组抽取子模块,用于对一张表的数据来自两个或两个以上不同或相同类型的数据库,但只装载到目标库中的一张表中的情况,把两个或两个以上不同或相同类型的数据库的数据抽取出来,生成两个或两个以上的文本文件。10.根据权利要求7所述的一种CDC数据分发装置,其特征在于:所述装载模块包括数据装载子模块、d。
13、b2装载子模块、Oracle装载子模块和/或greenplum装载子模块。11.根据权利要求7所述的一种CDC数据分发装置,其特征在于:在运行所述装载模块中的读取配置的装载信息时,根据对应的抽取信息,把抽取出来的文本文件装载到目标库,如果装载失败,重新读取装载配置信息再进行装载。12.根据权利要求10所述的一种CDC数据分发装置,其特征在于:所述数据装载子模块,用于在把数据仓库的数据导出成文本后,通过Mysql装载接口程序,把文本文件分发到Mysql数据库中;所述db2装载子模块,用于针对目标数据仓库是db2数据库的情况,通过此接口把各个源数据统一装载到db2数据库中;所述Oracle装载子模。
14、块,用于针对目标数据仓库为Oracle数据库或者把数据仓库的数据要装载到其它应用的Oracle后台数据库中的情况,通过Oracle装载接口完成装载进程;所述greenplum装载子模块,用于greenplum分布式数据仓库环境,通过greenplum数据接口把各种数据源的数据通过抽取接口把数据全部导入到greenplum分布式数据仓库中。权 利 要 求 书CN 102663020 A1/6页5一种 CDC 数据分发方法和装置技术领域0001 本发明涉及数据仓库领域,特别涉及数据仓库领域的数据整合。背景技术0002 CDC数据分发中心系统是专门针对数据仓库领域做数据整合的一个产品,它是ELT模式。
15、的,而不是ETL模式。ELT就是先抽取再装载最后清洗转换;ETL就是先抽取再清洗最后装载,目前该领域大部分还是ETL模式,而IS/BI-CDC数据分发中心系统是ELT模式的,通过快速抽取和装载数据,从而在数据仓库中进行数据转换工作。它主要是用来做数据的抽取和装载,抽取是把数据从业务系统的数据库导出成文本文件;装载是把抽取出来的文本文件导入到数据仓库中进行清洗转换处理。0003 现有技术对数据抽取是通过数据库的JDBC,ODBC接口抽取,抽取效率不高;处理逻辑复杂,体系结构庞大,不轻量,安装维护麻烦;Oracle数据库只能单个进程抽取,抽取速度不高;不支持分布式抽取和装载。发明内容0004 本发。
16、明所要解决的技术问题是提供一种图形化灵活开放的数据抽取快、完全基于源数据API实现、体系架构简单、支持分布式并行抽取装载的CDC数据分发方法。0005 本发明解决上述技术问题的技术方案如下:一种CDC数据分发方法,它包括以下步骤:0006 配置抽取信息:通过配置界面配置用于抽取数据库中数据的抽取信息;0007 抽取进程:读取配置的抽取信息,把源数据库中的数据从与业务相关的系统的数据库中抽取出来生成文本文件;0008 配置装载信息:通过配置界面配置用于装载数据库中数据的装载信息;0009 装载进程:读取所述装载信息,并把抽取进程导出的文本文件装载到用于存放抽取的文本文件的目标数据库中配置抽取信息。
17、:配置抽取进程所需要的抽取信息;0010 在上述技术方案的基础上,本发明还可以做如下改进。0011 进一步,所述抽取进程包括Mysql抽取、Sql server抽取、greenplum抽取、Oracle抽取、db2抽取和/或组抽取。0012 进一步,所述其中,所述Mysql抽取包括以下步骤:0013 Mysql抽取进程向Mysql数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在Mysql连接的时间窗口内,如果在时间窗口范围内,连接Mysql数据库,利用Mysql API接口将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;0014 所述Sql server抽取包括。
18、以下步骤:0015 Sql server抽取进程向Sql server数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在Sql server连接的时间窗口内,如果在时间窗口范围内,说 明 书CN 102663020 A2/6页6连接Sql server数据库,利用freetds API接口将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;0016 所述greenplum抽取包括以下步骤:0017 greenplum抽取进程向greenplum分布式数据仓库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在greenplum连接的时间窗口内,如果在时间窗口范围内。
19、,连接greenplum数据库,利用copy命令接口将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;0018 所述Oracle抽取包括以下步骤:0019 Oracle抽取进程向Oracle数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在Oracle连接的时间窗口内,如果在时间窗口范围内,连接Oracle数据库,通过记录的数据块地址,抽取进程对一张数据源表进行抽取,最终将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;0020 所述db2抽取包括以下步骤:0021 db2抽取进程向db2数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在。
20、db2连接的时间窗口内,如果在时间窗口范围内,连接db2数据库,在db2多分区数据中自动在所有分区开启多个对应的分区抽取进程,分布式导出数据生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;0022 所述组抽取包括以下步骤:0023 组抽取进程向两个或两个以上相同或者不同类型的数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在组抽取下抽取连接的时间窗口内,如果在时间窗口范围内,连接相对应的数据库,当组抽取下所有的抽取完成后,整个组抽取结束,否则为失败,如果不在时间窗口范围内,直接结束抽取工作。0024 进一步,所述装载数据进程包括数据装载、db2装载、Oracle装载、和/或。
21、greenplum装载。0025 进一步,所述在进行所述装载进程中读取配置的装载信息时,根据对应的抽取信息,把抽取出来的文本文件装载到目标数据库,如果装载失败,重新读取装载配置信息再进行装载。0026 进一步,所述数据装载包括以下步骤:0027 装载进程Mysql数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在装载连接的时间窗口内,如果在时间窗口范围内,调用Mysql数据库的load data装载接口,把文件装载到Mysql数据库中,如果不在时间窗口范围内,直接结束抽取工作;0028 所述db2装载包括以下步骤:0029 db2装载进程向db2数据库发起一个连接,读取配置的装载信。
22、息,判断当时系统时间是否在db2装载连接的时间窗口内,如果在时间窗口范围内,调用db2装载接口,把文件装载到db2数据库中,如果不在时间窗口范围内,直接结束抽取工作;0030 所述Oracle装载包括以下步骤:0031 Oracle装载进程向Oracle数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在Oracle数据库装载连接的时间窗口内,如果在时间窗口范围内,调说 明 书CN 102663020 A3/6页7用Oracle装载接口,在Oracle装载接口调用sqlloader接口把文本文件装载到Oracle数据库中,如果不在时间窗口范围内,直接结束抽取工作;0032 所述gre。
23、enplum装载包括以下步骤:0033 greenplum装载进程向greenplum数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在greenplum装载连接的时间窗口内,如果在时间窗口范围内,调用greenplum装载接口连接greenplum数据库,连接greenplum数据库后,装载进程在greenplum数据库中创建外部表和目标表,装载进程在greenplum分布式数据仓库中执行insert into select操作,把文件装载到greenplum分布式数据仓库中,如果不在时间窗口范围内,直接结束抽取工作。0034 另外,本发明还提供了一种CDC数据分发装置,该装置包。
24、括配置抽取信息模块,抽取模块,配置装载信息模块,装载数据模块,其中:0035 配置抽取信息模块,用于通过配置界面配置用于抽取数据库中数据的抽取信息;0036 抽取模块,用于读取配置的抽取信息,把源数据库中的数据从与业务相关的系统的数据库中抽取出来生成文本文件;0037 配置装载信息模块,用于通过配置界面配置用于装载数据库中数据的装载信息;0038 装载模块,用于读取所述装载信息,并把抽取进程导出的文本文件装载到用于存放抽取的文本文件的目标数据库中0039 进一步,所述抽取模块包括Mysql抽取子模块、Sql server抽取子模块、greenplum抽取子模块、Oracle抽取子模块、db2抽。
25、取子模块和/或组抽取子模块。0040 进一步,所述Mysql抽取子模块,用于把Mysql数据库的数据通过指定的SQL语句把数据从Mysql数据库中导出成文本文件;0041 所述Sql server抽取子模块,用于把数据整合到数据仓库平台中;0042 所述greenplum抽取子模块,用于针对Sql server数据库类型,把greenplum分布式数据仓库的数据抽取出来,将数据分发到其它应用环境中;0043 所述Oracle抽取子模块,用于利用抽取进程对Oracle数据库中Oracle数据源表抽取;0044 所述db2抽取子模块,用于针对db2多分区数据,从可行多分区数据库并行导出数据;004。
26、5 所述组抽取子模块,用于对一张表的数据来自两个或两个以上不同或相同类型的数据库,但只装载到目标库中的一张表中的情况,把两个或两个以上不同或相同类型的数据库的数据抽取出来,生成两个或两个以上的文本文件。0046 进一步,所述装载模块包括数据装载子模块、db2装载子模块、Oracle装载子模块和/或greenplum装载子模块。0047 进一步,在运行所述装载模块中的读取配置的装载信息时,根据对应的抽取信息,把抽取出来的文本文件装载到目标库,如果装载失败,重新读取装载配置信息再进行装载。0048 进一步,所述数据装载子模块,用于在把数据仓库的数据导出成文本后,通过Mysql装载接口程序,把文本文。
27、件分发到Mysql数据库中;0049 所述db2装载子模块,用于针对目标数据仓库是db2数据库的情况,通过此接口把各个源数据统一装载到db2数据库中;说 明 书CN 102663020 A4/6页80050 所述Oracle装载子模块,用于针对目标数据仓库为Oracle数据库或者把数据仓库的数据要装载到其它应用的Oracle后台数据库中的情况,通过Oracle装载接口完成装载进程;0051 所述greenplum装载子模块,用于greenplum分布式数据仓库环境,通过greenplum数据接口把各种数据源的数据通过抽取接口把数据全部导入到greenplum分布式数据仓库中。0052 采用上述。
28、方案的有益效果是抽取、装载基于配置方式运行,可以完全对外开放,同时对于oracle数据库可以多线程并行抽取,提高抽取效率。基于图形化的配置界面,流水线式的抽取装载运行。0053 支持greenplum数据的装载,可有效利用greenplum数据库的高性能计算能力来处理数据。附图说明0054 图1为本发明整体流程图;0055 图2为本发明Mysql抽取流程图;0056 图3为本发明Sql server抽取流程图;0057 图4为本发明greenplum抽取流程图;0058 图5为本发明Oracle抽取流程图;0059 图6为本发明db2抽取流程图;0060 图7为本发明组抽取流程图;0061 图。
29、8为本发明数据装载流程图;0062 图9为本发明db2装载流程图;0063 图10为本发明Oracle装载流程图;0064 图11为本发明greenplum装载流程图;具体实施方式0065 以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。0066 实施例10067 如图1所示,本发明整体实施过程包括以下步骤:0068 配置抽取信息:通过配置界面配置用于抽取数据库中数据的抽取信息,配置的信息包括:要抽取的表,抽取后的文件存放目录和文件名格式,检验文件存放目录及检验文件名格式,数据文件保留天数,抽取的SQL,抽取前置SQL,抽取时间,空数据截止时间,是。
30、否启用,运行主机,配置主机;0069 抽取进程:读取配置的抽取信息,把源数据库中的数据从与业务相关的系统的数据库中抽取出来生成文本文件,所述与业务相关的系统为:如ERP系统,财务系统,业务支撑系统,OA系统,EBS,物流系统,网站购物平台,客服系统,无线WAP平台等等。;0070 配置装载信息:通过配置界面配置用于装载数据库中数据的装载信息,所要配置的信息包括:装载编号所对应的抽取编号,装载到目标数据库的装载协议,端口号,装载说 明 书CN 102663020 A5/6页9开始时间,重新装载次数,是否启用,装载的目标表名,装载的目标数据库连接名,清表SQL,后置SQL,装载字段列表;0071 。
31、装载进程:读取所述装载信息,并把抽取进程导出的文本文件装载到用于存放抽取的文本文件的目标数据库中。0072 所述抽取进程包括Mysql抽取、Sql server抽取、greenplum抽取、Oracle抽取、db2抽取和/或组抽取。0073 所述装载数据进程包括数据装载、db2装载、Oracle装载、和/或greenplum装载。0074 所述在进行所述装载进程中读取配置的装载信息时,根据对应的抽取信息,把抽取出来的文本文件装载到目标数据库,如果装载失败,重新读取装载配置信息再进行装载。0075 图2为所述Mysql抽取的具体实施步骤:0076 Mysql抽取进程向Mysql数据库发起一个连接。
32、,读取配置的抽取信息,判断当时系统时间是否在Mysql连接的时间窗口内,所述时间窗口是指在某一时间段内,进程可以连接上相应数据库,如果在时间窗口范围内,连接Mysql数据库,利用Mysql API接口将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作。0077 图3是所述Sql server抽取的具体实施时的步骤:0078 Sql server抽取进程向Sql server数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在Sql server连接的时间窗口内,如果在时间窗口范围内,连接Sql server数据库,利用freetds API接口将数据导出生成文本文件,如。
33、果不在时间窗口范围内,直接结束抽取工作;0079 图4为所述greenplum抽取具体实施时的步骤:0080 greenplum抽取进程向greenplum分布式数据仓库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在greenplum连接的时间窗口内,如果在时间窗口范围内,连接greenplum数据库,利用copy命令接口将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;0081 图5为所述Oracle抽取具体实施时的步骤:0082 Oracle抽取进程向Oracle数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在Oracle连接的时间窗口内,如果在时间。
34、窗口范围内,连接Oracle数据库,通过记录的数据块地址,抽取进程对一张数据源表进行抽取,最终将数据导出生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;0083 图6为所述db2抽取具体实施时的步骤:0084 db2抽取进程向db2数据库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在db2连接的时间窗口内,如果在时间窗口范围内,连接db2数据库,在db2多分区数据中自动在所有分区开启多个对应的分区抽取进程,分布式导出数据生成文本文件,如果不在时间窗口范围内,直接结束抽取工作;0085 图7为所述组抽取具体实施时的步骤:0086 组抽取进程向两个或两个以上相同或者不同类型的数据。
35、库发起一个连接,读取配置的抽取信息,判断当时系统时间是否在组抽取下抽取连接的时间窗口内,如果在时间窗口范围内,连接相对应的数据库,当组抽取下所有的抽取完成后,整个组抽取结束,否则为失败,如果不在时间窗口范围内,直接结束抽取工作。说 明 书CN 102663020 A6/6页100087 图8为所述数据装载具体实施时的步骤:0088 装载进程Mysql数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在装载连接的时间窗口内,如果在时间窗口范围内,调用Mysql数据库的load data装载接口,把文件装载到Mysql数据库中,如果不在时间窗口范围内,直接结束抽取工作;0089 图9为所。
36、述db2装载的具体实施步骤:0090 db2装载进程向db2数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在db2装载连接的时间窗口内,如果在时间窗口范围内,调用db2装载接口,把文件装载到db2数据库中,如果不在时间窗口范围内,直接结束抽取工作;0091 图10为所述Oracle装载具体实施时的步骤:0092 Oracle装载进程向Oracle数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在Oracle数据库装载连接的时间窗口内,如果在时间窗口范围内,调用Oracle装载接口,在Oracle装载接口调用sql loader接口把文本文件装载到Oracle数据库中,。
37、如果不在时间窗口范围内,直接结束抽取工作;0093 图11为所述greenplum装载具体实施时的步骤:0094 greenplum装载进程向greenplum数据库发起一个连接,读取配置的装载信息,判断当时系统时间是否在greenplum装载连接的时间窗口内,如果在时间窗口范围内,调用greenplum装载接口连接greenplum数据库,连接greenplum数据库后,装载进程在greenplum数据库中创建外部表和目标表,装载进程在greenplum分布式数据仓库中执行insert into select操作,把文件装载到greenplum分布式数据仓库中,如果不在时间窗口范围内,直接结束抽取工作。0095 以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。说 明 书CN 102663020 A10。