一种CDC数据分发方法和装置.pdf

(19)中华人民共和国国家知识产权局*CN102663020A*(12)发明专利申请(10)申请公布号CN102663020A(43)申请公布日2012.09.12(21)申请号201210076928.9(22)申请日2012.03.21(71)申请人北京英孚斯迈特信息技术有限公司地址100083北京市海淀区华清嘉园7号楼1707(72)发明人官辉文彦峰齐科军李俊冯志强(74)专利代理机构北京轻创知识产权代理有限公司11212代理人杨立(51)Int.Cl.G06F17/30(2006.01)权利要求书权利要求书3页3页说明书说明书66页页附图附图55页(54)发明名称一种CDC数据分发方法和装置(57)摘要本发明涉及一种CDC数据分发方法和装置，其特征在于，它包括以下步骤：①配置抽取信息：通过配置界面配置用于抽取数据库中数据的抽取信息；②抽取进程：读取配置的抽取信息，把源数据库中的数据从与业务相关的系统的数据库中抽取出来生成文本文件；③配置装载信息：通过配置界面配置用于装载数据库中数据的装载信息；④装载进程：读取所述装载信息，并把抽取进程导出的文本文件装载到用于存放抽取的文本文件的目标数据库中。本发明具有图形化灵活开放的配置模式，数据抽取快，完全基于源数据API实现，流水化作业方式的抽取和转载。CN10263ACN102663020A权利要求书1/3页1.一种CDC数据分发方法，其特征在于，它包括以下步骤：①配置抽取信息：通过配置界面配置用于抽取数据库中数据的抽取信息；②抽取进程：读取配置的抽取信息，把源数据库中的数据从与业务相关的系统的数据库中抽取出来生成文本文件；③配置装载信息：通过配置界面配置用于装载数据库中数据的装载信息；④装载进程：读取所述装载信息，并把抽取进程导出的文本文件装载到用于存放抽取的文本文件的目标数据库中。2.根据权利要求1所述的一种CDC数据分发方法，其特征在于：所述抽取进程包括Mysql抽取、Sqlserver抽取、greenplum抽取、Oracle抽取、db2抽取和/或组抽取。3.根据权利要求2所述的一种CDC数据分发方法，其特征在于：其中，所述Mysql抽取包括以下步骤：①Mysql抽取进程向Mysql数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在Mysql连接的时间窗口内，③如果在时间窗口范围内，连接Mysql数据库，利用MysqlAPI接口将数据导出生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；所述Sqlserver抽取包括以下步骤：①Sqlserver抽取进程向Sqlserver数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在Sqlserver连接的时间窗口内，③如果在时间窗口范围内，连接Sqlserver数据库，利用freetdsAPI接口将数据导出生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；所述greenplum抽取包括以下步骤：①greenplum抽取进程向greenplum分布式数据仓库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在greenplum连接的时间窗口内，③如果在时间窗口范围内，连接greenplum数据库，利用copy命令接口将数据导出生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；所述Oracle抽取包括以下步骤：①Oracle抽取进程向Oracle数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在Oracle连接的时间窗口内，③如果在时间窗口范围内，连接Oracle数据库，通过记录的数据块地址，抽取进程对一张数据源表进行抽取，最终将数据导出生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；所述db2抽取包括以下步骤：①db2抽取进程向db2数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在db2连接的时间窗口内，③如果在时间窗口范围内，连接db2数据库，在db2多分区数据中自动在所有分区开启多个对应的分区抽取进程，分布式导出数据生成文本文件，④如果不在时间窗口范围内，直接结束抽取工作；所述组抽取包括以下步骤：①组抽取进程向两个或两个以上相同或者不同类型的数据库发起一个连接，②读取配置的抽取信息，判断当时系统时间是否在组抽取下抽取连接的时间窗口内，③如果在时间窗口范围内，连接相对应的数据库，当组抽取下所有的抽取完成后，整个组抽取结束，否则2CN102663020A权利要求书2/3页为失败，④如果不在时间窗口范围内，直接结束抽取工作。4.根据权利要求1所述的一种CDC数据分发方法，其特征在于：所述装载数据进程包括数据装载、db2装载、Oracle装载、和/或greenplum装载。5.根据权利要求1所述的一种CDC数据分发方法，其特征在于：在进行所