一种高速数据迁移方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113986870A(43)申请公布日2022.01.28(21)申请号202111063613.6(22)申请日2021.09.10(71)申请人广东南方通信建设有限公司地址510630广东省广州市中山大道华景路1号南方通信大厦24-25楼(72)发明人肖磉张国胜吴志勇潘一峰冯杰文郑铭康王珏文(74)专利代理机构广州市越秀区哲力专利商标事务所(普通合伙)44288代理人孙柳(51)Int.Cl.G06F16/21(2019.01)G06F16/27(2019.01)权利要求书2页说明书6页附图2页(54)发明名称一种高速数据迁移方法及系统(57)摘要本发明公开了一种高速数据迁移方法及系统，本发明的方法包括：全量数据迁移：依据设定算法确定目标数据传送路径，调用DTS工具通过所述目标数据传送途径将源数据库的全量数据迁移至目标数据库；增量数据迁移：在中间件上同步源数据库的增量数据；根据所述异构数据转换策略动态生成DTS工具能识别的配置文件；根据所述配置文件调用DTS工具将所述中间件同步的增量数量同步迁移至目标数据库。本发明可实现准确快速的将源数据库的在线数据迁移至异构目标数据库。CN113986870ACN113986870A权利要求书1/2页1.一种高速数据迁移方法，其特征在于，包括:全量数据迁移：依据设定算法确定目标数据传送路径，调用DTS工具通过所述目标数据传送途径将源数据库的全量数据迁移至目标数据库；增量数据迁移：在中间件上同步源数据库的增量数据；并在中间件上配置用于将源数据库数据结构转成目标数据库数据结构的异构数据转换策略，根据所述异构数据转换策略动态生成DTS工具能识别的配置文件；根据所述配置文件调用DTS工具将所述中间件同步的增量数量同步迁移至目标数据库。2.根据权利要求1所述的高速数据迁移方法，其特征在于，所述依据设定算法确定目标数据传送路径包括：获取所述源数据库与所述目标数据库之间的每条数据传输路径的带宽占用率；所述每条数据传输路径的带宽占用率等于每条数据传输路径所包含的各传输链路的带宽占用率与各传输链路的额定带宽的乘积之和除以每条数据传输路径额定带宽；根据每条数据传输路径的带宽占用率，确定目标数据传送路径。3.根据权利要求1所述的高速数据迁移方法，其特征在于，所述将源数据库的全量数据至目标数据库包括：将源数据转换为第一逗号分隔符CSV格式数据；向所述目标数据库发送所述第一逗号分隔符CSV格式数据的第一批量导入指令，所述第一批量导入指令用于指示所述目标数据库将所述第一逗号分隔符CSV格式数据批量导入到目标数据库中。4.根据权利要求1所述的高速数据迁移方法，其特征在于，所述异构数据转换策略包括：将源数据的增量数据同步迁移至中间件的中间数据库，再将迁移至中间数据库的增量数据的数据对象的数据结构转换成与目标数据库相匹配的数据结构，将转换后的数据结构存储至目标数据库，所述增量数据的数据对象包括表、索引、视图、图表、缺省值、规则、触发器、用户和函数。5.根据权利要求1所述的高速数据迁移方法，其特征在于，所述在中间件上同步源数据库的增量数据的步骤包括：获取增量日志；解析获取源数据库的增量数据改动日志，并将获取到的日志解析封装为JSON协议的消息体，投送至消息队列；将消息队列中的CDC消息消费出来，并重放到目标实例中，以使源数据库的实例状态和中间件上的中间数据库的实例状态一致。6.根据权利要求5所述的高速数据迁移方法，其特征在于，在调用DTS工具将所述中间件同步的增量数量同步迁移至目标数据库步骤中，支持幂等逻辑，向目标数据库发送日志幂等回放指令，所述幂等回放指令用于指示所述目标数据库将所述增量日志进行幂等回放。7.根据权利要求1所述的高速数据迁移方法，其特征在于，所述源数据库为国产数据库或非国产数据库；所述目标数据库为国产数据库或非国产数据库。8.一种高速数据迁移系统，其特征在于，包括：全量数据迁移单元，用于依据设定算法确定目标数据传送路径，调用DTS工具通过所述2CN113986870A权利要求书2/2页目标数据传送途径将源数据库的全量数据迁移至目标数据库；增量数据迁移单元，用于在中间件上同步源数据库的增量数据；并在中间件上配置用于将源数据库数据结构转成目标数据库数据结构的异构数据转换策略，根据所述异构数据转换策略动态生成DTS工具能识别的配置文件；根据所述配置文件调用DTS工具将所述中间件同步的增量数量同步迁移至目标数据库。9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1‑