数据迁移方法、装置、设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115080541A(43)申请公布日2022.09.20(21)申请号202210687063.3(22)申请日2022.06.16(71)申请人京东科技信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼6层601(72)发明人蒋帅彭智曾健穆冠琦(74)专利代理机构北京路浩知识产权代理有限公司11002专利代理师王治东(51)Int.Cl.G06F16/21(2019.01)权利要求书2页说明书10页附图5页(54)发明名称数据迁移方法、装置、设备和存储介质(57)摘要本公开提供一种数据迁移方法、装置、设备和存储介质，涉及云计算技术领域，所述方法包括：根据源数据库的一致性快照迁移数据表的表结构及全量数据至目标数据库，并将迁移进度写入预先建立的托管于云平台的代理数据库，其中，全量数据是在形成一致性快照后对所述一致性快照下的数据进行捕获得到的；根据所述一致性快照所在位点在所述源数据库中创建源数据库复制槽；根据代理数据库中的迁移进度判断数据表的全量迁移过程是否完成；在确定全量迁移过程已完成后，将代理数据库中的增量数据发送至目标数据库，其中，增量数据是在形成一致性快照后对源数据库复制槽的增量日志进行解析得到的。本公开的技术方案可以减少源数据库增量日志积压。CN115080541ACN115080541A权利要求书1/2页1.一种数据迁移方法，其特征在于，所述方法包括：根据源数据库的一致性快照迁移数据表的表结构及全量数据至目标数据库，并将迁移进度写入预先建立的托管于云平台的代理数据库，其中，所述全量数据是在形成所述一致性快照后对所述一致性快照下的数据进行捕获得到的；根据所述一致性快照所在位点在所述源数据库中创建源数据库复制槽；根据所述代理数据库中的迁移进度判断所述数据表的全量迁移过程是否完成；在确定所述全量迁移过程已完成后，将所述代理数据库中的增量数据发送至所述目标数据库，其中，所述增量数据是在形成所述一致性快照后对所述源数据库复制槽的增量日志进行解析得到。2.根据权利要求1所述的方法，其特征在于，所述将所述代理数据库中的增量数据发送至所述目标数据库之前，所述方法还包括：判断所述代理数据库中的增量数据是否超过预设的存储阈值；若是，则停止对所述源数据库复制槽的增量日志的解析，以等待所述代理数据库中的增量数据被发送至所述目标数据库。3.根据权利要求1所述的方法，其特征在于，所述根据源数据库的一致性快照迁移数据表的表结构及全量数据至目标数据库之前，所述方法还包括：获取根据用户指令创建的迁移任务的迁移信息；根据所述迁移信息获取所述数据表。4.根据权利要求3所述的方法，其特征在于，所述获取根据用户指令创建的迁移任务的迁移信息之前，所述方法还包括：根据所述用户指令基于容器集群管理系统创建所述迁移任务，以使得所述迁移任务的配置动态变更时，所述容器集群管理系统能够根据所述迁移任务的配置请求集群资源。5.根据权利要求1所述的方法，其特征在于，所述将所述代理数据库中的增量数据发送至所述目标数据库之后，所述方法还包括：若出现程序异常退出，则从所述代理数据库中读取源数据库记录位点信息和迁移进度信息；比较所述源数据库记录位点信息与所述源数据库当前位点信息；若所述源数据库记录位点信息与所述源数据库当前位点信息不一致，则清除所述代理数据库中的源数据库记录位点信息和增量数据，以重新创建迁移任务；若所述源数据库记录位点信息与所述源数据库当前位点信息一致，则根据所述源数据库当前位点信息进行增量数据解析，并根据所述迁移进度信息进行增量数据迁移。6.根据权利要求3所述的方法，其特征在于，所述获取根据用户指令创建的迁移任务的迁移信息之后，所述方法还包括：根据所述迁移信息基于容器集群管理系统创建所述代理数据库。7.根据权利要求1所述的方法，其特征在于，所述根据源数据库的一致性快照迁移数据表的表结构及全量数据至目标数据库，包括：使用表级别并行方式向所述目标数据库迁移所述数据表的全量数据。8.一种数据迁移装置，其特征在于，所述装置包括：数据表迁移单元，用于根据源数据库的一致性快照迁移数据表的表结构及全量数据至2CN115080541A权利要求书2/2页目标数据库，并将迁移进度写入预先建立的托管于云平台的代理数据库的元数据表，其中，所述全量数据是在形成所述一致性快照后对所述一致性快照下的数据进行捕获得到的；复制槽创建单元，用于根据所述一致性快照所在位点在所述源数据库中创建源数据库复制槽；判断单元，用于根据所述代理数据库中的迁移进度判断所述数据表的全量迁移过程是否完成；发送单元，用于在确定所述全量迁移过程已完成后，将所述代理数据库中的增量数据发送至所述目标数据库，其中，所述增量数据是在形