一种数据迁移方法、装置、设备及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114968920A(43)申请公布日2022.08.30(21)申请号202210753513.4(22)申请日2022.06.29(71)申请人济南浪潮数据技术有限公司地址250101山东省济南市自由贸易试验区济南片区浪潮路1036号浪潮科技园S05楼S311室(72)发明人刘超(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师耿苑(51)Int.Cl.G06F16/11(2019.01)权利要求书2页说明书9页附图4页(54)发明名称一种数据迁移方法、装置、设备及可读存储介质(57)摘要本申请公开了一种数据迁移方法、装置、设备及可读存储介质，该方法包括：在待迁移集群与目标集群之间进行全量迁移；在全量迁移期间，监听待迁移集群的数据变动业务，并记录操作日志；在全量迁移完成后，关闭待迁移集群的数据变动业务；利用操作日志，确定在全量迁移期间变动的存储对象；迁移存储对象至目标集群。在本申请中，全量迁移期间不影响对外服务，二次迁移又可免去全量列举对象流程。相比直接中断读写业务的全量迁移，本申请采用全量迁移和二次迁移的方式，大大降低了业务中断时间，可以有效保障集群业务。CN114968920ACN114968920A权利要求书1/2页1.一种数据迁移方法，其特征在于，包括：在待迁移集群与目标集群之间进行全量迁移；在全量迁移期间，监听所述待迁移集群的数据变动业务，并记录操作日志；在全量迁移完成后，关闭所述待迁移集群的数据变动业务；利用所述操作日志，确定在全量迁移期间变动的存储对象；迁移所述存储对象至所述目标集群。2.根据权利要求1所述的数据迁移方法，其特征在于，监听所述待迁移集群的数据变动业务，并记录操作日志，包括：监听所述数据变动业务，得到数据变动操作信息；将所述数据变动操作信息写入所述操作日志。3.根据权利要求1所述的数据迁移方法，其特征在于，所述在待迁移集群与目标集群之间进行全量迁移，包括：创建迁移表；遍历所述待迁移集群中桶分片，并在所述迁移表中记录所述桶分片的迁移状态；对所述迁移状态为未执行的桶分片中对象进行迁移，并修改对应所述迁移状态为执行中；在一个桶分片中对象迁移完成后，在所述迁移表中修改对应所述迁移状态为已执行；若所述待迁移集群所有所述桶分片的所述迁移状态均为已执行，则确定完成全量迁移。4.根据权利要求3所述的数据迁移方法，其特征在于，还包括：全量迁移中断后，利用所述迁移表确定迁移断点；从所述迁移断点处，恢复全量迁移。5.根据权利要求4所述的数据迁移方法，其特征在于，利用所述迁移表确定迁移断点，包括：遍历所述迁移表，确定所述迁移状态为执行中的目标桶分片；确定所述目标桶分片所在位置为所述迁移断点。6.根据权利要求3所述的数据迁移方法，其特征在于，对所述迁移状态为未执行的桶分片中对象进行迁移，包括：为所述迁移表中的桶分片各自分配一个迁移线程；利用所述迁移线程对所述迁移状态为未执行桶分片中对象进行迁移。7.根据权利要求1至6任一项所述的数据迁移方法，其特征在于，在迁移所述存储对象至所述目标集群之后，还包括：开启所述目标集群的数据变动业务。8.一种数据迁移装置，其特征在于，包括：全量迁移模块，用于在待迁移集群与目标集群之间进行全量迁移；监听模块，用于在全量迁移期间，监听所述待迁移集群的数据变动业务，并记录操作日志；业务控制模块，用于在全量迁移完成后，关闭所述待迁移集群的数据变动业务；补迁移模块，用于利用所述操作日志，确定在全量迁移期间变动的存储对象；迁移所述2CN114968920A权利要求书2/2页存储对象至所述目标集群。9.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述数据迁移方法的步骤。10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据迁移方法的步骤。3CN114968920A说明书1/9页一种数据迁移方法、装置、设备及可读存储介质技术领域[0001]本申请涉及存储技术领域，特别是涉及一种数据迁移方法、装置、设备及可读存储介质。背景技术[0002]随着各行各业都先后涌现出了不同规模的数据中心，海量数据迁移已经成为企业解决存储空间不足和信息系统升级改造等过程中，必须面对的现实问题。[0003]其中，对象存储一般基于全量迁移方法进行数据迁移。这种场景下的迁移，一般要求新旧集群暂停对外提供数据服务，且一旦迁移过程中因各种问题导致迁移进程中断，则需要从头开始再次迁移。从而导致长时间影响业务正常运行。[0004]综上所述，如何有效地解决对象存储的集群间数据迁移等问题，是目前本领域技术人员急需解决的