集群数据迁移方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113946293A(43)申请公布日2022.01.18(21)申请号202111258167.4(22)申请日2021.10.27(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人陈春斌胡德祺(74)专利代理机构广州三环专利商标代理有限公司44202代理人郝传鑫贾允(51)Int.Cl.G06F3/06(2006.01)权利要求书2页说明书29页附图8页(54)发明名称集群数据迁移方法、装置、电子设备和存储介质(57)摘要本公开关于集群数据迁移方法、装置、电子设备和存储介质，该方法包括：在将目标数据从源数据集群迁移到目标数据集群的过程中，设置目标数据的读写地址为源数据集群对应的数据地址，在数据迁移完成后，更新目标数据的读写地址为目标数据集群对应的数据地址，从而指示生产者和消费者在数据迁移过程中以及数据迁移完成之后，写入数据或读取数据的位置。该方法可以在执行数据迁移的过程中，使得消费者和生产者在执行各自的业务的过程中对数据迁移业务无感，从而无需业务方配合进行数据迁移，降低了人力成本并提高了数据迁移的效率，可以完成数据在各个集群间的无缝迁移。CN113946293ACN113946293A权利要求书1/2页1.一种集群数据迁移方法，其特征在于，所述方法包括：在源数据集群中目标数据向所述目标数据集群迁移的过程中，将所述目标数据对应的读写地址设置为所述源数据集群对应的地址信息；在所述目标数据的迁移时间大于预设迁移时间的情况下，关闭所述源数据集群对应的数据写入功能，所述预设迁移时间为所述源数据集群中数据的消费延迟时间；在所述目标数据被完全迁移至所述目标数据集群的情况下，将所述目标数据对应的读写地址更新为所述目标数据集群对应的地址信息。2.根据权利要求1所述的集群数据迁移方法，其特征在于，所述在所述目标数据被完全迁移至所述目标数据集群之前，所述方法还包括：接收基于所述源数据集群中的源数据节点转发的，消费者发送的第一地址获取请求；在所述目标数据的迁移状态信息为数据迁移过程中的情况下，基于所述源数据集群对应的地址信息，在所述源数据集群中，确定所述第一地址获取请求对应的待处理数据的第一节点地址信息；基于所述源数据节点向所述消费者转发所述第一节点地址信息，所述第一节点地址信息用于指示所述消费者从所述第一节点地址信息对应的第一数据节点中读取所述待处理数据。3.根据权利要求2所述的集群数据迁移方法，其特征在于，向所述源数据集群的数据节点发送所述第一节点地址信息，并通过所述源数据节点向所述消费者转发所述第一节点地址信息之后，所述方法还包括：接收基于所述第一数据节点转发的，所述消费者发送的第一进度获取请求；在所述待处理数据的迁移状态信息为数据迁移过程中的情况下，从所述源数据集群中确定所述消费者对应的第一数据处理进度；基于所述第一数据节点向所述消费者转发所述第一数据处理进度，所述第一数据处理进度用于指示所述消费者从所述第一数据节点存储的数据中确定所述待处理数据。4.一种集群数据迁移方法，其特征在于，所述方法包括：基于已迁移数据对应的数据迁移进度，从源数据集群中的目标数据中获取当前迁移数据，所述当前迁移数据为所述数据迁移进度和所述源数据集群对应的数据写入进度间的差异数据；基于所述当前迁移数据，更新所述已迁移数据和所述数据迁移进度，在所述目标数据迁移的过程中，所述目标数据对应的读写地址为所述源数据集群对应的地址信息，在所述目标数据迁移结束后，所述目标数据对应的读写地址为目标数据集群对应的地址信息。5.一种集群数据迁移控制装置，其特征在于，所述装置包括：数据地址设置模块，被配置为执行在将源数据集群中目标数据向所述目标数据集群迁移的过程中，将所述目标数据对应的读写地址设置为所述源数据集群对应的地址信息；写入功能关闭模块，被配置为执行在所述目标数据进行迁移的时间大于预设迁移时间的情况下，关闭所述源数据集群对应的数据写入功能，所述预设迁移时间为所述源数据集群中数据的消费延迟时间；数据地址更新模块，被配置为执行在所述目标数据被完全迁移至所述目标数据集群的情况下，将所述目标数据对应的读写地址更新为所述目标数据集群对应的地址信息。2CN113946293A权利要求书2/2页6.一种集群数据迁移装置，其特征在于，所述装置包括：当前迁移数据确定模块，被配置为执行基于已迁移数据对应的数据迁移进度，从源数据集群中的目标数据中获取当前迁移数据，所述当前迁移数据为所述数据迁移进度和所述源数据集群对应的数据写入进度间的差异数据；数据迁移模块，被配置为执行基于所述当前迁移数据，更新所述已迁移数据和所述数据迁移进度，在所述目标数据迁移的过程中，