数据迁移方法及装置、存储介质、电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112286905A(43)申请公布日2021.01.29(21)申请号202011103107.0G06F16/28(2019.01)(22)申请日2020.10.15(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人姚智博(74)专利代理机构北京律智知识产权代理有限公司11438代理人王辉阚梓瑄(51)Int.Cl.G06F16/21(2019.01)G06F16/23(2019.01)G06F16/245(2019.01)权利要求书2页说明书18页附图9页(54)发明名称数据迁移方法及装置、存储介质、电子设备(57)摘要本公开涉及数据处理领域，提供了一种数据迁移方法、数据迁移装置、计算机存储介质、电子设备，其中，数据迁移方法包括：与迁移数据源、接收数据源建立通信连接；对迁移数据源中的全量数据进行分片处理，得到多个数据分片；当接收到数据迁移指令时，通过迁移集群分布式将多个数据分片迁移至接收数据源；从迁移数据源中获取增量数据，根据增量数据的创建时间戳判断增量数据是否为新增数据；当增量数据是新增数据时，通过迁移集群将增量数据迁移至接收数据源中；当增量数据不是新增数据时，通过迁移集群使用增量数据替换接收数据源中的目标数据。本公开能够在不影响迁移数据源的读写业务的前提下，提高数据的迁移速度，保证数据迁移过程的有序进行。CN112286905ACN112286905A权利要求书1/2页1.一种数据迁移方法，其特征在于，包括：与迁移数据源、接收数据源建立通信连接；对所述迁移数据源中的全量数据进行分片处理，得到多个数据分片；当接收到数据迁移指令时，通过迁移集群分布式将所述多个数据分片迁移至所述接收数据源；从所述迁移数据源中获取增量数据，根据所述增量数据的创建时间戳判断所述增量数据是否为新增数据；当所述增量数据是新增数据时，通过所述迁移集群将所述增量数据迁移至所述接收数据源中；当所述增量数据不是新增数据时，通过所述迁移集群使用所述增量数据替换所述接收数据源中的目标数据；其中，所述目标数据与所述增量数据的创建时间戳相同。2.根据权利要求1所述的方法，其特征在于，所述对所述迁移数据源中的全量数据进行分片处理，得到多个数据分片，包括：获取所述迁移数据源的初始运行时间，将当前时间与所述初始运行时间的时间跨度确定为目标时间段；根据预设时长区间对所述目标时间段进行分片处理，得到多个时间分片；将在各所述时间分片内、所述迁移数据源中存储的数据作为一数据分片。3.根据权利要求1所述的方法，其特征在于，每个数据分片对应一个迁移子任务；所述当接收到数据迁移指令时，通过迁移集群将所述多个数据分片迁移至所述接收数据源，包括：当接收到数据迁移指令时，通过迁移集群分布式执行所述迁移子任务，以将所述多个数据分片迁移至所述接收数据源。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：当目标数据分片对应的待迁移数据量大于数据量阈值时，将所述目标数据分片对应的迁移子任务拆分为多个目标子任务，以使得各所述目标子任务对应的待迁移数据量小于所述数据量阈值。5.根据权利要求1所述的方法，其特征在于，所述通过所述迁移集群使用所述增量数据替换所述接收数据源中的目标数据，包括：根据乐观锁机制比对所述增量数据与所述目标数据的更新时间戳；当所述增量数据的更新时间戳大于所述目标数据的更新时间戳时，使用所述增量数据替换所述接收数据源中的目标数据。6.根据权利要求1至5中任意一项所述的方法，其特征在于，在通过所述迁移集群使用所述增量数据替换所述接收数据源中的目标数据之后，所述方法还包括：查询所述迁移数据源中存储的数据条数；若所述数据条数大于所述接收数据源中的数据条数，则获取所述迁移数据源与所述接收数据源的差异数据；通过所述迁移集群将所述差异数据更新至所述接收数据源中。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：若所述数据条数等于所述接收数据源中的数据条数，则获取所述迁移数据源中所有数2CN112286905A权利要求书2/2页据的字段值，以及，获取所述接收数据源中所有数据的字段值；比对同一数据的字段值是否一致；对字段值不一致的所述迁移数据源中的数据进行标记；将标记的数据更新至所述接收数据源中。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：当数据迁移发生中断时，记录中断时间；根据所述中断时间进行断点续传。9.根据权利要求1所述的方法，其特征在于，所述方法还包括：创建所述迁移数据源的第一备用服务器，以及，创建所述接收数据源的第二备用服务器；通过所述迁移集群定时将所述迁移数据源