数据迁移方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114372043A(43)申请公布日2022.04.19(21)申请号202210045060.X(22)申请日2022.01.14(71)申请人中国农业银行股份有限公司地址100005北京市东城区建国门内大街69号(72)发明人程勇(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人梁瑜黄健(51)Int.Cl.G06F16/21(2019.01)G06F16/25(2019.01)权利要求书2页说明书13页附图5页(54)发明名称数据迁移方法、装置、电子设备及存储介质(57)摘要本申请提供一种数据迁移方法、装置、电子设备及存储介质，通过获取迁移配置信息，迁移配置信息包括第一类型的源数据库的配置信息和第二类型的目标数据库的配置信息，配置信息用于对对应类型的数据库中的数据进行读/写操作；基于源数据库的配置信息，从源数据库获取源数据，并将源数据保存为中间数据，中间数据是基于Flink的二维数据；基于目标数据库的配置信息，将中间数据转换为目标数据库的数据格式的目标数据，并对目标数据进行校验，得到校验结果，若校验结果正常，则将目标数据存入目标数据库。CN114372043ACN114372043A权利要求书1/2页1.一种数据迁移方法，其特征在于，所述方法包括：获取迁移配置信息，所述迁移配置信息包括第一类型的源数据库的配置信息和第二类型的目标数据库的配置信息，所述配置信息用于对对应类型的数据库中的数据进行读/写操作；基于所述源数据库的配置信息，从所述源数据库获取源数据，并将所述源数据保存为中间数据，所述中间数据是基于Flink的二维数据；基于所述目标数据库的配置信息，将所述中间数据转换为所述目标数据库的数据格式的目标数据，并对所述目标数据进行校验，得到校验结果，若所述校验结果正常，则将所述目标数据存入所述目标数据库。2.根据权利要求1所述的方法，其特征在于，所述源数据包括多个源数据单元，基于所述源数据库的配置信息，从所述源数据库获取源数据，并将所述源数据保存为中间数据，包括：获取预设的数据导出对象，所述数据导出对象包括导出参数，所述数据导出对象用于从所述导出参数指示的数据库中流式读取各所述源数据单元；基于所述源数据库的配置信息，得到所述数据导出对象的导出参数，并调用所述数据导出对象，流式读取所述源数据库内的各源数据单元；将得到的所述源数据单元以所述二维数据的格式依次写入内存，得到所述中间数据。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在每次读取所述源数据库内的源数据单元之后，检测当前的源数据单元对应的读取结果，所述读取结果表征是否成功读取所述源数据单元；根据所述读取结果，若成功读取所述当前的源数据单元，则记录将所述当前的源数据单元对应的数据标识；若未成功读取所述源数据单元，则基于上一源数据单元对应的校验标识，重新调用所述数据读取对象读取所述当前的源数据单元。4.根据权利要求1所述的方法，其特征在于，所述中间数据包括多个中间数据单元，所述基于所述目标数据库的配置信息，将所述中间数据转换为所述目标数据库的数据格式的目标数据，包括：获取预设的数据导入对象，所述数据导入对象包括导入参数，所述数据导入对象用于将所述中间数据单元转换为与所述导入参数指示的数据库的数据格式匹配的目标数据；基于所述目标数据库的配置信息，得到所述数据导入对象的导入参数，并调用所述数据导入对象，将中间数据单元转换为所述目标数据。5.根据权利要求1所述的方法，其特征在于，所述源数据包括多个源数据单元，所述目标数据包括多个目标数据单元，对所述目标数据进行校验，包括：获取源数据单元对应的第一数量，和目标数据单元的第二数量；根据所述第一数量和所述第二数据，得到校验结果。6.根据权利要求5所述的方法，其特征在于，根据所述第一数量和所述第二数据，得到校验结果，包括：当所述第一数量等于所述第二数量时，获取第一抽象数据和第二抽样数据，其中，所述第一抽样数据包括多个源数据单元，所述第二抽样数据包括数量相同的多个目标数据单2CN114372043A权利要求书2/2页元，各所述源数据单元的数据标识与各所述目标数据单元的数据标识对应相同；根据所述第一抽象数据的MD5值和所述第二抽样数据的MD5值，进行校验，得到校验结果，其中，若所述第一抽象数据的MD5值与所述第二抽样数据的MD5值相同，则所述校验结果正常。7.根据权利要求1‑6任一项所述的方法，其特征在于，所述配置信息包括第一信息项和第二信息项，其中，所述第一信息项表征对应数据库的数据库类型，所述第二信息项表征所述对应数据库的数据库连接信息。8.一种数据迁移装置，其特征在于，包括：配置模块，用于获取迁移配置信息，所述迁移配置信息包括