数据迁移方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114218188A(43)申请公布日2022.03.22(21)申请号202111375625.2(22)申请日2021.11.19(71)申请人建信金融科技有限责任公司地址200120上海市中国(上海)自由贸易试验区银城路99号12层、15层(72)发明人傅勇谭江健黄冲文祥(74)专利代理机构华进联合专利商标代理有限公司44224代理人阚传猛(51)Int.Cl.G06F16/21(2019.01)G06F16/215(2019.01)权利要求书2页说明书9页附图3页(54)发明名称数据迁移方法、装置、设备及存储介质(57)摘要本申请涉及一种数据迁移方法、装置、设备及存储介质，属于大数据资源调度技术领域。该数据迁移方法用于数据迁移系统中，数据迁移系统设置有源数据库、中间数据库以及目标数据库，该方法包括：利用数据泵从源数据库中抽取数据，并对抽取到的数据进行一次加工处理，得到目标源数据，一次加工处理包括数据整合处理、数据转换处理或者数据计算处理；调用预设的校验脚本，对目标源数据进行校验，并对符合校验标准的目标源数据进行二次加工处理，得到中间数据，二次加工处理包括：数据合并处理、数据关联处理或数据脱敏处理；将中间数据存储至目标数据库中。本申请提供的数据迁移方法能够保证数据迁移的可靠性。CN114218188ACN114218188A权利要求书1/2页1.一种数据迁移方法，其特征在于，用于数据迁移系统中，所述数据迁移系统设置有源数据库、中间数据库以及目标数据库，所述方法包括：利用数据泵从所述源数据库中抽取数据，并对抽取到的数据进行一次加工处理，得到目标源数据，所述一次加工处理包括数据整合处理、数据转换处理或者数据计算处理；调用预设的校验脚本，对所述目标源数据进行校验，并对符合校验标准的目标源数据进行二次加工处理，得到中间数据，所述二次加工处理包括：数据合并处理、数据关联处理或数据脱敏处理；将所述中间数据存储至目标数据库中。2.根据权利要求1所述的方法，其特征在于，所述利用数据泵从所述源数据库中抽取数据，并对抽取到的数据进行一次加工处理，得到目标源数据，包括：利用数据泵从所述源数据库中抽取存量数据，并从所述存量数据中确定待迁移数据；对所述待迁移数据进行一次加工处理，得到目标源数据。3.根据权利要求2所述的方法，其特征在于，所述对所述待迁移数据进行一次加工处理，得到目标源数据，包括：将所述待迁移数据存储至预设的表结构中，得到目标迁移数据；对所述目标迁移数据进行一次加工处理，得到所述目标源数据。4.根据权利要求2所述的方法，其特征在于，所述调用预设的校验脚本，对所述目标源数据进行校验，包括：调用预设的校验脚本，获取所述存量数据的关键指标信息和所述目标源数据中的关键指标信息，并判断所述存量数据的关键指标信息和所述目标源数据中的关键指标信息是否一致，其中，所述关键指标信息包括：客户数据、账户数量或操作员数量；若一致，则所述目标源数据校验通过。5.根据权利要求1所述的方法，其特征在于，所述在利用数据泵从所述源数据库中抽取数据之前，所述方法还包括：检测当前设备的剩余存储空间是否大于所述源数据库的存储空间；对应地，所述利用数据泵从所述源数据库中抽取数据，包括：若所述剩余存储空间大于所述源数据库的存储空间，则利用数据泵从所述源数据库中抽取数据。6.根据权利要求5所述的方法，其特征在于，所述利用数据泵从所述源数据库中抽取数据，包括：利用数据泵从所述源数据库中抽取数据，并将抽取的数据存储至所述剩余存储空间中。7.根据权利要求1所述的方法，其特征在于，所述中间数据与所述目标源数据的数据格式一致，所述数据格式包括：数据类型、数据长度和数据码制。8.一种数据迁移装置，其特征在于，所述装置包括：第一处理模块，用于利用数据泵从所述源数据库中抽取数据，并对抽取到的数据进行一次加工处理，得到目标源数据，所述一次加工处理包括数据整合处理、数据转换处理或者数据计算处理；校验模块，用于调用预设的校验脚本，对所述目标源数据进行校验；2CN114218188A权利要求书2/2页第二处理模块，用于对符合校验标准的目标源数据进行二次加工处理，得到中间数据，所述二次加工处理包括：数据合并处理、数据关联处理或数据脱敏处理；存储模块，用于将所述中间数据存储至目标数据库中。9.根据权利要求8所述的装置，其特征在于，所述第一处理模块具体用于：利用数据泵从所述源数据库中抽取存量数据，并从所述存量数据中确定待迁移数据；对所述待迁移数据进行一次加工处理，得到目标源数据。10.根据权利要求9所述的装置，其特征在于，所述第一处理模块具体用于：将所述待迁移数据存储至预设的表结构中，得到目标迁移数据；对所述目标迁移数据进行一次