一种数据同步方法、系统、终端设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114254030A(43)申请公布日2022.03.29(21)申请号202111573967.5(22)申请日2021.12.21(71)申请人平安证券股份有限公司地址518000广东省深圳市福田区福田街道益田路5023号平安金融中心B座第22-25层(72)发明人朱胜元(74)专利代理机构深圳中一联合知识产权代理有限公司44414代理人吴冬羽(51)Int.Cl.G06F16/25(2019.01)G06F16/27(2019.01)权利要求书2页说明书13页附图3页(54)发明名称一种数据同步方法、系统、终端设备及存储介质(57)摘要本申请适用于数据处理技术领域，提供了一种数据同步方法、系统及终端设备，包括：根据数据同步任务确定配置信息以对同步对象进行配置；基于配置后的源数据库系统及同步数据创建并执行数据采集任务；基于同步对象之间的数据转换协议对采集到同步数据进行转换；基于转换后的数据和配置后的目标数据库系统创建数据分发任务，通过配置信息确定不同数据库系统之间的数据转换协议，源数据库系统的接口如果发生变动或目标数据库系统有新的需求时，只需要新增或变更配置文件中的配置信息就能够可实现不同数据库系统间数据的同步需求，无需重新开发接口，提高不同数据库系统之间数据同步的效率，同能够减少资源浪费。CN114254030ACN114254030A权利要求书1/2页1.一种数据同步方法，其特征在于，包括：根据数据同步任务确定配置信息以对同步对象进行配置；所述数据同步任务包括同步对象和同步数据，所述同步对象包括源数据库系统和目标数据库系统，所述配置信息包括所述同步对象之间的数据转换协议；基于配置后的源数据库系统及同步数据创建并执行数据采集任务；基于所述同步对象之间的数据转换协议对采集到同步数据进行转换；基于转换后的数据和配置后的目标数据库系统创建数据分发任务；执行所述数据分发任务，完成数据同步。2.如权利要求1所述的数据同步方法，其特征在于，所述根据数据同步任务确定配置信息以对同步对象进行配置，包括：获取配置文件，并根据数据同步任务确定同步对象；从所述配置文件中确定与所述同步对象对应的配置信息；根据所述配置信息对同步对象进行配置，得到配置后的源数据库系统和配置后的目标数据库系统。3.如权利要求1所述的数据同步方法，其特征在于，所述数据同步任务为一对多、多对一或者多对多的数据同步任务，所述根据数据同步任务确定配置信息包括：当所述数据同步任务为一对多的数据同步任务时，确定同一源数据库系统与不同目标数据库系统的配置信息；当所述数据同步任务为多对一的数据同步任务时，确定不同源数据库系统与同一目标数据库系统的配置信息；当所述数据同步任务为多对多的数据同步任务时，确定不同源数据库系统与不同目标数据库系统的配置信息。4.如权利要求1所述的数据同步方法，其特征在于，所述基于配置后的源数据库系统及同步数据创建并执行数据采集任务，包括：获取数据采集任务队列中各个数据采集任务的优先级；若数据采集任务队列中各个数据采集任务的优先级一致，则基于数据采集任务的创建时间确定数据采集任务的执行顺序；若所述采集任务队列中各个数据采集任务的优先级不一致，则基于数据采集任务的优先级确定数据采集任务的执行顺序。5.如权利要求1所述的数据同步方法，其特征在于，所述基于转换后的数据和配置后的目标数据库系统创建数据分发任务，包括：根据转换后的数据确定目标数据库系统的目标字段；根据配置后的目标数据库系统确定分发对象；根据所述目标数据库系统的目标字段和所述分发对象创建数据分发任务，并将数据分发任务发送至任务分发队列。6.如权利要求1至5任一项所述的数据同步方法，其特征在于，在所述基于所述同步对象之间的数据转换协议对采集到同步数据进行转换之前，还包括：判断同步的数据库表结构信息是否一致；若同步的数据库表信息一致，则根据数据转换协议转换数据类型，否则执行基于所述2CN114254030A权利要求书2/2页同步对象之间的数据转换协议对采集到同步数据进行转换。7.如权利要求1至5任一项所述的数据同步方法，其特征在于，在所述执行所述数据分发任务，完成数据同步之后，还包括：创建数据查重任务，并将数据查重任务发送至目标数据库系统。8.一种数据同步系统，其特征在于，包括：配置单元，用于根据数据同步任务确定配置信息以对同步对象进行配置；所述数据同步任务包括同步对象和同步数据，所述同步对象包括源数据库系统和目标数据库系统，所述配置信息包括所述同步对象之间的数据转换协议；采集单元，用于基于配置后的源数据库系统及同步数据创建并执行数据采集任务；转换单元，用于基于所述同步对象之间的数据转换协议对采集到同步数据进行转换；分发单元，用于