数据同步方法、系统、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113656502A(43)申请公布日2021.11.16(21)申请号202110956397.1(22)申请日2021.08.19(71)申请人携程金融科技（上海）有限公司地址200335上海市长宁区金钟路968号16号楼906室（实际楼层8层）(72)发明人陈晓斌(74)专利代理机构上海隆天律师事务所31282代理人徐莉钟宗(51)Int.Cl.G06F16/27(2019.01)G06F16/25(2019.01)G06F16/28(2019.01)权利要求书2页说明书7页附图5页(54)发明名称数据同步方法、系统、电子设备和存储介质(57)摘要本发明涉及数据处理技术领域，提供一种数据同步方法、系统、电子设备和存储介质。所述数据同步方法用于分布式子数据库与主数据库之间的数据同步，包括：在每个子数据库上创建接入模块和视图模块，使接入模块与子数据库连接并供主数据库调用，视图模块对子数据库的数据进行数据结构转换，且各视图模块的数据结构相同；主数据库响应于数据同步任务，异步地通过各接入模块连接各子数据库，并经由各视图模块获取相同数据结构的数据；主数据库对获取到的数据进行处理，同步至目标数据表。本发明能够实现分布式子数据库与主数据库之间的高效数据同步，提高数据同步效率和系统可用性，降低数据处理成本。CN113656502ACN113656502A权利要求书1/2页1.一种数据同步方法，用于分布式子数据库与主数据库之间的数据同步，其特征在于，包括：在每个所述子数据库上创建接入模块和视图模块，使所述接入模块与所述子数据库连接并供所述主数据库调用，所述视图模块对所述子数据库的数据进行数据结构转换，且各所述视图模块的数据结构相同；所述主数据库响应于数据同步任务，异步地通过各所述接入模块连接各所述子数据库，并经由各所述视图模块获取相同数据结构的数据；所述主数据库对获取到的数据进行处理，同步至目标数据表。2.如权利要求1所述的数据同步方法，其特征在于，所述主数据库响应于数据同步任务之后，还包括：获取各所述子数据库的当前待同步数据的数据量；按照数据量降序，对获取到的各组当前待同步数据进行排序；根据排序获得最大数据量对应的当前待同步数据的数据结构，作为各所述视图模块的数据结构。3.如权利要求2所述的数据同步方法，其特征在于，所述获取各所述子数据库的当前待同步数据的数据量之后，还包括：对相同数据结构的当前待同步数据进行合并；所述对获取到的各组当前待同步数据进行排序时，按照合并后的多组当前待同步数据进行排序。4.如权利要求2所述的数据同步方法，其特征在于，所述获取各所述子数据库的当前待同步数据的数据量，包括：通过各所述接入模块连接各所述子数据库；获得所述数据同步任务对应的的当前同步周期内，各所述子数据库的增量数据量，作为各所述子数据库的当前待同步数据的数据量。5.如权利要求1所述的数据同步方法，其特征在于，所述数据同步任务周期性地生成，所述数据同步方法还包括：各所述子数据库在两次数据同步任务之间，监测各自的增量数据量；于一子数据库监测到其增量数据量超过阈值时，向所述主数据库发送数据推送请求；所述数据推送请求与所述数据同步任务可并行执行。6.如权利要求1所述的数据同步方法，其特征在于，所述主数据库对获取到的数据进行处理，同步至目标数据表，包括：对获取到的数据进行去重处理和格式处理；根据处理后的数据和自增长列，生成SQL语句，所述SQL语句包括DELETE语句、UPDATE语句和INSERT语句中的至少一种；通过所述SQL语句，将处理后的数据同步至所述目标数据表。7.如权利要求1所述的数据同步方法，其特征在于，所述主数据库还配置有供访问所述目标数据表的接口模块。8.一种数据同步系统，部署于分布式子数据库与主数据库之间，其特征在于，包括：接入模块，部署于每个所述子数据库，用于与所述子数据库连接并供所述主数据库调2CN113656502A权利要求书2/2页用；视图模块，部署于每个所述子数据库，用于对所述子数据库的数据进行数据结构转换，且各所述视图模块的数据结构相同；同步模块，部署于所述主数据库，用于响应于数据同步任务，异步地通过各所述接入模块连接各所述子数据库，并经由各所述视图模块获取相同数据结构的数据；处理模块，部署于所述主数据库，用于对获取到的数据进行处理，同步至目标数据表。9.一种电子设备，其特征在于，包括：一处理器；一存储器，所述存储器中存储有可执行指令；其中，所述可执行指令被所述处理器执行时，实现如权利要求1‑7任一项所述的数据同步方法。10.一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1‑7任一项所述的数据同步方法。3CN1