数据批量同步方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115048459A(43)申请公布日2022.09.13(21)申请号202210699182.0(22)申请日2022.06.20(71)申请人中国平安财产保险股份有限公司地址518033广东省深圳市福田区益田路5033号平安金融中心12、13、38、39、40层(72)发明人钟才(74)专利代理机构深圳市赛恩倍吉知识产权代理有限公司44334专利代理师陈敬华(51)Int.Cl.G06F16/27(2019.01)权利要求书3页说明书15页附图2页(54)发明名称数据批量同步方法、装置、电子设备及存储介质(57)摘要本申请提出一种数据批量同步方法、装置、电子设备及存储介质，数据批量同步方法包括：从源数据系统获取所有待同步数据以构建待同步数据集；基于目标数据系统的实时状态计算实时同步批量；从待同步数据集中提取数量为实时同步批量的待同步数据作为同步批次，将同步批次从待同步数据集中删除以更新待同步数据集；对同步批次执行数据同步操作得到同步结果；若同步失败，依据预设查找算法对同步批次执行多次数据同步操作以查找异常数据和异常数据的位置信息；若同步成功，则不断获取同步批次以执行数据同步，直至遍历所有待同步数据；基于异常数据的数量发出报警信息。本申请能够实现数据的批量同步，并自动获取异常数据，提高了数据同步的效率。CN115048459ACN115048459A权利要求书1/3页1.一种数据批量同步方法，其特征在于，所述方法包括：S10，依据目标数据系统的预设字段提取源数据系统中每一条源数据的值以构建待同步数据集，所述待同步数据集包括所有待同步数据，所述待同步数据包括索引ID以及所述预设字段的值，所述索引ID与所述待同步数据一一对应；S11，基于所述目标数据系统的实时状态计算实时同步批量，所述实时同步批量为当前时刻单次数据同步的数据量；S12，基于所述索引ID从所述待同步数据集中提取数量为所述实时同步批量的待同步数据作为同步批次，并将所述同步批次从所述待同步数据集中删除以获取更新后的待同步数据集；S13，对所述同步批次执行数据同步操作得到同步结果，所述同步结果包括同步成功和同步失败；S14，若所述同步结果为同步失败，依据预设查找算法对所述同步批次执行多次数据同步操作以查找异常数据和所述异常数据的位置信息，并将所述异常数据和所述异常数据的位置信息储存在异常数据表中；若所述同步结果为同步成功，则直接执行步骤S15；S15，重复执行步骤S11到步骤S14不断从所述待同步数据集中获取同步批次以执行数据同步，直至遍历所述待同步数据集中所有待同步数据，停止数据同步；S16，基于所述异常数据表中所述异常数据的数量发出报警信息。2.如权利要求1所述的数据批量同步方法，其特征在于，所述依据目标数据系统的预设字段提取源数据系统中每一条源数据的值以构建待同步数据集，所述待同步数据集包括所有待同步数据，所述待同步数据包括索引ID以及所述预设字段的值，所述索引ID与所述待同步数据一一对应，包括：获取源数据系统中所有源数据，所述源数据包括多个源字段以及每一个源字段对应的值；依据预设字段提取所述源数据中对应源字段的值以获取待同步数据，所述待同步数据与所述源数据一一对应，所述预设字段与所述目标数据系统的业务需求相关，所述预设字段为所有源字段中的一个或多个；基于所述待同步数据的获取顺序为每一条待同步数据分配索引ID，所述索引ID为整型数据；储存所有待同步数据和所述索引ID以构建待同步数据集。3.如权利要求1所述的数据批量同步方法，其特征在于，所述实时状态包括实时运行线程数和网络实时速度，所述实时同步批量满足关系式：其中，Pmax为所述目标数据系统的最大写入速度，N为所述目标数据系统的最大线程数，nt为时刻t的实时运行线程数，vt为时刻t的网络实时速度，vmin为所述目标数据系统的网络速度最低要求，f(X)为自定义函数，pt为实时同步批量，所述自定义函数满足关系式：2CN115048459A权利要求书2/3页4.如权利要求1所述的数据批量同步方法，其特征在于，所述基于所述索引ID从所述待同步数据集中提取数量为所述实时同步批量的待同步数据作为同步批次包括：获取所述待同步数据集中待同步数据的索引ID的最小值作为提取起始ID；基于所述提取起始ID和所述实时同步批量计算所述提取终止ID，所述提取终止ID满足关系式：ID(final)＝ID(star)+pt‑1其中，ID(star)为提取起始ID，pt为实时同步批量，ID(final)为提取终止ID；基于所述提取起始ID和所述提取终止ID提取所述待同步数据集以获取同步批次，所述同步批次中待同步数据的数量与所述实时同步批量相等。5.如权利要求1所述的数据批量同步方法，