数据校验方法、装置、设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114116724A(43)申请公布日2022.03.01(21)申请号202111446609.8(22)申请日2021.11.29(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人陈双琴(74)专利代理机构广州三环专利商标代理有限公司44202代理人熊永强(51)Int.Cl.G06F16/22(2019.01)G06F16/215(2019.01)权利要求书3页说明书16页附图3页(54)发明名称数据校验方法、装置、设备及可读存储介质(57)摘要本申请实施例公开了一种数据校验方法、装置、设备及可读存储介质，涉及人工智能和医疗领域，其中，方法包括：获取源数据表和目标数据表，确定源数据表和目标数据表的表格类型；若源数据表的表格类型和目标数据表的表格类型均为全量表格，分别确定源数据表中的数据量和目标数据表中的数据量是否大于数据量阈值；若是，对源数据表进行分区处理，得到源分区表，以及对目标数据表进行分区处理，得到目标分区表；基于源分区表中的源分区字段和目标分区表中的目标分区字段进行校验；若任一源分区表中的源分区字段和对应的目标分区表中目标分区字段间的数据校验不通过，则确定源数据表与目标数据表不一致。采用本申请实施例，可以提高数据校验效率。CN114116724ACN114116724A权利要求书1/3页1.一种数据校验方法，其特征在于，包括：获取源数据表和目标数据表，确定所述源数据表的表格类型和所述目标数据表的表格类型；若所述源数据表的表格类型和所述目标数据表的表格类型均为全量表格，则分别确定所述源数据表中的数据量和所述目标数据表中的数据量是否大于数据量阈值；若所述源数据表中的数据量和所述目标数据表中的数据量均大于所述数据量阈值，则对所述源数据表进行分区处理，得到至少一个源分区表，以及对所述目标数据表进行分区处理，得到至少一个目标分区表；基于所述至少一个源分区表中的源分区字段和所述至少一个目标分区表中的目标分区字段进行数据校验；若任一源分区表中的源分区字段和对应的目标分区表中的目标分区字段之间的数据校验不通过，则确定所述源数据表与所述目标数据表不一致，所述对应的目标分区表为所述至少一个目标分区表中与所述任一源分区表对应的分区表。2.根据权利要求1所述的方法，其特征在于，所述对所述源数据表进行分区处理，得到至少一个源分区表，包括：基于所述源数据表中的数据量确定针对所述源数据表的等分划分规则，采用所述等分划分规则对所述源数据表进行划分，得到所述至少一个源分区表；或者，基于所述源数据表中字段的字段类型确定针对所述源数据表的字段划分规则，采用所述字段划分规则对所述源数据表进行划分，得到所述至少一个源分区表，所述字段划分规则指示所述预设字段类型。3.根据权利要求1所述的方法，其特征在于，所述数据校验包括字段校验和字段格式校验；所述基于所述至少一个源分区表中的源分区字段和所述至少一个目标分区表中的目标分区字段进行数据校验，包括：对所述源分区字段进行抽样，得到至少一个源抽样字段；对所述目标分区字段进行抽样，得到至少一个目标抽样字段；对所述至少一个源抽样字段和所述至少一个目标抽样字段进行字段校验；若所述字段校验通过，则对所述至少一个源抽样字段的字段格式和所述至少一个目标抽样字段的字段格式进行字段格式校验；若所述字段格式校验通过，则对所述至少一个源分区表中的剩余源分区字段和所述至少一个目标分区表中的剩余目标分区字段进行数据校验。4.根据权利要求3所述的方法，其特征在于，所述若任一源分区表中的源分区字段和对应的目标分区表中的目标分区字段之间的数据校验不通过，则确定所述源数据表与所述目标数据表不一致，包括：若任一源分区表中的源分区字段与对应的目标分区表中的目标分区字段均不匹配，则确定所述源数据表与所述目标数据表不一致；或者，若所述至少一个源分区表中的每个源分区字段与所述至少一个目标分区表中的目标分区字段匹配，且所述至少一个源分区表中存在一个或多个源分区字段的字段格式与所述至少一个目标分区表中的目标分区字段格式均不匹配，则确定所述源数据表与所述目标数2CN114116724A权利要求书2/3页据表不一致。5.根据权利要求1所述的方法，其特征在于，所述确定所述源数据表中的数据量和所述目标数据表中的数据量是否大于数据量阈值之后，所述方法还包括：若所述源数据表中的数据量和所述目标数据表中的数据量均小于或等于所述数据量阈值，则对所述源数据表中的每个源字段与所述目标数据表中的每个目标字段进行字段校验；若所述字段校验通过，则对所述源数据表中的每个源字段的字段格式与所述目标数据表中的每个目标字段的字段格式