基于数据质量规则的数据校验方法、系统、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114168582A(43)申请公布日2022.03.11(21)申请号202111521747.8(22)申请日2021.12.13(71)申请人平安养老保险股份有限公司地址200120上海市浦东新区自由贸易试验区陆家嘴环路1333号20楼、21楼(72)发明人邱云春叶耀青(74)专利代理机构北京英特普罗知识产权代理有限公司11015代理人王勇(51)Int.Cl.G06F16/215(2019.01)G06F16/22(2019.01)G06F16/25(2019.01)权利要求书2页说明书9页附图2页(54)发明名称基于数据质量规则的数据校验方法、系统、设备及介质(57)摘要本发明涉及基架运维领域，提供了一种基于数据质量规则的数据校验方法，所述方法包括：执行第一目标任务的第i个运行操作；当所述第一目标任务的第i个运行操作结束后，执行所述第一目标任务的第i个校验操作；判断所述第i个校验结果是否为校验失败；若第i个校验结果为校验失败，则根据第i‑1个任务脚本对所述第一目标任务进行第i个修改操作，以得到第一目标任务的第i个任务脚本，并执行所述第一目标任务的第i+1个运行操作；及若所述第i个校验结果为校验成功，则执行第二目标任务的第1个运行操作，其中，所述第二目标任务为所述第一目标任务的下一个目标任务。本发明提高了整体数据的正确性，降低了错误数据的修复时间和修复成本。CN114168582ACN114168582A权利要求书1/2页1.一种基于数据质量规则的数据校验方法，其特征在于，所述方法包括：执行第一目标任务的第i个运行操作：根据第一目标任务的第i‑1个任务脚本，运行所述第一目标任务；其中，i为正整数，当所述i＝1时，所述第i‑1个任务脚本为所述第一目标任务的原始脚本；当所述i＞1时，所述第i‑1个任务脚本为第i个修改操作得到的修改结果；当所述第一目标任务的第i个运行操作结束后，执行所述第一目标任务的第i个校验操作：调用预先配置的数据质量规则对所述第i‑1个任务脚本进行校验，以得到第i个校验结果；判断所述第i个校验结果是否为校验失败；若所述第i个校验结果为校验失败，则根据所述第i‑1个任务脚本对所述第一目标任务进行第i个修改操作，以得到所述第一目标任务的第i个任务脚本，并执行所述第一目标任务的第i+1个运行操作；及若所述第i个校验结果为校验成功，则执行第二目标任务的第1个运行操作，其中，所述第二目标任务为所述第一目标任务的下一个目标任务。2.如权利要求1所述的基于数据质量规则的数据校验方法，其特征在于，所述调用预先配置的数据质量规则对所述第i‑1个任务脚本进行校验，以得到第i个校验结果的步骤，包括：根据所述第i‑1个任务脚本获取所述第i‑1个任务脚本的传入参数；调用所述数据质量规则对所述传入参数进行校验，以得到第i个校验结果。3.如权利要求2所述的基于数据质量规则的数据校验方法，其特征在于，还包括：若所述第i个校验结果为校验失败，则判断i是否大于预设阈值；如果i大于所述预设阈值，则执行所述第二目标任务的第1个运行操作；如果i不大于所述预设阈值，则触发所述根据所述第i‑1个任务脚本对所述第一目标任务进行第i个修改操作的步骤。4.如权利要求2所述的基于数据质量规则的数据校验方法，其特征在于，还包括：若所述第i个校验结果为校验失败，则计算所述第一目标任务的i个校验操作的验证总时长；判断所述第一目标任务的i个校验操作的验证总时长是否大于预设时长；如果所述第一目标任务的i个校验操作的验证总时长大于所述预设时长，则执行所述第二目标任务的第1个运行操作；如果所述第一目标任务的i个校验操作的验证总时长不大于所述预设时长，则根据所述第i‑1个任务脚本对所述第一目标任务进行第i个修改操作。5.如权利要求1所述的基于数据质量规则的数据校验方法，其特征在于，还包括：判断所述第一目标任务是否为最后一个目标任务；若所述第一目标任务不是最后一个目标任务，则执行第二目标任务的第1个运行操作。6.如权利要求1至5中任一项所述的基于数据质量规则的数据校验方法，其特征在于，还包括：将所述第i个校验结果上传到区块链。7.一种基于数据质量规则的数据校验系统，其特征在于，包括：第一运行模块，用于执行第一目标任务的第i个运行操作：根据第一目标任务的第i‑1个任务脚本，运行所述第一目标任务；其中，i为正整数，当所述i＝1时，所述第i‑1个任务脚2CN114168582A权利要求书2/2页本为所述第一目标任务的原始脚本；当所述i＞1时，所述第i‑1个任务脚本为第i个修改操作得到的修改结果；任务校验模块，用于当所述第一目标任务的第i个运行操作结束后，执行所述第一目标任务的第i个校验操作：调用预先配置