数据的处理方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114676027A(43)申请公布日2022.06.28(21)申请号202210324840.8(22)申请日2022.03.30(71)申请人中国建设银行股份有限公司地址100033北京市西城区金融大街25号(72)发明人刘珂郭玉章陈洁吕震(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师周初冬(51)Int.Cl.G06F11/34(2006.01)G06F11/32(2006.01)权利要求书2页说明书11页附图3页(54)发明名称数据的处理方法、装置、电子设备及存储介质(57)摘要本申请提供了一种数据的处理方法、装置、电子设备及存储介质，其中，在数据的处理方法中，首先获取目标数字化指标的加工输出作业。接着查找加工输出作业的依赖作业。获取依赖作业中数据检核作业的数据文件信息。然后基于数据文件信息生成数据链路基线，并保存到数据库。最后对数据检核作业以及数据链路基线中的数据进行异常监控。利用本申请的方法，通过目标数字化指标的加工输出作回溯其依赖作业，并获取中数据检核作业的数据文件信息生成数据链路基线，能够对数据检核作业以及数据链路基线中的数据进行异常监控，数据运维人员可以根据监控告警及时发现数据链路基线中的数据异常或者某个作业异常的情况，从而快速解决出现的异常情况。CN114676027ACN114676027A权利要求书1/2页1.一种数据的处理方法，其特征在于，包括：获取目标数字化指标的加工输出作业，其中，所述目标数字化指标为预先标识的数字化指标；查找所述加工输出作业的依赖作业；获取所述依赖作业中数据检核作业的数据文件信息；基于所述数据文件信息生成数据链路基线，并保存到数据库；对所述数据检核作业以及所述数据链路基线中的数据进行异常监控。2.根据权利要求1所述的方法，其特征在于，所述查找所述加工输出作业的依赖作业，包括：获取所述加工输出作业的依赖关系表；根据所述依赖关系表查找出所述加工输出作业的依赖作业。3.根据权利要求1所述的方法，其特征在于，所述获取所述依赖作业中数据检核作业的数据文件信息，包括：通过预设的作业配置信息表，查找出所述依赖作业中数据检核作业的数据文件信息。4.根据权利要求1所述的方法，其特征在于，所述基于所述数据文件信息生成数据链路基线，包括：获取文件传输日志；将所述文件传输日志中的数据文件信息与所述数据文件信息进行对比；若所述文件传输日志中的数据文件信息与所述数据文件信息一致，则基于所述数据文件信息生成数据链路基线；若所述文件传输日志中的数据文件信息与所述数据文件信息不一致，则对所述数据文件信息进行校正，并基于校正后的数据文件信息生成数据链路基线。5.根据权利要求1所述的方法，其特征在于，所述对所述数据链路基线进行异常监控，包括：获取预设时间周期内的作业运行数据以及文件传输数据；基于所述作业运行数据，计算得到作业告警阈值；基于所述文件传输数据，计算得到供数告警阈值；基于所述作业告警阈值和所述供数告警阈值，对所述数据检核作业以及所述数据链路基线中的数据进行异常监控。6.根据权利要求4所述的方法，其特征在于，所述将所述文件传输日志中的数据文件信息与所述数据文件信息进行对比之前，还包括：对所述数据文件信息进行数据预处理。7.一种数据的处理装置，其特征在于，包括：第一获取单元，用于获取目标数字化指标的加工输出作业，其中，所述目标数字化指标为预先标识的数字化指标；查找单元，用于查找所述加工输出作业的依赖作业；第二获取单元，用于获取所述依赖作业中数据检核作业的数据文件信息；生成单元，用于基于所述数据文件信息生成数据链路基线，并保存到数据库；监控单元，用于对所述数据检核作业以及所述数据链路基线中的数据进行异常监控。2CN114676027A权利要求书2/2页8.根据权利要求7所述的装置，其特征在于，所述生成单元，包括：第二获取子单元，用于获取文件传输日志；对比子单元，用于将所述文件传输日志中的数据文件信息与所述数据文件信息进行对比；第一生成子单元，用于若所述文件传输日志中的数据文件信息与所述数据文件信息一致，则基于所述数据文件信息生成数据链路基线；第二生成子单元，用于若所述文件传输日志中的数据文件信息与所述数据文件信息不一致，则对所述数据文件信息进行校正，并基于校正后的数据文件信息生成数据链路基线。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任意一项所述的方法。10.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的方法