数据处理方法、数据处理装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114138835A(43)申请公布日2022.03.04(21)申请号202111471741.4(22)申请日2021.12.02(71)申请人中国建设银行股份有限公司地址100033北京市西城区金融大街25号(72)发明人李凯祥张小彪王超张曦(74)专利代理机构中科专利商标代理有限责任公司11021代理人陈文卓(51)Int.Cl.G06F16/2455(2019.01)G06F16/28(2019.01)权利要求书2页说明书13页附图4页(54)发明名称数据处理方法、数据处理装置、电子设备和存储介质(57)摘要本公开提供了一种数据处理方法，包括：从管理驾驶舱的数据库中获取待处理数据表，其中，待处理数据表中包括多个第一业务数据，待处理数据表的每一列表征一个业务维度，待处理数据表的每一行表征一个业务数据组；对于每个第一业务数据，将第一业务数据输入与第一业务数据所属的目标业务维度对应的异常检测模型中，输出得到检测结果；在检测结果表示第一业务数据为异常数据的情况下，将第一业务数据所属的目标业务数据组中的其他第一业务数据输入与目标业务数据组对应的预测模型中，输出得到第二业务数据；以及使用第二业务数据对数据库中的第一业务数据进行替换。本公开还提供了一种数据处理装置、电子设备、计算机存储介质和计算机程序产品。CN114138835ACN114138835A权利要求书1/2页1.一种数据处理方法，包括：从管理驾驶舱的数据库中获取待处理数据表，其中，所述待处理数据表中包括多个第一业务数据，所述待处理数据表的每一列表征一个业务维度，所述待处理数据表的每一行表征一个业务数据组；对于每个所述第一业务数据，将所述第一业务数据输入与所述第一业务数据所属的目标业务维度对应的异常检测模型中，输出得到检测结果；在所述检测结果表示所述第一业务数据为异常数据的情况下，将所述第一业务数据所属的目标业务数据组中的其他第一业务数据输入与所述目标业务数据组对应的预测模型中，输出得到第二业务数据；以及使用所述第二业务数据对所述数据库中的第一业务数据进行替换。2.根据权利要求1所述的方法，还包括：通过数据采集组件采集系统运行过程中产生的报文数据；通过流计算引擎对所述报文数据进行组合，得到所述业务数据组；以及将所述业务数据组通过通信链路传输并存储至位于所述数据库的所述待处理数据表中。3.根据权利要求1所述的方法，所述方法还包括：从所述数据库中获取与所述目标业务维度相关联的历史业务数据集；以及基于指数平滑方法，利用所述历史业务数据集构建得到与所述目标业务维度对应的异常检测模型，其中，所述异常检测模型包括基线检测模型、线性倾向检测模型和时间趋势检测模型。4.根据权利要求1所述的方法，其中，所述将所述第一业务数据数据输入与所述第一业务数据所属的目标业务维度对应的异常检测模型中，输出得到检测结果，包括：将所述第一业务数据输入所述异常检测模型中，输出预测得到的第三业务数据；计算所述第一业务数据与所述第三业务数据的差值；基于所述差值，确定所述第一业务数据的置信区间；以及基于所述第一业务数据与所述置信区间的位置关系，得到所述检测结果。5.根据权利要求4所述的方法，其中，所述基于所述第一业务数据与所述置信区间的位置关系，得到所述检测结果，包括：在所述第一业务数据位于所述置信区间外的情况下，得到表征所述第一业务数据为异常数据的所述检测结果；在所述第一业务数据位于所述置信区间内的情况下，得到表征所述第一业务数据为正常数据的所述检测结果。6.根据权利要求1所述的方法，还包括：从所述数据库中获取历史数据表；基于多元线性回归方法，将所述历史数据表中与所述目标业务维度对应的业务数据作为因变量，将所述历史数据表中与其他业务维度对应的业务数据作为自变量，构建得到与所述目标业务数据组对应的预测模型。7.根据权利要求6所述的方法，还包括：在构建得到所述预测模型之后，对所述预测模型进行模型检验，其中，所述模型检验至2CN114138835A权利要求书2/2页少包括回归方程的拟合优度检验、回归方程的整体显著性检验和回归系数的显著性检验。8.一种数据处理装置，包括：获取模块，用于从管理驾驶舱的数据库中获取待处理数据表，其中，所述待处理数据表中包括多个第一业务数据，所述待处理数据表的每一列表征一个业务维度，所述待处理数据表的每一行表征一个业务数据组；第一输出模块，用于对于每个所述第一业务数据，将所述第一业务数据数据输入与所述第一业务数据所属的目标业务维度对应的异常检测模型中，输出得到检测结果；第二输出模块，用于在所述检测结果表示所述第一业务数据为异常数据的情况下，将所述第一业务数据所属的目标业务数据组中的其他第一业务数据输入与所述目标业