一种模型监控方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114996100A(43)申请公布日2022.09.02(21)申请号202210745807.2G06N20/20(2019.01)(22)申请日2022.06.28(71)申请人平安银行股份有限公司地址518000广东省深圳市罗湖区深南东路5047号(72)发明人郭宁(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463专利代理师蒋姗(51)Int.Cl.G06F11/30(2006.01)G06F11/34(2006.01)G06K9/62(2022.01)G06N5/00(2006.01)G06N5/04(2006.01)权利要求书2页说明书10页附图4页(54)发明名称一种模型监控方法及装置(57)摘要本申请提供一种模型监控方法及装置，该模型监控方法包括：获取待监控的目标模型；将目标模型正式发布上线进行试运行，并获取真实的用户反馈数据；通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率；当问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑，并通过模型预测告警逻辑对目标模型的运行情况进行监控。可见，实施这种实施方式，能够对模型进行精确监控，不依赖于监控人员的经验和主观性影响，准确性高。CN114996100ACN114996100A权利要求书1/2页1.一种模型监控方法，其特征在于，包括：获取待监控的目标模型；将所述目标模型正式发布上线进行试运行，并获取真实的用户反馈数据；通过所述目标模型对预设的指标数据进行推理，得到推理结果，并将所述推理结果与所述用户反馈数据进行对比，计算出问题命中率；当所述问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑，并通过所述模型预测告警逻辑对所述目标模型的运行情况进行监控。2.根据权利要求1所述的模型监控方法，其特征在于，所述获取待监控的目标模型，包括：获取第一预设时间段内用户的反馈数据，所述反馈数据是用户在接收到根据预设阈值规则发送的邮件之后根据所述邮件进行排查反馈的反馈数据；根据所述反馈数据确定的样本数据；根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型；通过测试集对所述训练好的多个模型进行验证，得到每个所述模型的模型质量参考指标；根据所述模型质量参考指标从所述训练好的多个模型中确定目标模型。3.根据权利要求2所述的模型监控方法，其特征在于，根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型，包括：对所述样本数据进行特征提取，得到特征数据；对所述样本数据进行过采样处理，得到处理样本数据；通过所述处理样本数据对多个原始模型进行模型训练，得到训练好的多个模型。4.根据权利要求2所述的模型监控方法，其特征在于，在所述获取真实的用户反馈数据之后，所述方法还包括：将所述用户反馈数据加入所述样本数据中，得到更新样本数据；通过所述更新样本数据对所述目标模型进行训练，得到新的目标模型；根据所述新的目标模型对所述目标模型进行模型热更。5.根据权利要求1所述的模型监控方法，其特征在于，在所述将模型监控的告警逻辑切换为预设的模型预测告警逻辑之后，所述方法还包括：按照预设频率获取针对所述目标模型的实时用户反馈数据；根据所述实时用户反馈数据计算所述目标模型的当前问题命中率；根据所述目标模型的历史问题命中率，判断所述当前问题命中率是否降低；如果是，则将所述模型监控的告警逻辑由所述模型预测告警逻辑切换回所述阈值告警逻辑，并通过所述阈值告警逻辑对所述目标模型的运行情况进行监控。6.根据权利要求5所述的模型监控方法，其特征在于，所述方法还包括：当判断出所述当前问题命中率降低时，根据所述历史问题命中率，确定最高地问题命中率对应的目标模型为回滚模型；将当前的目标模型替换为所述回滚模型。7.根据权利要求1所述的模型监控方法，其特征在于，所述通过所述模型预测告警逻辑2CN114996100A权利要求书2/2页对所述目标模型的运行情况进行监控，包括：获取第二预设时间段内所述目标模型的表现特征；根据所述表现特征预测所述目标模型的性能数据是否有问题；如果是，则输出告警提示信息。8.一种模型监控装置，其特征在于，所述模型监控装置包括：第一获取单元，用于获取待监控的目标模型；试运行单元，用于将所述目标模型正式发布上线进行试运行；第二获取单元，用于获取真实的用户反馈数据；计算单元，用于推理通过所述目标模型对预设的指标数据进行推理，得到推理结果，并将所述推理结果与所述用户反馈数据进行对比，计算出问题命中率；切换单元，用于当所述问题命中率达到预期命中率阈值时，将模型监控的告警逻