评估业务预测模型鲁棒性的方法、装置及计算设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114817933A(43)申请公布日2022.07.29(21)申请号202210468467.3(22)申请日2022.04.29(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人崔世文李志峰孟昌华王维强张家齐(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06F21/57(2013.01)权利要求书3页说明书13页附图4页(54)发明名称评估业务预测模型鲁棒性的方法、装置及计算设备(57)摘要本说明书实施例提供了评估业务预测模型鲁棒性的方法、装置及计算设备。方法包括：对于多个业务对象的任意第一业务对象，获取业务预测模型对第一业务对象进行针对业务标签的预测结果，包括基于对应第一业务样本和第二样本分别预测得到的第一预测值和第二预测值；基于各业务对象的第一预测值和各第一预测值形成的第一集合，计算多个业务对象各自对应的第一分位数；基于各业务对象的第二预测值和第一集合，计算多个业务对象各自对应的第二分位数；基于多个业务对象各自对应的第一分位数和第二分位数确定多个业务对象各自的预测误差；基于多个业务对象各自的预测误差确定业务预测模型对抗攻击的鲁棒性得分，不依赖样本标签预测业务预测模型的鲁棒性。CN114817933ACN114817933A权利要求书1/3页1.一种评估业务预测模型鲁棒性的方法，包括：对于多个业务对象中任意的第一业务对象，获取业务预测模型对所述第一业务对象进行针对业务标签的预测结果，其中包括基于所述第一业务对象对应的第一业务样本预测得到的第一预测值和对应的第二业务样本预测得到的第二预测值，所述第二业务样本是对所述第一业务样本进行对抗处理后的样本；基于各业务对象的第一预测值和各第一预测值形成的第一集合，计算所述多个业务对象各自对应的第一分位数；基于各业务对象的第二预测值和所述第一集合，计算所述多个业务对象各自对应的第二分位数；基于所述多个业务对象各自对应的第一分位数和第二分位数，确定所述多个业务对象各自针对所述业务标签的预测误差；基于所述多个业务对象各自针对所述业务标签的预测误差，确定所述业务预测模型对抗攻击的鲁棒性得分。2.根据权利要求1所述的方法，其中，计算所述多个业务对象各自对应的第一分位数，包括：对于任意的所述第一业务对象，基于所述第一集合中小于所述第一业务对象的第一预测值的预测值数目和所述第一集合中第一预测值的总数目，确定所述第一业务对象对应的第一分位数；或者，按照所述第一预测值的大小对所述多个业务对象进行排序，得到所述多个业务对象各自对应的第一排序编号；对于任意的所述第一业务对象，基于所述第一业务对象对应的第一排序编号和所述第一集合中第一预测值的总数目，计算所述第一业务对象对应的第一分位数。3.根据权利要求1所述的方法，其中，所述基于各业务对象的第二预测值和所述第一集合，计算所述多个业务对象各自对应的第二分位数，包括：对于任意的所述第一业务对象，当存在目标业务对象，其对应的第一预测值与所述第一业务对象对应的第二预测值相同，将所述目标业务对象对应的第一分位数作为所述第一业务对象对应的第二分位数。4.根据权利要求1所述的方法，其中，所述基于各业务对象的第二预测值和所述第一集合，计算所述多个业务对象各自对应的第二分位数，包括：对于任意的所述第一业务对象，基于所述第一集合中小于所述第一业务对象的第二预测值的预测值数目和所述第一集合中第一预测值的总数目，确定所述第一业务对象对应的第一分位数；或者，对于任意的所述第一业务对象，按照大小对所述第一集合中的第一预测值和所述第一业务对象的第二预测值进行排序，确定所述第一业务对象的第二排序编号；基于所述第一业务对象的第二排序编号和所述第一集合中第一预测值的总数目，计算所述第一业务对象对应的第二分位数。5.根据权利要求1所述的方法，其中，所述基于所述多个业务对象各自对应的第一分位数和第二分位数，确定所述多个业务对象各自针对所述业务标签的预测误差，包括：基于所述第一业务对象对应的第一分位数和第二分位数，确定所述第一业务对象针对2CN114817933A权利要求书2/3页所述业务标签的分位数误差；基于预设缩放函数对所述分位数误差进行缩放，将缩放后的分位数差值作为所述第一业务对象的预测误差。6.根据权利要求1所述的方法，其中，所述预测误差为对应业务对象的第一分位数和第二分位数之间的差值。7.根据权利要求1所述的方法，其中，所述鲁棒性得分至少基于所述多个业务对象各自针对所述业务标签的预测误差的均值、标准差或方差确定。8.根据权利要求1所述的方法，其中，所述方法还包括：对于多个备选对象的各