一种测试模型鲁棒性的方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116010792A(43)申请公布日2023.04.25(21)申请号202211737623.8(22)申请日2022.12.30(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人李志峰崔世文孟昌华王维强(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06F18/21(2023.01)G06N20/00(2019.01)G06Q10/0635(2023.01)权利要求书3页说明书10页附图5页(54)发明名称一种测试模型鲁棒性的方法和装置(57)摘要本说明书实施例提供了一种测试模型鲁棒性的方法和装置，该方法包括：获取多个第一样本，第一样本各自包括依序的多个用户行为，用户行为包括若干行为属性；对多个第一样本分别进行第一处理，得到多个第二样本，其中，对于多个第一样本中包括的第三样本的第一处理包括：从第三样本包括的用户行为的行为属性中，确认出至少一个第一属性；将第一属性设置为第一默认值，第一默认值用于指示第一属性的值缺失，得到第四样本，多个第二样本中包括第四样本；基于多个第一样本，确定第一风险识别模型的第一正确识别率；基于多个第二样本，确定第一风险识别模型的第二正确识别率；根据第一正确识别率和第二正确识别率，确定针对所述第一风险识别模型的第一指标，所述第一指标用于指示所述第一风险识别模型的鲁棒性。CN116010792ACN116010792A权利要求书1/3页1.一种测试模型鲁棒性的方法，包括：获取多个第一样本，所述第一样本各自包括依序的多个用户行为，所述用户行为包括若干行为属性；对所述多个第一样本分别进行第一处理，得到多个第二样本，其中，对于所述多个第一样本中包括的第三样本的第一处理包括：从所述第三样本包括的用户行为的行为属性中，确认出至少一个第一属性；将所述第一属性设置为预设的第一默认值，所述第一默认值用于指示所述第一属性的值缺失，得到第四样本，所述多个第二样本中包括第四样本；基于所述多个第一样本，确定第一风险识别模型的第一正确识别率；基于所述多个第二样本，确定所述第一风险识别模型的第二正确识别率；根据第一正确识别率和第二正确识别率，确定针对所述第一风险识别模型的第一指标，所述第一指标用于指示所述第一风险识别模型的鲁棒性。2.根据权利要求1所述的方法，其中，从所述第三样本包括的用户行为的行为属性中，确认出至少一个第一属性，包括：基于随机算法，从所述第三样本包括的用户行为的行为属性中，确认出至少一个第一属性。3.根据权利要求1所述的方法，其中，基于所述多个第一样本，确定第一风险识别模型的第一正确识别率，包括：将所述多个第一样本，输入所述第一风险识别模型，获取多个第一样本各自对应的识别结果，根据多个第一样本各自的风险标签和识别结果，确定所述多个第一样本对应的正确识别数量和错误识别数量，根据所述多个第一样本对应的正确识别数量和错误识别数量，确定所述第一风险识别模型的第一正确识别率。4.根据权利要求1所述的方法，其中，根据第一正确识别率和第二正确识别率，确定针对所述第一风险识别模型的第一指标，包括：根据第一正确识别率和第二正确识别率的差，确定针对所述第一风险识别模型的第一指标。5.根据权利要求1所述的方法，还包括：对所述多个第一样本分别进行第二处理，得到多个第五样本，其中，对于所述多个第一样本中包括的第三样本的第二处理包括：从所述第三样本包括的用户行为的行为属性中，确认出至少一个第二属性；对所述第二属性的值添加预先设定的偏移值，得到第六用户样本，所述多个第五样本中包括第六样本；基于所述多个第五样本，确定第一风险识别模型的第三正确识别率；根据所述第一正确识别率和第三正确识别率，确定针对所述第一风险识别模型的第一指标。6.根据权利要求1所述的方法，还包括：对所述多个第一样本分别进行第三处理，得到多个第七样本，其中，对于所述多个第一样本中包括的第三样本的第三处理包括：从所述第三样本包括的用户行为的行为属性中，确认出至少一个第三属性；对所述第三属性的值施加随机扰动，得到第八样本，所述多个第七样本中包括第八样本；2CN116010792A权利要求书2/3页基于所述多个第八样本，确定第一风险识别模型的第四正确识别率；根据所述第一正确识别率和第四正确识别率，确定所述第一风险识别模型的鲁棒性。7.一种测试模型鲁棒性的方法，包括：获取多个第一样本，所述第一样本各自包括依序的多个用户行为，所述用户行为包括若干行为属性；对所述多个第一样本分别进行第四处理，得到多个第九样本，其中，对于所述多个第一样本中包括的第三样本的第四处理包括：基于预先确定的关键行为