一种用于对模型的评价指标进行评估的方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115034874A(43)申请公布日2022.09.09(21)申请号202210585994.2(22)申请日2022.05.26(71)申请人度小满科技(北京)有限公司地址100193北京市海淀区西北旺东路10号院西区4号楼6层606室(72)发明人张家乐许贤铭杨青(74)专利代理机构北京启坤知识产权代理有限公司11655专利代理师李琛(51)Int.Cl.G06Q40/02(2012.01)G06Q10/06(2012.01)权利要求书2页说明书7页附图1页(54)发明名称一种用于对模型的评价指标进行评估的方法和装置(57)摘要本发明的目的是提供一种用于对模型的评价指标进行评估的方法和装置。所述方法包括：基于包含预定数量以上坏样本的样本集和训练好的评估模型，计算评估模型的预定评价指标的评估参数；不断增加抽取的坏样本的数量，并重复计算评估模型的预定评价指标的评估参数的步骤，从而得到多组对应于不同坏样本数量的评估参数；根据多组对应于不同坏样本数量的评估参数，测算有效的预定评价指标需要的坏样本数量。本申请实施例具有以下优点：通过在坏样本充足的情况下计算均值、标准差和极差来对KS指标和AUC指标的可靠性进行评估，并测算KS指标和AUC指标能够有效地评估模型所需要的坏样本数量，以提升KS指标和AUC指标的可靠性。CN115034874ACN115034874A权利要求书1/2页1.一种用于对模型的评价指标进行评估的方法，其中，所述方法包括以下步骤：基于包含预定数量以上坏样本的样本集和训练好的评估模型，计算评估模型的预定评价指标的评估参数，其中，所述评估参考包括均值、标准差和极差中的一项或多项；不断增加抽取的坏样本的数量，并重复计算评估模型的预定评价指标的评估参数的步骤，从而得到多组对应于不同坏样本数量的评估参数；根据多组对应于不同坏样本数量的评估参数，测算有效的预定评价指标需要的坏样本数量。2.根据权利要求1所述的方法，其中，所述预定评价指标包括KS和/或AUC。3.根据权利要求1或2所述的方法其中，所述基于包含预定数量以上坏样本的样本集和训练好的评估模型，计算评估模型的预定评价指标的评估参数包括：构建两个包含预定数量以上坏样本的样本集，从而将其划分为第一样本集和第二样本集；使用第一样本集来训练预定的评估模型；基于从第二样本中抽取的预定数量的好样本和坏样本，使用所述评估模型来计算预定评价指标的评估参数。4.根据权利要求1或2所述的方法，其中，所述根据多组对应于不同坏样本数量的评估参数，测算有效的预定评价指标需要的坏样本数量包括：根据多组对应于不同坏样本数量的评估参数，得到均值、标准差和极差中的一项或多项随坏样本增加的变化曲线；基于所述变化曲线，测算有效的预定评价指标需要的坏样本数量。5.一种用于对模型的评价指标进行评估的装置，其中，所述装置包括：用于基于包含预定数量以上坏样本的样本集和训练好的评估模型，计算评估模型的预定评价指标的评估参数的装置，其中，所述评估参考包括均值、标准差和极差中的一项或多项；用于不断增加抽取的坏样本的数量，并重复计算评估模型的预定评价指标的评估参数的步骤，从而得到多组对应于不同坏样本数量的评估参数的装置；用于根据多组对应于不同坏样本数量的评估参数，测算有效的预定评价指标需要的坏样本数量的装置。6.根据权利要求5所述的装置，其中，所述预定评价指标包括KS或AUC。7.根据权利要求5或6所述的装置，其中，所述用于基于包含预定数量以上坏样本的样本集和训练好的评估模型，计算评估模型的预定评价指标的评估参数的装置用于：构建两个包含预定数量以上坏样本的样本集，从而将其划分为第一样本集和第二样本集的装置；使用第一样本集来训练预定的评估模型；基于从第二样本中抽取的预定数量的好样本和坏样本，使用所述评估模型来计算预定评价指标的评估参数。8.根据权利要求5或6所述的装置，其中，所述用于根据多组对应于不同坏样本数量的评估参数，测算有效的预定评价指标需要的坏样本数量的装置用于：根据多组对应于不同坏样本数量的评估参数，得到均值、标准差和极差中的一项或多2CN115034874A权利要求书2/2页项随坏样本增加的变化曲线；基于所述变化曲线，测算有效的预定评价指标需要的坏样本数量。9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一所述的方法。10.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一所述的方法。3CN115034874A说明书1/7页一种用于对模型的评价指标进行评估的方法和装置技术领域[0001]本发明涉