一种用于对模型输出分进行校准的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113918878A(43)申请公布日2022.01.11(21)申请号202111010553.1(22)申请日2021.08.31(71)申请人度小满科技(北京)有限公司地址100193北京市海淀区西北旺东路10号院西区4号楼6层606室(72)发明人刘宏剑严澄杨青(74)专利代理机构北京启坤知识产权代理有限公司11655代理人李琛(51)Int.Cl.G06F17/15(2006.01)G06F17/18(2006.01)G06Q40/02(2012.01)权利要求书2页说明书8页附图1页(54)发明名称一种用于对模型输出分进行校准的方法和装置(57)摘要本发明的目的是提供一种用于对模型输出分进行校准的方法和装置。所述方法包括以下步骤：使用评分模型对样本集进行评分，得到各个样本对应的模型输出分和逾期标签；根据所述各个样本对应的模型输出分和逾期标签，得到用于拟合变换函数的多个数据点；基于所述多个数据点进行拟合，得到相应的变换函数；基于所述变换函数，对模型输出分进行校准。本申请实施例具有以下优点：通过使用非线性的自定义函数作为变换函数，提升了校准函数的拟合能力；通过将模型输出分数的优势比的对数值作为变换函数的入参，相较于现有的普拉特缩放校准方案，提升了校准效果。CN113918878ACN113918878A权利要求书1/2页1.一种用于对模型输出分进行校准的方法，其中，所述方法包括以下步骤：使用评分模型对样本集进行评分，得到各个样本对应的模型输出分和逾期标签；根据所述各个样本对应的模型输出分和逾期标签，得到用于拟合变换函数的多个数据点，其中，所述数据点的横坐标为部分样本模型输出分的平均分的优势比的对数值，纵坐标为部分样本真实逾期概率的优势比的对数值；基于所述多个数据点进行拟合，得到相应的变换函数，其中，所述变换函数为非线性函数；基于所述变换函数，对模型输出分进行校准。2.根据权利要求1所述的方法，其中，所述根据所述各个样本对应的模型输出分和逾期标签，得到用于拟合变换函数的多个数据点包括：基于输出分数，将样本集划分到若干桶，使得每个桶内的样本数量接近；对于每个桶，计算桶内样本的模型输出分的平均分和真实逾期概率；基于各个桶的模型输出分的平均分和真实逾期概率，得到用于拟合变换函数的多个数据点，其中，所述数据点的横坐标为各个桶内样本的模型输出分的平均分的优势比的对数值，纵坐标为各个桶内样本的真实逾期概率的优势比的对数值。3.根据权利要求1或2所述的方法，其中，所述方法包括：基于所述多个数据点，绘制相应的衍生可靠性图。4.根据权利要求1或2所述的方法，其中，所述基于所述多个数据点进行拟合，得到相应的变换函数包括：根据各个数据点的分布，确定合适的变换函数的类型；基于所确定的变换函数的类型，对所述多个数据点进行拟合，得到相应的变换函数。5.根据权利要求4所述的方法，其中，所述方法包括：对校准结果进行验证；如果未通过验证，则不断重新选择新的变换函数的类型并通过散点拟合得到相应的变换函数来进行校准，直至校准结果通过验证。6.一种用于对模型输出分进行校准的装置，其中，所述装置包括：用于使用评分模型对样本集进行评分，得到各个样本对应的模型输出分和逾期标签的装置；用于根据所述各个样本对应的模型输出分和逾期标签，得到用于拟合变换函数的多个数据点的装置，其中，所述数据点的横坐标为部分样本模型输出分的平均分的优势比的对数值，纵坐标为部分样本真实逾期概率的优势比的对数值；用于基于所述多个数据点进行拟合，得到相应的变换函数的装置，其中，所述变换函数为非线性函数；用于基于所述变换函数，对模型输出分进行校准的装置。7.根据权利要求6所述的装置，其中，所述用于根据所述各个样本对应的模型输出分和逾期标签，得到用于拟合变换函数的多个数据点的装置用于：基于输出分数，将样本集划分到若干桶，使得每个桶内的样本数量接近；对于每个桶，计算桶内样本的模型输出分的平均分和真实逾期概率；基于各个桶的模型输出分的平均分和真实逾期概率，得到用于拟合变换函数的多个数2CN113918878A权利要求书2/2页据点，其中，所述数据点的横坐标为各个桶内样本的模型输出分的平均分的优势比的对数值，纵坐标为各个桶内样本的真实逾期概率的优势比的对数值。8.根据权利要求6或7所述的装置，其中，所述装置包括：用于基于所述多个数据点，绘制相应的衍生可靠性图的装置。9.根据权利要求6或7所述的装置，其中，所述用于基于所述多个数据点进行拟合，得到相应的变换函数的装置用于：根据各个数据点的分布，确定合适的变换函数的类型；基于所确定的变换函数的类型，对所述多个数据点进行拟合，得到相应的变换函数。10.根据权利要求9所述的装置，其中，所述