模型训练方法、装置、设备及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114528937A(43)申请公布日2022.05.24(21)申请号202210151523.0G06V10/80(2022.01)(22)申请日2022.02.18(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曹佳炯丁菁汀(74)专利代理机构北京国昊天诚知识产权代理有限公司11315专利代理师张敏(51)Int.Cl.G06K9/62(2022.01)G06N5/02(2006.01)G06V10/764(2022.01)G06V10/774(2022.01)G06V10/94(2022.01)权利要求书6页说明书25页附图8页(54)发明名称模型训练方法、装置、设备及系统(57)摘要本说明书实施例提供了一种模型训练方法、装置、设备及系统，其中方法包括：图像采集设备采集待识别用户的生物特征图像，基于学生模型对生物特征图像进行识别处理，得到识别结果；若根据识别结果确定生物特征图像满足预设的样本累积条件，则将生物特征图像确定为第一目标样本并保存；确定是否满足学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型；其中，学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得。CN114528937ACN114528937A权利要求书1/6页1.一种模型训练方法，应用于图像采集设备，包括：采集待识别用户的生物特征图像；基于学生模型对所述生物特征图像进行识别处理，得到识别结果；其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得；若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；确定是否满足所述学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。2.根据权利要求1所述的方法，所述基于学生模型对所述生物特征图像进行识别处理，得到识别结果之后，还包括：获取所述识别结果对应的所述生物特征图像的第一图像特征和所述待识别用户的基准生物特征图像的第二图像特征；根据所述第一图像特征和所述第二图像特征确定所述识别结果的识别分数；所述若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，包括：若确定所述识别分数位于预设的第一分数区间，则确定所述生物特征图像满足预设的样本累积条件。3.根据权利要求2所述的方法，所述根据所述第一图像特征和所述第二图像特征确定所述识别结果的识别分数，包括：计算所述第一图像特征和所述第二图像特征之间的余弦相似度；根据预设的识别分数计算方式，基于所述余弦相似度计算所述识别结果的识别分数。4.根据权利要求1所述的方法，所述基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型，包括：将所述第一目标样本划分为至少一个训练集；基于所述训练集和预设的第一损失函数，对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；其中，所述第一损失函数包括：多分类损失函数、第一自蒸馏损失函数和第二自蒸馏损失函数；所述多分类损失函数，用于对所述学生模型每一层输出的图像特征进行分类处理；所述第一自蒸馏损失函数，用于采用对所述学生模型各层的分类结果进行融合所得的融合分类结果，对所述学生模型的每一层的分类结果进行指导；所述第二自蒸馏损失函数，用于采用所述学生模型的最后一层输出的图像特征，对所述学生模型的除所述最后一层之外的每一层的学习过程进行指导。5.根据权利要求2所述的方法，所述根据所述第一图像特征和所述第二图像特征确定所述识别结果的识别分数之后，还包括：若确定所述识别分数小于预设分数、且重新对所述待识别用户进行识别处理后所述识别分数连续小于所述预设分数的次数到达预设次数，则将最后一次进行识别处理所采集的生物特征图像确定为第二目标样本并保存；若确定满足预设的标签获取条件，则根据保存的所述第二目标样本从所述服务端获取2CN114528937A权利要求书2/6页所述第二目标样本的标签数据；其中，所述标签数据由所述教师模型生成；将所述标签数据与所述第二目标样本关联保存；所述利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型，包括：确定是否存在所述第二目标样本和所述标签数据；若是，则利用保存的所述第一目标样本、确定的所述第一目标样本的标签数据、所述第二目标样本和所述第二目标样本的标签数据对所述学生模型进行自蒸馏训