特征提取模型的训练方法、卡通对象的识别方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115100717A(43)申请公布日2022.09.23(21)申请号202210760357.4G06N3/04(2006.01)(22)申请日2022.06.29G06N3/08(2006.01)(71)申请人腾讯科技（深圳）有限公司地址518000广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人许剑清(74)专利代理机构北京市立方律师事务所11330专利代理师张筱宁张海秀(51)Int.Cl.G06V40/16(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)G06V10/74(2022.01)权利要求书3页说明书20页附图5页(54)发明名称特征提取模型的训练方法、卡通对象的识别方法及装置(57)摘要本申请实施例提供了一种特征提取模型的训练方法、卡通对象识别方法、装置及设备，涉及人工智能、大数据、多媒体及云技术领域。该训练方法包括：获取包含多个图像集的第一训练集和待训练的神经网络模型，每个图像集包括同一卡通对象的至少两张第一图像，神经网络模型包括级联的第一特征提取模块和特征映射模块；基于第一训练集对神经网络模型重复执行第一训练操作直至满足第一预设条件；获取包括多个带有标签的第二图像的第二训练集，基于第二训练集对满足第一预设条件的第一特征提取模块进行监督训练，得到训练好的目标特征提取模型。基于本申请实施例提供的方法，能够有效提升训练得到的特征提取模型的性能，且能够有效降低训练成本。CN115100717ACN115100717A权利要求书1/3页1.一种特征提取模型的训练方法，其特征在于，所述方法包括：获取第一训练集和待训练的神经网络模型，所述第一训练集包括多个图像集，每个所述图像集包括同一卡通对象的至少两张第一图像，所述神经网络模型包括级联的第一特征提取模块和特征映射模块；基于所述第一训练集对所述神经网络模型重复执行第一训练操作，直至满足第一预设条件，其中，所述第一训练操作包括：将各个图像集中的第一图像分别输入到所述神经网络模型中，得到每个第一图像对应的卡通对象的对象特征向量；基于同一图像集中的第一图像对应的对象特征向量之间的相似度、以及不同图像集中的第一图像对应的对象特征向量之间的相似度，确定所述神经网络模型的第一训练损失；若不满足所述第一预设条件，则基于所述第一训练损失对所述神经网络模型的模型参数进行调整；获取第二训练集，其中，所述第二训练集中包括多个标注有标签的第二图像，每个所述第二图像的标签表征了该第二图像中包含的卡通对象的真实对象类别；将满足所述第一预设条件的第一特征提取模块作为第二特征提取模块，基于所述第二训练集对所述第二特征提取模块进行监督训练，将训练好的第二特征提取模块作为训练好的目标特征提取模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取目标类别特征矩阵，其中，所述目标类别特征矩阵中包括所述第二训练集对应的各个真实对象类别的目标类别特征向量；所述基于所述第二训练集对所述第二特征提取模块进行监督训练，包括：基于所述第二训练集对所述第二特征提取模块重复执行第二训练操作，直至满足第二预设条件，得到训练好的第二特征提取模块，其中，所述第二训练操作包括：将所述第二训练集中的各个第二图像分别输入到所述第二特征提取模块中，得到每个所述第二图像的特征向量；对于每个所述第二图像，基于该第二图像的特征向量与所述目标类别特征矩阵中的各个目标类别特征向量之间相似度，确定该第二图像对应的卡通对象的第一类别预测结果；基于各所述第二图像的第一类别预测结果和标签，确定第二训练损失；若不满足所述第二预设条件，则基于所述第二训练损失对所述第二特征提取模块的模型参数进行调整。3.根据权利要求2所述的方法，其特征在于，所述获取目标类别特征矩阵，包括：获取初始类别特征矩阵，所述初始类别特征矩阵包括所述第二训练集对应的各个真实对象类别的初始类别特征向量；将所述初始类别特征矩阵作为待训练的模型参数，基于所述第二训练集重复执行第三训练操作，直至满足第三预设条件，将满足所述第三预设条件的类别特征矩阵作为所述目标类别特征矩阵；其中，所述第三训练操作包括：将所述第二训练集中的各个第二图像分别输入到所述第二特征提取模块中，得到每个所述第二图像的特征向量；对于每个所述第二图像，基于该第二图像的特征向量与所述初始类别特征矩阵中各个2CN115100717A权利要求书2/3页初始类别特征向量之间相似度，确定该第二图像对应的卡通对象的第二类别预测结果；基于各所述第二图像的第二类别预测结果和标签，确定第三训练损失；若不满足所述第三预设条件，则基于所述第三训练损失对所述初始类别特征矩阵的元素