标签确定方法及装置、模型训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114283300A(43)申请公布日2022.04.05(21)申请号202011040485.9(22)申请日2020.09.28(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人刘宇王彬潘攀(74)专利代理机构北京智信禾专利代理有限公司11637代理人李晓庆(51)Int.Cl.G06V10/764(2022.01)G06V10/774(2022.01)G06K9/62(2022.01)G06N20/20(2019.01)G06Q30/06(2012.01)权利要求书6页说明书24页附图17页(54)发明名称标签确定方法及装置、模型训练方法及装置(57)摘要本说明书实施例提供标签确定方法及装置、模型训练方法及装置，其中，所述标签确定方法包括接收待预测图像；将所述待预测图像输入第一机器学习模型，得到所述待预测图像的初始标签以及所述初始标签的初始预测概率；将所述初始标签的初始预测概率输入第二机器学习模型，得到所述初始标签的目标预测概率；基于所述初始标签的目标预测概率确定所述待预测图像的目标标签；具体的，所述标签确定方法将待预测图像通过第一机器学习模型获得的初始预测结果输入到第二机器学习模型中进行二次纠正，通过第二机器学习模型的对初始预测结果的更新，能够极大的提升了待预测图像对应的图像标签的识别精度。CN114283300ACN114283300A权利要求书1/6页1.一种标签确定方法，包括：接收待预测图像；将所述待预测图像输入第一机器学习模型，得到所述待预测图像的初始标签以及所述初始标签的初始预测概率；将所述初始标签的初始预测概率输入第二机器学习模型，得到所述初始标签的目标预测概率；基于所述初始标签的目标预测概率确定所述待预测图像的目标标签，其中，所述第一机器学习模型适用于为所述待预测图像打标，并输出所述待预测图像的初始标签以及所述初始标签的初始预测概率，所述第二机器学习模型适用于对所述初始标签的初始预测概率进行调整，并输出调整后的所述初始标签的目标预测概率。2.根据权利要求1所述的标签确定方法，所述第一机器学习模型以及所述第二机器学习模型的训练过程如下：获取样本图像训练集，其中，所述样本图像训练集中包括样本图像、所述样本图像对应的样本标签以及所述样本标签的真实预测概率；将所述样本图像输入第一机器学习模型，获得所述样本图像的样本标签以及所述样本标签的初始预测概率；基于所述样本标签以及所述样本标签之间的共现概率构建第二机器学习模型；根据所述第二机器学习模型中所述样本标签之间的共现概率对所述样本标签的初始预测概率进行调整，以获得所述样本标签的目标预测概率；基于所述样本标签的目标预测概率以及真实预测概率训练获得所述第一机器学习模型和所述第二机器学习模型。3.根据权利要求2所述的标签确定方法，所述基于所述样本标签以及所述样本标签之间的共现概率构建第二机器学习模型包括：基于所述样本标签构建样本标签矩阵，并根据所述样本标签矩阵确定每个样本标签与其他样本标签的共现概率；将每个样本标签确定为节点，以及将每个样本标签与其他样本标签的共现概率确定为边；根据所述样本标签确定的节点和边构建第二机器学习模型。4.根据权利要求2所述的标签确定方法，所述基于所述样本标签的目标预测概率以及真实预测概率训练获得所述第一机器学习模型和所述第二机器学习模型包括：基于所述样本标签的目标预测概率以及真实预测概率计算损失函数，根据所述损失函数对所述第一机器学习模型和所述第二机器学习模型进行训练，获得所述第一机器学习模型和所述第二机器学习模型。5.根据权利要求2所述的标签确定方法，所述第一机器学习模型包括图像标签识别模型，所述第二机器学习模型包括消息传递网络模型，其中，所述第一机器学习模型输入所述样本图像，输出所述样本图像对应的样本标签以及所述样本标签的初始预测概率，所述第二机器学习模型输入所述样本标签的初始预测概率，输出所述样本标签的目标2CN114283300A权利要求书2/6页预测概率。6.根据权利要求1所述的标签确定方法，所述基于所述初始标签的目标预测概率确定所述待预测图像的目标标签包括：确定所述初始标签的目标预测概率，且将所述目标预测概率大于等于预设概率阈值的初始标签确定为所述待预测图像的目标标签。7.根据权利要求6所述的标签确定方法，所述将所述目标预测概率大于等于预设概率阈值的初始标签确定为所述待预测图像的目标标签之后，还包括：基于所述目标标签为所述待预测图像生成图像描述信息。8.根据权利要求1-7任意一项所述的标签确定方法，所述待预测图像包括按照预设分割方式切分后形成的视频图像。9.一种模型训练方法，包括：获取样本图像训练集，其