图像识别模型的训练方法及装置、图像识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110458247A(43)申请公布日2019.11.15(21)申请号201910842910.7(22)申请日2019.09.06(71)申请人北京金山数字娱乐科技有限公司地址100085北京市海淀区小营西路33号金山软件大厦2层西区申请人成都金山数字娱乐科技有限公司(72)发明人史红亮廖敏鹏李长亮(74)专利代理机构北京智信禾专利代理有限公司11637代理人王治东(51)Int.Cl.G06K9/62(2006.01)G06T9/00(2006.01)权利要求书2页说明书12页附图6页(54)发明名称图像识别模型的训练方法及装置、图像识别方法及装置(57)摘要本申请提供图像识别模型的训练方法及装置、图像识别方法及装置，所述图像识别模型的训练方法包括：获取预训练的图像识别模型和训练数据，其中，所述训练数据包括样本图像和所述样本图像对应的标准描述信息；将所述样本图像输入所述图像识别模型，根据模型的注意力调整机制获取所述样本图像的描述信息；根据所述描述信息和所述样本图像对应的标准描述信息计算损失值，调整所述图像识别模型的模型参数和注意力调整机制参数。通过注意力调整机制，使图像识别模型在识别样本图像过程中，能有效关注样本图像的局部特征，避免重复关注样本图像的同一局部特征，提高图像识别模型的识别准确率，提高图像识别模型的训练效率。CN110458247ACN110458247A权利要求书1/2页1.一种图像识别模型的训练方法，其特征在于，包括：获取预训练的图像识别模型和训练数据，其中，所述训练数据包括样本图像和所述样本图像对应的标准描述信息；将所述样本图像输入所述图像识别模型，根据模型的注意力调整机制获取所述样本图像的描述信息；根据所述描述信息和所述样本图像对应的标准描述信息计算损失值，调整所述图像识别模型的模型参数和注意力调整机制参数。2.如权利要求1所述的图像识别模型的训练方法，其特征在于，将所述样本图像输入所述图像识别模型，根据模型的注意力调整机制获取所述样本图像的描述信息，包括：将所述样本图像输入至所述图像识别模型的编码端进行编码，获得所述样本图像的局部特征向量集合和全局编码向量；根据所述样本图像的局部特征向量集合获取注意力分布；将所述全局编码向量输入至所述图像识别模型的解码端，根据模型的注意力调整机制调整所述注意力分布获取所述样本图像的描述信息。3.如权利要求2所述的图像识别模型的训练方法，其特征在于，将所述全局编码向量输入至所述图像识别模型的解码端，根据模型的注意力调整机制调整所述注意力分布获取所述样本图像的描述信息，包括：S31、根据所述注意力分布对所述全局编码向量进行解码，生成解码字符集；S32、判断所述图像识别模型的解码端是否完成解码，若否，执行S33，若是，则执行S34；S33、根据模型的注意力调整机制调整所述注意力分布，执行S31；S34、根据所述解码字符集生成所述图像的描述信息。4.如权利要求3所述的图像识别模型的训练方法，其特征在于，根据模型的注意力调整机制调整所述注意力分布，包括：获取所述图像识别模型的超参数、上一次的隐状态和关注次数向量；根据所述图像识别模型的超参数、上一次的隐状态和全局编码向量，获取注意力参数向量；根据所述注意力参数向量和关注次数向量，获取上一次注意力分布的衰减率；根据所述上一次注意力分布和所述上一次注意力分布的衰减率，获得当前次的注意力分布。5.如权利要求3所述的图像识别模型的训练方法，其特征在于，根据所述注意力分布对所述全局编码向量进行解码，生成解码字符集，包括：将上一次的输出作为参考编码向量输入至所述图像识别模型的解码端，解码端根据所述参考编码向量、所述全局编码向量和所述注意力分布生成当前次的解码字符集。6.如权利要求1所述的图像识别模型的训练方法，其特征在于，还包括：在所述损失值小于预设阈值的情况下，停止调整所述图像识别模型的模型参数和注意力调整机制参数。7.一种图像识别方法，其特征在于，包括：获取待识别图像；将所述待识别图像输入预先训练好的图像识别模型，所述图像识别模型是通过根据权2CN110458247A权利要求书2/2页利要求1-6任意一项所述的图像识别模型训练方法得到的图像识别模型；所述图像识别模型响应于所述待识别图像作为输入，根据模型的注意力调整机制获取所述待识别图像的描述信息。8.如权利要求7所述的图像识别方法，其特征在于，所述图像识别模型包括编码端和解码端；所述图像识别模型响应于所述待识别图像作为输入，根据模型的注意力调整机制获取所述待识别图像的描述信息，包括：将所述待识别图像输入至所述图像识别模型的编码端进行编码，获得所述待识别图像的局部特征向量集合和全局编码向量；根据所述待识别图像