模型确定方法、装置、电子设备和存储器.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113947700A(43)申请公布日2022.01.18(21)申请号202111212317.8(22)申请日2021.10.18(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人王龙超孙逸鹏姚锟韩钧宇刘经拓丁二锐(74)专利代理机构北京博浩百睿知识产权代理有限责任公司11134代理人丰佩印(51)Int.Cl.G06V10/774(2022.01)G06K9/62(2022.01)G06N3/08(2006.01)权利要求书3页说明书14页附图6页(54)发明名称模型确定方法、装置、电子设备和存储器(57)摘要本公开提供了一种模型确定方法、装置、电子设备和存储器，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习领域，可应用于图像处理、图像识别等场景。具体实现方案为：获取图像样本和文本样本，其中，文本样本中的文本用于对图像样本中的目标图像进行文字描述；将图像样本中的图像特征存储至第一队列，且将文本样本中的文本特征存储至第二队列；对第一队列和第二队列进行训练，得到第一目标模型；将第一目标模型确定为第二目标模型的初始化模型，解决了初始化模型训练的效率低的技术问题。CN113947700ACN113947700A权利要求书1/3页1.一种模型的确定方法，包括：获取图像样本和文本样本，其中，所述文本样本中的文本用于对所述图像样本中的目标图像进行文字描述；将所述图像样本中的图像特征存储至第一队列，且将所述文本样本中的文本特征存储至第二队列；对所述第一队列和所述第二队列进行训练，得到第一目标模型；将所述第一目标模型确定为第二目标模型的初始化模型。2.根据权利要求1所述的方法，其中，对所述第一队列和所述第二队列进行训练，得到第一目标模型包括：基于所述第一队列和所述第二队列确定负样本；对所述负样本进行训练，得到所述第一目标模型。3.根据权利要求2所述的方法，所述负样本包括第一负样本和第二负样本，其中，基于所述第一队列和所述第二队列确定负样本包括：基于所述第一队列和所述文本特征确定所述第一负样本；基于所述第二队列和所述图像特征确定所述第二负样本。4.根据权利要求3所述的方法，其中，基于所述第一队列和所述文本特征确定所述第一负样本包括：基于所述第一队列和所述文本样本中当前批次样本的所述文本特征确定所述第一负样本。5.根据权利要求3所述的方法，其中，基于所述第二队列和所述图像特征确定所述第二负样本包括：基于所述第二队列和所述图像样本中当前批次样本的所述图像特征确定所述第二负样本。6.根据权利要求2所述的方法，其中，对所述负样本进行训练，得到所述第一目标模型包括：对所述负样本中多个所述图像特征和多个所述文本特征进行匹配，得到多个匹配结果和多个未匹配结果，其中，所述匹配结果包括互相匹配成功的所述图像特征和所述文本特征，所述未匹配结果包括互相匹配失败的所述图像特征和所述文本特征；基于多个所述匹配结果和多个所述未匹配结果确定模型参数；基于所述模型参数确定所述第一目标模型。7.根据权利要求1至6中任意一项所述的方法，其中，所述图像样本包括图像噪声数据和/或所述文本样本包括文本噪声数据。8.根据权利要求1至6中任意一项所述的方法，其中，所述图像样本为未标注图像样本和/或所述文本样本为未标注文本样本。9.一种图像处理方法，包括：获取待处理图像；将所述待处理图像输入至第二目标模型中，其中，所述第二目标模型为由权利要求1‑8中任意一项所述的模型确定方法获得；获取所述第二目标模型的处理结果。2CN113947700A权利要求书2/3页10.一种模型确定装置，包括：第一获取单元，用于获取图像样本和文本样本，其中，所述文本样本中的文本用于对所述图像样本中的目标图像进行文字描述；存储单元，用于将所述图像样本中的图像特征存储至第一队列，且将所述文本样本中的文本特征存储至第二队列；训练单元，用于对所述第一队列和所述第二队列进行训练，得到第一目标模型；确定单元，用于将所述第一目标模型确定为第二目标模型的初始化模型。11.根据权利要求10所述的装置，其中，所述训练单元包括：确定模块，用于基于所述第一队列和所述第二队列确定负样本；训练模块，用于对所述负样本进行训练，得到所述第一目标模型。12.根据权利要求11所述的装置，所述负样本包括第一负样本和第二负样本，其中，确定模块包括：第一确定子模块，用于基于所述第一队列和所述文本特征确定所述第一负样本；第二确定子模块，用于基于所述第二队列和所述图像特征确定所述第二负样本。13.根据权利要求12所述的装置，其中，所述第一确定子模块用于通过以下步骤来基于所述第一队列和所述文本特征确定所述第一负样本：基于所述