图文识别模型的训练方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972910A(43)申请公布日2022.08.30(21)申请号202210550793.9(22)申请日2022.05.20(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦二层(72)发明人单斌尹维冲孙宇(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师罗岚(51)Int.Cl.G06V10/774(2022.01)G06K9/62(2022.01)权利要求书4页说明书16页附图7页(54)发明名称图文识别模型的训练方法、装置、电子设备及存储介质(57)摘要本公开提供了一种图文识别模型的训练方法、装置、电子设备及存储介质，具体为计算机视觉和自然语言处理技术领域。具体实现方案为：获取初始样本图像，其中，初始样本图像对应初始样本文本，处理初始样本图像，以得到扩展样本图像，处理初始样本文本，以得到扩展样本文本，以及根据扩展样本图像和扩展样本文本训练初始图文识别模型，以得到目标图文识别模型。可以联合扩展样本图像和扩展样本文本训练初始图文识别模型以得到目标图文识别模型，有效提升图文识别模型训练效果，有效提升目标图文识别模型的泛化性和鲁棒性，提升图文识别模型执行图文识别任务时的准确性。CN114972910ACN114972910A权利要求书1/4页1.一种图文识别模型的训练方法，包括：获取初始样本图像，其中，所述初始样本图像对应初始样本文本；处理所述初始样本图像，以得到扩展样本图像；处理所述初始样本文本，以得到扩展样本文本；以及根据所述扩展样本图像和所述扩展样本文本训练初始图文识别模型，以得到目标图文识别模型。2.根据权利要求1所述的方法，在所述获取初始样本图像之后，还包括：确定所述初始样本图像的初始图像语义；根据所述初始图像语义，确定初始文本语义；以及生成与所述初始文本语义所对应样本文本，并将所述所对应样本文本作为所述初始样本文本。3.根据权利要求1所述的方法，其中，所述处理所述初始样本图像，以得到扩展样本图像，包括：确定目标视觉特征；确定所述初始样本图像的初始视觉特征；以及将所述初始样本图像的初始视觉特征调整为所述目标视觉特征，以得到所述扩展样本图像。4.根据权利要求3所述的方法，其中，所述将所述初始样本图像的初始视觉特征调整为所述目标视觉特征，以得到所述扩展样本图像，包括：从所述初始样本图像中确定所述初始视觉特征所描述图像内容；根据所述目标视觉特征描述所述初始样本图像中的所述图像内容，以得到所述扩展样本图像。5.根据权利要求3所述的方法，其中，所述确定目标视觉特征，包括：确定视觉模态类型；获取所述视觉模态类型所描述图像的视觉特征，并将所述所描述图像的视觉特征作为所述目标视觉特征。6.根据权利要求2所述的方法，其中，所述处理所述初始样本文本，以得到扩展样本文本，包括：确定目标文本特征；根据所述目标文本特征处理所述初始样本文本，以得到所述扩展样本文本。7.根据权利要求6所述的方法，其中，所述确定目标文本特征，包括：确定文本模态类型；获取所述文本模态类型所描述文本的文本特征，并将所述所描述文本的文本特征作为所述目标文本特征。8.根据权利要求6所述的方法，其中，所述根据所述目标文本特征处理所述初始样本文本，以得到所述扩展样本文本，包括：获取所述初始样本文本的初始文本特征；将所述初始样本文本的初始文本特征调整为所述目标文本特征，以得到所述扩展样本文本。2CN114972910A权利要求书2/4页9.根据权利要求6所述的方法，其中，所述根据所述目标文本特征处理所述初始样本文本，以得到所述扩展样本文本，包括：根据所述目标文本特征处理所述初始样本文本的初始文本语义，以得到所处理文本语义；根据所述所处理文本语义，生成所述扩展样本文本。10.根据权利要求1‑9任一项所述的方法，其中，所述根据所述扩展样本图像和所述扩展样本文本训练初始图文识别模型，以得到目标图文识别模型，包括：获取所述扩展样本图像和所述扩展样本文本之间的标注语义关系；将所述扩展样本图像和所述扩展样本文本输入至所述初始图文识别模型之中，以得到所述初始图文识别模型输出的预测语义关系；如果所述预测语义关系和所述标注语义关系之间满足收敛条件，则将训练所得图文识别模型作为所述目标图文识别模型。11.一种图文识别方法，包括：获取待识别图像，其中，所述待识别图像对应待识别文本；将所述待识别图像和所述待识别文本输入至如上述权利要求1‑10任一项所述的图文识别模型的训练方法训练得到的目标图文识别模型中，以得到所述目标图文识别模型输出的目标语义关系。12.一种图文识别模型的训练装置，包括：第一获取模块，用于获取初始样本图像，其中，所述初始样本图像对应初始样本文本；