图像处理模型的训练方法、图像处理方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114118408A(43)申请公布日2022.03.01(21)申请号202111335432.4(22)申请日2021.11.11(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人郭烨陈益如丁文奎李思则(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人李加欣(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书25页附图7页(54)发明名称图像处理模型的训练方法、图像处理方法、装置及设备(57)摘要本公开关于一种图像处理模型的训练方法、图像处理方法、装置及设备，属于人工智能技术领域。该方法包括：获取样本图文数据，所述样本图文数据包括样本图像和样本文本，所述样本图文数据中标注目标对象的第一位置信息；确定所述样本图文数据的图文特征和位置特征，所述图文特征包括所述样本图像的图像特征和所述样本文本的文本特征，所述位置特征用于表示所述目标对象在所述样本图文数据中的位置；基于所述图文特征和所述位置特征，通过初始图像处理模型预测所述目标对象的第二位置信息；基于所述第一位置信息和所述第二位置信息，更新所述初始图像处理模型，得到图像处理模型。本公开提供的方法能够提高图像处理模型的推理能力。CN114118408ACN114118408A权利要求书1/2页1.一种图像处理模型的训练方法，其特征在于，所述方法包括：获取样本图文数据，所述样本图文数据包括样本图像和样本文本，所述样本图文数据中标注目标对象的第一位置信息；确定所述样本图文数据的图文特征和位置特征，所述图文特征包括所述样本图像的图像特征和所述样本文本的文本特征，所述位置特征用于表示所述目标对象在所述样本图文数据中的位置；基于所述图文特征和所述位置特征，通过初始图像处理模型预测所述目标对象的第二位置信息；基于所述第一位置信息和所述第二位置信息，更新所述初始图像处理模型，得到图像处理模型。2.根据权利要求1所述方法，其特征在于，所述目标对象包括所述样本图像中的目标物体和所述样本文本中的目标文本信息中的至少一项，所述样本图文数据的位置特征的确定过程，包括：确定所述样本图像的第一位置特征和所述样本文本的第二位置特征中的至少一项，所述第一位置特征用于表示所述目标物体在所述样本图像中的位置，所述第二位置特征用于表示所述目标文本信息在所述样本文本中的位置；将所述第一位置特征和所述第二位置特征中的至少一项确定为所述样本图文数据的位置特征。3.根据权利要求1所述方法，其特征在于，所述目标对象的数量为多个，所述图文特征包括所述多个目标对象对应的多个图文特征；所述第二位置信息为所述目标对象在所述样本图文数据中的位置；所述基于所述图文特征和所述位置特征，通过初始图像处理模型预测所述目标对象的第二位置信息，包括：对所述多个图文特征中的第一图文特征进行特征掩膜处理；基于所述位置特征和剩余的图文特征，通过所述初始图像处理模型，预测被遮掩的所述第一图文特征对应的目标对象的位置。4.根据权利要求1或3所述方法，其特征在于，所述目标对象的数量为多个，所述图文特征包括所述多个目标对象对应的多个图文特征，所述第二位置信息为任意两个目标对象在所述样本图文数据中的位置关系；所述基于所述图文特征和所述位置特征，通过初始图像处理模型预测所述目标对象的第二位置信息，包括：获取任意两个第二图文特征对应的边界框，所述边界框为所述第二图文特征对应的目标对象的边界框；确定所述两个边界框的交并比，所述交并比为所述两个边界框的交集与并集的比值；基于所述交并比，通过所述初始图像处理模型，预测所述两个边界框对应的目标对象的位置关系。5.一种图像处理方法，其特征在于，所述方法包括：获取目标图文数据，所述目标图文数据包括目标图像和目标文本，所述目标文本包括问题信息；2CN114118408A权利要求书2/2页基于图像处理模型，对所述目标图像和所述目标文本进行处理，得到图像处理结果，所述图像处理结果为基于所述目标图像确定出的所述问题信息对应的答案信息，所述图像处理模型为基于样本图文数据的图文特征和位置特征训练得到。6.一种图像处理模型的训练装置，其特征在于，所述装置包括：第一获取模块，用于获取样本图文数据，所述样本图文数据包括样本图像和样本文本，所述样本图文数据中标注目标对象的第一位置信息；确定模块，用于确定所述样本图文数据的图文特征和位置特征，所述图文特征包括所述样本图像的图像特征和所述样本文本的文本特征，所述位置特征用于表示所述目标对象在所述样本图文数据中的位置；预测模块，用于基于所述图文特征和所述位置特征，通过初始图像处理模型预测