双模态表征模型训练方法、装置、设备和介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115995031A(43)申请公布日2023.04.21(21)申请号202310136395.7G06N3/084(2023.01)(22)申请日2023.02.09(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人舒畅陈又新(74)专利代理机构深圳市明日今典知识产权代理事务所(普通合伙)44343专利代理师王杰辉熊成龙(51)Int.Cl.G06V10/774(2022.01)G06V10/26(2022.01)G06F18/214(2023.01)G06F40/279(2020.01)权利要求书2页说明书13页附图4页(54)发明名称双模态表征模型训练方法、装置、设备和介质(57)摘要本申请的双模态表征模型训练方法、装置、设备和介质，其中方法包括：获取待处理数据，对待处理数据进行预处理，得到预处理数据。对预处理数据进行特征编码，得到多个特征向量。对多个图像块向量进行池化，得到图像块池化向量；对多个词向量进行池化，得到词池化向量。根据图像块池化向量构造第一损失函数，根据词池化向量构造第二损失函数，根据图像块池化向量和词池化向量构造第三损失函数。根据所有损失函数训练待训练模型，得到双模态表征模型。基于三种损失函数进行训练，使得双模态表征模型对图像和文本两种不同模态的特征融合和特征表达能力更强。CN115995031ACN115995031A权利要求书1/2页1.一种双模态表征模型训练方法，其特征在于，包括：获取待处理数据，所述待处理数据包括图像数据和文本数据；对所述待处理数据进行预处理，得到预处理数据；对所述预处理数据进行特征编码，得到多个特征向量，所述多个特征向量包括多个图像块向量和多个词向量；对所述多个图像块向量进行池化，得到图像块池化向量；对所述多个词向量进行池化，得到词池化向量；根据所述图像块池化向量构造第一损失函数，根据所述词池化向量构造第二损失函数，根据所述多个图像块向量和所述多个词向量构造第三损失函数；根据所述第一损失函数、第二损失函数和第三损失函数训练待训练模型，得到双模态表征模型。2.根据权利要求1所述的双模态表征模型训练方法，其特征在于，所述根据所述图像块池化向量构造第一损失函数，包括：将所述图像块池化向量作为对数函数的自变量，通过对数函数构造所述第一损失函数；所述第一损失函数的公式如下：其中，为所述图像块池化向量，log表示对数函数，Loss1为所述第一损失函数。3.根据权利要求1所述的双模态表征模型训练方法，其特征在于，所述根据所述词池化向量构造第二损失函数，包括：将所述词池化向量作为对数函数的自变量，通过两个对数函数构造所述第二损失函数；所述第二损失函数的公式如下：其中，为与所述图像块池化向量对应的所述词池化向量，log为对数函数，Loss2为所述第二损失函数。4.根据权利要求1所述的双模态表征模型训练方法，其特征在于，所述根据所述图像块向量和所述词池化向量构造第三损失函数，包括：将当前图像块向量和所述词向量作为噪声对比估计函数的自变量，通过所述噪声对比估计函数构造所述第三损失函数；所述第三损失函数的公式如下：其中，q为所述当前图像块向量，k+为与所述当前图像块向量对应的所述词向量，ki为第i个所述词向量，exp表示指数函数，τ为所述第三损失函数的第一参数，Info_NCE为所述第三损失函数，log为对数函数。2CN115995031A权利要求书2/2页5.根据权利要求1所述的双模态表征模型训练方法，其特征在于，所述对所述待处理数据进行预处理，得到预处理数据，包括：将所述图像数据分割为多个图像块；将所述文本数据分割为多个单词；将所述多个图像块和所述多个单词作为所述预处理数据。6.根据权利要求5所述的双模态表征模型训练方法，其特征在于，所述对所述预处理数据进行特征编码，得到多个特征向量，包括：将所述多个图像块输入BERT模型以对所述多个图像块进行特征编码，得到所述图像块向量；将所述多个单词输入BERT模型以对所述多个单词进行特征编码，得到所述词向量。7.根据权利要求1所述的双模态表征模型训练方法，其特征在于，所述根据所述第一损失函数、第二损失函数和第三损失函数训练待训练模型，得到双模态表征模型，包括：将所述第一损失函数、第二损失函数和第三损失函数组成最终损失函数；计算所述最终损失函数的损失函数值；根据所述损失函数值进行反向传播，更新所述待训练模型的模型参数；判断所述模型参数与预设模型参数的参数误差是否小于参数误差阈值，若是，则停止训练，得到所述双模态表征模型。8.一种双模态表征模型训练装置，其特征在于，包括：待处理数据获取模块，用于获取待处理数据，所述