多模态分类模型生成方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762321A(43)申请公布日2021.12.07(21)申请号202110394335.6(22)申请日2021.04.13(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人李晓敏李银锋孔滕滕(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06K9/62(2006.01)G06F16/31(2019.01)G06N3/04(2006.01)权利要求书2页说明书14页附图6页(54)发明名称多模态分类模型生成方法和装置(57)摘要本公开提供了一种多模态分类模型生成方法和装置，涉及人工智能技术领域。该方法的一具体实施方式包括：获取预置的样本集，样本包括至少两个不同模态的子样本；获取预先建立的多模态融合网络，多模态融合网络包括：门限模块、模态融合模块以及至少两个分别对不同模态数据进行分类的分类模型；从样本集中选取样本；将该样本的不同模态的子样本分别输入至与各模态对应的分类模型，得到各个分类模型输出的特征向量，通过门限模块提取所有的特征向量的门限向量，并将所有的特征向量和门限向量输入模态融合模块，若多模态融合网络满足训练完成条件，则将多模态融合网络作为多模态分类模型。该实施方式提高了多模态目标的分类效果。CN113762321ACN113762321A权利要求书1/2页1.一种多模态分类模型生成方法，所述方法包括：获取预置的样本集，所述样本集至少包含一个样本，所述样本包括至少两个不同模态的子样本；获取预先建立的多模态融合网络，所述多模态融合网络包括：门限模块、模态融合模块以及至少两个分类模型，各分类模型对不同模态数据进行分类；执行以下训练步骤：从所述样本集中选取样本；将该样本的不同模态的子样本分别输入至与各模态对应的分类模型，得到各个分类模型输出的特征向量，通过所述门限模块由拼接的所有特征向量中计算得到门限向量，并将所有的特征向量和所述门限向量输入所述模态融合模块，响应于确定所述多模态融合网络满足训练完成条件，则将所述多模态融合网络作为多模态分类模型。2.根据权利要求1所述的方法，其中，所述多模态融合网络的训练完成条件包括：依次训练所述多模态融合网络中的各个分类模型和所述门限模块、所述模态融合模块；在各个分类模型、所述门限模块和所述模态融合模块均训练完成之后，对所述多模态融合网络中的所有模块同时进行训练，直至所述多模态融合网络训练完成为止。3.根据权利要求2所述的方法，其中，所述依次训练所述多模态融合网络中的各个分类模型、所述门限模块和所述模态融合模块包括：切断所述门限模块的梯度反向传播，针对所述多模态融合网络中的每个分类模型，设置所述门限模块的门限向量为与该分类模型对应的常数值；对该分类模型进行训练，得到训练完成的该分类模型；在所有的分类模型均训练完成之后，接通所述门限模块的梯度反向传播，固定训练完成的所有的分类模型的参数，对所述门限模块和所述模态融合模块进行训练，得到训练完成的门限模块和模态融合模块。4.根据权利要求3所述的方法，其中，分类模型包括：图像分类模型、文本分类模型；所述针对所述多模态融合网络中的每个分类模型，设置所述门限模块的门限向量为与该分类模型对应的常数值；对该分类模型进行训练，得到训练完成的该分类模型，包括：设置所述门限模块分配给所述图像分类模型的门限向量为设定维度的全一向量，设置所述门限模型分配给所述文本分类模型的门限向量为设定维度的全零向量；对所述图像分类模型进行训练，得到训练完成的图像分类模型；设置所述门限模块分配给所述文本分类模型的门限向量为设定维度的全一向量，设置所述门限模型分配给所述图像分类模型的门限向量为设定维度的全零向量；对所述文本分类模型进行训练，得到训练完成的文本分类模型。5.根据权利要求3所述的方法，其中，所述模态融合模块采用如下公式对所有的特征向量和门限向量进行融合：其中，i取值0～511之间的整数，i是512维向量的索引，表示图像分类模型的特征向量的第i个值，表示文本分类模型的特征向量的第i个值，gi表示门限模块的门限向2CN113762321A权利要求书2/2页量的第i个值，表示模态融合模块融合之后的向量的第i个值。6.根据权利要求1‑5之一所述的方法，其中，所述门限模块包括：串联连接的两个第一门限子模块和一个第二门限子模块；所述第一门限子模块包括：全连接层、批量归一化层以及第一激活层；所述第二门限子模块包括：全连接层以及第二激活层，所述第一激活层的激活函数与所述第二激活层的激活函数不同。7.一种多模态目标分类方法，所述方法包