跨模态商品分类方法及其装置、设备、介质、产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113850201A(43)申请公布日2021.12.28(21)申请号202111141330.9G06F40/258(2020.01)(22)申请日2021.09.28(71)申请人广州华多网络科技有限公司地址511442广东省广州市番禺区南村镇万达广场B1栋24层(72)发明人冯一丁(74)专利代理机构广州利能知识产权代理事务所(普通合伙)44673代理人王增鑫(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06T3/40(2006.01)G06T9/00(2006.01)G06F40/289(2020.01)权利要求书2页说明书17页附图6页(54)发明名称跨模态商品分类方法及其装置、设备、介质、产品(57)摘要本申请公开一种跨模态商品分类方法及其装置、设备、介质、产品，所述方法包括：获取商品对象的图文拼接向量，所述图文拼接向量由商品图片的图片编码向量和商品标题的文本编码向量拼接而成；基于多头注意力机制对所述图文拼接向量进行多级编码，实现所述图片编码向量与所述文本编码向量的第一次特征交互，获得第一图文融合向量；基于多头注意力机制将第一图文融合向量与表示该商品对象在预设类目树标签结构中的商品标签的标签编码向量进行第二次特征交互，获得第二图文融合向量；根据所述第二图文融合向量进行分类，根据分类结果判定所述商品对象的分类标签。本申请将多个模态的特征深度交互而获得图文融合向量，据此进行分类，能提升分类准确度。CN113850201ACN113850201A权利要求书1/2页1.一种跨模态商品分类方法，其特征在于，包括如下步骤：获取商品对象的图文拼接向量，所述图文拼接向量由商品图片的图片编码向量和商品标题的文本编码向量拼接而成；基于多头注意力机制对所述图文拼接向量进行多级编码，实现所述图片编码向量与所述文本编码向量的第一次特征交互，获得第一图文融合向量；基于多头注意力机制将第一图文融合向量与表示该商品对象在预设类目树标签结构中的商品标签的标签编码向量进行第二次特征交互，获得第二图文融合向量；根据所述第二图文融合向量进行分类，根据分类结果判定所述商品对象的分类标签。2.根据权利要求1所述的跨模态商品分类方法，其特征在于，获取商品对象的图文拼接向量，包括如下步骤：采用图像特征提取模型从所述商品对象的商品图片中提取出相应的图片特征信息；将所述图片特征信息展开为以单行向量表示的所述图片编码向量；将所述商品标题转换为文本编码向量，该文本编码向量由所述商品标题的文本嵌入向量、位置嵌入向量以及分句嵌入向量融合而成；将所述图片编码向量与所述文本编码向量拼接为所述的图文拼接向量。3.根据权利要求2所述的跨模态商品分类方法，其特征在于，采用图像特征提取模型从所述商品对象的商品图片中提取出相应的图片特征信息，包括如下步骤：将所述商品图片进行格式化预处理；采用图像特征提取模型从所述商品对象的商品图片中提取出图片特征信息；对所述图片特征信息进行平均池化；将经池化后的图片特征信息进行激活后输出。4.根据权利要求1所述的跨模态商品分类方法，其特征在于，将所述商品标题转换为文本编码向量，包括如下步骤：对所述商品标题进行分词；采用文本特征提取模型从分词后的商品标题编码信息中提取出所述的文本特征信息；将所述文本特征信息进行激活后输出。5.根据权利要求1所述的跨模态商品分类方法，其特征在于，基于多头注意力机制对所述图文拼接向量进行多级编码，实现所述图片编码向量与所述文本编码向量的第一次特征交互，获得第一图文融合向量，每一级的编码过程包括如下步骤：采用当前级相对应的编码器对应当前输入的图文拼接向量中的每个行向量构造查询向量、键向量及值向量；将所有行向量相对应的值向量进行加权求和，各值向量相应的权重为其相对应的键向量与其他行向量相对应的查询向量的点积的归一化分值；将加权求和结果乘以转换权重矩阵获得其相对应的中间信息矩阵；经多层感知器对所述中间信息矩阵进行特征提取，获得图文交互向量，作为下一编码器所需的图文拼接向量，或在最后一个编码器中作为第一图文融合向量直接输出。6.根据权利要求1所述的跨模态商品分类方法，其特征在于，基于多头注意力机制将第一图文融合向量与表示该商品对象在预设类目树标签结构中的商品标签的标签编码向量进行第二次特征交互，获得第二图文融合向量，包括如下步骤：2CN113850201A权利要求书2/2页获取所述表示该商品对象在预设类目树标签结构中的商品标签的标签编码向量；基于所述第一图文融合向量构造其各个行向量相对应的查询向量、键向量及值向量；以所述标签编码向量分别对各行量相对应的所述值向量求点积实现对各个值向量的更新；根据更新后的值向量，