特征识别模型训练方法、物品特征识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114332477A(43)申请公布日2022.04.12(21)申请号202111585717.3G06K9/62(2022.01)(22)申请日2021.12.22G06F16/35(2019.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人王兴鹏史世睿李天浩(74)专利代理机构中科专利商标代理有限责任公司11021代理人孙蕾(51)Int.Cl.G06V10/40(2022.01)G06V10/774(2022.01)G06V10/74(2022.01)权利要求书3页说明书16页附图10页(54)发明名称特征识别模型训练方法、物品特征识别方法及装置(57)摘要本公开提供了一种特征识别模型训练方法、物品特征识别方法及装置。该训练方法包括：获取物品样本数据集，物品样本数据集中包括多条物品样本，将每条物品样本中的物品图像数据、用于描述物品的文本数据和物品风格数据分别输入初始模型的图像特征提取层、文本特征提取层和风格特征提取层，分别输出物品图像特征、文本特征和风格特征；将物品图像特征和文本特征输入初始模型的特征组合层，输出物品组合特征；将物品组合特征和风格特征输入初始模型的匹配层，输出匹配结果；根据匹配结果和风格标签调整初始模型的模型参数，得到训练完成的特征识别模型。CN114332477ACN114332477A权利要求书1/3页1.一种特征识别模型训练方法，包括：获取物品样本数据集，其中，所述物品样本数据集中包括多条物品样本，每条所述物品样本包括物品图像数据、用于描述物品的文本数据和物品风格数据，其中，所述物品样本具有风格标签；针对每条所述物品样本，将所述物品图像数据输入初始模型的图像特征提取层，输出物品图像特征；将所述用于描述物品的文本数据输入所述初始模型的文本特征提取层，输出文本特征；将所述物品风格数据输入所述初始模型的风格特征提取层，输出风格特征；将所述物品图像特征和所述文本特征输入所述初始模型的特征组合层，输出物品组合特征；将所述物品组合特征和所述风格特征输入所述初始模型的匹配层，输出用于表征所述物品组合特征和所述风格特征的匹配结果；根据所述匹配结果和所述风格标签调整所述初始模型的模型参数，得到训练完成的特征识别模型。2.根据权利要求1所述的训练方法，其中，将所述物品图像特征和所述文本特征输入所述初始模型的图像组合层，输出物品组合特征包括：利用所述图像组合层将所述物品图像特征和所述文本特征拼接成所述物品组合特征。3.根据权利要求1所述的训练方法，其中，在获取物品样本数据集之后，还包括：根据所述物品样本数据集生成扩增物品样本数据集。4.根据权利要求3所述的训练方法，其中，所述根据所述物品样本数据集生成扩增物品样本数据集，包括：根据所述物品图像数据，从物品数据库中，确定与所述物品图像数据相似的第一物品数据列表，其中，所述第一物品数据列表包括不同物品的物品图像数据、用于描述物品的文本数据和物品风格数据；根据所述用于描述物品的文本数据，从所述物品数据库中，确定与所述用于描述物品的文本数据相似的第二物品数据列表，其中，所述第二物品数据列表包括不同物品的物品图像数据、用于描述物品的文本数据和物品风格数据；根据所述第一物品数据列表和所述第二物品数据列表，生成所述扩增物品样本数据集。5.根据权利要求4所述的训练方法，其中，所述根据所述第一物品数据列表和所述第二物品数据列表，生成所述扩增物品样本数据集，包括：根据所述第一物品数据列表和所述第二物品数据列表的数据交集，生成所述扩增物品样本数据集。6.根据权利要求1所述的训练方法，其中，所述初始模型的模型参数包括所述初始模型的图像特征提取层的模型参数、所述初始模型的文本特征提取层的模型参数、所述初始模型的风格特征提取层的模型参数，所述根据所述匹配结果和所述风格标签调整所述初始模型的模型参数，得到训练完成的特征识别模型，包括：根据所述匹配结果与所述风格标签的误差，调整所述初始模型的图像特征提取层的模型参数、所述初始模型的文本特征提取层的模型参数和所述初始模型的风格特征提取层的模型参数，得到训练完成的所述特征识别模型。2CN114332477A权利要求书2/3页7.一种物品特征识别特征识别方法，包括：获取待处理物品的物品信息，其中，所述物品信息包括物品图像信息和用于描述物品的文本信息；将所述物品图像信息输入特征识别模型的图像特征提取层，输出所述待处理物品的物品图像特征，其中，所述特征识别模型是通过权利要求1～6任一项所述的训练方法训练得到的；将所述用于描述物品的文本信息输入所述特征识别模型的