商品图片识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113903026A(43)申请公布日2022.01.07(21)申请号202111177667.5G06N3/04(2006.01)(22)申请日2021.10.09G06N3/08(2006.01)G06Q30/06(2012.01)(71)申请人数贸科技（北京）有限公司地址100083北京市海淀区成府路28号优盛大厦A座8层(72)发明人马景祥宋振旗(74)专利代理机构北京市浩天知识产权代理事务所(普通合伙)11276代理人赵娅(51)Int.Cl.G06V20/62(2022.01)G06V10/40(2022.01)G06V10/764(2022.01)G06V30/19(2022.01)G06V10/82(2022.01)权利要求书2页说明书8页附图4页(54)发明名称商品图片识别方法及装置(57)摘要本发明公开了一种商品图片识别方法及装置，方法包括：截取目标商品图片中的局部图片，提取得到第一图片特征向量；将第一图片特征向量输入至预先训练得到的第一指定模型中，并在第一指定模型的指定中间层输入第二图片特征向量，以进行融合处理，得到对应的第一输出结果；第二图片特征向量根据目标商品图片提取得到；根据第一输出结果，确定是否对目标商品图片进行推荐。本发明将目标商品图片中局部图片的特征与目标商品图片的整体图片的特征进行融合，既保留局部图片的特征的代表性，又保留整体图片的相关性和连通性，保障得到的结果的准确性，提升商品图片的推荐效果。CN113903026ACN113903026A权利要求书1/2页1.一种商品图片识别方法，其特征在于，方法包括：截取目标商品图片中的局部图片，提取得到第一图片特征向量；将所述第一图片特征向量输入至预先训练得到的第一指定模型中，并在所述第一指定模型的指定中间层输入第二图片特征向量，以进行融合处理，得到对应的第一输出结果；所述第二图片特征向量根据所述目标商品图片提取得到；根据所述第一输出结果，确定是否对所述目标商品图片进行推荐。2.根据权利要求1所述的方法，其特征在于，所述局部图片包含商品的标识信息；所述截取目标商品图片中的局部图片具体为：识别得到所述目标商品图片中表征商品的标识信息的局部图片，截取得到所述局部图片。3.根据权利要求1所述的方法，其特征在于，所述第一指定模型包括至少一个卷积层、至少一个卷积块和/或至少一个特征块；所述将所述第一图片特征向量输入至预先训练得到的第一指定模型中，并在所述第一指定模型的指定中间层输入第二图片特征向量，以进行融合处理，得到对应的第一输出结果进一步包括：将所述第一图片特征向量输入至预先训练得到的第一指定模型中，得到第一中间结果；在所述第一指定模型的指定中间层接收输入的经卷积层处理的第二图片特征向量，并与所述第一中间结果进行融合处理，得到对应的第一输出结果。4.根据权利要求1所述的方法，其特征在于，若根据所述第一输出结果对所述目标商品图片进行推荐，所述方法还包括：获取所述目标商品图片的文本信息，将所述文本信息转化为文本特征向量；所述文本信息包括商品历史点击率、历史购买率、商品类别和/或商品价格；将所述第二图片特征向量输入至预先训练得到的第二指定模型中，并在所述第二指定模型的指定中间层输入所述文本特征向量，以进行拼接处理和/或向量压平处理，得到第二输出结果；根据所述第二输出结果，确定是否对所述目标商品图片进行推荐。5.根据权利要求4所述的方法，其特征在于，所述第二指定模型包括至少一个指定层数的卷积层、至少一个卷积块和/或至少一个特征块；所述将所述第二图片特征向量输入至预先训练得到的第二指定模型中，并在所述第二指定模型的指定中间层输入所述文本特征向量，以进行拼接处理和/或向量压平处理，得到第二输出结果进一步包括：将所述第二图片特征向量输入至预先训练得到的第二指定模型中，得到第二中间结果；在所述第二指定模型的指定中间层接收输入的经深度神经网络处理的文本特征向量，并与所述第二中间结果进行拼接处理和/或向量压平处理，得到对应的第二输出结果。6.根据权利要求3或5所述的方法，其特征在于，所述卷积块将同一输入对象经不同卷积层得到的中间输出结果进行融合，得到卷积块的输出结果；所述特征块将输入对象将卷积层得到的中间输出结果与该输入对象进行融合，得到特征块的输出结果。7.根据权利要求3或5所述的方法，其特征在于，所述方法还包括：2CN113903026A权利要求书2/2页训练得到所述第一指定模型和/或第二指定模型；所述训练得到所述第一指定模型和/或第二指定模型具体为：构建第一训练样本的第一输入数据和第一标注信息，将所述第一训练样本的第一输入数据输入至待训练的第一指定模型中进行训练，将得到的输出结果与所述第一标