一种基于深度学习融合位置和形状信息的商品识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110689005A(43)申请公布日2020.01.14(21)申请号201910839082.1(22)申请日2019.09.05(71)申请人上海零眸智能科技有限公司地址201821上海市嘉定区嘉定工业区叶城路912号J4231室(72)发明人孔海洋(74)专利代理机构上海旭诚知识产权代理有限公司31220代理人郑立(51)Int.Cl.G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书1页说明书4页附图1页(54)发明名称一种基于深度学习融合位置和形状信息的商品识别方法(57)摘要本发明公开了一种基于深度学习融合位置和形状信息的商品识别方法，涉及计算机视觉和智能识别技术领域，所述方法包括以下步骤：首先采用目标检测算法检测检出商品图中的所有目标商品；然后根据检出的boundingbox计算所述检出商品图中目标商品的形状信息和位置信息；接着建立基于深度学习融合商品位置和形状的算法模型；最后利用所述目标商品的图像特征、形状信息和位置信息训练所述算法模型，并不断验证得到最终的商品识别算法模型。本发明通过在算法模型中加入商品的形状信息和位置信息，保留了商品的原始形状信息和商品间的协同关系，从而显著提高商品分类识别的效果。CN110689005ACN110689005A权利要求书1/1页1.一种基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述方法包括以下步骤：步骤1、采用目标检测算法检测检出商品图中的所有目标商品；步骤2、根据检出的boundingbox计算所述检出商品图中目标商品的形状信息和位置信息；步骤3、建立基于深度学习融合商品位置和形状信息的算法模型；步骤4、利用所述目标商品的图像特征、形状信息和位置信息训练所述算法模型，并不断验证得到最终的商品识别算法模型。2.如权利要求1所述的基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述步骤2中的目标商品的形状信息包括高度、宽度、宽高比。3.如权利要求1所述的基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述步骤2中的目标商品的位置信息包括四角坐标、中心点坐标。4.如权利要求3所述的基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述目标商品的位置信息被配置为所述检出商品图中目标商品的位置。5.如权利要求1所述的基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述步骤3中的融合商品位置和形状的算法模型被配置为根据所述目标商品的boundingbox将其逐个从所述检出商品图中切出，得到所述目标商品的切出图。6.如权利要求5所述的基于深度学习的多摄像头采集图像的物品识别方法，其特征在于，所述目标商品的切出图resize后的图像块大小为224×224。7.如权利要求1所述的基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述步骤3中的融合商品位置和形状的算法模型被配置为卷积神经网络结构，包括ResNet、VGG、GoogLeNet、DenseNet等网络结构。8.如权利要求1所述的基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述步骤3中的融合商品位置和形状的算法模型被配置为将所述目标商品的图像特征、形状信息、位置信息并联拼接作为所述目标商品的全部特征。9.如权利要求8所述的基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述目标商品的形状信息和位置信息还需进行归一化处理。10.如权利要求8所述的基于深度学习融合位置和形状信息的商品识别方法，其特征在于，所述步骤3中的融合商品位置和形状的算法模型被配置为将所述目标商品的全部特征输入至全连接网络中。2CN110689005A说明书1/4页一种基于深度学习融合位置和形状信息的商品识别方法技术领域[0001]本发明涉及计算机视觉和智能识别技术领域，尤其涉及一种基于深度学习融合位置和形状信息的商品识别方法。背景技术[0002]计算机视觉技术已经逐渐渗透我们的日常生活，通过人工智能识别技术使得机器能够准确识别各种物体，而其中一类重要的计算机视觉应用是进行商品识别。商品识别与深度学习理论密切相关，随着深度学习的兴起，包括人脸识别、图像分类与物体检测在内的方向都取得了很多重要的进展。[0003]商品识别主要是针对超市的货架和冰柜上的商品进行识别，具有以下的典型特点：一是商品识别的对象数量庞大，通常一张图上可能有上百个商品；二是商品识别的对象种类繁多，相比于通用物品的识别，商品识别中仅一个饮料类别已达上万个种类。针对上述问题，目前业界的通用做法是将整个商品识别分成两个阶段，第一阶段先将商品归为一个类别，该阶段只进行商品的检出；