一种智能货柜的差异商品检测分类方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114255377A(43)申请公布日2022.03.29(21)申请号202111476957.XG06K9/62(2022.01)(22)申请日2021.12.02(71)申请人青岛图灵科技有限公司地址266100山东省青岛市崂山区科苑纬一路1号青岛国际创新园G座20楼2005(72)发明人冯栋刘治宇刘浩陈洪伟(74)专利代理机构青岛橡胶谷知识产权代理事务所(普通合伙)37341代理人王哲平(51)Int.Cl.G06V10/774(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)G06V20/10(2022.01)G06V10/26(2022.01)权利要求书2页说明书8页附图3页(54)发明名称一种智能货柜的差异商品检测分类方法(57)摘要本发明提供一种智能货柜的差异商品检测分类方法，获取配置在智能货柜货架上方的摄像头在不同时刻拍摄的两张商品图像；利用预先训练完毕的商品差异检测模型对所述两张商品图像中的商品进行检测处理，得到差异商品检测结果；其中，所述差异商品检测结果包括差异商品检测框坐标以及差异商品所属图像信息；根据所述差异商品检测结果对检测出的差异商品进行识别，得到差异商品类别信息。本发明方案直接检测出消费者购买前后两张智能货柜场景图像上差异商品所在的图像位置，再对差异商品所在的图像位置的商品进行识别确定差异商品类别，解决了目前全监督目标检测模型标注成本高、更新成本高、部署成本高等问题。CN114255377ACN114255377A权利要求书1/2页1.一种智能货柜的差异商品检测分类方法，其特征在于，包括：获取配置在智能货柜货架上方的摄像头在不同时刻拍摄的两张商品图像；其中，所述两张商品图像是所述摄像头俯视拍摄得到的；利用预先训练完毕的商品差异检测模型对所述两张商品图像中的商品进行检测处理，所述检测处理包括：特征提取、特征融合以及目标回归，得到差异商品检测结果；其中，所述差异商品检测结果包括差异商品检测框坐标以及差异商品所属图像信息；根据所述差异商品检测结果对检测出的差异商品进行识别，得到差异商品类别信息。2.根据权利要求1所述的智能货柜的差异商品检测分类方法，其特征在于，所述商品差异检测模型的设置有两个权值共享的特征提取器，所述两个权值共享的特征提取器输出端连接有特征融合算子，所述特征融合算子的输出端连接有回归网络；相应的，所述利用预先训练完毕的商品差异检测模型对所述两张商品图像中的商品进行检测处理，所述检测处理包括：特征提取、特征融合以及目标回归，得到差异商品检测结果，包括：通过所述两个权值共享的特征提取器分别对所述两张商品图像进行特征提取，得到第一图像特征和第二图像特征；通过所述特征融合算子对所述第一图像特征和第二图像特征进行差值计算，得到融合图像特征；通过所述回归网络对所述融合图像特征进行识别，得到差异商品检测结果。3.根据权利要求2所述的智能货柜的差异商品检测分类方法，其特征在于，所述两个权值共享的特征提取器采用删除最后全连接层的ResNet‑18。4.根据权利要求2所述的智能货柜的差异商品检测分类方法，其特征在于，所述回归网络中存在空间注意力模块和通道注意力模块。5.根据权利要求1所述的智能货柜的差异商品检测分类方法，其特征在于，所述根据所述差异商品检测结果对检测出的差异商品进行分类处理，得到差异商品类别信息，包括：根据所述差异商品检测框坐标以及差异商品所属图像信息确定差异商品位置信息；利用预先训练完毕的商品识别模型对差异商品所在位置的商品进行识别，确定差异商品类别信息。6.根据权利要求1所述的智能货柜的差异商品检测分类方法，其特征在于，所述获取配置在智能货柜货架上方的摄像头在不同时刻拍摄的两张商品图像之前，还包括：采集多组差异商品图像；其中，所述每组差异商品图像包括两张在同一视角不同时刻俯视拍摄的商品图像；对所述多组差异商品图像中的差异商品进行画框标注得到各组差异商品图像对应的标注框信息，并根据所述标注框信息生成各组差异商品图像的标签信息；对所述多组差异商品图像进行数据增强处理，得到多组差异商品训练图像；利用所述多组差异商品训练图像及标签信息对构建的商品差异检测模型进行训练，得到所述预先训练完毕的商品差异检测模型。7.根据权利要求6所述的智能货柜的差异商品检测分类方法，其特征在于，所述根据所述标注框信息生成各组差异商品图像的标签信息，包括：将所述多组差异商品训练图像按照预设的栅格大小进行栅格划分，得到至少一个栅格2CN114255377A权利要求书2/2页区域；根据每组差异商品训练图像对应的标注框信息生成每组差异商品训练图像的各栅格区域对应的标签信息；其中，所述标签信息包括栅格与标