一种基于深度摄像头的商品检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110276260A(43)申请公布日2019.09.24(21)申请号201910429812.0G06T7/13(2017.01)(22)申请日2019.05.22G06T7/136(2017.01)(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街申请人北京京东尚科信息技术有限公司(72)发明人颜成钢陈靖文刘武刘鑫晨孙垚棋张继勇张勇东(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240代理人朱月芬(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06T7/50(2017.01)权利要求书1页说明书3页附图2页(54)发明名称一种基于深度摄像头的商品检测方法(57)摘要本发明公开了一种基于深度摄像头的商品检测方法，本发明包括以下步骤：1)利用深度摄像头获取摆放在结算台上的商品的深度信息及商品的深度图像。2)将深度信息转为灰度图像，从而使得灰度信息可视化；3)对去除背景噪声后的灰度图像进行图像增强；4)图像分割，设置合适的阈值将灰度图像转为二值图像，背景为黑色，感兴趣的商品区域为白色。5)边缘检测，对感兴趣的商品区域进行轮廓检测，找到商品的边缘轮廓，根据轮廓生成所需的包围盒信息。本发明无需提前采集大量数据训练检测模型，通过利用深度信息，基于传统图像处理方法即可获得商品的检测结果，节约成本，提高效率。CN110276260ACN110276260A权利要求书1/1页1.一种基于深度摄像头的商品检测方法，其特征在于包括以下步骤：步骤1、商品图像获取；首先将商品有间隔的放置在结算台面上；然后通过俯视的双目摄像头进行图像采集，其中俯视的深度摄像头距离结算台面高度为h厘米，深度摄像头的深度镜头对准结算台中心，利用深度摄像头获取摆放在结算台上的商品的深度信息及商品的深度图像；步骤2、商品检测2-1.将深度信息转为灰度图像，从而使得灰度信息可视化；读取商品深度信息，利用直方图计算函数对商品深度信息的分布进行统计；商品深度信息的有效深度值范围为[α1，α2]，将其均匀分为k个区间，通过直方图计算函数得到信息中的深度值落在每个区间的数量，数量最多的第i个区间为背景；根据直方图计算函数统计的结果，设置全局阈值H1＝(α2-α1)/k*i，将深度信息转为灰度图像I1；2-2.对灰度图像I1进行图像增强，得到灰度图像I2；2-3.对灰度图像I2进行图像滤波，得到灰度图像I3；2-4.对灰度图像I3进行图像分割，得到二值图像I4；利用直方图函数对灰度图像I3的灰度值分布进行统计，找到介于背景和商品之间的一个灰度值作为图像分割的全局阈值H2，利用灰度阈值分割法对图像进行分割，2-5.对二值图像I4进行边缘检测，根据找到的边缘轮廓得到包围盒的左上角坐标(x，y)以及包围盒的长宽参数w、h；2-6.由于深度摄像头和RGB摄像头处于不同位置，有部分偏移，所以从深度信息上得到的包围盒不能直接作为RGB图像上的包围盒；根据双目摄像头自带的偏移量参数；计算深度摄像头和RGB摄像头之间包围盒的偏移量，将根据深度信息得到的包围盒转换到RGB图像上。2CN110276260A说明书1/3页一种基于深度摄像头的商品检测方法技术领域[0001]本发明属于计算机视觉领域，特别地，本发明涉及一种基于深度摄像头的商品检测方法。背景技术[0002]物体检测是计算机视觉中的经典问题，从传统的人工设计特征加浅层分类器的框架，到基于深度学习的端到端的检测框架，物体检测的精度越来越高。[0003]传统的物体检测技术算法通常包含三个部分：检测窗口的选择，特征的设计，分类器的设计。检测窗口的选择需要遍历整张图片，提取所有可能的候选框，这个过程计算量极大且效率很低。特征设计上有多种提取特征的方式，但是单独一种特征并不能很好的完成检测任务，往往需要多种特征的组合表达来完成高精度的检测。特征组合的设计选取需要进行大量实验，耗费大量人力和时间。传统的分类器有支持向量机，决策树等，要根据设计的特征选取合适的分类器。[0004]随着深度学习的发展，基于深度神经网络的端到端的物体检测框架出现，使物体检测的精度有了很大提升。与传统的检测技术相比，基于深度神经网络的物体检测框架借助深度神经网络强大的特征表达能力，可以从图片中提取到更有利于物体检测的特征；在检测窗口的选择上不再采用穷举法的方式，而是采用某种方式“提取”出一些候选窗口，在获得对待检测目标可接受的召回率的前提下，将候选窗口的数量控制在几千个或者几百个，如FasterR-CNN，通过区域提取网络(RPN)，在卷积特征图上使用滑动窗口，预测出k个区域提案。现在使用最多的框架有FasterR-C