基于多传感器融合和深度学习的垃圾分类识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109344894A(43)申请公布日2019.02.15(21)申请号201811137854.9(22)申请日2018.09.28(71)申请人广州大学地址510006广东省广州市番禺区广州大学城外环西路230号(72)发明人刘长红杨兴鑫李文杰张宏康朱亮宇钟志鹏程健翔范俊宇陈毓锋(74)专利代理机构广州市华学知识产权代理有限公司44245代理人刘巧霞裘晖(51)Int.Cl.G06K9/62(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图3页(54)发明名称基于多传感器融合和深度学习的垃圾分类识别方法及装置(57)摘要本发明公开了一种基于多传感器融合和深度学习的垃圾分类识别方法，包括步骤：S1：获取学习样本数据，样本数据包括已知分类垃圾的图像和物理参量，所述物理参量包括介电常数、磁导率、光电参数和重量；S2：采用深度学习神经网络方法训练分类模型，分类模型的输入为上述样本数据，输出为预测的垃圾种类；S3：拍摄待分类垃圾的图像，采集待分类发垃圾的物理参量，然后将信息输入到步骤S2中的分类模型，得到预测的垃圾种类。本发明还提供一种用于实现上述方法的装置。本发明能够高速且准确地将用户投放的生活垃圾分类，做到尽可能成功分类常见的生活垃圾，并同时将垃圾种类等信息反馈回来，进而提高垃圾的回收率。CN109344894ACN109344894A权利要求书1/2页1.基于多传感器融合和深度学习的垃圾分类识别方法，其特征在于，包括步骤：S1：获取学习样本数据，样本数据包括已知分类垃圾的图像和物理参量，所述物理参量包括介电常数、磁导率、光电参数和重量；S2：采用深度学习神经网络方法训练分类模型，分类模型的输入为上述样本数据，输出为预测的垃圾种类；S3：拍摄待分类垃圾的图像，采集待分类垃圾的物理参量，然后将信息输入到步骤S2中的分类模型，得到预测的垃圾种类。2.根据权利要求1所述的基于多传感器融合和深度学习的垃圾分类识别方法，其特征在于，待分类垃圾的垃圾袋外层上若存在条形码，则先通过图像读取条形码信息，条形码信息中包括了垃圾的类别信息，将条形码信息与条形码数据库中的信息进行匹配，如果匹配成功，则自动完成分类，否则采集物理参量，连同图像一起输入到所述分类模型进行判别。3.根据权利要求1所述的基于多传感器融合和深度学习的垃圾分类识别方法，其特征在于，图像在用于训练分类模型或者输入分类模型前，进行如下处理：预处理步骤，包括图像的初始化、去均值、归一化、PCA和白化；图像增强步骤，包括对比度拉升、Gamma校正和直方图均衡化。4.根据权利要求1所述的基于多传感器融合和深度学习的垃圾分类识别方法，其特征在于，对于采集的样本数据或者待分类垃圾的物理参量，在用于训练分类模型或者输入分类模型前，进行如下处理：滤波步骤，包括硬件滤波和软件滤波方法，其中，硬件滤波是在用于采集物理参量的传感器和用于进行信息处理的信息处理器之间接入一个RC滤波器；而软件滤波是对样本数据或者物理参量采用限幅滤波法或均值滤波法。5.根据权利要求1所述的基于多传感器融合和深度学习的垃圾分类识别方法，其特征在于，对采集的物理参量执行填充步骤，具体步骤为：将摄像头所识别的区域进行平面数学建模，以摄像头的位置作为参考对象，用于采集介电常数、磁导率、光电参数的介电常数传感器、电涡流传感器、光电传感器组成阵列形排布的传感器单元体，均安装在摄像头所拍摄的范围内；摄像头所识别的像素范围是m*m，为使传感器尽可能均匀分布在像素范围内，每n*n像素范围布置一个传感器单元体，则需要[m/n]*[m/n]个传感器单元体，即n*n范围内都是当前传感器单元体的测量值；用于采集重量的重力传感器只需测量垃圾总体的质量，即像素m*m范围内分布一个重力传感器，即像素m*m内都是一个重力传感器的测量值；摄像头所形成图像的RGB值即三维信息，与4种传感器处理后的四维的电参数共同构成一个m*m*7的矩阵，共同融合为七维信息，作为神经网络的输入参数。6.根据权利要求1所述的基于多传感器融合和深度学习的垃圾分类识别方法，其特征在于，步骤S2中采用深度学习神经网络方法训练分类模型，采用的是SSD算法，步骤是：将学习样本数据分为训练集和测试集；Tensorflow框架下构建SSD模型结构，将训练集输入到模型中进行训练；对训练完成后的模型再用测试集进行测试。7.一种用于实现权利要求1-6任一项所述垃圾分类识别方法的装置，其特征在于，包括2CN109344894A权利要求书2/2页信息处理器、执行控制器、摄像头、传感器组件和垃圾投放箱，摄像头设置在垃圾投放箱的顶部，传感器组件设置在垃圾投放箱中垃圾放置位置的底部，包括介电常数传感器、电