一种智能垃圾收运车垃圾图像分类方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113743404A(43)申请公布日2021.12.03(21)申请号202111038096.7(22)申请日2021.09.06(71)申请人中国计量大学地址310018浙江省杭州市下沙高教园区学源街258号(72)发明人章东平张文治(74)专利代理机构杭州浙科专利事务所(普通合伙)33213代理人孙孟辉(51)Int.Cl.G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书8页附图4页(54)发明名称一种智能垃圾收运车垃圾图像分类方法(57)摘要本发明属于深度卷积神经网络分类及目标检测领域，公开了一种智能垃圾收运车垃圾图像分类方法。首先，由清运员在收运车上对垃圾桶进行操作，并上传至后端算法系统。然后，将图像输入到清晰模糊图像二分类网络，垃圾桶重量输入后端重量分析器。当重量达标并且图像清晰的情况下，再将垃圾图片输入垃圾分类网络进行垃圾分类。并且针对出现异常的分类情况、重量不达标和图像模糊的情况，前端语音系统会对清运员进行反馈。本发明通过调整骨干网络深度宽度和输入图像分辨率，使网络的性能达到最优性能。此外同时进行目标分类和目标检测任务，若出现分类任务输出结果置信度较低的情况时，通过目标检测中的检测结果联合分析垃圾桶的分类情况。CN113743404ACN113743404A权利要求书1/4页1.一种智能垃圾收运车垃圾图像分类方法，其特征在于，包括如下步骤：步骤1：清运员把易腐垃圾桶和其他垃圾桶放到垃圾收运车上，打开垃圾桶的盖子，清运员在车载智能电子秤的触摸屏上进行人工操作，电子秤将重量直接在操作界面上显示，清运员选择垃圾的类别后，点击合格、不合格或者空桶的按键并点击确认键；步骤2：当清运员点击确认键后，放置在垃圾桶正上方的高清摄像头拍摄照片并传输到前端车载系统和后端的平台,后端平台将照片图像输入到垃圾图像分类算法进行分类，如果清运员两次分类结果都与垃圾分类算法不同，此图像被分为困难样本图像，并由后端的工作人员人工审核；如果出现是算法误报，则进行人工标注，将标注好的数据放入算法迭代更新数据集，当数据集中的新标记数据积累到一定数量后，用之对分类算法进行迭代更新；步骤3：在清运车上装有前端语音反馈系统，前端语音反馈系统连接后端平台，基于清运员上传的不同信息做出相应的语音提示，若出现与垃圾工作人员的判定结果不一致的分类，后端平台把此信息反馈给前端车载系统，前端车载系统会以语音播报的形式提醒清运员，让清运员再确认一次垃圾分类是否正确。2.根据权利要求1所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2的具体实现包括如下步骤：步骤2.1：数据准备；步骤2.2：构建垃圾分类模型网络结构；步骤2.3：复合模型扩张；步骤2.4：垃圾分类模型训练；步骤2.5：构建特殊垃圾目标检测网络结构；步骤2.6：垃圾分类模型使用。3.根据权利要求2所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2.1具体为：最初数据的构成是垃圾收运车所拍摄到的照片传送到后端数据库中，将这些拍摄到的图片通过人工分类成十二个类别：空称、其他垃圾不合格、其他垃圾合格、其他垃圾空桶、其他垃圾桶未打开、易腐垃圾不合格、易腐垃圾合格、易腐垃圾空桶、易腐垃圾桶未打开、手、黑屏(花屏)、其他；按照8:1:1划分为训练集、验证集、测试集，用于分类网络的训练；将拍摄到的图片进行人工标注目标框，标注的目标框类别分别是：西瓜皮、塑料瓶、易拉罐、衣服、玻璃瓶、蛋壳、纸巾、陶瓷、眼镜；按照8:1:1划分为训练集、验证集、测试集，用于垃圾目标检测网络训练。4.根据权利要求3所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2.2具体为：垃圾分类模型采用一种基于复合模型扩张结合神经结构搜索技术的卷积神经网络作为骨干网络，输入网络的图像数据经过移动翻转瓶颈卷积模块与注意力机制模块提取特征，卷积层的输出部分采用Swish激活函数：通道注意力模块最后一层全连接层采用Sigmoid激活函数；网络的深度、宽度与输入图像的分辨率大小通过复合模型扩张方法搭配神经构架搜索技术决定。5.根据权利要求4所述的智能垃圾收运车垃圾图像分类方法，其特征在于，步骤2.3具2CN113743404A权利要求书2/4页体为：将网络深度设置为网络宽度设置为：输入图像分辨率为并通过α·β2·γ2≈2且α≥1，β≥1，γ≥1两个条件来限制三个参数，α，β，γ分别衡量着网络深度,宽度和输入图像分辨率的比重，使用复合系数来统一的修正α，β，γ；固定通过网格搜索得出最优的α，β，γ，得到最基本的网络模型；固定α，β，γ的值，的大小对应着消耗资源的大