基于双分支深度融合卷积神经网络的红枣品质分类方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110663971A(43)申请公布日2020.01.10(21)申请号201810706299.0(22)申请日2018.07.02(71)申请人天津工业大学地址300387天津市西青区宾水西道399号(72)发明人耿磊徐文龙肖志涛张芳吴骏刘彦北(51)Int.Cl.A23N15/00(2006.01)权利要求书2页说明书4页附图3页(54)发明名称基于双分支深度融合卷积神经网络的红枣品质分类方法(57)摘要本发明公开了一种基于双分支深度融合卷积神经网络的红枣品质分类方法，该方法包括：该方法首先对采集到的不同品质的红枣图像进行预处理，并将其归一化为相同尺寸，预处理后的红枣图像(丰满枣、干条枣、裂口枣和瑕疵枣)被随机分为训练集和测试集。然后，将卷积神经网络设计为双分支结构，其中第1条分支网络结合迁移学习策略，利用在大型数据集Imagenet上训练生成的模型对其进行预训练。第2条分支网络，增加了特征图流动的分支数目和融合次数。最后利用设计的双分支深度融合卷积神经网络对预处理过的红枣图像数据进行训练，提取红枣图像特征，生成训练模型，并完成不同红枣品质的多分类任务。该方法极大地提高了红枣品质分类的准确率和效率。CN110663971ACN110663971A权利要求书1/2页1.这是基于双分支深度融合卷积神经网络的一种红枣品质多分类方法，包括：A，采集不同品质红枣样本图像，按照干制红枣外观品质的国家标准和企业对红枣品质分级的要求，将红枣样本图像分为丰满枣、干条枣、裂口枣和瑕疵枣四类；B，对红枣样本数据进行预处理，并归一化为227*227的相同尺寸，作为后续网络训练的数据。C，将卷积神经网络的结构设计为双分支网络，结合迁移学习策略和融合模块，对红枣图像数据进行网络训练和特征提取，生成并保存训练好的网络模型文件。D，利用训练好的网络模型，对测试集红枣图像样本进行多分类识别。2.根据权利要求1所述的基于双分支深度融合卷积神经网络的红枣品质多分类方法，其特征在于，步骤C中，设计双分支深度融合卷积神经网络具体如下：卷积神经网络设计为双分支结构，双分支深度融合卷积神经网络的第一部分是数据输入层，经过预处理的红枣图像作为该层的输入。第二部分是特征提出层，由两条分支组成，两条分支的卷积层和池化层的数量相同。第三部分是分类层，包括拼接融合层、Dropout层、分类层。其中，Concat层进行拼接融合，卷积核为1的卷积层进行分类。双分支深度融合卷积神经网络的具体结构如下：C1、双分支深度融合卷积神经网络的第一部分为数据输入，通过该部分数据输入层将四种不同品质的红枣数据作为后面双分支网络的数据输入。C2、双分支深度融合卷积神经网络的第二部分为图像特征提取层，该部分主要有两条分支网络组成，其中第一条分支网络主要由1个卷积层、8个Fire模块、3个池化层和若干Concat层组成。第二条分支网络主要由1个卷积层、8个Fusion模块、3个池化层和若干Concat层组成。C3、双分支深度融合卷积神经网络的第三部分为图像分类层，该部分由Dropout层、卷积核为1的卷积层、全局平均池化层和损失层组成。3.根据权利要求2所述的基于双分支深度融合卷积神经网络的红枣品质多分类方法，其特征在于，步骤C2中，第一条分支为轻量级网络Squeezenet的特征提取部分，此分支由1个卷积核为3*3的卷积层、8个fire模块、2个最大池化层以及若干Relu激活函数和Concat层组成。其中fire模块由3个卷积层(squeeze1*1、expand1*1和expand3*3)、3个Relu激活层和1个Concat层组成。第一条分支网络结合迁移学习策略，利用在大型数据集Imagenet上训练生成的模型对红枣数据进行预训练。4.根据权利要求2所述的基于双分支深度融合卷积神经网络的红枣品质多分类方法，其特征在于，步骤C2中，第二条分支网络采用Fusion模块对红枣图形的特征信息进行提取，此分支包含1个卷积核为3*3的卷积层、8个Fusion模块、2个最大池化层、若干BN批规范操作层、若干PRelu激活函数和concat层。其中Fusion模块主要由3个卷积层(squeeze1*1、expand1*1和expand3*3)、3个PRelu激活、3个BN层和1个Concat层组成，通过将Fusion模块中卷积层squeeze1*1的输出与卷积层expand1*1和expand3*3的输出特征图进行融合，将Fusion模块之间的输出特征图进行融合，增加了特征图流动的分支数目和融合次数。5.根据权利要求1所述的基于双分支深度融合卷积神经网络的红枣品质多分类方法，其特征在于，步骤B中，首先将图像进行二值化处理，以突显出感