一种基于Transformer结构的轻量化害虫识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965819A(43)申请公布日2023.04.14(21)申请号202310056740.6G06N3/08(2023.01)(22)申请日2023.01.17G06T7/00(2017.01)(71)申请人重庆邮电大学地址400065重庆市南岸区黄桷垭崇文路2号(72)发明人梁燕雷宇(74)专利代理机构北京同恒源知识产权代理有限公司11275专利代理师方钟苑(51)Int.Cl.G06V10/764(2022.01)G06V10/44(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)权利要求书2页说明书5页附图3页(54)发明名称一种基于Transformer结构的轻量化害虫识别方法(57)摘要本发明涉及一种基于Transformer结构的轻量化害虫识别方法，属于深度学习领域，包括以下步骤：S1：使用聚焦快速下采样模块提取害虫图像的浅层特征；S2：使用多头自注意力模块提取深层特征图中的全局特征信息；S3：使用局部卷积为深层特征图添加局部特征敏感性和尺度不变性信息；S4：将全局特征信息与局部特征敏感性和尺度不变性信息进行特征拼接，得到语义信息丰富的害虫图像，送入多层感知机，对融合特征张量进行特征拟合；S5：通过残差连接减少网络的梯度消失问题，使用逐点卷积对通道中的信息进行整合；S6：将最终计算出的特征表示使用池化机制，通过分类模块分类。CN115965819ACN115965819A权利要求书1/2页1.一种基于Transformer结构的轻量化害虫识别方法，其特征在于：包括以下步骤：S1：使用聚焦快速下采样模块提取害虫图像的浅层特征；S2：使用多头自注意力模块提取深层特征图中的全局特征信息；S3：使用局部卷积为深层特征图添加局部特征敏感性和尺度不变性信息；S4：将全局特征信息与局部特征敏感性和尺度不变性信息进行特征拼接，得到语义信息丰富的害虫图像，送入多层感知机，对融合特征张量进行特征拟合；S5：通过残差连接减少网络的梯度消失问题，使用逐点卷积对通道中的信息进行整合；S6：将最终计算出的特征表示使用池化机制，通过分类模块分类。2.根据权利要求1所述的基于Transformer结构的轻量化害虫识别方法，其特征在于：步骤S1中，所述聚焦快速下采样模块的具体操作如下：S11：将下采样操作与局部特征提取操作剥离；S12：使用间隔像素取值再通道拼接的切片操作替换步长为2的卷积操作；S13：使用1*1的逐点卷积对下采样操作后的特征图通道数量和信息进行缩减与整合；S14：使用3*3的卷积增加局部特征的提取能力。3.根据权利要求1所述的基于Transformer结构的轻量化害虫识别方法，其特征在于：所述步骤S2中，使用Transformer结构的多头自注意力机制，计算特征像素之间的互相关性，表达式为：oXa＝MultiHead(Xai)＝Concat(head1,...,headi)W(1)Q＝XaiWQ,K＝XaiWK,V＝XaiWV(3)o其中WQ,WK,WV,W分别表示自注意力机制中的查询query、键值key、值value和加权求和的投影权重矩阵，Xai表示输入的特征张量，Xa表示输出特征张量。4.所述根据权利要求1所述的基于Transformer结构的轻量化害虫识别方法，其特征在于：步骤S4中具体包括：将全局特征信息与局部特征敏感性和尺度不变性特征信息进行交叉拼接，以增加不同特点特征的融合能力，公式为：Xc＝Conv2d(Xci)(4)Xm＝Concat(Xc,Xa)+Xi(5)Xo＝Concat(MLP(LN(Xm))+(LN(Xm)))(6)其中Xi表示防止梯度消失的残差连接，MLP(·)表示多层感知机，LN(·)表示归一化函数。Xc表示经卷积后获得的局部特征敏感性和尺度不变性特征张量，Xm表示融合全局特征信息与局部特征信息的张量，Xo表示经过多层感知机的非线性映射后得到的张量。5.根据权利要求1所述的基于Transformer结构的轻量化害虫识别方法，其特征在于：所述步骤S5中，对最开始的输入特征张量X，通过一条跨全局特征提取和局部特征补充的残差支路，利用特征拼接的方式解决梯度消失问题，随后使用一个通道方向的逐点卷积对特征进行融合，公式为：X＝Conv2d(Concat(Xo,X))(7)6.根据权利要求1所述的基于Transformer结构的轻量化害虫识别方法，其特征在于：所述步骤S6中，在最终识别之前将特征向量池化为二维，随后通过Linear层获取最有可能2CN115965819A权利要求书2/2页的类别，公式为：Xo＝avgpool(X)(8)Pre＝Linear(Xo)