一种基于注意力机制与多尺度特征融合的植物图像分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115205647A(43)申请公布日2022.10.18(21)申请号202210859319.4G06N3/04(2006.01)(22)申请日2022.07.21G06N3/08(2006.01)(71)申请人南京农业大学地址210095江苏省南京市玄武区卫岗1号(72)发明人伍学惠罗志伟徐焕良(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204专利代理师徐红梅(51)Int.Cl.G06V10/80(2022.01)G06V10/26(2022.01)G06V20/60(2022.01)G06V10/82(2022.01)G06V10/77(2022.01)G06V10/774(2022.01)权利要求书3页说明书6页附图2页(54)发明名称一种基于注意力机制与多尺度特征融合的植物图像分割方法(57)摘要本发明公开了一种基于注意力机制与多尺度特征融合的植物图像分割方法，包括划分训练集、验证集和测试集，并进行数据处理；提取多尺度特征，包括深层特征和浅层特征；调整深层特征的通道权重，并对深层特征图进行上采样处理，得到上采样引导后的深层特征图；调整浅层特征的空间分布权重，得到调整空间分布权重后的浅层特征图；将上采样引导后的深层特征图和调整空间分布权重后的浅层特征图进行多尺度融合，得到多尺度融合后的特征图；模型训练，得到训练好的植物图像分割模型；最后对模型进行验证和测试。本发明能够较好的解决复杂背景下植物图像分割识别问题，具有较强的鲁棒性和较高的准确率，可为植物表型提取，长势预测提供视觉支持。CN115205647ACN115205647A权利要求书1/3页1.一种基于注意力机制与多尺度特征融合的植物图像分割方法，其特征在于，包括以下步骤：S1、将植物图像数据集划分为训练集、验证集和测试集，并分别对训练集、验证集和测试集中的原图像采用标签进行标注，生成训练集、验证集和测试集的标签文件，标签包括植物和背景；将各标签文件转换为标注图，得到训练集、验证集和测试集的标注图；S2、将训练集中的原图像输入到特征提取网络VGG16中，由VGG16中由浅至深的五个卷积层对原图像进行卷积以提取浅层特征和深层特征，并获得浅层特征图和深层特征图；S3、基于通道注意力模块分别调整深层特征的通道权重：将步骤S2提取的各深层特征，先在空间维度上进行全局平均池化获得通道注意力向量vh；其次使用两个连续的全连接层捕获通道间的权重关系；最后将通道注意力向量vh映射到[0,1]区间，并将映射到[0,1]区间后的通道注意力向量vh与步骤S2中相对应的深层特征图在通道维度上相乘，调整相应深层特征图的通道权重，得到调整通道权重后的相应深层特征图，最终得到调整通道权重后的各深层特征图；S4、将步骤S3输出的调整通道权重后的各深层特征图先分别进行上采样，使用线性插值函数扩大分辨率，随后使用上采样引导模块处理，得到上采样引导后的各深层特征图；S5、基于空间注意力模块调整各浅层特征的空间分布权重：将步骤S2获得的各浅层特征图先在通道维度上分别进行最大池化和平均池化，得到最大池化后的各浅层特征图和平均池化后的各浅层特征图；其次将最大池化后的各浅层特征图和与其相对应的平均池化后的各浅层特征图拼接和卷积得到各二维注意力图，即得到各浅层特征的空间权重系数；最后将各浅层特征的空间权重系数分别映射到[0,1]区间，并将映射到[0,1]区间后的各空间权重系数与步骤S2中相应的浅层特征图相乘，调整相应的浅层特征图在空间纬度上各个部分的权重，得到调整空间分布权重后的相应的浅层特征图，最终得到调整空间分布权重后的各浅层特征图；S6、多尺度特征融合：将步骤S4得到的上采样引导后的各深层特征图和步骤S5得到的调整空间分布权重后的各浅层特征图，使用concatenate函数在通道维度上拼接，得到拼接特征图，并将拼接特征图映射至[0,1]区间，得到多尺度特征融合后的特征图；S7、使用步骤S6得到的多尺度特征融合后的特征图与训练集中的标注图计算交叉熵损失值，交叉熵损失值调用backward函数反向传播更新神经网络的各卷积层参数，反复迭代此过程直至交叉熵损失值趋于一稳定值，得到植物图像的分割模型，并保存模型；S8、采用验证集中的原图像验证步骤S7得到的植物图像的分割模型，若模型不好，则重新进行模型训练；若模型是好的，则采用测试集中的原图像对植物图像的分割模型进行测试，得到分割后的植物二值图。2.根据权利要求1所述的一种基于注意力机制与多尺度特征融合的植物图像分割方法，其特征在于，步骤S1中使用labelme图像标注软件分别对训练集、验证集和测试集中的原图像进行人工手动标注，标签文件为json格式；使用labelme_json_to_