一种基于位置注意力机制的编解码结构语义分割模型.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908793A(43)申请公布日2023.04.04(21)申请号202210408406.8G06N3/084(2023.01)(22)申请日2022.04.18(71)申请人湘潭大学地址411105湖南省湘潭市雨湖区湘潭大学(72)发明人许海霞王玮周维彭伟张东波王帅龙陈祁丁凡迅韩丰刘彦帮(51)Int.Cl.G06V10/26(2022.01)G06V20/70(2022.01)G06V10/80(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)G06N3/0455(2023.01)权利要求书3页说明书6页附图3页(54)发明名称一种基于位置注意力机制的编解码结构语义分割模型(57)摘要本发明公开了一种基于位置注意力机制的编解码结构语义分割模型。本发明包括以下步骤：1、模型建立，设计一种基于位置注意力机制的编解码结构语义分割模型，通过编码器中注意力机制学习像素点图像特征之间的关联性并增强深层语义信息，通过解码器将浅层语义信息和深层语义信息进行融合来捕获图像丰富的上下文语义信息。2、模型训练，首先对数据集预处理，然后根据建立好的模型进行模型训练。3、模型推理，将测试集的图像输入到训练好的模型中，推理测试图像的语义类别预测值，评估预测准确度。本发明是一种针对图像语义分割的神经网络模型，特别是提出了一种基于位置注意力机制的编解码结构来提取图像自身注意力信息的统一建模方法，获得了在语义分割领域较好的分割效果。CN115908793ACN115908793A权利要求书1/3页1.一种基于位置注意力机制的编解码结构语义分割模型，其特征在于包括以下步骤：步骤1：模型建立；具体设计一种基于位置注意力机制的编解码结构语义分割模型，在编码器中通过注意力机制学习像素点图像特征之间的关联性并增强深层语义信息，在解码器中通过将浅层语义信息和深层语义信息进行融合来捕获图像丰富的上下文语义信息，以扩大同类别物体的类间差异性，最终提高分割准确性；首先，建立编码器模型(Encoder)，对图像进行特征提取，通过骨干网络ResNet‑101提取图像的浅层特征F1到深层特征F4；然后，通过编码器中的池化交叉注意力模块(PCAM)和池化位置注意力模块(PPAM)增强深层信息的语义一致性，得到具有全局语义信息的图像特征F4X；最后，建立解码器模型(Decoder)，对F4X进行上采样得到特征图F4Y，通过对浅层特征F1和特征图F4Y进行融合，得到上下文关联性增强的特征图，并对融合后的特征图进行上采样操作，得到和输入图片尺寸大小相同的特征图；步骤2：模型训练；首先构建训练集，及验证集，给定图像I，对应的真实标签图GT,组成数据集，按照1:1比例划分训练集和测试集，为模型训练提供数据基础；然后对图像I进行尺度随机缩放，水平旋转，将图像裁剪成固定尺寸大小的图像IC；最后对步骤1建立的编解码结构语义分割模型进行训练，将图像IC输入骨干网ResNet‑101、编码器中的交叉位置注意力模型(PCAM)子模块、池化位置注意力模型(PPAM)子模块得到特征图F4X，再通过解码器将浅层特征F1和深层特征F4Y融合并经过上采样后进行图像语义类别预测，通过前向传播将预测值Z与真实值GT进行交叉熵运算，度量预测值与真实值的误差；通过反向传播算法对步骤1定义的编解码结构语义分割网络模型参数进行迭代优化训练，训练到整个模型收敛为止；步骤3：模型推理；将测试集的图像输入到训练好的编解码结构语义分割模型中，推理测试图像的语义类别预测值，计算测试预测值与真实值的平均交并比(MIoU)，评估预测准确度。平均交并比的运算公式如下所示：其中K是数据集的类别数，pij是类别为i的像素被预测为类别为j的数量，pii是正确分类的像素的数量。2.根据权利要求1所述的一种基于位置注意力机制的编解码结构语义分割模型，其特征在于步骤1的模型建立，具体如下：2‑1.建立编码器模型(Encoder)，使用ResNet‑101作为骨干网络，对图像IC进行特征提取，得到图像浅层特征F1和深层特征F4，其中C1是图像特征的通道数，H和W是图像特征的高度和宽度；2‑2.通过池化交叉注意力模块(PCAM)进一步对图像深层特征进行增强关于PCAM的具体运算如下：a＝Conv(F4)；b＝Conv(F4)；c＝Conv(F4)；d＝Conv(GAP(F4))⑵2CN115908793A权利要求书2/3页F4’＝Conv[Fusion(p,c)+d]+F4⑷a1＝Conv(F4’)；b1＝Conv(F4’)；c1＝Conv(F4’)；⑸F4”＝Conv[Fusion(p1,c1)]+F4’