一种基于局部注意力网络的街景图像语义分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113642390A(43)申请公布日2021.11.12(21)申请号202110763344.8(22)申请日2021.07.06(71)申请人西安理工大学地址710048陕西省西安市碑林区金花南路5号(72)发明人赵明华郅宇星王睿胡静都双丽石程李鹏(74)专利代理机构西安弘理专利事务所61214代理人徐瑶(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书8页附图2页(54)发明名称一种基于局部注意力网络的街景图像语义分割方法(57)摘要本发明公开的一种基于局部注意力网络的街景图像语义分割方法，具体实施步骤是：步骤1，首先从公开数据集Cityscapes中随机选取部分图像数据，将选取的部分图像数据划分为训练集、验证集及测试集；步骤2，使用倒置残差模块和空洞卷积构造MobileNetV2网络模型；步骤3，设计局部注意力模块和残差块，并构造编码网络；步骤4，构造解码网络，逐渐恢复图像分辨率，最终输出语义分割的结果；步骤5，使用训练集和验证集对模型进行训练，并在测试集上验证模型的分割效果。该方法解决了现有技术中存在的普遍存在的局部信息在特征提取过程中无法完整保留，从而解决了类别内部分割结果不一致的问题。CN113642390ACN113642390A权利要求书1/3页1.一种基于局部注意力网络的街景图像语义分割方法，其特征在于，具体实施步骤是：步骤1，首先从公开数据集Cityscapes中随机选取部分图像数据，将选取的部分图像数据划分为训练集、验证集及测试集，最后分别对训练集、验证集、测试集的所有图像数据进行数据增强和预处理操作；步骤2，首先使用深度可分离卷积、残差结构构造倒置残差模块，然后使用倒置残差模块和空洞卷积构造MobileNetV2网络模型；将训练集的图像数据输入到MobileNetV2网络模型提取图像特征，输出低层特征图Flow和高层特征图Fhigh，对Fhigh使用不同扩张率的四个空洞卷积和一次全局平均池化，得到五个特征图；步骤3，设计局部注意力模块和残差块，并构造编码网络；步骤4，构造解码网络：将编码网络的输出与低层特征图Flow依次进行上采样、拼接、上采样操作，逐渐恢复图像分辨率，最终输出语义分割的结果；步骤5，使用训练集和验证集对模型进行训练，并在测试集上验证模型的分割效果。2.根据权利要求1所述的一种基于局部注意力网络的街景图像语义分割方法，其特征在于，步骤1具体过程为：步骤1.1，从公开数据集Cityscapes中随机选取部分图像数据，按照6:3:1的比例将选取的部分图像数据划分为训练集、验证集及测试集；步骤1.2，对于训练集的所有图像数据，使用随机翻转、随机裁剪、随机高斯模糊的方法对数据进行增强，最后对训练集的图像数据归一化；步骤1.3，对于验证集和测试集，首先对所有图像数据使用双线性插值的方法将图像大小缩放到513×1026像素；然后再裁剪为513×513大小的图像；最后对验证集和测试集的所有图像数据进行归一化操作。3.根据权利要求1所述的一种基于局部注意力网络的街景图像语义分割方法，其特征在于，步骤2具体过程为：步骤2.1，使用深度可分离卷积和残差网络结构来构造倒置残差模块：首先使用卷积核大小为1×1卷积升维，然后使用卷积核大小为3×3的深度可分离卷积，目的是减小计算量，最后使用卷积核大小为1×1卷积降维，并使用两个ReLu6激活函数；步骤2.1中，ReLu6激活函数ReLu6(x)的定义如公式(1)所示：ReLu6(x)＝min{max(0,x),6}(1)其中，x表示输入数据，max()和min()两个函数返回输入数据中的最大值和最小值；步骤2.2，使用3个卷积层、7个倒置残差模块、1个平均池化层构造MobileNetV2网络模型，采用空洞卷积使用跨像素的模式逐层提取图像特征；MobileNetV2网络模型使用的所有卷积操作都为扩张率d＝1的空洞卷积，第四层输出是低层特征图Flow，整个网络模型的输出是高层特征图Fhigh；步骤2.2中，空洞卷积的等效卷积核大小k'的计算方式定义如公式(2)所示：k'＝k+(k‑1)×(d‑1)(2)其中，k为卷积核大小，d为空洞卷积的扩张率，第i+1层空洞卷积的感受野RFi+1计算方式定义如公式(3)所示：RFi+1＝RFi+(k'‑1)×Si(3)其中，i表示网络层数索引，RF表示第i层的感受野，Si表示之前所有层步长的乘积，Si的2CN113642390A权利要求书2/3页计算方式如式(4)所示：其中，Stridei表示