一种网络构建方法及城市场景实时语义分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115995002A(43)申请公布日2023.04.21(21)申请号202310293401.XG06N3/048(2023.01)(22)申请日2023.03.24G06N3/08(2023.01)(71)申请人南京信息工程大学地址210044江苏省南京市江北新区宁六路219号(72)发明人李振生刘茜(74)专利代理机构南京经纬专利商标代理有限公司32200专利代理师朱小兵(51)Int.Cl.G06V10/26(2022.01)G06V10/30(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书3页说明书10页附图4页(54)发明名称一种网络构建方法及城市场景实时语义分割方法(57)摘要本发明公开了一种网络构建方法，利用骨干网络、条形池化语义增强模块SPSEM和门控融合模块GFM，构建编码器模块；利用6个上下文指导模块CGM，构建解码器模块；将编码器模块的输出端与解码器模块的输入端连接，将解码器模块的输出端与拼接运算层的输入端连接，将拼接运算层的输出端与卷积层的输入端连接，将卷积层的输出端与上采样层的输入端连接，构成初始语义分割模型；利用样本数据训练初始语义分割模型，得到目标语义分割模型。本发明利用目标语义分割模型实现了对城市场景常见物体的语义分割，充分利用多尺度的全局以及局部信息和大感受野中更多的远程上下文信息，有效提高语义分割的精度。CN115995002ACN115995002A权利要求书1/3页1.一种网络构建方法，其特征在于，所述方法包括：利用骨干网络、条形池化语义增强模块SPSEM和门控融合模块GFM，构建编码器模块；利用6个上下文指导模块CGM，构建解码器模块；将编码器模块的输出端与解码器模块的输入端连接，将解码器模块的输出端与拼接运算层的输入端连接，将拼接运算层的输出端与卷积层的输入端连接，将卷积层的输出端与上采样层的输入端连接，构成初始语义分割模型；利用样本数据训练初始语义分割模型，得到目标语义分割模型。2.根据权利要求1所述的网络构建方法，其特征在于，利用骨干网络、条形池化语义增强模块SPSEM和门控融合模块GFM，构建编码器模块，包括：骨干网络包括四个阶段，第一阶段输出端与第一门控融合模块GFM1的输入端连接，第二阶段输出端与第二门控融合模块GFM2的输入端连接，第三阶段输出端与第三门控融合模块GFM3的输入端连接，第四阶段输出端与SPSEM的输入端连接。3.根据权利要求2所述的网络构建方法，其特征在于，利用6个上下文指导模块CGM，构建解码器模块，包括：第一上下文指导模块CGM1的输入端分别连接SPSEM的输出端和GFM3的输出端，第二上下文指导模块CGM2的输入端分别连接CGM1的输出端和GFM2的输出端，第三上下文指导模块CGM3的输入端分别连接CGM2的输出端和GFM1的输出端，第四上下文指导模块CGM4的输入端分别连接CGM2的输出端和CGM3的输出端，第五上下文指导模块CGM5的输入端分别连接CGM1的输出端和CGM3的输出端，第六上下文指导模块CGM6的输入端分别连接CGM3的输出端和SPSEM的输出端。4.根据权利要求3所述的网络构建方法，其特征在于，将解码器模块的输出端与拼接运算层的输入端连接，包括：将CGM3的输出端、CGM4的输出端、CGM5的输出端以及CGM6的输出端分别连接拼接运算层的输入端。5.根据权利要求1所述的网络构建方法，其特征在于，条形池化语义增强模块SPSEM包含五个并行分支，第一分支由卷积构成，第二分支由卷积和膨胀卷积构成，第三分支由卷积和膨胀卷积构成，第四分支由卷积和膨胀卷积构成，第五分支由条形池化层构成，将五个并行分支的输出端分别连接第一拼接层的输入端，第一拼接层的输出端连接的卷积层输入端；门控融合模块GFM由信息发送端和信息接收端构成，信息发送端包括门控模块Gate、全局平均池化GAP层和Sigmoid函数层，信息接收端包括门控模块Gate、取反模块、全局平均池化GAP层和Sigmoid函数层，将信息发送端的输出端连接信息接收端的输入端；上下文指导模块CGM包含两个并行分支，第一分支由卷积和卷积构成，第二分支由卷积和上采样UP构成，将两个并行分支的输出端分别连接融合运算的输入端。6.根据权利要求5所述的网络构建方法，其特征在于，信息发送端包括门控模块Gate、全局平均池化GAP层和Sigmoid函数层，包括：第一特征连接第一门控模块Gate1的输入端，第一门控模块Gate1的输出端和第一特征分别连接第一乘法运算的输入端，第二特征连接第二门控模块Gate2的输入端，第二门控模块Gate2的输出端和第二特征