一种道路场景下的实时性语义分割模型及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908813A(43)申请公布日2023.04.04(21)申请号202211530653.1G06N3/08(2023.01)(22)申请日2022.12.01(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街(72)发明人张旭光张燕谢强伟方银锋(74)专利代理机构杭州浙科专利事务所(普通合伙)33213专利代理师陈洁(51)Int.Cl.G06V10/26(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)G06N3/048(2023.01)权利要求书2页说明书6页附图3页(54)发明名称一种道路场景下的实时性语义分割模型及方法(57)摘要本发明属于场景分割与­自动驾驶技术领域，公开了一种道路场景下的实时性语义分割模型及方法，包括初始化模块、通道注意力模块、下采样模块、混合空洞分组模块和上采样模块；本发明的技术方案利用分解卷积、深度可分离卷积以及空洞卷积来构建混合空洞分组模块，以一种简单但有效的方式提取局部和上下文信息，然后，采用通道注意力模块来捕获通道间的信息交互，最后，将网络中来自不同阶段的特征分支采用跳层连接的方式进行特征融合，使得浅层特征和深层高级语义信息融合，增强特征表示，提高分割效率，实现分割精度和推理速度的平衡。CN115908813ACN115908813A权利要求书1/2页1.一种道路场景下的实时性语义分割模型，其特征在于，包括初始化模块、通道注意力模块、下采样模块、混合空洞分组模块和上采样模块；所述初始化模块用于对输入图片进行初始化特征提取，同时降低图片分辨率，并将数据输出到通道注意力模块；所述通道注意力模块用于将初始化模块输出的数据和经过原始图像下采样的数据进行跳层连接，作为通道注意力模块的输入，进行通道特征的提取，并将数据输出到下采样模块；所述下采样模块用于将通道注意力模块输出的数据经过下采样处理后输出到混合空洞卷积块；所述混合空洞分组模块用于将下采样模块的输出作为混合空洞分组模块的输入，进行密集特征的提取，并将数据输入到上采样模块；所述上采样模块用于将输入数据上采样到与原始图像一致的分辨率，输出最终的分割预测结果。2.一种如权利要求1所述的道路场景下的实时性语义分割模型的实时性语义分割方法，其特征在于，包括如下步骤：步骤1：对输入图片进行初始化特征提取，同时降低图片分辨率，并将数据输出到通道注意力模块；步骤2：将步骤1输出的数据和经过原始图像下采样的数据进行跳层连接，作为通道注意力模块的输入，进行通道特征的提取，并将数据输入到下采样模块；步骤3：将步骤2输出数据经过下采样处理后输出到所述混合空洞卷积块；步骤4：将步骤3的输出作为混合空洞分组模块的输入，进行密集特征的提取，并将数据输入到上采样模块。3.根据权利要求2所述的实时性语义分割方法，其特征在于，所述步骤1包括如下具体步骤：在获取道路场景下的图片数据后，使用3个3×3卷积来提取初始特征，第一个卷积的步幅设置为2以对图像进行下采样，得到的初始特征图作为轻量级通道注意力模块的输入。4.根据权利要求2所述的实时性语义分割方法，其特征在于，所述步骤2包括如下具体步骤：首先通过全局平均池化得到一个1×1×C的向量，然后通过一维卷积得到每个通道的权重，来完成跨通道间的信息交互，通过在网络的不同阶段加入通道注意机制，自适应地提高模型的特征表达能力，促进局部和上下文信息的联系，用以下公式表示：ECA(F)＝σ(fk×k(T(AvgP(F))))×F(1)其中T代表张量压缩、转置和扩展等一系列操作，fk×k表示自适应选择的大小为k的卷积核，AvgP表示全局平均池化，σ是sigmoid激活函数，F是输入特征图；在每个通道注意力模块之前，将输入数据和经过原始图像下采样的数据进行跳层连接，作为通道注意力模块的输入，以补偿信息丢失。5.根据权利要求2所述的实时性语义分割方法，其特征在于，所述步骤3包括如下具体步骤：将下采样块应用到所有的下采样层，并扩展成两种模式，当输出通道数小于输入通道数，此模块就是一个简单的步长为2的3×3卷积，反之，就添加上一个步长为2的2×2最大池化层，接着将卷积和池化后的特征图进行连接，形成最后下采样的输出。6.根据权利要求2所述的实时性语义分割方法，其特征在于，所述步骤4包括如下具体步骤：2CN115908813A权利要求书2/2页混合空洞分组模块，将空洞卷积与分解卷积相结合，输入通道保持不变，随后分别送进三个不同扩张率的分支，最后通过残差连接和1×1逐点卷积恢复通道数并融合所有通道信息，每个分支都是由深度方向上的分解卷积构成，深度方向的分解卷积用以下公式表示：其中，I