一种基于边界注意力的RGBD图像语义分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822284A(43)申请公布日2021.12.21(21)申请号202111132199.X(22)申请日2021.09.24(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号(72)发明人贾庆轩王睿泉陈钢申岳黄泽远(51)Int.Cl.G06K9/34(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06T7/13(2017.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于边界注意力的RGBD图像语义分割方法(57)摘要本发明公开了一种基于边界注意力的RGBD图像语义分割方法，包括：获取包含RGBD图像和预先标注的语义分割信息的训练数据集，并对训练数据集进行预处理，依据预先标注的语义分割信息得到各训练图像的边界信息；使用训练数据集中的训练图像对基于边界注意力的RGBD图像语义分割模型中的RGBD双路编码器子模型、语义‑边界双路解码器子模型以及特征融合单元进行训练，直至训练结果满足预设的收敛条件，得到完成训练的所述语义分割模型；将需要进行语义分割的RGBD目标图像，输入完成训练的所述语义分割模型中，得到训练图像的语义分割预测结果。本发明通过引入对图像物体边界的注意力机制，显著提高了语义分割算法的准确性。CN113822284ACN113822284A权利要求书1/2页1.一种基于边界注意力的RGBD图像语义分割方法，其特征在于：用一基于边界注意力的RGBD图像语义分割模型，所述语义分割模型包括一RGBD双路编码器子模型、一语义‑边界双路解码器子模型以及一特征融合单元；所述语义分割方法包括以下步骤：S1、获取训练数据集，所述数据集需包含RGBD图像和预先标注的语义分割信息；对所述训练数据集进行预处理，依据预先标注的语义分割信息，利用Canny边缘检测算法，计算得到各训练图像的边界信息；S2、使用训练数据集中的训练图像，对所述语义分割模型进行训练，包括以下步骤S21至S25：S21、将所述RGBD训练图像中的彩色图像和深度图像分别输入RGBD双路编码器子模型的对应通道，得到训练图像的颜色特征图和深度特征图；S22、将S21中得到的颜色特征图和深度特征图输入特征融合模块，经计算得到全局特征图；S23、将S22中得到的全局特征图输入语义‑边界双路解码器子模型，分别得到训练图像的语义分割预测结果和边界预测结果；S24、依据S23中得到的训练图像的语义分割预测结果和预先标注的语义分割信息，利用多阶段混合损失函数计算所述预测语义分割结果与所述预先标注的语义分割信息之间的误差；依据S23中得到的训练图像的边界预测结果和S1中得到的训练图像的边界信息，利用二元交叉熵函数计算边界预测结果与边界信息之间的误差；依据所述两种误差计算总误差，即总损失函数：L＝a·l1+b·l2其中L表示总误差大小，l1、l2分别表示所述预测语义分割结果与所述预先标注的语义分割信息之间的误差和边界预测结果与边界信息之间的误差，a、b为权重系数，数值大小按照实际需求进行设置；利用反向传播算法，依据所述总误差更新对所述两个子模型和所述特征融合模块的参数进行修正；S25、利用若干训练图像不断迭代执行步骤S21至S24，直至所述两个子模型和所述特征融合模块的训练结果满足预设的收敛条件，得到完成训练的所述语义分割模型；S3、将需要进行语义分割的RGBD目标图像，输入经S2得到的完成训练的所述语义分割模型中，以执行以下分割步骤S31至S33：S31、分别将所述RGBD目标图像中的彩色图像和深度图像输入RGBD双路编码器子模型的对应通道，得到目标图像的颜色特征图和深度特征图；S32、将S31中得到的颜色特征图和深度特征图输入特征融合模块，经计算得到全局特征图；S33、将S32中得到的全局特征图输入语义‑边界双路解码器子模型，得到训练图像的语义分割预测结果。2.根据权利要求1所述的方法，其特征在于，所述RGBD双路编码器子模型，包括：由两个完全相同的ResNet网络模型为基础构成，分为颜色分支和深度分支，颜色分支用于处理RGBD图像中的彩色图像，深度分支用于处理RGBD图像中的深度图像；所述两个分支网络每一对同级的池化层输出特征图进行逐元素相加，得到的特征图作为两分支网络下2CN113822284A权利要求书2/2页一个卷积层的输入。3.根据权利要求1所述的方法，其特征在于，所述语义‑边界双路解码器子模型，包括：由语义分支和边界分支两个分支构成，语义分支用于输出RGBD图像的语义测结果，边界分支用于提供边界注意力机制；每个分支由三个串联的SwiftNet网络模型的解码器模块和一个上采样模块构成；对所述两个分支每一对同级的解码器输出特