语义分割方法和语义分割装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113743417A(43)申请公布日2021.12.03(21)申请号202111030185.7(22)申请日2021.09.03(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号申请人深圳北航新兴产业技术研究院(72)发明人齐越李耀陈旭阳高连生李弘毅(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人宋兴刘芳(51)Int.Cl.G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书12页附图5页(54)发明名称语义分割方法和语义分割装置(57)摘要本申请提供了一种语义分割方法和语义分割装置，有利于提高语义分割结果准确率。该方法包括：获取目标图像，该目标图像包括航拍得到的RGB图像和深度图像，该深度图像是根据该RGB图像确定的；将该目标图像输入至语义分割网络，通过该语义分割网络对该目标图像进行特征提取，获取该目标图像的深度信息和语义信息，该特征提取包括细节特征提取、边缘特征提取、深度特征提取以及上下文特征提取；通过该语义分割网络对该深度信息和该语义信息进行特征融合，得到该目标图像的语义分割图像。CN113743417ACN113743417A权利要求书1/2页1.一种语义分割方法，其特征在于，包括：获取目标图像，所述目标图像包括航拍得到的红绿蓝RGB图像和深度图像，所述深度图像是根据所述RGB图像确定的；将所述目标图像输入至语义分割网络，通过所述语义分割网络对所述目标图像进行特征提取，获取所述目标图像的深度信息和语义信息，所述特征提取包括细节特征提取、边缘特征提取、深度特征提取以及上下文特征提取；通过所述语义分割网络对所述深度信息和所述语义信息进行特征融合，得到所述目标图像的语义分割图像。2.根据权利要求1所述的方法，其特征在于，所述语义信息包括空间细节信息、边缘特征信息以及全局特征信息。3.根据权利要求2所述的方法，其特征在于，所述通过所述语义分割网络对所述目标图像进行特征提取，获取所述目标图像的深度信息和语义信息，包括：通过所述语义分割网络对所述RGB图像进行细节特征提取，获取所述RGB图像的空间细节信息；通过所述语义分割网络对所述RGB图像进行边缘特征提取，获取所述RGB图像的边缘特征信息；通过所述语义分割网络对所述RGB图像进行上下文特征提取，获取所述RGB图像的全局特征信息；通过所述语义分割网络对所述深度图像进行深度特征提取，获取所述深度图像的深度信息。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：通过损失函数计算所述语义分割网络的损失，所述损失函数表示如下：其中，wk表示第k类语义类别的权重因子，表示对应于(i,j)像素位置的语义类别为k的网络输出，表示对应于(i,j)像素位置的语义类别为t的网络输出，m表示当前训练批次中的第m张图像。5.根据权利要求1‑4中任一项所述的方法，其特征在于，所述通过所述语义分割网络对所述深度信息和所述语义信息进行特征融合，得到所述目标图像的语义分割图像，包括：通过所述语义分割网络对所述深度信息和所述语义信息进行特征融合，得到所述目标图像的特征图；通过所述语义分割网络对所述特征图进行上采样，得到与所述目标图像大小相等的所述语义分割图像。6.一种语义分割装置，其特征在于，包括：获取模块，用于获取目标图像，所述目标图像包括航拍得到的RGB图像和深度图像，所述深度图像是根据所述RGB图像确定的；处理模块，用于将所述目标图像输入至语义分割网络，通过所述语义分割网络对所述2CN113743417A权利要求书2/2页目标图像进行特征提取，获取所述目标图像的深度信息和语义信息，所述特征提取包括细节特征提取、边缘特征提取、深度特征提取以及上下文特征提取；以及，通过所述语义分割网络对所述深度信息和所述语义信息进行特征融合，得到所述目标图像的语义分割图像。7.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：通过所述语义分割网络对所述RGB图像进行细节特征提取，获取所述RGB图像的空间细节信息；通过所述语义分割网络对所述RGB图像进行边缘特征提取，获取所述RGB图像的边缘特征信息；通过所述语义分割网络对所述RGB图像进行上下文特征提取，获取所述RGB图像的全局特征信息；以及，通过所述语义分割网络对所述深度图像进行深度特征提取，获取所述深度图像的深度信息。8.根据权利要求6或7所述的装置，其特征在于，所述处理模块具体用于：通过损失函数计算所述语义分割网络的损失，所述损失函数表示如下：其中，wk表示第k类语义类别的权重因子，表示对应于(i,j)像素位置的语义类别为k的网