图像处理方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114120253A(43)申请公布日2022.03.01(21)申请号202111272463.X(22)申请日2021.10.29(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦二层(72)发明人李莹莹谭啸孙昊(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人单冠飞(51)Int.Cl.G06V20/56(2022.01)权利要求书2页说明书9页附图4页(54)发明名称图像处理方法、装置、电子设备和存储介质(57)摘要本公开提出了一种图像处理方法、装置、电子设备和存储介质，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术。方案为：将待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图，将深度特征图和语义分割特征图输入图像识别模型的特征交互网络进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图，将目标深度特征图和目标语义分割特征图，输入对应的输出网络，以得到深度估计结果和语义分割结果，通过交互网络，将语义分割特征图和深度特征图进行特征融合，实现根据两个任务间的相关性，学习到更好的特征表达，提高了深度估计和语义分割的准确性。CN114120253ACN114120253A权利要求书1/2页1.一种图像处理方法，包括：获取待处理的图像；将所述待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图；将所述深度特征图和所述语义分割特征图输入所述图像识别模型的特征交互网络进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图；将目标深度特征图和目标语义分割特征图，输入所述图像识别模型中对应的输出网络，以得到深度估计结果和语义分割结果。2.如权利要求1所述的方法，所述将所述深度特征图和所述语义分割特征图输入所述图像识别模型的特征交互网络，得到融合了语义特征的目标深度特征图，包括：获取所述特征交互网络学习到的语义分割权重矩阵；所述语义分割权重矩阵中的各个元素指示了所述语义分割特征图中对应元素的特征在进行深度估计时的重要程度；将所述语义分割特征图和所述语义分割权重矩阵相乘，得到加权语义分割特征图；将所述加权语义分割特征图和所述深度特征图融合，得到目标深度特征图。3.如权利要求1所述的方法，所述将所述深度特征图和所述语义分割特征图输入所述图像识别模型的特征交互网络，得到融合了深度特征的目标语义分割特征图，包括：获取所述特征交互网络学习到的深度权重矩阵；所述深度权重矩阵中的各个元素指示了所述深度特征图中对应元素的特征在进行语义分割时的重要程度；将所述深度特征图和所述深度权重矩阵相乘，得到加权深度特征图；将所述加权深度特征图和所述语义分割特征图融合，得到目标语义分割特征图。4.如权利要求2所述的方法，所述将所述语义分割特征图和所述语义分割权重矩阵相乘，得到加权语义分割特征图，包括：将所述语义分割特征图中各个元素的语义分割特征和所述语义分割权重矩阵中对应元素的权重相乘，得到各所述元素的加权语义分割特征；根据各所述元素的加权语义分割特征，生成所述加权语义分割特征图。5.如权利要求3所述的方法，所述将所述深度特征图和所述深度权重矩阵相乘，得到加权深度特征图，包括：将所述深度特征图中各元素的深度特征和所述深度权重矩阵中对应元素的权重相乘，得到各所述元素的加权深度特征；根据各所述元素的加权深度特征，生成所述加权深度特征图。6.一种图像处理装置，包括：获取模块，用于获取待处理的图像；特征提取模块，用于将所述待处理的图像输入识别模型中深度特征提取网络以得到深度特征图，以及输入语义特征提取网络以得到语义分割特征图；融合模块，用于将所述深度特征图和所述语义分割特征图输入所述图像识别模型的特征交互网络进行融合，以得到融合语义特征的目标深度特征图和融合深度特征的目标语义分割特征图；输出模块，将目标深度特征图和目标语义分割特征图，输入所述图像识别模型中对应的输出网络，以得到深度估计结果和语义分割结果。2CN114120253A权利要求书2/2页7.如权利要求6所述的装置，所述融合模块，还用于：获取所述特征交互网络学习到的语义分割权重矩阵；所述语义分割权重矩阵中的各个元素指示了所述语义分割特征图中对应元素的特征在进行深度估计时的重要程度；将所述语义分割特征图和所述语义分割权重矩阵相乘，得到加权语义分割特征图；将所述加权语义分割特征图和所述深度特征图融合，得到目标深度特征图。8.如权利要求6所述的装置，所述融合模块，还用于：获取所述特征交互网络学习到的深度权重矩阵；所述深度权