一种基于交互式特征融合的RGBD图像显著性检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963170A(43)申请公布日2022.01.21(21)申请号202111039181.5G06N3/08(2006.01)(22)申请日2021.09.06(71)申请人上海工程技术大学地址201620上海市松江区龙腾路333号(72)发明人赵晓丽张倬尧陈正方志军叶翰辰(74)专利代理机构上海唯智赢专利代理事务所(普通合伙)31293代理人姜晓艳(51)Int.Cl.G06V10/44(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书1页说明书5页附图3页(54)发明名称一种基于交互式特征融合的RGBD图像显著性检测方法(57)摘要本发明公开了一种基于交互式特征融合的RGBD图像显著性检测方法，对训练用图像样本集中各个图像，先利用多层次卷积神经网络模块对彩色图像和深度图像分别进行多级彩色和深度图像特征提取，并且利用交叉特征融合模块，对于深层次卷积提取的彩色和深度图像特征进行多级点乘融合，获得初始显著图像，然后，利用Inception结构对初始显著图像进行多尺度融合，输出网络预测显著图像，最后，利用所述网络预测显著图像和目标显著图像求解焦点熵损失函数，学习到图像显著性检测模型的最优参数，获得训练好的图像显著性检测模型，以此对待处理RGB‑D图像进行显著性检测。本发明的方法简单可靠，操作方便，易于实现，便于推广应用。CN113963170ACN113963170A权利要求书1/1页1.一种基于交互式特征融合的RGBD图像显著性检测方法，其特征在于包括以下步骤：步骤一、建立训练用图像样本集；步骤二、建立图像显著性检测模型；对所述图像样本集中各个图像，先利用多层次卷积神经网络模块对彩色图像和深度图像分别进行多级彩色和深度图像特征提取，并且利用交叉特征融合模块，对于深层次卷积提取的彩色和深度图像特征进行多级点乘融合，获得初始显著图像，然后，利用Inception结构对初始显著图像进行多尺度融合，输出网络预测显著图像，最后，利用所述网络预测显著图像和目标显著图像求解焦点熵损失函数，学习到图像显著性检测模型的最优参数，获得训练好的图像显著性检测模型；步骤三、将待处理RGB‑D图像输入训练好的图像显著性检测模型，通过模型计算，输出对应的显著性检测结果即显著性图。2.根据权利要求1所述的基于交互式特征融合的RGBD图像显著性检测方法，其特征在于：所述交叉特征融合模块包括第一卷积和第二卷积，利用第一卷积对彩色图像特征进行特征提取，利用第二卷积对深度图像特征进行特征提取，再通过点乘方式提取彩色和深度图像特征的公共特征，并进行融合变换，然后利用第三卷积，将融合后的特征通过卷积和激活操作，分别与原始的彩色图像特征和深度图像特征进行合并。3.根据权利要求2所述的基于交互式特征融合的RGBD图像显著性检测方法，其特征在于：所述第一卷积、第二卷积和第三卷积的结构相同。4.根据权利要求1所述的基于交互式特征融合的RGBD图像显著性检测方法，其特征在于：所述多层次卷积神经网络模块包括相同的两条支路，分别作用于彩色图像和深度图像，均采用FCN结构，包括五层卷积，第一卷积采用标准卷积块，其余各层卷积均采用全局‑局部特征提取卷积块；所述全局‑局部特征提取卷积块包括全局分支和局部分支，所述局部分支先用步长为2的卷积将输入特征图降为原始特征图的1/4，再利用步长为1的两个相同的卷积进行局部特征提取，所述全局分支采用瓶颈结构进行全局特征提取，最后，利用点乘方式对提取到的全局特征和局部特征进行融合。5.根据权利要求4所述的基于交互式特征融合的RGBD图像显著性检测方法，其特征在于：所述步长为1的卷积的卷积核大小为3×3，激活函数为ReLU。6.根据权利要求1所述的基于交互式特征融合的RGBD图像显著性检测方法，其特征在于：所述焦点熵损失函数设置为其中，y和分别表示目标显著图像和网络预测显著图像，γ表示常数，α表示平衡因子。2CN113963170A说明书1/5页一种基于交互式特征融合的RGBD图像显著性检测方法技术领域[0001]本发明涉及图像处理的技术领域，具体涉及一种基于交互式特征融合的RGBD图像显著性检测方法。背景技术[0002]在自动驾驶、机器人和虚拟现实等应用领域，寻找场景中显著性目标，过滤与任务相关性较弱的信息，对降低系统计算复杂度，提高场景理解能力具有重要意义，是计算机视觉领域的核心问题和研究热点之一。[0003]近年来，随着深度卷积神经网络在图像处理领域的广泛应用，显著性检测迅猛发展，大量基于颜色、亮度等视觉特征的显著性模型被相继提出。Li等人在“Vi