基于多尺度特征融合的视觉场景中镜面检测方法、系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299368A(43)申请公布日2022.04.08(21)申请号202111580757.9(22)申请日2021.12.22(71)申请人上海交通大学地址200240上海市闵行区东川路800号(72)发明人李衍皓谭鑫马利庄(74)专利代理机构上海科盛知识产权代理有限公司31225代理人丁云(51)Int.Cl.G06V10/80(2022.01)G06V10/40(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书2页说明书7页附图2页(54)发明名称基于多尺度特征融合的视觉场景中镜面检测方法、系统(57)摘要本发明涉及一种基于多尺度特征融合的视觉场景中镜面检测方法、系统，该方法包括：提取原始图像的多尺度特征，得到多层级特征；对于每一层级的特征，分别与相邻层级的特征进行特征堆叠与融合，得到每一层级下同时包含深层次语义信息以及高分辨率下位置信息的融合特征；基于各层级的融合特征，从最深层级开始逐层向浅层级合并解码得到镜面检测结果。与现有技术相比，本发明融合多尺度的特征信息，对镜面目标的检测能力增强。CN114299368ACN114299368A权利要求书1/2页1.一种基于多尺度特征融合的视觉场景中镜面检测方法，其特征在于，该方法包括：提取原始图像的多尺度特征，得到多层级特征；对于每一层级的特征，分别与相邻层级的特征进行特征堆叠与融合，得到每一层级下同时包含深层次语义信息以及高分辨率下位置信息的融合特征；基于各层级的融合特征，从最深层级开始逐层向浅层级合并解码得到镜面检测结果。2.根据权利要求1所述的一种基于多尺度特征融合的视觉场景中镜面检测方法，其特征在于，所述的融合特征具体通过如下方式获得：S100：记当前处理的层级下的特征为fi，对浅一层级提取到的特征fi‑1进行下采样，使得特征图的尺寸和fi对齐；S110：对深一层级提取到的特征fi+1进行插值上采样，使得特征图的尺寸和fi对齐；S120‑S140：对经过上、下采样的fi+1、fi‑1以及fi分别进行卷积操作，得到通道数一致的中间特征；S150：将得到的中间特征拼接在一起；S160：将拼接的中间特征送入卷积层进行运算；S170：fi通过单一卷积层进行运算；S180：将S160、S170的运算结果叠加得到融合特征。3.根据权利要求1所述的一种基于多尺度特征融合的视觉场景中镜面检测方法，其特征在于，从最深层级开始逐层向浅层级合并解码具体包括：对最深层级的融合特征进行空洞卷积交互融合操作，将输出特征进行非线性变化组合；将非线性变化组合后的特征与上一层级的融合特征叠加合并，对合并后的特征进行空洞卷积交互融合操作，将输出特征进行非线性变化组合并传输至上一层级循环进行叠加合并、空洞卷积交互融合操作直至最浅层级输出镜面检测结果。4.根据权利要求3所述的一种基于多尺度特征融合的视觉场景中镜面检测方法，其特征在于，所述的空洞卷积交互融合操作包括：S200、对待处理的特征作扩张率为1的标准卷积；S210、对待处理的特征作扩张率为2的空洞卷积；S220、将S200、S210得到的不同感受野下特征进行拼接；S230、将拼接后的特征进行卷积操作得到输出特征。5.根据权利要求3所述的一种基于多尺度特征融合的视觉场景中镜面检测方法，其特征在于，非线性变化组合后的特征与上一层级的融合特征叠加合并时非线性变化组合后的特征进行上采样使得特征图的尺寸和上一层级的融合特征尺寸一致。6.一种基于多尺度特征融合的视觉场景中镜面检测系统，其特征在于，该系统包括：特征提取网络：提取原始图像的多尺度特征，得到多层级特征；编码单元：用于对每一层级的特征分别与相邻层级的特征进行特征堆叠与融合，得到每一层级下同时包含深层次语义信息以及高分辨率下位置信息的融合特征；解码单元：基于各层级的融合特征，从最深层级开始逐层向浅层级合并解码得到镜面检测结果。7.根据权利要求6所述的一种基于多尺度特征融合的视觉场景中镜面检测系统，其特2CN114299368A权利要求书2/2页征在于，所述的编码单元包括多组特征堆叠模块，分别用于对每一层级的特征进行融合编码，所述的特征堆叠模块包括：下采样层和上采样层：用于对浅一层级提取到的特征fi‑1进行下采样，对上次层级提取的特征fi+1进行上采样，使得相邻层的特征图的尺寸和当前处理的层级的特征fi尺寸一致；第一卷积层、第二卷积层和第三卷积层：对经过上、下采样的fi+1、fi‑1以及fi分别进行卷积操作，得到通道数一致的中间特征；特征图拼接层：将得到的中间特征拼接在一起；第四卷积层：将拼接的中间特征送入卷积层进行运算；第五卷积层：对当前处理的层级的特征fi进行单一卷积运算；