显著性物体的检测方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111428805A(43)申请公布日2020.07.17(21)申请号202010251865.0(22)申请日2020.04.01(71)申请人南开大学地址300350天津市津南区海河教育园区同砚路38号(72)发明人许静邱宇刘云朱静雯(74)专利代理机构北京布瑞知识产权代理有限公司11505代理人孟潭(51)Int.Cl.G06K9/62(2006.01)G06K9/46(2006.01)G06T9/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书10页附图6页(54)发明名称显著性物体的检测方法、装置、存储介质及电子设备(57)摘要本发明提供了一种显著性物体的检测方法、检测装置、计算机可读存储介质以及电子设备，通过编码操作和解码操作以获取待检测图像中的显著性物体的位置信息和轮廓信息，其中，编码操作包括N层级第一卷积操作，解码操作包括与第一卷积操作对应的N层级第二卷积操作，下一层级第二卷积操作包括对上一层级第二卷积操作的输出图像和该上一层级第二卷积操作对应的第一卷积操作的输出图像进行的第一融合操作，在解码操作中融合对应编码操作的输出图像，可以结合编码操作得到的信息，从而提高检测精度；并且部分第二卷积操作包括多个具有不同空洞率且并行的空洞卷积操作，可以从多个尺度去学习得到多个尺度的信息，从而进一步提高检测精度。CN111428805ACN111428805A权利要求书1/2页1.一种显著性物体的检测方法，其特征在于，包括：对待检测图像进行编码操作，得到所述待检测图像的编码图像；其中所述编码操作具体包括N层级第一卷积操作，第M+1层级第一卷积操作的输入图像为第M层级第一卷积操作的输出图像；以及对所述编码图像进行解码操作，得到所述待检测图像中的显著性物体图像；其中所述解码操作具体包括与所述N层级第一卷积操作对应的N层级第二卷积操作，第M层级第二卷积操作包括对第M+1层级第二卷积操作的输出图像和所述第M+1层级第一卷积操作的输出图像进行的第一融合操作；其中，所述N层级第二卷积操作中的部分第二卷积操作在所述第一融合操作之后，还包括具有不同空洞率且并行的多个空洞卷积操作，N、M为整数且N>M≥1。2.根据权利要求1所述的检测方法，其特征在于，所述部分第二卷积操作包括：与所述多个空洞卷积操作并行的第一池化操作；以及对所述多个空洞卷积操作的输出图像和所述第一池化操作的输出图像进行第二融合操作。3.根据权利要求2所述的检测方法，其特征在于，在所述多个空洞卷积操作、所述第一池化操作之后，所述部分第二卷积操作还包括：分别与所述多个空洞卷积操作、所述第一池化操作对应的多个注意力卷积操作；所述对所述多个空洞卷积操作的输出图像和所述第一池化操作的输出图像进行第二融合操作包括：对所述多个注意力卷积操作的输出图像进行所述第二融合操作。4.根据权利要求3所述的检测方法，其特征在于，所述部分第二卷积操作还包括：与所述多个空洞卷积操作并行的注意力残差卷积操作；所述对所述多个空洞卷积操作的输出图像和所述第一池化操作的输出图像进行第二融合操作包括：对所述多个注意力卷积操作的输出图像和所述注意力残差卷积操作的输出图像进行第二融合操作。5.根据权利要求4所述的检测方法，其特征在于，所述注意力卷积操作包括通道注意力卷积操作和空间注意力卷积操作；和/或所述注意力残差卷积操作包括通道注意力卷积操作和空间注意力卷积操作。6.根据权利要求2所述的检测方法，其特征在于，在所述第二融合操作之后，所述部分第二卷积操作还包括：残差叠加操作，所述残差叠加操作具体包括：将所述多个空洞卷积操作的输入图像和所述第二融合操作的输出图像进行叠加操作。7.根据权利要求2所述的检测方法，其特征在于，在所述N层级第一卷积操作之后，所述编码操作还包括：语义指导操作，所述语义指导操作具体包括：将所述编码图像的语义信息和每一层级第二卷积操作的输入图像进行第三融合操作。8.一种显著性物体的检测模型，其特征在于，包括：编码模块，用于对待检测图像进行编码操作，得到所述待检测图像的编码图像；其中所2CN111428805A权利要求书2/2页述编码操作具体包括N层级第一卷积操作，第M+1层级第一卷积操作的输入图像为第M层级第一卷积操作的输出图像；以及解码模块，用于对所述编码图像进行解码操作，得到所述待检测图像中的显著性物体图像；其中所述解码操作具体包括与所述N层级第一卷积操作对应的N层级第二卷积操作，第M层级第二卷积操作包括对第M+1层级第二卷积操作的输出图像和所述第M+1层级第一卷积操作的输出图像进行的第一融合操作；其中，所述N层级第二卷积操作中的部分第二卷积操作在所述第一融合操作之后，还包括具有不同空洞率且并