多目标检测方法、装置及其应用.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114220076A(43)申请公布日2022.03.22(21)申请号202111559680.7G06V10/766(2022.01)(22)申请日2021.12.20G06V10/80(2022.01)G06V10/82(2022.01)(71)申请人城云科技（中国）有限公司G06N3/04(2006.01)地址310052浙江省杭州市滨江区长河街G06N3/08(2006.01)道江南大道588号恒鑫大厦主楼17层、G06K9/62(2022.01)18层(72)发明人郁强张香伟毛云青金仁杰(74)专利代理机构杭州汇和信专利代理有限公司33475代理人薛文玲(51)Int.Cl.G06V20/52(2022.01)G06V20/40(2022.01)G06V10/44(2022.01)G06V10/764(2022.01)权利要求书3页说明书12页附图5页(54)发明名称多目标检测方法、装置及其应用(57)摘要本申请提出了一种多目标检测方法、装置及其应用，该方法包括：获取待检测图像；将所述待检测图像输入多目标检测模型得到检测结果；其中，所述多目标检测模型包括依次相连的主干网络、颈部模块和预测头部；每一所述主干层用于得到具有多尺度特征信息和通道注意力加权后的第二特征图；所述颈部模块用于对不同主干层输出的所述第二特征图进行特征聚合得到聚合特征图；所述预测头部用于根据所述聚合特征图进行多目标检测。该方法不仅可以提取多尺度特征信息，还可以根据输入的待检测图像尺寸不同，灵活地调整卷积核的参数，更加有效地提取更细粒度的多尺度空间信息，建立更长距离的通道依赖关系，自适应地对多尺度的通道注意力向量重新进行特征标定。CN114220076ACN114220076A权利要求书1/3页1.多目标检测方法，其特征在于，包括以下步骤：获取待检测图像；将所述待检测图像输入多目标检测模型得到检测结果；其中，所述多目标检测模型包括依次相连的主干网络、颈部模块和预测头部；所述主干网络包括CBM模块以及多个主干层，每一所述主干层包括CSP模块，所述CSP模块中残差单元的卷积层均被替换为分割注意力模块，所述CBM模块用于根据所述待检测图像获取第一特征图，所述CSP模块用于将所述第一特征图进行切分后提取多尺度特征和通道注意力加权，得到具有多尺度特征信息和通道注意力加权后的第二特征图；所述颈部模块用于对不同主干层输出的所述第二特征图进行特征聚合得到聚合特征图；所述预测头部用于根据所述聚合特征图进行多目标检测。2.根据权利要求1所述的多目标检测方法，其特征在于，所述分割注意力模块包括依次连接的SPC模块、SE权重模块以及特征重标定模块；所述SPC模块用于将所述第一特征图均分后进行不同尺度的特征提取，并融合提取到的特征得到具有多尺度特征信息的第一多尺度特征图；所述SE权重模块用于从所述第一多尺度特征图中提取不同尺度通道注意力向量；所述特征重标定模块用于对所述不同尺度通道注意力向量重新进行特征标定，得到新的多尺度通道交互之后的注意力权重；根据所述注意力权重对所述第一多尺度特征图进行加权得到具有多尺度特征信息和注意力加权的第二特征图。3.根据权利要求2所述的多目标检测方法，其特征在于，所述SPC模块包括特征分割模块和特征融合模块，所述特征分割模块用于将所述第一特征图按通道数均分为多个第一特征子图，并将所述第一特征子图进行不同尺度的内卷卷积得到对应的第一内卷特征子图，融合多个所述第一内卷特征子图得到具有多尺度特征信息的第一多尺度特征图。4.根据权利要求1所述的多目标检测方法，其特征在于，所述主干网络包括第一主干层、第二主干层及第三主干层，其中所述第一主干层输出大尺寸第二特征图，所述第二主干层输出中尺寸第二特征图，所述第三主干层输出小尺寸第二特征图。5.根据权利要求1所述的多目标检测方法，其特征在于，所述预测头部包括第一检测层、第二检测层及第三检测层，其中所述第一检测层输出预测大目标的预测框，所述第二检测层输出预测中目标的预测框，所述第三检测层输出预测小目标的预测框，通过非极大值抑制选出标签损失最小的预测框。6.根据权利要求5所述的多目标检测方法，其特征在于，所述颈部模块包括CBL模块和SPP模块，其中所述CBL模块用于提取特征，所述SPP模块用于对提取到的特征进行多尺度融合；且所述颈部模块采用FPN层结合PAN层的结构从不同主干层对不同检测层进行特征聚合，所述FPN层自顶向下传达强语义特征，所述PAN层自底向上传达强定位特征。7.根据权利要求6所述的多目标检测方法，其特征在于，所述预测头部的各个检测层包括分类模块和回归模块，所述回归模块采用CIOU_Loss的回归方式，根据所述强语义特征和所述