目标检测模型构建方法、目标检测方法、装置和计算设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035357A(43)申请公布日2022.09.09(21)申请号202110194080.9(22)申请日2021.02.20(71)申请人北京图森智途科技有限公司地址101300北京市顺义区中关村科技园区顺义园临空二路1号(72)发明人杨陈弘毅黄泽昊王乃岩(51)Int.Cl.G06V10/774(2022.01)G06V20/56(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书3页说明书13页附图5页(54)发明名称目标检测模型构建方法、目标检测方法、装置和计算设备(57)摘要本公开提供了一种目标检测模型的构建方法、目标检测方法、装置和计算设备，用以解决现有方案中单阶段目标检测器对于小物体检测性能较差的问题。该目标检测模型的构建方法包括：构建特征提取网络，该特征提取网络用于对输入图片进行特征提取，得到多层特征图，该多层特征图包括第一特征图和第二特征图；构建目标检测网络，目标检测网络包括与多层特征图对应的多个网络层，多个网络层包括第一网络层和第二网络层；第一网络层用于对第一特征图进行查询操作，并将所得到的查询结果传输给第二网络层，查询结果包括第一特征图中特定目标的查询点；第二网络层用于确定查询点在第二特征图中的映射区域，并在映射区域内进行检测操作，得到检测结果。CN115035357ACN115035357A权利要求书1/3页1.一种目标检测模型的构建方法，包括：构建特征提取网络，所述特征提取网络用于对输入图片进行特征提取，得到具有不同尺寸的多层特征图，所述多层特征图包括第一特征图和第二特征图；构建目标检测网络，所述目标检测网络包括与多层特征图对应的多个网络层，所述多个网络层包括第一网络层和第二网络层；所述第一网络层与所述第一特征图对应，用于对所述第一特征图进行查询操作，并将所得到的查询结果传输给所述第二网络层，所述查询结果包括所述第一特征图中特定目标的查询点；所述第二网络层与所述第二特征图对应，用于确定所述查询点在所述第二特征图中的映射区域，并在所述映射区域内进行检测操作，得到检测结果。2.根据权利要求1所述的方法，其中，所述第一网络层还用于对所述第一特征图进行检测操作，得到检测结果。3.根据权利要求1所述的方法，其中，所述目标检测网络有多个第二网络层，每个第二网络层均从所述第一网络层中接收所述查询结果，并将所述查询结果映射为对应的第二特征图中的映射区域。4.根据权利要求1所述的方法，其中，所述多层特征图还包括第三特征图，所述目标检测网络还包括与所述第三特征图对应的第三网络层，所述第二网络层还用于：对所述第二特征图中的映射区域进行查询操作，得到对应的查询结果；将所得到的查询结果传输给所述第三网络层，以便所述第三网络层将该查询结果中的查询点映射为对应的第三特征图中的映射区域，并在该映射区域内进行检测操作，得到检测结果。5.根据权利要求1所述的方法，其中，所述第二网络层还用于：提取所述映射区域的图像特征来构建稀疏张量；采用稀疏卷积在所述映射区域内进行检测操作和/或查询操作。6.根据权利要求1所述的方法，其中，所述多层特征图还包括附加特征图；所述目标检测网络还包括与所述附加特征图对应的附加网络层；所述附加网络层用于对所述附加特征图进行检测操作，得到检测结果。7.根据权利要求1‑6中任一项所述的方法，还包括：构建输出网络，所述输出网络用于将各网络层进行检测操作后所得到的检测结果进行合并输出。8.根据权利要求1所述的方法，其中，所述特征提取网络包括：主干网络，用于对输入图片进行特征提取，得到初始的多层特征图；和特征金字塔网络，用于对所述初始的特征图进行上采样和特征融合，得到改进后的多层特征图。9.根据权利要求1所述的方法，其中，所述第二特征图通过对第一特征图进行上采样和特征融合后得到，所述第二特征图的尺寸为所述第一特征图的m倍，且m＞1。10.根据权利要求9所述的方法，其中，所述第二网络层根据所述第一特征图和第二特征图之间的放大倍数，将所述查询点映射为所述第二特征图中的多个点，得到所述映射区2CN115035357A权利要求书2/3页域。11.根据权利要求1所述的方法，其中，所述检测操作包括回归操作和分类操作中的至少一种；所述检测结果包括回归结果和分类结果中的至少一种。12.根据权利要求11所述的方法，其中，所述目标检测网络包括分类网络、回归网络、查询网络；所述分类操作、回归操作和查询操作分别由分类网络、回归网络、查询网络执行。13.根据权利要求1所述的方法，其中，所述查询结果包括查询结果图；所述查询结果图包括对应特征图中各位置点存在所述特定目标的概率；所述查询点为概率值大于等于预设阈值的位置点。14.根据权利要