目标检测方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114283317A(43)申请公布日2022.04.05(21)申请号202111420267.2G06V10/80(2022.01)(22)申请日2021.11.26G06V10/82(2022.01)G06K9/62(2022.01)(71)申请人中国传媒大学G06N3/04(2006.01)地址100026北京市朝阳区定福庄东街一G06N3/08(2006.01)号中国传媒大学2号楼G06F16/36(2019.01)(72)发明人吴晓雨张愉刘茜(74)专利代理机构北京聿宏知识产权代理有限公司11372代理人陈超德吴昊(51)Int.Cl.G06V20/00(2022.01)G06V10/40(2022.01)G06V10/77(2022.01)G06V10/774(2022.01)G06V10/764(2022.01)权利要求书2页说明书10页附图3页(54)发明名称目标检测方法、装置、设备和存储介质(57)摘要本发明公开了一种目标检测方法、装置、设备和存储介质。目标检测方法，包括：确定目标检测数据集，对目标检测数据集进行目标检测，提取图像特征；对图像特征嵌入第一数据库的标注知识，得到增强后的图像特征；将增强后的图像特征送入分类器进行检测，得到目标检测得分；对图像特征嵌入第二数据库的文本知识并处理，得到矫正分数；基于目标检测得分和矫正分数，得到目标检测的最终分类得分。采用本发明，可以提高目标检测的分类和定位能力，提高检测能力。CN114283317ACN114283317A权利要求书1/2页1.一种目标检测方法，其特征在于，包括：确定目标检测数据集，对所述目标检测数据集进行目标检测，提取图像特征；对所述图像特征嵌入第一数据库的标注知识，得到增强后的图像特征；将所述增强后的图像特征送入分类器进行检测，得到目标检测得分；对所述图像特征嵌入第二数据库的文本知识并处理，得到矫正分数；基于所述目标检测得分和所述矫正分数，得到目标检测的最终分类得分。2.根据权利要求1所述的方法，其特征在于，所述图像特征包括视觉特征和几何特征；所述对所述图像特征嵌入第一数据库的标注知识，得到增强后的图像特征，包括：基于所述第一数据库的标注知识构建出属性知识图和关系知识图，其中，所述标注知识包括属性信息和关系信息；对所述视觉特征嵌入所述属性知识图、所述关系知识图得到第一知识图谱，根据所述第一知识图谱和所述图像特征生成第一增强特征；基于所述几何特征构建第二知识图谱，根据所述第二知识图谱和所述图像特征生成第二增强特征；将所述图像特征、所述第一增强特征和所述第二增强特征融合，得到所述增强后的图像特征。3.根据权利要求2所述的方法，其特征在于，所述对所述视觉特征嵌入所述属性知识图、所述关系知识图得到第一知识图谱，根据所述第一知识图谱和所述图像特征生成第一增强特征，包括：对所述视觉特征嵌入所述属性知识图、所述关系知识图，通过多层感知机获取第一知识图谱的边权值并生成第一知识图谱；将所述第一知识图谱的边权值、预设的第一维度变换矩阵和所述图像特征相乘，得到所述第一增强特征。4.根据权利要求2所述的方法，其特征在于，所述基于所述几何特征构建第二知识图谱，根据所述第二知识图谱和所述图像特征生成第二增强特征，包括：将所述几何特征作为输入，通过多层感知机获取第二知识图谱的边权值并生成第二知识图谱；将所述第二知识图谱的边权值、预设的第二维度变换矩阵和所述图像特征相乘，得到所述第二增强特征。5.根据权利要求1所述的方法，其特征在于，所述对所述图像特征嵌入第二数据库的文本知识并处理，得到矫正分数，包括：基于所述第二数据库学习得到文本知识，基于所述文本知识和所述图像特征生成语义知识图谱；对所述语义知识图谱的边集合进行自适应激活，生成自适应语义知识图谱；将所述自适应语义知识图谱送入全连接层，获得所述矫正分数。6.根据权利要求1所述的方法，其特征在于，所述基于所述目标检测得分和所述矫正分数，得到目标检测的最终分类得分，包括：将所述目标检测得分和所述矫正分数相乘，得到目标检测的最终分类得分。7.根据权利要求1所述的方法，其特征在于，所述目标检测数据集包括MSCOCO2017数2CN114283317A权利要求书2/2页据集、VG数据集和ADE数据集中的至少一种；所述第一数据库包括VG数据库，所述第二数据库包括GoogleNews数据库。8.一种目标检测装置，其特征在于，包括：特征提取模块，用于确定目标检测数据集，对所述目标检测数据集进行目标检测，提取图像特征；第一嵌入模块，用于对所述图像特征嵌入第一数据库的标注知识，得到增强后的图像特征；分类检测模块，用于将所述增强后的图像特征送入分类器进行检测，得到目标检测