基于深度学习模型的回环检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972953A(43)申请公布日2022.08.30(21)申请号202210637720.3G06V10/74(2022.01)(22)申请日2022.06.07G06T7/73(2017.01)G01C21/20(2006.01)(71)申请人沈阳航空航天大学G01C21/00(2006.01)地址110136辽宁省沈阳市道义经济开发区道义南大街37号(72)发明人石祥滨刘翠微毕静刘芳张德园武卫东李照奎李琳吕浩杰郑竣太(74)专利代理机构沈阳维特专利商标事务所(普通合伙)21229专利代理师张倩怡(51)Int.Cl.G06V10/82(2022.01)G06V10/774(2022.01)G06V10/764(2022.01)权利要求书2页说明书6页附图1页(54)发明名称基于深度学习模型的回环检测方法(57)摘要本发明提供了一种基于深度学习模型的回环检测方法，包括：通过手持相机采集室内环境图像数据，并对室内环境图像数据进行筛选、整理、修改格式，获取输入数据作为网络输入；利用室内环境图像数据对YOLO目标检测模型进行预训练，获得最终YOLO目标检测模型；将输入数据输入最终YOLO目标检测模型进行目标检测，将检测结果输出文件保存，获取输出数据；将输出数据利用局部敏感哈希函数进行降维，利用余弦距离判别是否产生回环；建立回环缓冲机制，在特定时间内，单次检测到的回环并不足以构成良好的约束，多次检测到的回环则判定为正确的回环。能更准确识别回环、减少计算、节约时间成本。CN114972953ACN114972953A权利要求书1/2页1.一种基于深度学习模型的回环检测方法，其特征在于，所述回环检测方法包括：数据处理，通过手持相机采集室内环境图像数据，并对所述室内环境图像数据进行筛选、整理、修改格式，获取输入数据作为网络输入；预训练YOLO目标检测模型，利用所述室内环境图像数据对YOLO目标检测模型进行预训练，获得最终YOLO目标检测模型；获取输出数据，将所述输入数据输入所述最终YOLO目标检测模型进行目标检测，将检测结果输出文件保存，获取输出数据；判断回环，将所述输出数据利用局部敏感哈希函数进行降维，利用余弦距离判别是否产生回环；验证回环，建立回环缓冲机制，在特定时间内，单次检测到的回环并不足以构成良好的约束，多次检测到的回环则判定为正确的回环。2.根据权利要求1所述的基于深度学习模型的回环检测方法，其特征在于，所述数据处理包括：选取每12帧中的一帧作为当前帧，即每秒选取两帧，获取筛选帧；将所有所述筛选帧的图像按照时间戳顺序在文件文本中存储，将对应时间戳的彩色图像与深度图像对应，获取输入数据‑多个关键帧。3.根据权利要求1所述的基于深度学习模型的回环检测方法，其特征在于，所述预训练YOLO目标检测模型包括：利用数据标注软件，对采集到的所述室内环境图像数据进行标注，所述标注包括目标种类和数量；根据所述目标种类和数量，修改所述YOLO目标检测模型的配置文件中参数的值；利用GPU对所述YOLO目标检测模型进行预训练，设置迭代次数，生成权重文件，获取最终YOLO目标检测模型。4.根据权利要求3所述的基于深度学习模型的回环检测方法，其特征在于，所述获取输出数据包括：目标检测，将所述输入数据‑关键帧输入所述最终YOLO目标检测模型中，检测每个所述关键帧中的包含的目标种类与数量，获取检测结果；数据存储，将所述检测结果保存到文本文件中，所述检测结果以向量方式存储，所述向量的第一个值为对应图像的时间戳的值，其余值为对应的目标数量，获取输出数据。5.根据权利要求4所述的基于深度学习模型的回环检测方法，其特征在于，所述判断回环包括：构造哈希函数表，将所述输出数据作为训练文本，将所述训练文本输入基于余弦距离的局部敏感哈希算法构造哈希函数表；新观测数据分类，在机器人的实际运动过程中采集新观测数据，通过查询所述哈希函数表，获取新观测数据对应的哈希桶位置，并将所述新观测数据存储在相应的所述哈希桶中；判别为回环，取最终落在相同哈希桶中的相似的所述新观测数据进行余弦距离比较，当相似的两帧图像的余弦距离小于当前帧与相邻所述关键帧的余弦距离则判定为可能形成了回环。2CN114972953A权利要求书2/2页6.根据权利要求5所述的基于深度学习模型的回环检测方法，其特征在于，所述余弦距离为：式中，A和B分别表示两帧图像的向量；Ai和Bi分别为两帧图像的特征向量中对应的目标种类的数量。7.根据权利要求5所述的基于深度学习模型的回环检测方法，其特征在于，所述验证回环为：根据时间一致性检测原则，设立回环缓存机制，在所述新观测数据中只有一帧检测到回环可以认定为是场景相似，并将该结果进行保存，若在此帧之后的一段时