基于视觉惯性融合的四旋翼飞行器定位方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920194A(43)申请公布日2022.01.11(21)申请号202111171135.0(22)申请日2021.10.08(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人李瑞邓质史莹晶后丽丽(74)专利代理机构四川鼎韬律师事务所51332代理人温利平(51)Int.Cl.G06T7/73(2017.01)G06T7/246(2017.01)G06N3/08(2006.01)G06N3/04(2006.01)G06V10/80(2022.01)G01C21/16(2006.01)权利要求书3页说明书8页附图4页(54)发明名称基于视觉惯性融合的四旋翼飞行器定位方法(57)摘要本发明公开了一种基于视觉惯性融合的四旋翼飞行器定位方法，在四旋翼飞行器运动过程中，采用摄像头持续拍摄周围环境图像，采用惯性测量装置测量惯性数据，对于摄像头拍摄的图像序列提取特征点及对应的描述子，进行特征跟踪得到特征点对，然后对图像序列进行目标检测，将特征点对划分为静态特征点对集合和动态特征点对集合，利用静态特征点的运动状态对动态特征点进行运动一致性检测，筛选出可靠特征点对加入静态特征点对集合，根据静态特征点对获取基于视觉的位姿参数，然后根据惯性测量装置测量的惯性数据获取位姿参数，将两个位姿参数融合，得到最终的位姿参数。本发明可以实现在高动态场景下的自主实时稳定定位。CN113920194ACN113920194A权利要求书1/3页1.一种基于视觉惯性融合的四旋翼飞行器定位方法，其特征在于，包括以下步骤：S1：在四旋翼飞行器运动过程中，采用摄像头持续拍摄周围环境图像得到图像序列，同时采用惯性测量装置测量惯性数据；S2：对于摄像头拍摄的图像序列，采用SuperPoint网络提取得到当前帧图像It的特征点集合P，同时获取每个特征点的描述子；S3：对于摄像头拍摄的图像序列，对特征点集合P中的特征点采用双向光流法进行特征跟踪，得到当前帧图像It与上一帧图像It‑1匹配的特征点对集合φL；S4：在采用双向光流法跟踪进行特征跟踪的同时，对特征点集合P中的特征点采用双向描述子法进行特征跟踪，得到当前帧图像It与上一帧图像It‑1匹配的特征点对集合φD；S5：采用如下方法筛选可靠特征点对，得到可靠特征点对集合Qvalid：S5.1：对于特征点集合P中的每个特征点p(i)，i＝1,2,…,K，K表示特征点集合P中特征点数量，判断其在特征点对集合φL和特征点对集合φD中是否存在对应的特征点对，如果均不存在，则不作任何操作，如果只在一个特征点对集合中存在对应特征点对，则将该特征点对加入可靠特征点对集合Qvalid；如果在两个特征点对集合中均存在对应特征点对，则分别记双向光流法得到的特征点对为(p(i),pL,t‑1(i))、双向描述子法得到的特征点对为(p(i),pD,t‑1(i))，然后计算特征点pL,t‑1(i)和pD,t‑1(i)之间的距离，如果距离小于预设阈值，则说明该特征点可靠，将双向描述子法得到的特征点对(p(i),pD,t‑1(i))加入可靠特征点对集合Qvalid，否则说明该特征点待定，将双向光流法得到的特征点对(p(i),pL,t‑1(i))、双向描述子法得到的特征点对(p(i),pD,t‑1(i))均加入待定特征点对集合Qcand；S5.2：根据可靠特征点对集合Qvalid中的特征点对计算得到基础矩阵F；S5.3：对于待定特征点对集合Qcand中每组特征点对(p(i),pL,t‑1(i))和(p(i),pD,t‑1(i))，分别计算这两个特征点对的Sampson误差S(p(i),pL,t‑1(i))、S(p(i),pD,t‑1(i))；S5.4：对于待定特征点对集合Qcand中每组特征点对(p(i),pL,t‑1(i))和(p(i),pD,t‑1(i))，如果S(p(i),pL,t‑1(i))＜S(p(i),pD,t‑1(i))且S(p(i),pL,t‑1(i))＜λ，λ表示预设阈值，则判定特征点对(p(i),pL,t‑1(i))可靠，将其加入可靠特征点对集合Qvalid，如果S(p(i),pD,t‑1(i))＜S(p(i),pL,t‑1(i))且S(p(i),pD,t‑1(i))＜λ，λ表示预设阈值，则判定特征点对(p(i),pD,t‑1(i))可靠，将其加入可靠特征点对集合Qvalid，其他情况不作任何操作；S6：对于摄像头拍摄的图像序列，采用目标检测算法进行目标检测，将检测得到的目标像素点作为当前帧图像It中的动态特征点，其余像素点作为当前帧图像It中的静态特征点；然后对于步骤S5得到的各个特征点对，判断其中当前帧图