面向室内SLAM的视觉惯性融合定位方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115218906A(43)申请公布日2022.10.21(21)申请号202210849157.6(22)申请日2022.07.19(71)申请人浙江农林大学地址311300浙江省杭州市临安区武肃街666号(72)发明人吕艳刘大鹏倪益华倪忠进侯英岢杨维鑫(74)专利代理机构北京润平知识产权代理有限公司11283专利代理师郑磊(51)Int.Cl.G01C21/20(2006.01)G01C21/16(2006.01)G01C25/00(2006.01)权利要求书2页说明书9页附图3页(54)发明名称面向室内SLAM的视觉惯性融合定位方法及系统(57)摘要本发明涉及人工智能技术领域，提供一种面向室内SLAM的视觉惯性融合定位方法及系统，双目鱼眼摄像头获取视频图像数据，通过视频图像数据相邻帧之间的I‑LK光流法特征追踪，IMU采集位置和姿态数据，进行预积分处理；将多源数据进行松耦合后融合确定系统初始化参数值，由关键帧策略确定关键帧数据；关键帧数据通过视觉位姿初始化和IMU预积分对齐；外参在线标定、视觉惯性初始化和紧耦合非线性优化，由基于关键帧的滑动窗口构建移动机器人六自由度位姿，已知当前帧相机的位置，通过IMU信息可以预测场景的空间特征点在下一帧图像的位置，从而提高特征点跟踪的稳定性，能够在实现移动机器人定位精度的前提下，提升系统鲁棒性。CN115218906ACN115218906A权利要求书1/2页1.一种面向室内SLAM的视觉惯性融合定位方法，其特征在于，所述面向室内SLAM的视觉惯性融合定位方法包括，步骤S1，通过双目鱼眼摄像头获取视频图像数据，并通过视频图像数据相邻帧之间的I‑LK光流法特征追踪，得到第一数据；步骤S2，由惯性测量单元采集位置和姿态数据，进行预积分处理后得到第二数据；步骤S3，将所述第一数据和所述第二数据松耦合后交互融合确定系统初始化参数值，并由关键帧策略确定关键帧数据；其中，关键帧数据通过视觉位姿初始化和惯性测量单元预积分对齐后输出为第三数据；步骤S4，将所述第三数据通过外参在线标定、视觉惯性初始化和紧耦合非线性优化，由基于关键帧的滑动窗口构建移动机器人六自由度位姿。2.根据权利要求1所述的面向室内SLAM的视觉惯性融合定位方法，其特征在于，在步骤S3中，关键帧策略包括，步骤S31，由双目鱼眼摄像头获得情景特征信息后进行初始化，将稳定获取的第一帧图像设置为参考关键帧；步骤S32，根据图像的环境特征变化确定上一个关键帧和当前帧平均视差，当平均视差D小于设定阈值ε，则输出非关键帧；当平均视差D大于或等于设定阈值ε，则输出预选关键帧；步骤S33，当预选关键帧跟踪的特征数量低于设置阈值δ，将当前预选关键帧作为关键帧。3.根据权利要求1所述的面向室内SLAM的视觉惯性融合定位方法，其特征在于，在步骤S2中，预积分处理包括，步骤S21，将惯性测量单元状态量的积分项拆分为第i时刻的固定积分项和第i至j时刻的预积分相对量；步骤S22，离散时间下惯性测量单元测量数据由预积分模型转换后，分为固定积分项和预积分相对量。4.根据权利要求1所述的面向室内SLAM的视觉惯性融合定位方法，其特征在于，步骤S1中，I‑LK光流法特征追踪包括，步骤S11，在获取视频图像数据的原始图像上采样后形成多层金字塔图像；步骤S12，将大位移光流矢量自上而下分解成在各层图像上符合微小运动的光流，且在该图像层领域内进行光流迭代求解得到金字塔图像矢量分量；步骤S13，将金字塔图像各矢量分量累加得到光流矢量，并在逆光流反向追踪剔除误匹配。5.根据权利要求1所述的面向室内SLAM的视觉惯性融合定位方法，其特征在于，在步骤S4中，外参在线标定包括双目鱼眼摄像头与惯性测量单元相对位置和姿态参数标定；双目鱼眼摄像头与惯性测量单元之间时间差参数标定。6.根据权利要求1所述的面向室内SLAM的视觉惯性融合定位方法，其特征在于，视觉位姿初始化包括经过特征提取、I‑LK追踪匹配和图像关键帧挑选后，采用视觉里程计通过光束平差法估计相机位姿和路标点，相机获取到轨迹位姿信息。7.根据权利要求1‑6任意一项所述的面向室内SLAM的视觉惯性融合定位方法，其特征2CN115218906A权利要求书2/2页在于，视觉惯性初始化包括陀螺仪偏置求解过程、重力矢量估计过程、重力方向细化过程、加速度计偏置过程和速度解算过程。8.一种用于实施权利要求1‑7任意一项所述的面向室内SLAM的视觉惯性融合定位方法的系统，其特征在于，所述系统包括，获取单元，包括多个双目鱼眼摄像头，用于通过双目鱼眼摄像头获取视频图像数据，并通过视频图像数据相邻帧之间的I‑LK光流法特征追踪，得到第一数据；预积分单元，用于由惯性测量单元采集位置和姿态数据，