基于深度学习的单目视觉里程计位姿优化与误差修正方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113989318A(43)申请公布日2022.01.28(21)申请号202111221271.6(22)申请日2021.10.20(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人肖卓凌宋濡君朱然(74)专利代理机构北京正华智诚专利代理事务所(普通合伙)11870代理人李林合(51)Int.Cl.G06T7/215(2017.01)G06T7/246(2017.01)G01C25/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图1页(54)发明名称基于深度学习的单目视觉里程计位姿优化与误差修正方法(57)摘要本发明公开了一种基于深度学习的单目视觉里程计位姿优化与误差修正方法，其包括获取图像数据，并计算对应的光流图像序列；采用固定步长滑动窗口对光流图片序列进行分割，得到若干分割后的输入序列数据，并利用编码器获得各输入序列数据的高维度运动特征；将高维度运动特征输入人工神经网络；利用位姿变换相似性计算模块对运动的时序关系和运动的局部上下文信息进行运动相似性建模，并利用注意力机制指导优化位姿特征，得到经过运动相似性提纯的运动特征；将运动相似性提纯后的运动特征输入位姿修正预测网络，实现位姿优化和误差修正。本发明充分挖掘和建模了图像运动数据中的时序关系和连续运动的相似性，提高了鲁棒性。CN113989318ACN113989318A权利要求书1/2页1.一种基于深度学习的单目视觉里程计位姿优化与误差修正方法，其特征在于，包括以下步骤：S1、获取图像数据，并计算对应的光流图像序列；S2、采用固定步长滑动窗口对光流图片序列进行分割，得到若干分割后的输入序列数据，并利用编码器获得各输入序列数据的高维度运动特征；S3、将高维度运动特征输入人工神经网络，得到运动的时序关系和运动的局部上下文信息；S4、将步骤S3的结果输入位姿变换相似性计算模块进行运动相似性建模，得到运动时序关系的运动相关性特征和运动的局部上下文信息的运动相关性特征；并基于运动相关性特征利用注意力机制指导优化位姿特征，得到运动相似性提纯后的运动特征；S5、将通过运动相似性提纯的运动特征输入位姿修正预测网络，进行位姿优化和误差修正。2.根据权利要求1所述的基于深度学习的单目视觉里程计位姿优化与误差修正方法，其特征在于，步骤S1的具体方法为：S1‑1、设置单目视觉传感器的采样频率，并采样得到三通道彩色RGB图像序列；S1‑2、根据公式Flot＝F(It‑1,It)计算三通道彩色RGB图像序列的光流图像序列；其中Flot为t时刻的光流图像，F(·)为光流计算公式，It‑1为t‑1时刻的三通道彩色RGB图像，以及It为t时刻的三通道彩色RGB图像。3.根据权利要求2所述的基于深度学习的单目视觉里程计位姿优化与误差修正方法，其特征在于：单目视觉传感器的采样频率设置为20Hz；三通道彩色RGB图像的数据维度为(1226,370,3)，光流图像的数据维度为(1226,370,2)；每两张三通道彩色RGB图像帧对应计算得到一张对应的光流图像帧。4.根据权利要求1所述的基于深度学习的单目视觉里程计位姿优化与误差修正方法，其特征在于，步骤S2中得到若干分割后的输入序列数据的具体方法为：利用长度为9且步长为9的滑动窗口对光流图像序列进行分割，得到长度为9的输入序列数据；其中每个输入序列数据均为四维张量数据，且维度为(9,1226,370,2)，包含滑动窗口长度下光流图像在三个维度下的数据。5.根据权利要求1所述的基于深度学习的单目视觉里程计位姿优化与误差修正方法，其特征在于，步骤S3中的具体方法为：将高维度运动特征输入包括两层串联的长短时记忆网络的人工神经网络，并根据公式：it＝σ(ωixxt+ωihht‑1+bi)gt＝tanh(ωgxxt+ωghht‑1+bg)ft＝σ(ωfxxt+ωfhht‑1+bf)ct＝ft⊙ct‑1+it⊙gtot＝σ(ωoxxt+ωohht‑1+bo)ht＝ot⊙tanh(ct‑1)得到运动的局部上下文信息ht，即t时刻的隐藏单元状态，和运动的时序关系ot，即长短时记忆网络在t时刻的输出；其中it为长短时记忆网络t时刻的输入门状态，σ(·)为2CN113989318A权利要求书2/2页sigmoid激活函数，ωix为输入数据的权重，xt为t时刻的输入状态，ωih为输入数据对应隐藏单元的权重，ht‑1为t‑1时刻的隐藏单元状态，bi为输入数据对应的偏置，gt为t时刻的输入数据候选信息，tanh(·)为激活函数，ωgx为输入数据候选信息的权重，ωgh为输入数据候选信息对应隐藏单元