基于移动端单目和IMU融合的稳定运动跟踪方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105931275A(43)申请公布日2016.09.07(21)申请号201610346191.6(22)申请日2016.05.23(71)申请人北京暴风魔镜科技有限公司地址100191北京市海淀区知春路7号致真大厦C座7层(72)发明人邓欢军方维乔羽李根古鉴(74)专利代理机构北京恩赫律师事务所11469代理人刘守宪(51)Int.Cl.G06T7/20(2006.01)权利要求书3页说明书10页附图3页(54)发明名称基于移动端单目和IMU融合的稳定运动跟踪方法和装置(57)摘要本发明公开了一种基于移动端单目和IMU融合的稳定运动跟踪方法和装置，属于AR/VR运动跟踪技术领域，所述方法包括：判断图像的当前帧的跟踪特征点数目是否大于预设阈值，如果是，则采用光流法进行特征点跟踪，得到相机的当前位姿，如果否，则采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿；对相机的当前位姿进行卡尔曼滤波，得到视觉位姿；获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿；对视觉位姿和IMU位姿进行卡尔曼融合，并进行运动跟踪。与现有技术相比，本发明能够在移动端设备上获取更加稳定和快速的运动跟踪。CN105931275ACN105931275A权利要求书1/3页1.一种基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，包括：获取图像；判断图像的当前帧的跟踪特征点数目是否大于预设阈值，如果是，则采用光流法进行特征点跟踪，得到相机的当前位姿，如果否，则采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿；对相机的当前位姿进行卡尔曼滤波，得到视觉位姿；获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪。2.根据权利要求1所述的基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，所述采用光流法进行特征点跟踪，得到相机的当前位姿包括：对图像的前后相邻两帧图像上的对应匹配特征点集，计算得到两帧图像间的基础矩阵；根据基础矩阵和相机的内参数，计算得到本质矩阵；根据本质矩阵，采用SVD恢复得到相邻帧间的相对位姿；将相对位姿与已获取的前一帧的相机的绝对位姿相乘，得到相机的当前位姿。3.根据权利要求1所述的基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，所述采用光流法进行特征点跟踪，得到相机的当前位姿包括：在跟踪成功的特征点周围分别取一定大小的块，采用图像相关性算法SSD，去除不满足阈值的特征点。4.根据权利要求1-3中任一所述的基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，所述采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿包括：对图像当前帧使用FAST特征检测算子获取特征点，采用BRIEF算法计算描述子并与初始帧特征匹配，直接计算初始帧到当前帧的变换矩阵；将变换矩阵与初始帧的相机的绝对位姿相乘，得到相机的当前位姿。5.根据权利要求4所述的基于移动端单目和IMU融合的稳定运动跟踪方法，其特征在于，所述对相机的当前位姿进行卡尔曼滤波，得到视觉位姿包括：步骤1：对于图像的各帧，采用光流法累积所得结果和特征点直接匹配所获结果进行卡尔曼滤波，得到更加准确的相机的当前姿态，并进行不断迭代变换；-步骤2：采用离散卡尔曼滤波的更新方程，计算得到当前的协方差估计Pk，具体的，离散卡尔曼滤波的更新方程为：-TPk＝APk-1A+Q其中，是光流法计算得到的相机姿态，A为状态转移矩阵，B是控制增益，Pk-1是前一帧的协方差估计，Q是噪声协方差矩阵；步骤3：采用观测方程，计算卡尔曼增益Kk，具体的，观测方程为：zk＝Hxk+vk2CN105931275A权利要求书2/3页-T-T-1Kk＝PkH(HPkH+R)其中，zk是通过FAST特征点匹配算法计算得到的相机姿态，H是观测矩阵，vk表示观测噪声，R是观测噪声的协方差矩阵；步骤4：根据离散卡尔曼滤波器状态更新方程，更新系统设置：6.一种基于移动端单目和IMU融合的稳定运动跟踪装置，其特征在于，包括：获取模块：用于获取图像；视觉跟踪模块：用于判断图像的当前帧的跟踪特征点数目是否大于预设阈值，如果是，则采用光流法进行特征点跟踪，得到相机的当前位姿，如果否，则采用FAST特征检测算子获取特征点，并采用BRIEF算法计算描述子对图像进行特征匹配，得到相机的当前位姿；滤波模块：用于对相机的当前位姿进行卡