基于三维特征约束的单目深度图像位姿优化方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113902847A(43)申请公布日2022.01.07(21)申请号202111182817.1(22)申请日2021.10.11(71)申请人岱悟智能科技（上海）有限公司地址200000上海市浦东新区自由贸易试验区芳春路400号1幢3层(72)发明人李锐剑谭钧耀吕文涛赵希亭(74)专利代理机构上海精晟知识产权代理有限公司31253代理人赵海鹏(51)Int.Cl.G06T17/00(2006.01)G06T7/73(2017.01)G06T7/33(2017.01)权利要求书3页说明书6页附图3页(54)发明名称基于三维特征约束的单目深度图像位姿优化方法(57)摘要本发明涉及三维稠密重建技术领域，具体涉及一种基于三维特征约束的单目深度图像位姿优化方法，包括：S100、提取所述多帧单目深度图像的特征点，生成特征点地图，所有特征点均不相同，且每一特征点被所述单目深度相机至少观测到一次；S200、对每一特征点在所述特征点地图中的世界坐标，以及所述多帧单目深度图像中的每一帧的相机位姿进行优化；S300、根据所述第一欧式距离、所述第二欧式距离和所述帧fi的新位姿生成误差函数，并求解非线性最小二乘问题，得到优化后的相机位姿。CN113902847ACN113902847A权利要求书1/3页1.一种基于三维特征约束的单目深度图像位姿优化方法，用于对多帧单目深度图像进行优化，并且所述多帧单目深度图像通过单目深度相机采集，并基于三维点云配准生成，其特征在于，包括：S100、提取所述多帧单目深度图像的特征点，生成特征点地图，所有特征点均不相同，且每一特征点被所述单目深度相机至少观测到一次；S200、对每一特征点在所述特征点地图中的世界坐标，以及所述多帧单目深度图像中的每一帧的相机位姿进行优化，具体为：S201、选取被所述单目深度相机观测次数大于等于两次的特征点，最小化其世界坐标到所有观测值之间的欧式距离，得到第一欧式距离；S202、对所述特征点地图中的每一个特征点，最小化其世界坐标到所述三维点云的欧氏距离，得到第二欧式距离；S203、统计所述多帧单目深度图像中的每一帧中包含的被所述单目深度相机观测次数大于等于两次的特征点的数量q，选取q＜15的帧fi，通过约束所述帧fi与其前后相邻的两帧的相对位姿，使得所述帧fi的位姿接近所述单目深度相机的初始位姿，得到所述帧fi的新位姿；S300、根据所述第一欧式距离、所述第二欧式距离和所述帧fi的新位姿生成误差函数，并求解非线性最小二乘问题，得到优化后的相机位姿。2.根据权利要求1所述的基于三维特征约束的单目深度图像位姿优化方法，其特征在于，步骤S100具体为：S101、对所述多帧单目深度图像中的每一帧提取1000个ORB特征，根据每一个二维特征点对应单目深度图像中的深度值，通过所述单目深度相机的内参得到三维特征点；S102、若存在非零深度值，将对应的三维特征点标记为有效特征点，否则标记为失效特征点；S103、根据时间顺序，利用ORB特征匹配算法将第i帧数据中的有效特征点与第1，2，…，i‑1帧中的有效特征点进行匹配；S104、所述单目深度相机对所有有效特征点进行观测，并建立所述特征点地图，当一个有效特征点被首次观测，则将其加入所述特征点地图，当一个有效特征点被多次观察，则仅修改所述特征点地图中对应的该有效特征点的被观测次数属性。3.根据权利要求1所述的基于三维特征约束的单目深度图像位姿优化方法，其特征在于，步骤S201采用的最小化公式为：其中，表示当特征点Pk在第i帧被观测到时，其在第i帧相机系下的三维坐标，表示特征点Pk在世界系下的三维坐标，Ti(·)表示从第i帧相机系到世界系的变换，ρ(·)表示胡伯损失，Ti表示第i帧单目深度图像的相机位姿。4.根据权利要求3所述的基于三维特征约束的单目深度图像位姿优化方法，其特征在于，步骤S202采用的最小化公式为：2CN113902847A权利要求书2/3页其中，为第i帧单目深度图像的相机位姿初值，cloud(p)表示返回所述三维点云中离p最近的点。5.根据权利要求4所述的基于三维特征约束的单目深度图像位姿优化方法，其特征在于，通过位姿图优化误差项计算所述帧fj与其前后相邻的两帧之间的误差，所述位姿图优化误差项表示为：其中，e6×1是一个六维误差向量，前三维表示平移误差，后三维表示旋转误差，与分别表示第i帧与第j帧在世界系的坐标，表示世界系到第i帧相机系的旋转矩阵，表示第j帧在第i帧相机系的坐标，表示第j帧到第i帧的旋转四元数，表示第j帧相机系到世界系的旋转四元数，[·]xyz表示取四元数的虚数部分，第i帧表示所述帧fi，第j帧表示所述帧fi前后相邻的两帧。6.一种室内三维建模方法，