融合激光雷达和双目相机的深度估计方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114140507A(43)申请公布日2022.03.04(21)申请号202111261395.7G06T7/00(2017.01)(22)申请日2021.10.28G06T3/40(2006.01)G06T3/00(2006.01)(71)申请人中国科学院自动化研究所G06T5/50(2006.01)地址100190北京市海淀区中关村东路95号申请人国网山东省电力公司(72)发明人李恩徐光耀杨国栋梁自泽景奉水龙晓宇陈铭浩田雨农郭锐李勇刘海波(74)专利代理机构北京路浩知识产权代理有限公司11002代理人吴欢燕(51)Int.Cl.G06T7/55(2017.01)G06T7/73(2017.01)权利要求书2页说明书9页附图2页(54)发明名称融合激光雷达和双目相机的深度估计方法、装置及设备(57)摘要本发明提供一种融合激光雷达和双目相机的深度估计方法、装置及设备，方法包括：通过雷达相机采集场景深度信息和图像信息，所述雷达相机包括激光雷达和双目相机；对所述场景深度信息和所述图像信息进行标定，得到所述激光雷达和所述双目相机的位姿变换矩阵；根据所述位姿变换矩阵，投影所述场景深度信息至所述图像信息的图像平面上，得到雷达视差图；对所述雷达视差图进行双线性插值，得到上采样雷达视差图；将所述上采样雷达视差图与所述图像信息进行融合，得到目标视差图，可以有效地适应户外照明和物体的纹理等条件难以控制的场景，能够有效地提高匹配的精确度。CN114140507ACN114140507A权利要求书1/2页1.一种融合激光雷达和双目相机的深度估计方法，其特征在于，包括：通过雷达相机采集场景深度信息和图像信息，所述雷达相机包括激光雷达和双目相机；对所述场景深度信息和所述图像信息进行标定，得到所述激光雷达和所述双目相机的位姿变换矩阵；根据所述位姿变换矩阵，投影所述场景深度信息至所述图像信息的图像平面上，得到雷达视差图；对所述雷达视差图进行双线性插值，得到上采样雷达视差图；将所述上采样雷达视差图与所述图像信息进行融合，得到目标视差图。2.根据权利要求1所述的融合激光雷达和双目相机的深度估计方法，其特征在于，所述对所述雷达视差图进行双线性插值，得到上采样雷达视差图之前，还包括：识别所述雷达视差图中的异常投影点，并将所述异常投影点进行清除。3.根据权利要求2所述的融合激光雷达和双目相机的深度估计方法，其特征在于，所述识别所述雷达视差图中的异常投影点，包括：补全所述激光雷达的扫描线；当目标扫描线的雷达深度均大于与所述扫描线相邻的第一扫描线的第一雷达深度和第二扫描线的第二雷达深度时，确定所述目标扫描线为异常投影点组成。4.根据权利要求1所述的融合激光雷达和双目相机的深度估计方法，其特征在于，所述对所述场景深度信息和所述图像信息进行标定，得到所述激光雷达和所述双目相机的位姿变换矩阵，包括：根据所述图像信息，标定所述双目相机的第一相机和第二相机的第一空间相对位置关系；根据所述场景深度信息和所述图像信息，标定所述激光雷达与所述双目相机的第二空间相对位置关系；根据所述第一空间相对位置关系和所述第二空间相对位置关系，构建所述激光雷达和所述双目相机的位姿变换矩阵。5.根据权利要求1所述的融合激光雷达和双目相机的深度估计方法，其特征在于，所述将所述上采样雷达视差图与所述图像信息进行融合，得到目标视差图，包括：根据所述上采样雷达视差图与所述图像信息，确定倾斜窗口模型参数；根据所述倾斜窗口模型参数，确定倾斜平面，并确定所述倾斜平面中任一像素的匹配代价确定规则；根据所述匹配代价确定规则，确定最小化代价的视差图作为目标视差图。6.根据权利要求5所述的融合激光雷达和双目相机的深度估计方法，其特征在于，所述根据所述匹配代价确定规则，确定最小化代价的视差图作为目标视差图，包括：对所述倾斜平面进行随机初始化，得到初始化平面模型；基于所述初始化平面模型，进行视差传播，确定所述视差传播达到预设次数时匹配代价最小的平面对应的视差图作为目标视差图。7.根据权利要求6所述的融合激光雷达和双目相机的深度估计方法，其特征在于，所述进行视差传播之后，还包括：2CN114140507A权利要求书2/2页基于预先确定的最大视差和法向量变化范围，对所述视差传播达到预设次数时匹配代价最小的平面进行优化。8.一种融合激光雷达和双目相机的深度估计装置，其特征在于，包括：采集模块，用于通过雷达相机采集场景深度信息和图像信息，所述雷达相机包括激光雷达和双目相机；标定模块，用于对所述场景深度信息和所述图像信息进行标定，得到所述激光雷达和所述双目相机的位姿变换矩阵；投影模块，用于根据所述位姿变换矩阵，投影所述场景深度信息至所述图像信息的图像平面上，得