基于多传感融合的稠密视差图提取方法、系统和智能终端.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113965742A(43)申请公布日2022.01.21(21)申请号202111570650.6(22)申请日2021.12.21(66)本国优先权数据202110221955.X2021.02.28CN(71)申请人北京中科慧眼科技有限公司地址100085北京市海淀区创业中路32号楼32-1-1-559(72)发明人谢启伟孟然柴华姜安崔峰(74)专利代理机构北京远立知识产权代理事务所(普通合伙)11502代理人李海燕(51)Int.Cl.H04N13/106(2018.01)H04N13/128(2018.01)G06K9/62(2022.01)权利要求书2页说明书8页附图1页(54)发明名称基于多传感融合的稠密视差图提取方法、系统和智能终端(57)摘要本发明公开了一种基于多传感器融合的稠密视差图提取方法、系统和智能终端，方法包括：使用左视图和右视图生成初始匹配代价图集，使用所述激光雷达感知系统获取的点云信息与所述初始匹配代价图集融合,构建能量函数；使所述能量函数最优化，以求解左视图中每个像素的最优视差，即生成所述稠密视差图。从而通过融合双目视差信息和激光雷达深度信息的各自优点，进行视差的计算，进而实现了准确的稠密视差图提取，提高了双目立体视觉系统求解视差的准确度。CN113965742ACN113965742A权利要求书1/2页1.一种基于多传感器融合的稠密视差图提取方法，其特征在于，所述方法包括：获取相同道路场景下的左视图和右视图，以及该道路场景的点云信息；基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集；基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，并基于代价聚合构建能量函数；基于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图。2.根据权利要求1所述的稠密视差图提取方法，其特征在于，所述点云信息为激光雷达感知系统感知范围内获取到的真实物理三维坐标（x，y，z）。3.根据权利要求1所述的稠密视差图提取方法，其特征在于，基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集，具体包括：在所述左视图中选取固定尺寸的模板窗口，在右视图中遍历选取相同尺寸的滑动窗口；滑动最大距离对应最大视差，逐个计算两个窗口的结构相似度值，得到匹配代价值；当滑动距离u与所述点云信息的深度信息z满足关系：其中，b为双目相机成像系统的基线长度，f为相机焦距；则令当前滑动距离对应的所述匹配代价值为0，且令其他滑动距离对应的匹配代价值为最大值，对所述左视图中每个像素点重复上述步骤，生成所述初始匹配代价图集。4.根据权利要求3所述的稠密视差图提取方法，其特征在于，结构相似度值的获取包括以下步骤：利用以下公式，使用SSIM算子计算所述结构相似度值：其中，表示均值，表示方差，表示标准差；C1、C2、C3均为常数。5.根据权利要求1所述的稠密视差图提取方法，其特征在于，所述基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，具体包括：利用以下公式构建能量函数：其中，表示像素P沿着方向r的路径代价；2CN113965742A权利要求书2/2页第一项是像素P在视差为disp的初始代价值；第二项是平滑项，当方向r上相邻视差变化为1时，添加惩罚参数P1，当方向r上相邻视差变化大于1时，添加惩罚参数P2；将路径代价中的数据项进行聚合，每个像素P在视差为disp时，对应r个路径代价值，利用以下公式将多个路径代价值求和记为聚合代价值：。6.根据权利要求5所述的稠密视差图提取方法，其特征在于，所述惩罚参数P1和惩罚参数P2，通过以下公式获得：其中，为左视图中与点云信息有对应关系的点；为左视图中与点云信息没有对应关系的点。7.根据权利要求1所述的稠密视差图提取方法，其特征在于，于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图，具体包括：选择聚合代价值的最小值对应视差作为最终视差值，以生成所述稠密视差图。8.一种基于多传感器融合的稠密视差图提取系统，其特征在于，所述系统包括：基础信息获取单元，用于获取相同道路场景下的左视图和右视图，以及该道路场景的点云信息；代价图集获取单元，用于基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集；能量函数构建单元，用于基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，并基于代价聚合构建能量函数；视差图输出单元，用于基于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图。9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1‑7任