基于双目相机的参数立体匹配方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114155303A(43)申请公布日2022.03.08(21)申请号202210120352.5(22)申请日2022.02.09(71)申请人北京中科慧眼科技有限公司地址100085北京市海淀区创业中路32号楼32-1-1-559(72)发明人杨超(74)专利代理机构北京远立知识产权代理事务所(普通合伙)11502代理人李海燕(51)Int.Cl.G06T7/80(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图1页(54)发明名称基于双目相机的参数立体匹配方法和系统(57)摘要本发明公开了一种基于双目相机的参数立体匹配方法和系统，所述方法包括：获取目标检测区域内的左右图像；基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。解决了现有用于自动驾驶的参数匹配算法准确性差、计算速度慢的技术问题。CN114155303ACN114155303A权利要求书1/2页1.一种基于双目相机的参数立体匹配方法，其特征在于，所述方法包括：获取目标检测区域内的左右图像；基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。2.如权利要求1所述的参数立体匹配方法，其特征在于，所述通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图，具体包括：利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图。3.如权利要求2所述的参数立体匹配方法，其特征在于，所述第一特征维度包括：[w,h,dim],[w/2,h/2,dim*2],[w/4,h/4,dim*4]，所述第二特征维度包括[w/4,h/4,dim*4],[w/2,h/2,dim*2]，[w,h,dim]，其中，w是指左右特征图宽度，h是指左右特征图高度，dim是左右特征图数量。4.如权利要求3所述的参数立体匹配方法，其特征在于，利用以下公式对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值：其中，为聚合后的代价值，为聚合前的代价值，r为传播方向上的单位距离，d为当前视差，di为视差搜索范围内的遍历视差值，λi为惩罚项的最优值，disp‑n为视差的搜索范围。5.如权利要求4所述的参数立体匹配方法，其特征在于，所述监督学习策略具体包括：基于激光雷达点云获取真实视差值和本立体匹配方案前向推理的预测视差值；计算所述真实视差值与所述预测视差值的差值，并将所述差值逐层求取相对于权重参数的梯度，依次根据模型结构进行随机梯度下降的方式进行向前传播；沿着梯度的反方向随机的调整所述权重参数，使所述差值逐步减小。6.如权利要求5所述的参数立体匹配方法，其特征在于，通过反向传播结果调整所述权重参数，具体包括：随机抽取m个样本作为一个批次，计算平均差值，根据平均差值计算梯度，在沿着梯度下降的方向进行权重参数的调整。7.一种基于双目相机的参数立体匹配系统，其特征在于，所述系统包括：图像获取单元，用于获取目标检测区域内的左右图像；特征图获取单元，用于基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；聚合结果输出单元，用于基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。8.如权利要求7所述的参数立体匹配系统，其特征在于，所述特征图获取单元具体用于：2CN114155303A权利要求书2/2页利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图。9.一种电子设备，其特征在于，所述电子设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1‑6任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1‑6任一项所述的方法。3CN114155303A说明书1/7页基于双目相机的参数立体匹配方法和系统技术领域[0001]本申请实施例涉及自动驾驶技术领域，具体涉及一种基于双目相机的参数立体匹配方