一种基于伪标签融合的双目深度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113706599A(43)申请公布日2021.11.26(21)申请号202111266794.2(22)申请日2021.10.29(71)申请人纽劢科技（上海）有限公司地址201210上海市浦东新区张江高科技园区川和路55弄4号501室(72)发明人张颖魏杰科曹豫成二康(74)专利代理机构上海三方专利事务所(普通合伙)31127代理人吴玮(51)Int.Cl.G06T7/593(2017.01)G06T7/30(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书3页附图2页(54)发明名称一种基于伪标签融合的双目深度估计方法(57)摘要本发明涉及自动驾驶技术领域，具体来说是一种基于伪标签融合的双目深度估计方法，包括通过双目相机获得左右图；对左右图进行立体匹配，计算出深度图作为伪标签；还包括：通过深度图和置信度网络对左右图进行训练，获得深度图与置信度图；将深度图、置信度图和立体匹配的深度图结合，放入融合网络；获取融合后的深度图，并与真值计算损失函数，反向传播训练模型。本发明所提供的一种基于伪标签融合的双目深度估计方法，既能保留深度学习方法泛化能力强的优势，又能结合传统方法精度高的优点，使本发明的深度图系统在各场景环境下均能保持良好的精度与鲁棒性。CN113706599ACN113706599A权利要求书1/1页1.一种基于伪标签融合的双目深度估计方法，包括通过双目相机获得左右图；对左右图进行立体匹配，计算出深度图作为伪标签；其特征在于所述方法还包括：通过深度图和置信度网络对左右图进行训练，获得深度图与置信度图；将深度图、置信度图和立体匹配的深度图结合，放入融合网络；获取融合后的深度图，并与真值计算损失函数，反向传播训练模型。2.如权利要求1所述的一种基于伪标签融合的双目深度估计方法，其特征在于所述方法具体如下：步骤a.获得双目相机采集的左右视图；步骤b.深度学习神经网络包括获得深度图模型与置信度模型，输入左右图并通过深度图模型获得图像中每个像素点的深度，利用该深度与深度图真值构建损失函数；步骤c.将左右视图用双目立体匹配的方法获得深度图；步骤d.将深度学习的深度图、传统方法深度图、置信度图进行叠加，并放入融合网络，得到融合后的深度图，并将融合后的结果与真值构建损失函数；步骤e.将两个损失函数进行加权，反向传播训练模型，多轮训练反向传播后得到最终输出模型；步骤f.在推理阶段，通过训练好的模型预测深度图与置信度，同时计算传统深度图，进行融合得到最后结果。3.如权利要求2所述的一种基于伪标签融合的双目深度估计方法，其特征在于所述步骤b包括如下步骤：通过深度学习训练得到深度图模型与置信度模型后，输入左右图给深度图模型并获得当前帧左图的深度图D1，以及该深度图对应的置信度图，然后将深度图与真实深度图构建损失函数：loss1=L1(D1,Dgt)，其中，L1()表示L1loss，Dgt表示该帧图像对应的深度图真值，D1表示深度图模型得到的深度图。4.如权利要求2所述的一种基于伪标签融合的双目深度估计方法，其特征在于所述的步骤d包括如下步骤：将步骤b得到的深度图D1和步骤c得到深度图D2及置信度网络得到的置信度图C1在通道方向进行叠加，并将叠加后的图像放入融合网络，得到融合后的深度图D3，并将该深度图与真值求loss，构建有监督损失函数：loss2=L1(D3,Dgt)，其中，L1()表示L1loss，Dgt表示该帧图像对应的深度图真值，D3表示融合后的深度图。2CN113706599A说明书1/3页一种基于伪标签融合的双目深度估计方法技术领域[0001]本发明涉及自动驾驶技术领域，具体来说是一种基于伪标签融合的双目深度估计方法。背景技术[0002]NHTSA将无人驾驶技术分为6个等级，分别是0‑5，其中L0为全人工控制的一般车辆，L1级别又称辅助驾驶，可以实现简单的加减速，L2级别又称部分自动驾驶，可以实现L1级别的所有内容的同时还能实现自动泊车，而L4、L5级别都能实现全自动驾驶，区别在于L4级别只能在特定的道路和天气下实现全自动驾驶而L5级别可以适应全地形和全气候。深度估计是无人驾驶的重要技术，在自动驾驶过程中的障碍物检测，测距，三维目标检测都有着重要的应用。获取障碍物的距离信息，可以通过激光雷达，红外，单目相机，双目相机等多种传感器。相机是自动驾驶中最常见的传感器，单目相机进行深度估计很难获得尺度信息，且动态物体会对单目深度估计造成很大的挑战，双目相机可以利用左右目的基线信息恢复尺度，但现有技术中，由于光线和场景影响，基于视觉的双目深度图估计不够往往鲁棒。[0003]传统方法通过寻找双目图像左右帧匹配