障碍物检测方法、模型训练方法、装置及自动驾驶车辆.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887400A(43)申请公布日2022.01.04(21)申请号202111154672.4(22)申请日2021.09.29(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人刘富强王学辉万吉王军马惠敏(74)专利代理机构北京市汉坤律师事务所11602代理人姜浩然吴丽丽(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N20/00(2019.01)权利要求书3页说明书15页附图8页(54)发明名称障碍物检测方法、模型训练方法、装置及自动驾驶车辆(57)摘要本公开提供了一种障碍物检测方法、模型训练方法、装置及自动驾驶车辆，涉及车辆技术领域，尤其涉及计算机视觉、自动驾驶、障碍物检测技术领域。实现方案为：获取相机采集到的待处理图像以及该相机对应的深度图，深度图包括相机的视野范围内的多个地面点各自的深度值；检测待处理图像中的障碍物所在的目标区域；以及至少基于深度图和目标区域，确定障碍物的深度值。CN113887400ACN113887400A权利要求书1/3页1.一种障碍物检测方法，包括：获取相机采集到的待处理图像以及所述相机对应的深度图，所述深度图包括所述相机的视野范围内的多个地面点各自的深度值；检测所述待处理图像中的障碍物所在的目标区域；以及至少基于所述深度图和所述目标区域，确定所述障碍物的深度值。2.根据权利要求1所述的方法，其中，所述深度图是基于所述相机相对于地面的高度、所述相机相对于水平面的俯角以及所述相机的焦距来确定的。3.根据权利要求1或2所述的方法，其中，至少基于所述深度图和所述目标区域，确定所述障碍物的深度值包括：将所述深度图中位于与所述目标区域的下边缘相对应的位置处的深度值确定为所述障碍物的深度值。4.根据权利要求1或2所述的方法，其中，至少基于所述深度图和所述目标区域，确定所述障碍物的深度值包括：基于所述深度图和所述目标区域，确定所述障碍物的参考深度值；预测所述参考深度值的误差；以及基于所述参考深度值和所述误差，确定所述障碍物的深度值。5.根据权利要求4所述的方法，其中，基于所述深度图和所述目标区域，确定所述障碍物的参考深度值包括：将所述深度图中位于与所述目标区域的下边缘相对应的位置处的深度值确定为所述障碍物的参考深度值。6.根据权利要求4或5所述的方法，其中，预测所述参考深度值的误差包括：将所述待处理图像输入经训练的障碍物检测模型，以获得所述参考深度值的误差。7.一种障碍物检测模型的训练方法，包括：获取样本图像和与所述障碍物检测模型联合使用的相机的参数，其中，所述样本图像标注有标注信息，所述标注信息包括所述样本图像中的障碍物和所述障碍物的真实深度值；基于所述参数，确定所述相机对应的深度图，所述深度图包括所述相机的视野范围内的多个地面点各自的深度值；基于所述深度图，确定所述障碍物的参考深度值；将所述样本图像输入所述障碍物检测模型，以获得所述障碍物检测模型的输出，所述输出包括所述参考深度值的预测误差；至少基于所述真实深度值、所述参考深度值和所述预测误差，确定所述障碍物检测模型的损失值；以及基于所述损失值，调整所述障碍物检测模型的参数。8.根据权利要求7所述的方法，其中，所述参数包括所述相机相对于地面的高度、所述相机相对于水平面的俯角以及所述相机的焦距。9.根据权利要求7或8所述的方法，其中，基于所述深度图，确定所述障碍物的参考深度值包括：检测所述样本图像中的障碍物所在的目标区域；以及2CN113887400A权利要求书2/3页将所述深度图中位于与所述目标区域的下边缘相对应的位置处的深度值确定为所述障碍物的参考深度值。10.根据权利要求7‑9中任一项所述的方法，其中，所述标注信息还包括所述障碍物的真实三维属性值，其中，所述障碍物检测模型的输出还包括所述障碍物的预测三维属性值，并且其中，至少基于所述真实深度值、所述参考深度值和所述预测误差，确定所述障碍物检测模型的损失值包括：至少基于所述真实深度值、所述参考深度值、所述预测误差、所述真实三维属性值和所述预测三维属性值，确定所述损失值。11.根据权利要求10所述的方法，其中，所述真实三维属性值和所述预测三维属性值中的每一个包括以下至少之一：所述障碍物的长、宽、高、偏航角、在相机坐标系下的第一坐标、在相机坐标系下的第二坐标。12.一种障碍物检测装置，包括：获取模块，被配置为获取相机采集到的待处理图像以及所述相机对应的深度图，所述深度图包括所述相机的视野范围内的多个地面点各自的深度值；检测模块，被配置为检测所述待处理图像中的障碍物所在的目标区域；以及确定模块，被配置为至少基于所述深度图和所述