基于深度学习的预警制动方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115966102A(43)申请公布日2023.04.14(21)申请号202211731636.4G06V10/82(2022.01)(22)申请日2022.12.30(71)申请人中国科学院长春光学精密机械与物理研究所地址130033吉林省长春市经济技术开发区东南湖大路3888号(72)发明人李航王斌刘帅吴元昊董磊马鑫雪陈玉强朱友强(74)专利代理机构长春中科长光知识产权代理事务所(普通合伙)22218专利代理师郭婷(51)Int.Cl.G08G1/16(2006.01)G06V20/52(2022.01)G06V10/147(2022.01)权利要求书3页说明书7页附图1页(54)发明名称基于深度学习的预警制动方法(57)摘要本发明提供一种基于深度学习的预警制动方法，预警制动系统包括感知层、决策层和应用层；感知层为前端可见光相机；决策层为数据处理模块；应用层为制动控制单元；基于深度学习的预警制动方法包括如下步骤：S1、可见光相机用于采集图像数据并标注，建立所述图像数据与车辆位置和距离信息映射关系并生成数据集；S2、构建深度估计残差网络模型，对深度估计残差网络模型进行训练，得到最终的网络权重；S3、初始化网络权重参数，将原始图像数据送入到网络中，得出目标的位置和距离信息，制定相应的制动等级，并将相应的制动命令传递至后端制动控制系统。本发明具有成本低便于部署，可探测距离远，精确度高的特点。CN115966102ACN115966102A权利要求书1/3页1.一种基于深度学习的预警制动方法，利用预警制动系统实现，所述预警制动系统包括感知层、决策层和应用层；所述感知层为前端可见光相机；所述决策层为数据处理模块；所述应用层为制动控制单元；其特征在于，基于深度学习的预警制动方法包括如下步骤：S1、所述可见光相机用于采集图像数据并标注，建立所述图像数据与车辆位置和距离信息映射关系并生成数据集；S2、所述数据处理模块构建深度估计残差网络模型，对所述数据集进行卷积操作提取相应特征进行组合学习，得到图像的特征图模型；对所述深度估计残差网络模型进行训练，得到最终的网络权重；S3、初始化网络权重参数，将原始图像数据送入到网络中，得出目标的位置和距离信息，制定相应的制动等级，并将相应的制动命令传递至后端制动控制系统。2.根据权利要求1所述的基于深度学习的预警制动方法，其特征在于，所述步骤S1包括如下子步骤：S11、在车辆的前方装备有可见光相机，根据天气条件、前方车辆距离和车辆类型的不同，设置不同的成像条件来采集图像数据；S12、在车辆行驶过程中，对采集的图像数据进行标注；S13、建立所述图像数据与车辆位置和距离信息映射关系并生成数据集；S14、将图像数据和对应的车辆位置信息与车辆的距离信息作为样本送入数据集，生成带有标注信息的200条标注图像数据；S15、通过数据集扩充技术，对所述标注图像数据进行翻转、平移和压缩，扩充成10倍的数据构建最终的标注数据集。3.根据权利要求1所述的基于深度学习的预警制动方法，其特征在于，步骤S2包括如下子步骤：S21、构建深度估计网络模型，所述深度估计网络模型的网络为残差网络；所述残差网络模型利用一种多尺度的深度卷积神经网络提取图像中的车辆特征，将416x416大小的图像输入网络，经过步长为2，大小为7x7x64的卷积核进行卷积，得出208x208的特征图像；然后再经过步长为2的3x3大小的池化层和3个Conv2_x的卷积核，得到104x104的输出特征图；然后再经过4个Conv3_x的卷积核，得到52x52的输出特征图；然后再经过23个Conv4_x的卷积核，得到26x26的输出特征图；然后再经过3个Conv5_x的卷积核，得到13x13的输出特征图；S22、对所述残差网络模型进行训练，得到最终的网络权重；采用的损失函数如下：2CN115966102A权利要求书2/3页所述损失函数的建立包括如下步骤：S221、预测的矩形框对角线长度的平方和损失；S222、预测框中心坐标和实际目标中心坐标的平方和损失；通过比较预测框中心点和图像的中心点(xcenter，ycenter)之间的差值，动态调节此部分损失函数的权重，使得神经网络对中心点附近的目标学习效果更好，距离图像中心越近的目标预测越准确；S223、表示像素深度的平方和损失，通过将深度估计损失引入到所述损失函数中进行迭代优化，使得网络最终能够预测当前像素所对应的深度信息；S224、表示置信度的交叉熵损失，通过在所述损失函数中引入置信度损失，来迭代优化最终目标的置信度；参数表示第i个网格的第j个候选框是否包含目标的预测，如果包含那么否则为0；λcoord参数表示此部分损失函数的权重系数；diagonli表示第