一种基于双目相机的车辆盲区障碍物示警方法及终端.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115131992A(43)申请公布日2022.09.30(21)申请号202210746786.6G06T7/80(2017.01)(22)申请日2022.06.29G06T7/55(2017.01)G06N3/08(2006.01)(71)申请人福建盛海智能科技有限公司G06N3/04(2006.01)地址350200福建省福州市长乐区文武砂镇壶江路2号中国东南大数据产业园研发楼二期2号楼(72)发明人郑敏冲(74)专利代理机构福州市博深专利事务所(普通合伙)35214专利代理师唐燕玲(51)Int.Cl.G08G1/16(2006.01)G06V20/58(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)权利要求书3页说明书8页附图3页(54)发明名称一种基于双目相机的车辆盲区障碍物示警方法及终端(57)摘要本发明提供一种基于双目相机的车辆盲区障碍物示警方法及终端，包括：对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；对所述双目相机进行立体匹配；利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。本发明可以在车辆驾驶的过程中识别车辆盲区的障碍物及其障碍物的距离，辅助驾驶员进行驾驶，从而降低因视野盲区或疲劳驾驶而导致的交通事故。CN115131992ACN115131992A权利要求书1/3页1.一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，包括步骤：S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；S2、对所述双目相机进行立体匹配；S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。2.根据权利要求1所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述步骤S1中对双目相机进行标定，获取所述双目相机的内参、外参和畸变参数具体为：采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参矩阵(f，f/dx，f/dy，cx，cy)、畸变参数(k1，k2，k3，k4，k5)和外参矩阵(R，t)，其中f为焦距，f/dx和f/dy分别为x轴和y轴上的归一化焦距，cx和cy为图像的中心，k1、k2和k3为径向畸变参数，k4和k5为切向畸变参数，R为旋转矩阵，t为平移向量；所述步骤S2具体为：S21、采用SGBM算法，从所述双目相机预先拍摄的障碍物视频中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参矩阵和所述外参矩阵对所述某一帧图像进行立体校正，得到校正完成的图像的深度图；S22、对所述深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述深度图的深度信息与所述某一帧图像对应时刻下的障碍物距所述双目相机的实际距离之间的误差小于预设距离为止。3.根据权利要求2所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述神经网络算法为yolov4算法，所述步骤S3具体为：S31、利用所述双目相机预先拍摄不同场景下的道路图像，对所述道路图像中的行人、车辆和其他障碍物进行标记；S32、将标记好的所述道路图像按照3:1的比例随机划分为训练集和测试集；S33、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集对所述yolov4算法进行训练得到障碍物识别模型；S34、采用所述测试集对所述障碍物识别模型进行测试，修正所述障碍物识别模型的精度和运算速度。4.根据权利要求3所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述步骤S4具体为：S41、启动所述双目相机，先开启所述双目相机的其中一目相机实时拍摄位于车辆盲区的图像，并将实时拍摄的图像逐帧传输到所述障碍物识别模型中进行障碍物识别，若未识别到障碍物，则继续处理下一帧图像，若识别到障碍物，则执行步骤S42；S42、开启所述双目相机的另一目相机，利用所述步骤S2中的所述SGBM算法对识别到障碍物的这一帧图像进行立体匹配，获取障碍物的深度信息，得到所述障碍物距离，并在所述车载显示屏中实时显示识别到障碍物的图像及其测得的所述障碍物距离。5.根据权利要求1