一种基于双目相机的车前行人测距方法及终端.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115063778A(43)申请公布日2022.09.16(21)申请号202210746748.0G06V10/75(2022.01)(22)申请日2022.06.29G06V10/774(2022.01)G06V10/82(2022.01)(71)申请人福建盛海智能科技有限公司G06T7/80(2017.01)地址350200福建省福州市长乐区文武砂G06N3/04(2006.01)镇壶江路2号中国东南大数据产业园G06N3/08(2006.01)研发楼二期2号楼(72)发明人郑敏冲(74)专利代理机构福州市博深专利事务所(普通合伙)35214专利代理师唐燕玲(51)Int.Cl.G06V20/58(2022.01)G06V40/10(2022.01)G06V10/24(2022.01)G06V10/25(2022.01)权利要求书3页说明书8页附图3页(54)发明名称一种基于双目相机的车前行人测距方法及终端(57)摘要本发明提供一种基于双目相机的车前行人测距方法及终端，包括：对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于双目相机预先拍摄的行人视频集训练得到行人识别模型；启动双目相机，采用行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，若识别到行人目标则提取行人目标在当前车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；随机提取行人目标的多个关键节点，并在ROI深度图中获取各个关键节点的深度信息，以各个关键节点的深度信息的均值作为行人距离，并将识别到行人目标的车前图像和行人距离实时显示在车载显示屏中。本发明可在行人前方有遮挡物的情况下快速且精确地测量车辆与目标行人的距离。CN115063778ACN115063778A权利要求书1/3页1.一种基于双目相机的车前行人测距方法，其特征在于，包括步骤：S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。2.根据权利要求1所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S2具体为：S21、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像逐帧进行行人目标识别，若识别到所述行人目标，则执行步骤S22和步骤S23，否则继续识别下一帧所述车前图像；S22、截取所述行人目标在当前帧下的所述车前图像上的最小外切矩形区域，并获取所述最小外切矩形的四个顶点坐标，生成图像掩膜；S23、提取所述图像掩膜中所述行人目标所在的ROI区域，去除背景信息及位于所述行人目标前方的遮挡物信息后采用所述立体匹配对所述ROI区域进行立体校正，得到ROI深度图。3.根据权利要求1所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S3中随机提取所述行人目标的多个关键节点，具体为：利用AlphaPose代码随机提取所述行人目标的18个关键节点。4.根据权利要求1所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S1中对双目相机进行标定，具体为：采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；所述步骤S1中对所述双目相机进行立体匹配，具体为：采用SGBM算法，从所述双目相机预先拍摄的所述行人视频集中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参和所述外参对所述某一帧图像进行立体校正，得到校正完成的图像深度图；对所述图像深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述图像深度图的深度信息与所述某一帧图像对应帧下的行人距所述双目相机的实际距离之间的误差小于预设距离为止。5.根据权利要求4所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S1中基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型，具体为：采用yolov4神经网络算法，利用所述双目相机预先拍摄车辆行驶过程中在不同场景下的行人图像，对所述行人图像中的行人进行标记，并将标记好的所述行人图像按预设比例随机划分为训练集、测试集和验证集，进行训练、测试和验证后最终得到所述行人识别模型。2CN115063778A权利要求书2/3页6.一种基于双目