一种基于图像语义分割网络的空间距离预测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114119973A(43)申请公布日2022.03.01(21)申请号202111308309.3(22)申请日2021.11.05(71)申请人武汉中海庭数据技术有限公司地址430000湖北省武汉市硚口区古田一路28号新工厂产业园7号A楼(72)发明人贾腾龙王小亮辛梓赵彦植(74)专利代理机构武汉蓝宝石专利代理事务所(特殊普通合伙)42242代理人范三霞(51)Int.Cl.G06V10/26(2022.01)G06V10/46(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图4页(54)发明名称一种基于图像语义分割网络的空间距离预测方法及系统(57)摘要本发明涉及一种基于图像语义分割网络的空间距离预测方法及系统，其方法包括：获取单目相机的图像序列，并从所述图像序列中提取具有一个或多个相同语义目标的多帧图像；利用训练完成的语义分割网络提取每帧图像的多个关键轮廓点；利用训练完成的深度估计网络估计所有关键轮廓点的深度值。本发明结合了语义分割网络和深度估计网络来预测空间距离，能够实时提供制图所需的地图要素三维空间位置信息，且具有较强的鲁棒性，适用于各种场景，并保留了一定的数据完整性。CN114119973ACN114119973A权利要求书1/2页1.一种基于图像语义分割网络的空间距离预测方法，其特征在于，包括：获取单目相机的图像序列，并从所述图像序列中提取具有一个或多个相同语义目标的多帧图像；利用训练完成的语义分割网络提取每帧图像的多个关键轮廓点；利用训练完成的深度估计网络估计所有关键轮廓点的深度值。2.根据权利要求1所述的基于图像语义分割网络的空间距离预测方法，其特征在于，所述利用训练完成的语义分割网络提取每帧图像的多个关键轮廓点包括：利用训练完成的Unet分割出每帧图像的多个语义目标；提取每个语义目标的多个关键轮廓点；将多张图像的关键轮廓点进行匹配，剔除无法匹配的关键轮廓点。3.根据权利要求1所述的基于图像语义分割网络的空间距离预测方法，其特征在于，所述训练完成的深度估计网络通过如下步骤进行训练：利用残差网络对多帧图像进行特征提取，然后通过解码器恢复所述多帧图像的深度分布，估计所有关键点对应的深度值；根据多帧图像中的三维空间相对位置关系和姿态变化反演多个同名关键点的深度值；根据所述多个同名关键点的深度值与其对应于深度估计网络的估计值的误差，确定交叉熵损失函数；根据所述交叉熵损失函数训练所述深度估计网络，直至所述误差低于阈值且趋于稳定，得到训练完成的深度估计网络。4.根据权利要求3所述的基于图像语义分割网络的空间距离预测方法，其特征在于，所述根据多帧图像中的三维空间相对位置关系和姿态变化反演多个同名关键点的深度值包括：根据相机内参矩阵的逆矩阵，并利用当前帧的一个历史帧计算多个同名关键点在历史帧中的三维坐标；根据当前帧与所述历史帧之间的位姿变化，计算转换矩阵；根据所述转换矩阵，将每个所述同名关键点在历史帧中的三维坐标转换并重投影到当前帧中，得到多个重投影点及其在当前帧的位置。5.根据权利要求4所述的基于图像语义分割网络的空间距离预测方法，其特征在于，还包括：根据所述多个重投影点及其在当前帧的位置，计算多个同名关键点的深度值。6.根据权利要求1至5任一项所述的基于图像语义分割网络的空间距离预测方法，其特征在于，所述获取单目相机的图像序列，并从所述图像序列中提取具有一个或多个相同语义目标的多帧图像包括：根据车辆最小行驶里程从所述图像序列中提取两帧图像。7.一种基于图像语义分割网络的空间距离预测系统，其特征在于，包括：获取模块，用于获取单目相机的图像序列，并从所述图像序列中提取具有一个或多个相同语义目标的多帧图像；提取模块，用于利用训练完成的语义分割网络提取每帧图像的多个关键轮廓点；估计模块，用于利用训练完成的深度估计网络估计所有关键轮廓点的深度值。8.根据权利要去7所述的基于图像语义分割网络的空间距离预测系统，其特征在于，所2CN114119973A权利要求书2/2页述提取模块包括分割单元、提取单元和匹配单元，所述分割单元，用于利用训练完成的Unet分割出每帧图像的多个语义目标；所述提取单元，用于提取每个语义目标的多个关键轮廓点；所述匹配单元，用于将多张图像的关键轮廓点进行匹配，剔除无法匹配的关键轮廓点。9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6任一项所述的基于图像语义分割网络的空间距离预测方法。10.一种计算机可读介质，其上存储有