一种基于车路协同的无盲区感知方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115690746A(43)申请公布日2023.02.03(21)申请号202211458007.9G06V10/80(2022.01)(22)申请日2022.11.16G06V10/44(2022.01)G06N3/08(2023.01)(71)申请人武汉深图智航科技有限公司G06N3/0464(2023.01)地址430056湖北省武汉市经济技术开发区南太子湖创新谷一期CD2栋1层102室(72)发明人高铭吕小磊彭峰张明帅褚端峰(74)专利代理机构武汉智嘉联合知识产权代理事务所(普通合伙)42231专利代理师姜婷(51)Int.Cl.G06V20/58(2022.01)G06V20/56(2022.01)G06V10/82(2022.01)权利要求书2页说明书8页附图3页(54)发明名称一种基于车路协同的无盲区感知方法和系统(57)摘要本申请公开了一种基于车路协同的无盲区感知方法和系统，该方法包括：获取车载端点云数据、车载端视觉数据和路侧端点云数据；根据车载端点云数据和车载端视觉数据，确定车载端目标检测结果；利用预设配准方法，对车载端点云数据和路侧端点云数据进行配准，确定全局定位信息；根据全局定位信息，获取路侧端目标检测结果；根据车载端目标检测结果和路侧端目标检测结果得到全局目标检测结果。本发明能够融合路侧检测结果和车载端目标检测结果，实现当前场景全局无盲区感知，为自动驾驶车辆提供准确、丰富的环境感知信息，克服了自动驾驶车辆感知范围存在盲区的问题，为车辆未来的轨迹规划分析提供基础。CN115690746ACN115690746A权利要求书1/2页1.一种基于车路协同的无盲区感知方法，其特征在于，包括；获取车载端点云数据、车载端视觉数据和路侧端点云数据；根据所述车载端点云数据和车载端视觉数据，确定车载端目标检测结果；利用预设配准方法，对所述车载端点云数据和路侧端点云数据进行配准，确定全局定位信息；根据所述全局定位信息，获取路侧端目标检测结果；根据所述车载端目标检测结果和路侧端目标检测结果得到全局目标检测结果。2.根据权利要求1所述的一种基于车路协同的无盲区感知方法，其特征在于，根据所述车载端点云数据和车载端视觉数据，确定车载端目标检测结果，包括：将所述车载端点云数据和车载端视觉数据输入到训练完备的目标检测网络模型中，提取点云3D边界框和图像2D边界框，对所述点云3D边界框和图像2D边界框进行匹配，确定车载端目标检测结果。3.根据权利要求2所述的一种基于车路协同的无盲区感知方法，其特征在于，所述目标检测网络模型包括降采样模块、特征点提取模块、体素集合抽样模块、2D边界框提取模块和目标融合模块；所述降采样模块，用于将所述车载端点云数据分割为多个体素，并对多个所述体素进行降采样，得到多尺度降采样特征图；所述特征点提取模块，用于提取所述多尺度降采样特征图的关键特征点，并将所述多尺度降采样特征图投影为2D鸟瞰特征图；所述体素集合抽样模块，用于根据所述2D鸟瞰特征图和关键特征点生成点云3D边界框，并将所述点云3D边界框在预设方向上进行投影，得到投影边界框；所述2D边界框提取模块，用于根据所述车载端视觉数据提取图像2D边界框；所述目标融合模块，用于对所述投影边界框和图像2D边界框进行匹配，得到车载端目标检测结果。4.根据权利要求3所述的一种基于车路协同的无盲区感知方法，其特征在于，所述降采样模块包括多个3D稀疏卷积层。5.根据权利要求3所述的一种基于车路协同的无盲区感知方法，其特征在于，所述目标融合模块对所述投影边界框和图像2D边界框进行匹配，包括：将所述投影边界框在点云坐标系的坐标转换到图像坐标系下，得到所述投影边界框在图像坐标系下的坐标。6.根据权利要求1所述的一种基于车路协同的无盲区感知方法，其特征在于，所述预设配准方法为NDT配准算法。7.根据权利要求6所述的一种基于车路协同的无盲区感知方法，其特征在于，利用预设配准方法，对所述车载端点云数据和路侧端点云数据进行配准，确定全局定位信息，包括：将所述路侧端点云数据划分为多个立体栅格；确定多个所述立体栅格的NDT模型；建立所述车载端点云数据与所述立体栅格的转换矩阵，并根据所述转换矩阵得到所述车载端点云数据的转换点云数据；构建以所述转换矩阵作为自变量，以所述转换点云数据与立体栅格NDT模型匹配度为2CN115690746A权利要求书2/2页因变量的全局目标函数；利用预设优化方法对所述全局目标函数进行求解，得到所述最优转换矩阵，并根据所述最优转换矩阵对所述车载端点云数据和路侧端点云数据进行配准。8.根据权利要求7所述的一种基于车路协同的无盲区感知方法，其特征在于，所述预设优化方法为海森矩阵优化法。9.根据权利要求1所述的一种基