一种多源异构感知信息多层级融合表征与目标识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115100618A(43)申请公布日2022.09.23(21)申请号202210732739.6(22)申请日2022.06.27(71)申请人同济大学地址201804上海市嘉定区曹安公路4800号(72)发明人毕欣翁才恩仝盼盼熊璐张博杨士超(74)专利代理机构江苏长德知识产权代理有限公司32478专利代理师李同根(51)Int.Cl.G06V20/56(2022.01)G06V10/75(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)权利要求书2页说明书6页附图1页(54)发明名称一种多源异构感知信息多层级融合表征与目标识别方法(57)摘要本发明公开了一种多源异构感知信息多层级融合表征与目标识别方法，涉及感知信息处理技术领域，该方法包括以下步骤：在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，效果是通过相机、毫米波雷达和激光雷达进行感知目标观测数据的收集，进行多层级融合，解决传感器在异常情况(遮挡、小目标和数据异常等)下目标检测的精度和鲁棒性，从而提高自动驾驶的安全性。CN115100618ACN115100618A权利要求书1/2页1.一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，该方法包括以下步骤：在数据级将相机、毫米波雷达和激光雷达的感知数据融合后进行多粒度分解，进行相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据表征；在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取；将相机、毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合，并利用感兴趣区域池化操作将不同深度的特征进行串接；通过解码器进行相机、毫米波雷达和激光雷达数据的特征级融合与表征；在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，通过全连接进行分类得到相机、毫米波雷达和激光雷达的目标检测结果；通过匈牙利算法进行数据关联与融合得到目标级的融合与表征；将获得的数据级、特征级和目标级数据表征对比和融合后进行目标感知。2.根据权利要求1所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，在数据级将相机、毫米波雷达和激光雷达的感知数据融合，具体为：相机、毫米波雷达和激光雷达的感知数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；相机图像通过透视变换将正视图投影到俯视图；激光雷达点云数据为三维视图，选择离地的水平平面为俯视投影平面，去除地面的点云后，再将点云投影到该水平平面上；毫米波雷达稀疏点云数据为俯视的二维平面点云，即将相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换至俯视图。3.根据权利要求2所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，多粒度分解具体为：将俯视图相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据转换为鸟瞰图；将相机图像的鸟瞰图与激光雷达点云数据的鸟瞰图进行匈牙利匹配关联；将相机图像颜色纹理数据用匹配后的激光雷达点云深度数据进行替代。4.根据权利要求3所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，在特征级分别对相机、毫米波雷达和激光雷达的输出数据进行特征提取，具体为：相机、毫米波雷达和激光雷达的输出数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；将相机图像进行锐化处理使相机图像边缘突显；激光雷达点云数据提取点云的几何边缘特征；毫米波雷达稀疏点云数据提取雷达点的特征。5.根据权利要求4所述的一种多源异构感知信息多层级融合表征与目标识别方法，其特征在于，在目标级通过对相机、毫米波雷达和激光雷达的数据进行特征提取，具体为：相机、毫米波雷达和激光雷达的数据分别为相机图像、毫米波雷达稀疏点云数据和激光雷达点云数据；提取相机图像的纹理特征；2CN115100618A权利要求书2/2页提取激光雷达点云数据的几何边缘特征；提取毫米波雷达稀疏点云数据的运动特征。3CN115100618A说明书1/6页一种多源异构感知信息多层级融合表征与目标识别方法技术领域[0001]本发明涉及感知信息处理技术领域，更具体地说，它涉及一种多源异构感知信息多层级融合表征与目标识别方法。背景技术[0002]自动驾驶系统系统采用先进的通信、计算机、网络和控制技术，对车辆实现实时、连续控制。采用现代通信手段，实现双向数据通信，传输速率快，信息量大，使得运行管理更加灵活，控制更为有效，更加适应列车自动驾驶的需求。[0003]在