一种基于车、路、无人机信息融合的超视距感知系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114783184A(43)申请公布日2022.07.22(21)申请号202210408039.1(22)申请日2022.04.19(71)申请人江苏大学地址212013江苏省镇江市京口区学府路301号(72)发明人汪少华甘允祥施德华殷春芳(74)专利代理机构南京智造力知识产权代理有限公司32382专利代理师胡德水(51)Int.Cl.G08G1/01(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于车、路、无人机信息融合的超视距感知系统(57)摘要本发明涉及一种基于车、路、无人机信息融合的超视距感知系统，车端感知子系统用于获取车辆周边环境结构化特征信息；路端感知子系统用于获取路端周边环境结构化特征信息；无人机子系统在保证安全的前提下在两个路端子系统中进行长时间短距离飞行主要用于获取两个路端盲区周边环境结构化特征信息；通讯子系统，包括无线通信方式连接的路端通讯模块、车端通讯模块以及无人机通讯模块；协同感知子系统利用粒子滤波算法，经过坐标转换后，将车辆周边环境结构化特征信息、路端和无人机周边环境结构化特征信息进行融合，得到超视距融合感知。与现有技术相比，本发明增强了车端的自动驾驶决策规划能力。CN114783184ACN114783184A权利要求书1/2页1.一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，包括：车端感知子系统、路端感知子系统、无人机感知子系统、通讯子系统和协同感知子系统，所述车端感知子系统、路端感知子系统、无人机感知子系统连接通讯子系统，通讯子系统连接协同感知子系统；其中：车端感知子系统，用于获取车辆周边环境结构化特征信息并将其通过以太网传输至协同感知子系统；路端感知子系统，用于获取路端周边环境结构化特征信息并将其通过通讯子系统传输至协同感知子系统；无人机感知子系统，在两个路端之间进行长时间短距离飞行，并在飞行过程中实时进行环境感知，获取道路上方信息和路段盲区的结构化特征信息并将其通过通讯子系统传输至协同感知子系统；协同感知子系统，所述协同感知子系统利用深度学习和粒子滤波算法，经过坐标转换后，将车辆周边环境结构化特征信息和路端周边以及无人机视觉范围环境结构化特征信息进行融合，得到超视距融合感知。2.根据权利要求1所述的一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，所述车载子系统包括包括车端传感模块和车端数据处理模块；所述车载传感模块用于对车辆行驶周围环境相关信息进行检测并将检测后结果实时传输到车载数据处理模块,所述车载数据处理模块用于对采集到的行驶环境相关信息输入到预先训练的深度学习神经网络，利用车辆周边环境图像数据和车辆周边环境点云数据，得到车辆周边环境结构化特征信息，并将处理后的数据发送到协同感知子系统。3.根据权利要求1所述的一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，所述路端感知系统包括路端传感模块、路端数据处理模块、无人机充电模块；所述路端传感模块主要包括包括路端摄像头和路端激光雷达，路端传感模块的安装位置为路口红绿灯上，所述路端摄像头用于采集路端周边环境图像数据并将其传输至路端数据处理模块，所述路端激光雷达用于采集路端周边环境点云数据并将其传输至路端数据处理模块；无人机充电模块对无人机电量进行实时检测，并有自动回收装置，当电量小于预定工作电量时，对无人机感知子系统发出指令进行回收并充电。4.根据权利要求3所述的一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，所述路端数据处理模块将路端摄像头和路端激光雷达检测到的目标物位置信息和速度信息转换到同一坐标系中，并对转换后的信息进行预处理，运用深度学习和粒子滤波算法进行信息融合，对动态目标进行实时识别和跟踪并对车辆进行定位，并将处理后的数据发送到协同感知子系统。5.根据权利要求1所述的一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，所述无人机感知子系统包括无人机视觉模块、无人机数据处理模块自动充电模块；无人机视觉模块包括摄像头、星光级图像传感器、红外传感器、超声波雷达、小型毫米波雷达、微波雷达和UWB定位设备，所述摄像头用于采集和识别道路上目标物,对道路上的行人、车辆、障碍物、交通灯、交通标识等目标进行识别，获取目标的种类、形状、位置等信息；所述星光级图像传感器、红外传感器增强暗光下的感知能力，所述超声波雷达、小型毫米波雷达、微波雷达用于采集目标物的位置与速度信息并提升雨雾雪或灰尘存在下的场景感知能力；2CN114783184A权利要求书2/2页所述UWB定位设备用于辅助定位目标物的位置,所述摄像头、星光级图像传感器、红外传感器、超声波雷达、小型毫米波雷达、微波雷达和UWB定位设备采集的数据均发送至所述