基于机器学习的多智能体感知融合系统及其实现方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114581748A(43)申请公布日2022.06.03(21)申请号202210483252.9(22)申请日2022.05.06(71)申请人南京大学地址210023江苏省南京市栖霞区仙林大道163号(72)发明人俞扬詹德川周志华仲伟渊袁雷(74)专利代理机构南京乐羽知行专利代理事务所(普通合伙)32326专利代理师李玉平(51)Int.Cl.G06V10/80(2022.01)G06V10/774(2022.01)G06K9/62(2022.01)G06N20/00(2019.01)权利要求书3页说明书8页附图1页(54)发明名称基于机器学习的多智能体感知融合系统及其实现方法(57)摘要本发明公开一种基于机器学习的多智能体感知融合系统及其实现方法，多个智能体在行驶过程中通过摄像头采集道路环境图片，根据采集的道路环境图片制作训练数据集；使用训练数据集训练算法模型，并将算法模型部署在计算芯片上；使用过程：智能体行驶过程中，通过摄像头采集道路环境图片，并发送给计算芯片，在计算芯片中运行算法模型，提取图片中的特征，对多摄像头图片进行特征融合，对融合好的特征进行多任务预测，得到环境信息，使用通信模块将环境信息分享给周边智能体并获取周边智能体分享的环境信息，计算芯片将通信获取的环境信息进行融合，完善自身环境信息。本发明增加了智能体感知范围，降低了智能体感知盲区，提高了智能体的决策精度。CN114581748ACN114581748A权利要求书1/3页1.一种基于机器学习的多智能体感知融合系统，其特征在于，包括：摄像头，用于采集道路环境图片数据；计算芯片，用于运行计算机视觉算法；通信模块，用于发送自身感知信息和接收环境智能体通信模块发出的感知信息；多个智能体在行驶过程中通过摄像头采集道路环境图片，根据采集的道路环境图片制作训练数据集；使用训练数据集训练算法模型，并将算法模型部署在计算芯片上；使用过程：智能体行驶过程中，通过摄像头采集道路环境图片，并发送给计算芯片，在计算芯片中运行算法模型，提取图片中的特征，对多摄像头图片进行空间特征融合，对时间序列图片特征进行时间特征融合，对融合好的特征进行多任务预测，得到模型输出结果，使用通信模块将模型预测结果分享给周边智能体，同时通过通信模块获取周边智能体的模型输出结果，计算芯片将通信获取的结果信息进行融合，完善环境信息。2.一种基于机器学习的多智能体感知融合系统的实现方法，其特征在于，包括：S1，制作训练数据集多个智能体同时在同一道路区域中行驶，每个智能体均安装多个摄像头同步采集道路环境图片，保存摄像头参数；S2，算法模型设计算法模型包括特征提取网络，单智能体特征融合网络，多头预测网络，以及多智能体感知融合网络；单智能体特征融合网络包括空间特征融合网络和时间特征融合网络；特征提取网络用于提取单摄像头采集的图片特征；单智能体特征融合网络用于对特征提取网络提取的特征进行时间融合和空间融合；多头预测网络用于进行目标检测，图像分割，以及图片分类预测任务；多智能体感知融合网络用于融合自身和其他智能体的环境信息，并更新自身环境信息；S3，算法模型训练将训练数据集输入S2中设计的算法模型，对算法模型进行训练，直到算法模型收敛达到最佳性能；算法模型保存为文件，用于算法模型部署；S4，算法模型部署将S3中训练好的算法模型文件部署在安装有摄像头，通信模块及计算芯片的智能体上；S5，系统应用部署有多智能体感知融合系统的智能体在道路中行驶时，摄像头采集道路环境图片，并发送给计算芯片，计算芯片中的算法模型提取图片中的特征并对单智能体多摄像头的图片特征进行时间特征融合和空间特征融合，然后对融合后的特征进行预测，得到单智能体算法模型输出的环境信息；然后通信模块将环境信息发送给环境智能体，并接受环境智能体发送的环境信息；最后计算芯片将收到的环境信息与自身环境信息进行融合，更新自身环境信息。3.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，所述制作训练数据集中，多智能体同时在同一道路区域中行驶，每个智能体均安装多个摄像头同步采集道路环境图片，同时记录智能体在环境中的位置和朝向，以及环境中智能体、行人、交通标志的位置和朝向，然后在三维向量空间中对图片中目标进行标注，得到2CN114581748A权利要求书2/3页图片中不同目标的位置，保存摄像头参数，完成制作训练数据的过程；采集道路环境图片时，智能体需在不同道路、不同路况、不同天气、不同时间段下的行驶，保证训练集数据多样性。4.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法，其特征在于，模型的输入为训练集数据，训练集数据包括摄像头采集的道路环境图片，摄像头参数，以及训