一种基于多模态融合的自主系统感知方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113988172A(43)申请公布日2022.01.28(21)申请号202111248792.0G06N3/08(2006.01)(22)申请日2021.10.26(71)申请人西安电子科技大学广州研究院地址510700广东省广州市黄埔区中新知识城海丝中心B5、B6、B7栋(72)发明人杨清海沈八中徐丽娟梅牧雨张媛(74)专利代理机构北京高航知识产权代理有限公司11530代理人刘艳玲(51)Int.Cl.G06K9/62(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书1页说明书4页附图2页(54)发明名称一种基于多模态融合的自主系统感知方法及系统(57)摘要一种基于多模态融合的自主系统感知方法及系统，其方法包括：获取多个车辆的传感器采集的数据，利用训练好的多模态数据融合框架对传感器采集的数据进行处理，将处理的结果进行融合，得到一级融合结果，基于目标识别业务，对一级融合结果进行处理，保留感兴趣区域信息，利用已有的多视角融合算法构建协作级融合架构，对多个车辆上传的感兴趣区域信息进行二次融合，得到二次融合结果，将二级融合结果下发至车辆，以供车辆根据二级融合结果做控制决策；本申请通过构建车辆级联协作数据融合框架，可通过级联框架提高和扩展环境视野，解决单个自动驾驶车辆视野局限性，降低不确定性，提高感知算法的性能。CN113988172ACN113988172A权利要求书1/1页1.一种基于多模态融合的自主系统感知方法，其特征在于，包括：获取多个车辆的传感器采集的数据；利用训练好的多模态数据融合框架对传感器采集的数据进行处理，将处理的结果进行融合，得到一级融合结果；基于目标识别业务，对一级融合结果进行处理，保留感兴趣区域信息；利用已有的多视角融合算法构建协作级联融合架构，对多个车辆上传的感兴趣区域信息进行二次融合，得到二次融合结果；将二级融合结果下发至车辆，以供车辆根据二级融合结果做控制决策。2.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述传感器采集的数据包括：道路信息数据和车辆行驶数据。3.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述训练好的多模态数据融合架构的获取方式包括：人工构建一个轻量网络结构，或使用神经网络结构搜索自动搜索轻量网络结构。4.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述感兴趣区域信息，包括以下信息中的一种或多种：地面物体的真实位置、方向、大小和目标类别信息。5.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述对一级融合结果进行处理，保留感兴趣区域信息，包括：对一级融合结果中的不感兴趣区域信息进行弱化处理，保留感兴趣区域信息。6.如权利要求5所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述对感兴趣区域信息进行二次融合，得到二次融合结果，包括：将多个车辆不同视角上传的感兴趣区域信息映射到全局坐标系后进行拼接，得到二次融合结果。7.一种基于多模态融合的自主系统感知系统，包括：感知数据获取模块，用于获取多个车辆的传感器采集的数据；一级融合结果获取模块，用于利用训练好的多模态数据融合框架对传感器采集的数据进行处理，将处理的结果进行融合，得到一级融合结果；一级融合结果处理模块，用于基于目标识别业务，对一级融合结果进行处理，保留感兴趣区域信息；二级融合结果获取模块，用于利用已有的多视角融合算法构建协作级联融合架构，对多个车辆上传的感兴趣区域信息进行二次融合，得到二次融合结果；结果下发模块，用于将二级融合结果下发至车辆，以供车辆根据二级融合结果做控制决策。8.一种计算机装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1‑6中任一项所述的基于多模态融合的自主系统感知方法。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1‑6中任一项所述的基于多模态融合的自主系统感知方法。2CN113988172A说明书1/4页一种基于多模态融合的自主系统感知方法及系统技术领域[0001]本发明涉及汽车自动驾驶技术领域，特别涉及一种基于多模态融合的自主系统感知方法和系统。背景技术[0002]随着传感器技术的飞速发展，自动驾驶汽车也越来越普及，在自动驾驶车辆感知周围环境过程中，在保障其实时性及感知准确性的需求下，还需要解决单个自动驾驶车辆视野局限性，自动驾驶汽车计算机视觉的基本挑战之一是在不同的道路、天气、照明和工作条件下实现