雷视融合系统、终端.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113960590A(43)申请公布日2022.01.21(21)申请号202111190035.2(22)申请日2021.10.12(71)申请人浙江六季信息科技有限公司地址325000浙江省温州市鹿城区五马街道人民东路国信大厦三楼创客工坊区52号工位(72)发明人周双(74)专利代理机构温州瓯越专利代理有限公司33211代理人孙豪(51)Int.Cl.G01S13/86(2006.01)G01S13/931(2020.01)权利要求书1页说明书4页附图2页(54)发明名称雷视融合系统、终端(57)摘要本发明公开了一种雷视融合系统，包括雷达模块，用于通过雷达获得位置信息；视觉摄像头模块，用于捕捉影像信息；鲁棒性多级融合模块，用于将位置信息和影像信息进行多级融合，获得融合信息；多目标学习模块，用于识别融合信息中的多目标检测、跟踪、行为。本发明能够提高行为识别效果，为智能驾驶做好基础保障。CN113960590ACN113960590A权利要求书1/1页1.一种雷视融合系统，其特征在于，包括雷达模块，用于通过雷达获得位置信息；视觉摄像头模块，用于捕捉影像信息；鲁棒性多级融合模块，用于将位置信息和影像信息进行多级融合，获得融合信息；多目标学习模块，用于识别融合信息中的多目标检测、跟踪、行为。2.根据权利要求1所述的雷视融合系统，其特征在于，所述雷达模块包括非均匀稀疏阵天线和干扰抑制模块；该非均匀稀疏阵天线的具有发射天线和接收天线，所述发射天线的x轴坐标包括0和9λ/2；所述接收天线的x轴坐标包括0、3λ/2、4λ/2、6λ/2；所述干扰抑制模块获取接收天线的数据，并通过干扰抑制模块降低干扰，并传输给鲁棒性多级融合模块。3.根据权利要求2所述的雷视融合系统，其特征在于，该非均匀稀疏阵天线具有16个阵元，其中发射天线的分布为Tx＝[1000000001]；接收天线的分布为Rx＝[1001101]，其中1表示所处位置有天线，0表示所处位置没有天线。4.根据权利要求3所述的雷视融合系统，其特征在于，所述雷达模块还包括用于获取接收天线和发射天线的信号处理模块，该信号处理模块包括依次连接的混频器、带通滤波器、AD采样电路、距离FFT模块、二维FFT模块、非相干累加模块、恒虚警率检测模块、目标点角度估算模块；所述混频器与接收天线和发射天线均电连接。5.根据权利要求1所述的雷视融合系统，其特征在于，所述鲁棒性多级融合模块包括图像增强模块、特征表示模块、多级融合结构模块，所述图像增强模块用于增强视觉摄像头捕捉的影像；所述特征表示模块用于获取增强后的影像的影像信息和雷达模块的位置信息的特征数据；多级融合结构模块用于获取影像信息和雷达模块的特征数据，并进行雷视融合获得融合信息。6.根据权利要求5所述的雷视融合系统，其特征在于，所述多目标学习模块包括目标检测模块、目标跟踪模块、行为识别模块、轨迹更新预测模块；所述目标检测模块获取融合信息，并向目标跟踪模块、行为识别模块、轨迹更新预测模块传递融合信息内的多目标信息；目标跟踪模块实时获取多目标信息中的位置变化数据，并将该位置变化数据发送给轨迹更新预测模块；所述轨迹更新预测模块位置变化数据实时更新预测轨迹；所述行为识别模块获取预测轨迹和多目标信息并分析获得行为动作。7.根据权利要求6所述的雷视融合系统，其特征在于，所述图像增强模块包括去雨、去雾、去雪的画质修复步骤。8.根据权利要求3所述的雷视融合系统，其特征在于，所述干扰抑制模块通过FMCW和STFI技术抑制干扰。9.一种雷视融合终端，其特征在于，包括如权利要求1～8中任意一项所述的雷视融合系统。2CN113960590A说明书1/4页雷视融合系统、终端技术领域[0001]本发明涉及检测系统，具体为雷视融合系统、终端。背景技术[0002]目前每个城市的每百户家庭有用汽车数越来越高，因此城市的交通负载越来越大，越来越容易出现拥堵现象。现在越来越多的智能汽车出现，也逐渐衍生出智能驾驶功能，但是想要真正实现智能驾驶，则需要非常高精度的信号传输，并且对动态识别也具有非常高的要求，需要预测行人行为、附近车辆行为、红绿灯变化等，因此智能驾驶对于动态行为识别的要求非常高。发明内容[0003]针对现有技术存在的不足，本发明的目的在于提供一种雷视融合系统、终端，能够提高行为识别效果，为智能驾驶做好基础保障。[0004]为实现上述目的，本发明提供了如下技术方案：一种雷视融合系统，包括[0005]雷达模块，用于通过雷达获得位置信息；[0006]视觉摄像头模块，用于捕捉影像信息；[0007]鲁棒性多级融合模块，用于将位置信息和影像信息进行多级融合，获得融合信息；[0008]多目标学习模块，用于识别融合信息中