基于毫米波雷达和视觉融合的道路行人快速检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109255386A(43)申请公布日2019.01.22(21)申请号201811084113.9(22)申请日2018.09.18(71)申请人中国科学院沈阳自动化研究所地址110016辽宁省沈阳市沈河区南塔街114号(72)发明人杜劲松高洁高扬王伟白珈俊(74)专利代理机构沈阳科苑专利商标代理有限公司21002代理人李巨智(51)Int.Cl.G06K9/62(2006.01)G06K9/00(2006.01)G01S13/88(2006.01)G01S13/89(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于毫米波雷达和视觉融合的道路行人快速检测方法(57)摘要本发明涉及一种基于毫米波雷达和视觉融合的道路行人快速检测方法，利用毫米波雷达对感兴趣区域进行扫描，提取接收到的信号，对同一帧内的接收信号进行凝聚处理；建立两个缓冲区，分别用于存储有效目标信号和异常信号；将有效目标中心从雷达坐标系转化到图像坐标系，以获取有效目标信号在图像上的投影点；进行似物检测训练，采用INRIA行人数据训练集作为正样本，通过在不含有行人的图像中随机采样窗口作为负样本参加训练；选定窗口对目标区域进行扫描，利用似物性训练结果检测行人目标，如果发现行人目标，则停止扫描；否则移动窗口，直至发现行人目标。本发明避免传统滑动窗算法因盲目搜索所造成的检测效率低下，达到了加速行人检测的目的。CN109255386ACN109255386A权利要求书1/2页1.一种基于毫米波雷达和视觉融合的道路行人快速检测方法，其特征在于，包括以下步骤：步骤1：利用毫米波雷达对感兴趣区域进行扫描，对接收到的信号进行提取，并对同一帧内的接收信号进行凝聚处理；步骤2：建立第一缓冲区和第二缓冲区，分别用于存储过去数据帧中的有效目标信号和异常信号；步骤3：将有效目标信号从雷达坐标系转化到图像坐标系，以获取有效目标信号在图像上的投影点；步骤4：进行BING似物检测训练，采用INRIA行人数据训练集作为正样本，通过在不含有行人的图像中随机采样一定尺寸大小的窗口作为负样本参加训练；步骤5：选定窗口对目标区域进行扫描，利用步骤4中的BING似物性训练结果检测行人目标，如果发现行人目标，则停止扫描；否则移动窗口，直至发现行人目标。2.根据权利要求1所述的基于毫米波雷达和视觉融合的道路行人快速检测方法，其特征在于：所述感兴趣区域为：毫米波雷达向正前方发射的微波波束所覆盖的扇形区域。3.根据权利要求1所述的基于毫米波雷达和视觉融合的道路行人快速检测方法，其特征在于：所述凝聚处理过程为：假设P1(x1,y1,z1,d1)和P2(x2,y2,z2,d2)为同一帧内两个任意雷达数据探测点，当满足下式所描述的空间关系时，可以将其视为是来自同一目标的反射信号，对满足条件的每一帧内属于同一目标的探测点，取其各指标均值作为聚类中心，代表该有效目标：其中xi、yi、zi和di分别代表信号点i在雷达参考坐标系中的横向坐标、纵向坐标、垂直坐标、目标到雷达的直线距离。4.根据权利要求1所述的基于毫米波雷达和视觉融合的道路行人快速检测方法，其特征在于：所述第一缓冲区和第二缓冲区的长度为n帧，存储过去t-1、t-2、t-3……t-n，n帧中的有效目标信号和异常信号，其中n为过去数据帧的帧数。5.根据权利要求1所述的基于毫米波雷达和视觉融合的道路行人快速检测方法，其特征在于：所述有效目标信号和异常信号为：对于某一帧内的数据点，当其处于第一缓冲区内记录的过去n帧中任意一个有效目标的半径覆盖域之内时，认为其是有效目标信号，反之为异常信号；其中n为过去数据帧的帧数。6.根据权利要求1所述的基于毫米波雷达和视觉融合的道路行人快速检测方法，其特征在于：所述雷达坐标系转化到图像坐标系，通过旋转和平移操作将毫米波雷达坐标系转换为图像坐标系：2CN109255386A权利要求书2/2页其中(xc,yc,zc)为雷达坐标系，(xr,yr,zr)为图像坐标系，R为3×3转换矩阵，t＝[t1t2Tt3]为平移向量。7.根据权利要求1所述的基于毫米波雷达和视觉融合的道路行人快速检测方法，其特征在于：所述步骤4：包括以下过程：a：准备训练样本数据集用以产生训练样本，正例图像含有行人，负例图像不含行人，对于包含行人的正例图像，需标出行人位置，记为Bgt；b：对于含有行人的正例图像，将采样窗口左上顶点与Bgt左上角重合，然后从该位置向右下方划定一定尺寸大小的窗口，在此过程中，如果采样窗口和该处行人目标的Bgt面积重合对于0.6，则记为正样本；其中，S为采样窗口。c：若面积重合少于0.4，则记作负样本。8.根据权利要求1或7所述的基于毫米波雷达和视觉融合的道路