三维激光雷达点云和红外图像融合的目标检测及定位方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110456363A(43)申请公布日2019.11.15(21)申请号201910520060.9(22)申请日2019.06.17(71)申请人北京理工大学地址100081北京市海淀区中关村南大街5号(72)发明人杨子木王军政李静汪首坤赵江波马立玲沈伟(74)专利代理机构北京理工大学专利中心11120代理人温子云(51)Int.Cl.G01S17/02(2006.01)G01S17/93(2006.01)G06T7/11(2017.01)G06T7/80(2017.01)权利要求书2页说明书8页附图1页(54)发明名称三维激光雷达点云和红外图像融合的目标检测及定位方法(57)摘要本发明公开了一种三维激光点云和红外图像融合的目标检测及定位方法，建立红外相机与三维激光雷达的坐标转换关系；红外相机采集红外图像，获得红外图像目标候选区域；三维激光雷达采集雷达数据，获得雷达目标候选区域及其中心点坐标；利用坐标转换关系将雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将交并比达到设定门限的红外-雷达公共区域作为最终目标区域保留下来；从最终目标区域中提取区域长宽比、最大温度和温度离散度组成聚合多特征输入分类器对红外目标进行分类，分类结果结合所述目标定位信息，得到红外目标检测及定位结果。使用本发明融合红外图像和三维激光雷达点云，能够实现夜间障碍物检测及定位。CN110456363ACN110456363A权利要求书1/2页1.一种三维激光点云和红外图像融合的目标检测及定位方法，其特征在于，包括：步骤一：建立红外相机与三维激光雷达的坐标转换关系；步骤二：红外相机采集红外图像，采用聚类的方式进行图像分割，获得红外图像目标候选区域；步骤三：利用三维激光雷达采集雷达数据，使用激光雷达点云层次聚类，获得雷达目标候选区域，以及每个区域中心点坐标；步骤二和步骤三不分先后；步骤四：利用步骤一得到的坐标转换关系将所述雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将红外图像目标候选区域与雷达聚类目标区域进行匹配融合，将交并比达到设定门限的红外-雷达公共区域作为最终目标区域保留下来，最终目标区域对应的雷达聚类目标区域的中心点坐标即为目标定位信息；步骤五：从保留的最终目标区域中提取区域长宽比R、最大温度Tmax和温度离散度DFeature组成聚合多特征输入分类器对红外目标进行分类，分类结果结合所述目标定位信息，得到红外目标检测及定位结果；所述最大温度Tmax为融合区域内像素值最大的n个点的平均像素值对应的相机温度Tmax，温度离散度DFeature为融合区域灰度直方图的方差DFeature。2.如权利要求1所述的方法，其特征在于，所述步骤一为：以可见光相机作为标定的中间变量，分别标定红外相机与可见光相机、三维激光雷达与可见光相机，获得红外相机和可见光相机的坐标转换关系、三维激光雷达和可见光相机的坐标转换关系；利用这两个坐标转换关系得到红外相机与三维激光雷达的坐标转换关系为：其中，空间点在红外相机坐标系下的坐标为PCr＝(xCr，yCr，zCr)，在激光雷达坐标系下对应点的坐标为(xl,yl,zl)，RT为红外相机到可见光相机的旋转矩阵，TT红外相机到可见光相机的平移矩阵，Rc与Tc分别为激光雷达坐标系到可见光相机坐标系下的转换矩阵和平移向量。3.如权利要求1所述的方法，其特征在于，所述步骤二包括：步骤1)、选取多个场景图像，统计每个场景中灰度直方图的峰值和谷值，峰值均值作为聚类中心上界限thres_u，谷值均值作为聚类中心下界限thres_d；设迭代初始值s＝1；步骤2)、给定聚类类别数C，图像像素点总数N，设定迭代停止阈值ε；步骤3)、用值在[thres_d,thres_u]之间随机数初始化聚类中心ci，i＝1,…,C,用值在[0,1]之间的随机数初始化C×N的隶属度矩阵U；步骤4)、更新隶属度矩阵U(s+1)：其中，μik∈[0,1]是隶属度矩阵U中第i行第k列的元素，表示第k个像素点xk属于第i类2CN110456363A权利要求书2/2页的隶属度，为高斯核函数，σ为核函数带宽，m为加权指数；上角标s和s+1表示迭代轮次；步骤5)、更新聚类中心矩阵c(s+1)：其中，ci表示聚类中心矩阵c中第i个元素；步骤6)若||c(s+1)-c(s)||＜ε，终止迭代，跳转到步骤7)，否则令s自加1，返回步骤4)继续迭代；步骤7)利用迭代完成后获得的隶属度矩阵U和聚类中心c，得到分割后的图像，获得图像目标候选区域。4.如权利要求1所述的方法，其特征在于，步骤四确定最终目标区域及其目标定位信息的过程为：第一步：设红外图像目标候选区域有ni个，记为R1i，i＝1,2,…,ni；