毫米波雷达、激光雷达与相机联合标定方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114076918A(43)申请公布日2022.02.22(21)申请号202010843901.2(22)申请日2020.08.20(71)申请人北京万集科技股份有限公司地址100193北京市海淀区中关村软件园12号楼A区(72)发明人王邓江马冰杨光邓永强(74)专利代理机构北京华进京联知识产权代理有限公司11606代理人孙岩(51)Int.Cl.G01S7/40(2006.01)G01S7/497(2006.01)G06T7/80(2017.01)权利要求书3页说明书16页附图7页(54)发明名称毫米波雷达、激光雷达与相机联合标定方法和装置(57)摘要本申请涉及一种毫米波雷达、激光雷达与相机联合标定方法和装置，包括：将毫米波点云数据对应的点云映射到图像上得到毫米波映射点云，将激光点云数据对应的点云映射到图像上得到激光映射点云。再分别计算标定物在图像上的毫米波点云目标框和激光点云目标框分别与图像识别目标框之间的重叠面积。基于重叠面积调整第一初始联合标定参数、第二初始联合标定参数，直到重叠面积满足预设阈值，输出调整后的第一及第二联合标定参数作为毫米波雷达、激光雷达与相机联合标定的目标联合标定参数。通过毫米波雷达、激光雷达与相机进行自标定，不需要使用特定标定物，避免了浪费人力物力，因为不需要使用特定标定物就也提高可复用性。CN114076918ACN114076918A权利要求书1/3页1.一种毫米波雷达、激光雷达与相机联合标定方法，其特征在于，包括：获取同一时刻、同一场景下采集的图像、毫米波点云数据及激光点云数据；根据所述毫米波雷达相对于所述相机的第一初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到毫米波映射点云，以及根据所述激光雷达相对于所述相机的第二初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到激光映射点云；计算标定物在所述图像上的毫米波点云目标框和激光点云目标框分别与图像识别目标框之间的重叠面积，所述标定物为所述相机和所述毫米波雷达重叠检测区域中的至少一个目标；基于各标定物对应的所述重叠面积调整所述第一初始联合标定参数、所述第二初始联合标定参数，直到所述重叠面积满足预设阈值，将调整后的第一联合标定参数及第二联合标定参数作为所述毫米波雷达、激光雷达与相机联合标定的目标联合标定参数。2.根据权利要求1所述的方法，其特征在于，所述毫米波雷达相对于所述相机的第一初始联合标定参数的计算过程，包括：将所述毫米波雷达在球坐标系中的坐标转换为所述毫米波雷达在世界坐标系中的坐标；将所述相机在相机坐标系中的坐标转换为所述相机在所述世界坐标系中的坐标；根据所述毫米波雷达在所述世界坐标系中的坐标、所述相机在所述世界坐标系中的坐标，计算所述毫米波雷达相对于所述相机的第一初始联合标定参数。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述毫米波雷达相对于所述相机的第一初始联合标定参数，将所述毫米波点云数据对应的点云映射到所述图像上得到毫米波映射点云，包括：将所述毫米波点云数据在球坐标系中的坐标，转换为在世界坐标系中的坐标；将所述相机的内参矩阵、所述相机的畸变系数、所述毫米波雷达相对于所述相机的第一初始联合标定参数及所述毫米波点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算所述毫米波点云数据对应的毫米波点云在像素坐标系中的坐标；从所述图像上提取所述毫米波点云在像素坐标系中的坐标处的像素点，作为毫米波映射点云。4.根据权利要求1或2所述的方法，其特征在于，根据所述激光雷达相对于所述相机的第二初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到激光映射点云，包括：获取所述激光点云数据在世界坐标系中的坐标；将所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的第二初始联合标定参数及所述激光点云数据在世界坐标系中的坐标输入至透射变换矩阵，计算所述激光点云数据对应的激光点云在像素坐标系中的坐标；从所述图像上提取所述激光点云在像素坐标系中的坐标处的像素点，作为激光映射点云。5.根据权利要求1或2所述的方法，其特征在于，在所述计算标定物在所述图像上的毫米波点云目标框和激光点云目标框与图像识别目标框之间的重叠面积之前，还包括：2CN114076918A权利要求书2/3页针对所述图像上的每个标定物，在所述图像上以所述毫米波映射点云为中心，以预设尺寸绘制毫米波点云目标框；在所述图像上获取所述目标对应的激光映射点云的外接矩形框作为激光点云目标框；对所述图像进行图像识别得到图像识别目标框；获取标定物在所述图像上的毫米波点云目标框、激光点云目标框及图像识别目标框。6.根据权利要求1或2所述的方法，其特征在于，基于各标定