点云与图像匹配方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113724303A(43)申请公布日2021.11.30(21)申请号202111043341.3(22)申请日2021.09.07(71)申请人广州文远知行科技有限公司地址510555广东省广州市中新广州知识城九佛建设路333号自编687室(72)发明人杜杭肯吴涤豪吴育灿冯荻蔡健薛辉韩旭(74)专利代理机构北京品源专利代理有限公司11332代理人黄立伟(51)Int.Cl.G06T7/30(2017.01)G06T7/80(2017.01)权利要求书2页说明书11页附图3页(54)发明名称点云与图像匹配方法、装置、电子设备和存储介质(57)摘要本发明实施例公开了一种点云与图像匹配方法、装置、电子设备和存储介质，点云与图像匹配方法包括：获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿；对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻；基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云；根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数；根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。本发明实施例在高速场景下对点云移动补偿后，可以使得点云中的点与图像中得像素准确匹配。CN113724303ACN113724303A权利要求书1/2页1.一种点云与图像匹配方法，其特征在于，应用于安装有激光雷达和多个相机的车辆，包括：获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿；对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，所述同步时刻为所述扫描周期内的时刻；基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云；根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数；根据所述目标外标定参数从所述图像的像素中确定出与所述目标点云中的点匹配的目标像素。2.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述获取在激光雷达的扫描周期内输出的原始点云、相机输出的图像以及车辆的第一位姿，包括：将激光雷达在每个扫描周期结束时输出的点云作为原始点云；获取相机在所述扫描周期内输出的图像并记录所述相机的曝光时刻；控制车辆上的定位传感器按照预设周期在所述扫描周期内输出所述车辆的多个第一位姿。3.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述对所述第一位姿插值得到所述车辆在同步时刻时的第二位姿，包括：在所述扫描周期内确定一时刻作为同步时刻；获取多个所述第一位姿的输出时刻得到多个定位时刻；从多个定位时刻中查找与所述同步时刻相邻的两个相邻定位时刻；对所述两个相邻定位时刻的两个第一位姿进行插值，得到所述车辆在所述同步时刻时的第二位姿。4.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述基于所述第二位姿对所述原始点云中的点进行移动补偿，得到在同步时刻时的目标点云，包括：针对所述原始点云中的每个目标点，获取所述目标点被所述激光雷达扫描时的原始时刻，以及所述目标点在所述原始时刻时关联的在雷达坐标系下的第一相对坐标；获取所述车辆到所述激光雷达的第一标定参数；通过插值算法对多个第一位姿插值得到所述车辆在所述原始时刻时的第三位姿；采用所述第一相对坐标、所述第二位姿、第三位姿以及所述第一标定参数计算所述目标点在所述同步时刻时关联的在所述雷达坐标系下的第二相对坐标，以作为所述目标点移动补偿后关联的坐标。5.根据权利要求4所述的点云与图像匹配方法，其特征在于，所述通过所述第一相对坐标、所述第二位姿、第三位姿以及所述第一标定参数计算所述目标点在所述同步时刻时关联的在所述雷达坐标系下的第二相对坐标，以作为所述目标点移动补偿后关联的坐标，包括：计算所述第三位姿与所述第二位姿的逆矩阵的乘积得到第一乘积；2CN113724303A权利要求书2/2页计算所述第一乘积、所述第一标定参数、所述第一标定参数的逆矩阵以及所述第一相对坐标的乘积，得到所述目标点在所述同步时刻时关联的在所述雷达坐标系下的第二相对坐标，以作为所述目标点移动补偿后关联的坐标。6.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述根据所述第二位姿和所述相机的原始外标定参数确定所述相机在所述同步时刻时的目标外标定参数，包括：通过插值算法对多个第一位姿插值得到所述车辆在所述相机的曝光时刻时的第四位姿；计算所述第二位姿、所述第四位姿的逆矩阵以及所述原始标定参数的逆矩阵的乘积，得到所述相机在所述同步时刻时的目标外标定参数。7.根据权利要求1所述的点云与图像匹配方法，其特征在于，所述根据所述目