点云缺失处理方法、装置和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114187456A(43)申请公布日2022.03.15(21)申请号202111518065.1(22)申请日2021.12.13(71)申请人北京京东乾石科技有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼19层A1905室(72)发明人刘伟峰(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人赵倩男许蓓(51)Int.Cl.G06V10/74(2022.01)G06T7/73(2017.01)权利要求书2页说明书7页附图6页(54)发明名称点云缺失处理方法、装置和存储介质(57)摘要本公开提供了一种点云缺失处理方法、装置和存储介质，涉及数据处理领域。该方法包括：提取第一目标的图像特征；在特征库中选择与第一目标的图像特征最匹配的图像特征，其中，特征库中包括至少一个目标的图像特征和点云数据；以及利用与第一目标的图像特征最匹配的图像特征对应的第二目标的点云数据，补偿第一目标的点云数据。本公开提高了补偿缺失点云数据的鲁棒性和普适性，由于比较容易采集其他物体的点云数据，因此，降低了数据采集成本，另外，本公开对运行环境要求较低，比起通用算法有更高的实用性能。CN114187456ACN114187456A权利要求书1/2页1.一种点云缺失处理方法，包括：提取第一目标的图像特征；在特征库中选择与所述第一目标的图像特征最匹配的图像特征，其中，所述特征库中包括至少一个目标的图像特征和点云数据；以及利用与所述第一目标的图像特征最匹配的图像特征对应的第二目标的点云数据，补偿所述第一目标的点云数据。2.根据权利要求1所述的点云缺失处理方法，其中，补偿所述第一目标的点云数据包括：计算所述第一目标和所述第二目标之间的3D转换矩阵；以及根据所述3D转换矩阵，利用所述第二目标的点云数据补偿所述第一目标的点云数据。3.根据权利要求2所述的点云缺失处理方法，其中，利用所述第二目标的点云数据补偿所述第一目标的点云数据包括：将所述第二目标的点云数据转换为目标点云；以及将所述第一目标的点云数据与所述目标点云融合。4.根据权利要求2所述的点云缺失处理方法，其中，计算所述第一目标和所述第二目标之间的3D转换矩阵包括：根据所述第一目标的像素坐标和所述第二目标的像素坐标，利用2D相机内参矩阵，计算所述第一目标和所述第二目标之间的本质矩阵；以及利用所述本质矩阵，计算出所述第一目标和所述第二目标之间的3D转换矩阵。5.根据权利要求1至4任一所述的点云缺失处理方法，还包括：获取包含所述第二目标的二维图像和点云图像；在所述二维图像中提取所述第二目标的图像特征；利用2D相机和3D相机之间的标定关系，在所述点云图像中确定所述第二目标的点云数据；以及将所述第二目标的图像特征和点云数据保存在所述特征库中。6.根据权利要求1至4任一所述的点云缺失处理方法，还包括：利用所述第一目标的补偿后的点云数据，确定所述第一目标的拣选位姿；以及将所述第一目标的拣选位姿发送至机器人，以引导所述机器人执行拣选作业。7.根据权利要求5所述的点云缺失处理方法，其中，在机器人拣选过程中，建立所述特征库。8.一种点云缺失处理装置，包括：特征提取单元，被配置为提取第一目标的图像特征；特征匹配单元，被配置为在特征库中选择与所述第一目标的图像特征最匹配的图像特征，其中，所述特征库中包括至少一个目标的图像特征和点云数据；以及点云补偿单元，被配置为利用与所述第一目标的图像特征最匹配的图像特征对应的第二目标的点云数据，补偿所述第一目标的点云数据。9.根据权利要求8所述的点云缺失处理装置，其中，所述点云补偿单元被配置为计算所述第一目标和所述第二目标之间的3D转换矩阵；以及根据所述3D转换矩阵，利用所述第二目标的点云数据补偿所述第一目标的点云数据。2CN114187456A权利要求书2/2页10.根据权利要求9所述的点云缺失处理装置，其中，所述点云补偿单元被配置为根据所述3D转换矩阵，将所述第二目标的点云数据转换为目标点云；以及将所述第一目标的点云数据与所述目标点云融合。11.根据权利要求8至10任一所述的点云缺失处理装置，还包括：图像获取单元，被配置为获取包含所述第二目标的二维图像和点云图像；特征提取单元，被配置为在所述二维图像中提取所述第二目标的图像特征；点云确定单元，被配置为利用2D相机和3D相机之间的标定关系，在所述点云图像中确定所述第二目标的点云数据；以及数据保存单元，被配置为将所述第二目标的图像特征和点云数据保存在所述特征库中。12.根据权利要求8至10任一所述的点云缺失处理装置，还包括：位姿确定单元，被配置为利用所述第一目标的补偿后的点云数据，确定所述第一目标的拣选位姿；以及位姿发送单元，被