机器人抓取数据集的构建方法及其构建装置和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241131A(43)申请公布日2022.03.25(21)申请号202111520157.3G06V10/46(2022.01)(22)申请日2021.12.13G06V10/762(2022.01)G06V10/82(2022.01)(71)申请人深圳鹏行智能研究有限公司G06K9/62(2022.01)地址518000广东省深圳市南山区粤海街道高新区社区科技南路18号深圳湾科技生态园12栋B5101(72)发明人陈金亮陈相羽刘旭东何旭(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人赵静(51)Int.Cl.G06T17/00(2006.01)G06T7/90(2017.01)G06T5/50(2006.01)G06T5/00(2006.01)权利要求书3页说明书11页附图14页(54)发明名称机器人抓取数据集的构建方法及其构建装置和存储介质(57)摘要本申请公开了一种机器人抓取数据集的构建方法及其构建装置和存储介质。机器人抓取数据集的构建方法包括步骤：获取目标物体在不同角度下的深度图像和彩色图像；根据多个不同角度下的深度图像得到目标物体的初始三维模型；将初始三维模型与多个彩色图像对齐以生成带有颜色信息的目标三维模型；计算目标三维模型表面各个抓取点的抓取质量以定义目标物体表面各个点的抓取鲁棒性以得到各个抓取点的鲁棒性标签，从而生成具有三维模型信息、深度信息和颜色信息以及各个抓取点的鲁棒性标签的抓取数据集。如此，构建的抓取数据集中包含的信息较为全面，以便用于机器人的深度学习神经网络模型的抓取训练。CN114241131ACN114241131A权利要求书1/3页1.一种机器人抓取数据集的构建方法，其特征在于，包括：获取目标物体在不同角度下的深度图像和彩色图像；根据多个不同角度下的所述深度图像得到所述目标物体的初始三维模型；将所述初始三维模型与多个所述彩色图像对齐以生成带有颜色信息的目标三维模型；计算所述目标三维模型表面各个抓取点的抓取质量以定义所述目标物体表面各个点的抓取鲁棒性以得到各个抓取点的鲁棒性标签，从而生成具有三维模型信息、深度信息和颜色信息以及各个抓取点的鲁棒性标签的抓取数据集。2.根据权利要求1所述的机器人抓取数据集的构建方法，其特征在于，多个不同角度的所述深度图像由深度相机进行采集，所述根据多个不同角度下的所述深度图像得到所述目标物体的初始三维模型，包括：通过坐标变换将基于深度相机坐标系获取的多个所述深度图像转换成在目标物体坐标系下的多个点云信息；去除所述多个点云信息中的环境干扰信息以得到不同角度下的所述目标物体的多个有效点云信息；基于所述多个有效点云信息生成所述目标物体的初始三维模型。3.根据权利要求2所述的机器人抓取数据集的构建方法，其特征在于，所述基于多个所述有效点云信息生成所述目标物体的三维模型，包括：对所述多个有效点云信息进行下采样以得到多个关键点；通过对不同角度下的所述目标物体的多个所述关键点的拼接以实现所述目标物体的点云信息的补全；对补全后的所述目标物体的点云信息进行聚类与平面拟合，从而实现所述目标物体的三维重建以得到所述目标物体的初始三维模型；或者所述基于多个所述有效点云信息生成所述目标物体的三维模型，包括：对所述多个有效点云信息进行拼接以实现所述目标物体的点云信息的补全；多补全后的点云信息进行下采样以得到多个关键点；对多个所述关键点进行聚类与平面拟合，从而实现所述目标物体的三维重建以得到所述目标物体的初始三维模型。4.根据权利要求1所述的机器人抓取数据集的构建方法，其特征在于，所述将所述初始三维模型与所述彩色图像对齐以生成带有颜色信息的目标三维模型，包括：对多个所述彩色图像进行裁剪以去除环境干扰信息从而得到所述目标物体的多个颜色块；基于多个所述颜色块，通过对不同角度下的所述颜色块进行拼接以实现所述目标物体的色彩补全且对多个所述颜色块进行边缘滤波以去除拼接时的噪声项；将拼接后的多个颜色块与所述初始三维模型对齐以生成带有颜色信息的目标三维模型。5.根据权利要求1所述的机器人抓取数据集的构建方法，其特征在于，所述机器人抓取数据集的构建方法还包括：将多个所述彩色图像均转换为1*hw的一维向量；其中，h图像高，w是图像宽；将多个所述彩色图像转换成的多个所述一维向量组合成矩阵M；2CN114241131A权利要求书2/3页计算矩阵M的协方差矩阵S以及所述协方差矩阵S的特征向量νi与特征值λi；对特征值λi按照大小进行递减排序，将特征向量νi按照特征值的大小进行组合形成映射矩阵；选取所述特征值最大的前K个所述特征向量以此描述所述目标物体的颜色信息的特征；其中，K为大于零的正整数。6.根据权利要求1