一种基于多视角特征的工件识别方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113191207A(43)申请公布日2021.07.30(21)申请号202110377328.5G06T7/11(2017.01)(22)申请日2021.04.08(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号申请人深圳华中科技大学研究院(72)发明人谭毅华王鹏学熊胜洲(74)专利代理机构华中科技大学专利中心42201代理人王颖翀(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06T5/00(2006.01)权利要求书2页说明书6页附图4页(54)发明名称一种基于多视角特征的工件识别方法和装置(57)摘要本发明公开了一种基于多视角特征的工件识别方法和装置，属于图像数据处理技术领域，所述方法包括：S1：对携带目标工件的场景图像进行滤波、分割和点云化获得所述目标工件对应的待识别点云数据集；S2：分别将三维模型图像数据集和所述待识别点云数据集在多个视角下进行渲染，得到三维模型多视角点云数据集和待识别多视角点云数据集；S3：利用所述三维模型多视角点云数据集对工件类型识别网络进行训练，训练完成后得到目标深度神经网络；S4：将所述待识别多视角点云数据集输入到所述目标深度神经网络，得到所述目标工件的类型识别结果。本发明方法能够快速、有效、精准地对目标工件进行自动识别。CN113191207ACN113191207A权利要求书1/2页1.一种基于多视角特征的工件识别方法，其特征在于，包括：S1：对携带目标工件的场景图像进行滤波、分割和点云化获得所述目标工件对应的待识别点云数据集；S2：分别将三维模型图像数据集和所述待识别点云数据集在多个视角下进行渲染，得到三维模型多视角点云数据集和待识别多视角点云数据集；S3：利用所述三维模型多视角点云数据集对工件类型识别网络进行训练，训练完成后得到目标深度神经网络；S4：将所述待识别多视角点云数据集输入到所述目标深度神经网络，得到所述目标工件的类型识别结果。2.如权利要求1所述的基于多视角特征的工件识别方法，其特征在于，所述S1包括：S11：对所述场景图像进行条件滤波、体素滤波和统计滤波得到滤波图像；S12：基于随机采样一致性的平面模型分割方法对所述滤波图像进行处理，以将所述目标工件从所述场景图像中分割出来得到目标图像；S13：采用点云库将所述目标图像转换成所述待识别点云数据集。3.如权利要求2所述的基于多视角特征的工件识别方法，其特征在于，所述S11包括：利用所述条件滤波过滤工作平台范围外的无关点云数据；利用所述体素滤波对所述工作平台范围内的点云数据进行下采样，得到稀疏点云数据；利用所述统计滤波来过滤所述稀疏点云数据中的噪声点，得到所述滤波图像。4.如权利要求1所述的基于多视角特征的工件识别方法，其特征在于，所述S2包括：S21：分别将所述三维模型图像数据集和所述待识别点云数据集作为待处理CAD模型；S22：从不同预设视角拍摄所述待处理CAD模型的部分视图，得到所述三维模型多视角点云数据集和所述待识别多视角点云数据集。5.如权利要求4所述的基于多视角特征的工件识别方法，其特征在于，所述S22包括：当所述预设视角为一个围绕在所述待处理CAD模型外由正三角形组成的二十面体时，从所述二十面体的每个顶点或者每个面拍摄所述待处理CAD模型，得到所述待处理CAD模型对应的多视角点云数据集；所述待处理CAD模型对应的多视角点云数据集为所述三维模型多视角点云数据集或所述待识别多视角点云数据集。6.如权利要求1所述的基于多视角特征的工件识别方法，其特征在于，所述S3包括：S31：将所述三维模型图像数据集中各个样本点云输入所述工件类型识别网络；所述工件类型识别网络包括依次级联的多层感知机、Max‑Pooling层、View‑Pooling层和全连接层；S32：利用所述多层感知机将每个视角的所述点云样本输入至权重共享的卷积层，以对各个视角的所述点云样本进行特征提取；S33：利用所述Max‑Pooling层聚集高维空间中各个视角的所有点云样本的特征，得到各个视角对应的全局特征向量；S34：利用所述View‑Pooling层将各视角对应的全局特征向量聚合成高维全局特征；S35：利用所述全连接层中softmax函数对所述高维全局特征进行分类、利用交叉熵损2CN113191207A权利要求书2/2页失函数和Adam优化方法进行有监督训练，以输出多个候选类型及其概率；从而将所述工件类型识别网络训练成所述目标深度神经网络。7.如权利要求6所述的基于多视角特征的工件识别方法，其特征在于，所述S34包括：利用所述View‑Pooling层将各视角对应的所述