一种利用轮廓信息的6D位姿估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110322510A(43)申请公布日2019.10.11(21)申请号201910569209.2(22)申请日2019.06.27(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人杨路康甲刘文俊(74)专利代理机构成都禾创知家知识产权代理有限公司51284代理人裴娟(51)Int.Cl.G06T7/73(2017.01)权利要求书2页说明书5页附图2页(54)发明名称一种利用轮廓信息的6D位姿估计方法(57)摘要本发明提供了一种利用轮廓信息的6D位姿估计方法，包括：基于卷积神经网络设计目标物体6D位姿估计网络；采集和标注不同背景、角度和姿态的目标物体训练样本图片构建数据集，并对训练样本进行数据增强；对目标物体6D位姿估计网络进行训练，得到网络参数模型；调用目标物体6D位姿估计网络参数模型对目标物体图片进行预测，得到目标物体关键点二维投影坐标；由目标物体关键点二维投影坐标，利用EPnP计算出目标物体6D位姿。本发明方法在不需要位姿修正后处理的情况下，通过所设计的6D位姿估计网络，利用目标物体的轮廓信息快速准确地检测出目标物体的6D位姿。CN110322510ACN110322510A权利要求书1/2页1.一种利用轮廓信息的6D位姿估计方法，其特征在于，包括以下步骤：S1：基于卷积神经网络设计目标物体6D位姿估计网络，包含网络共享层、轮廓预测分支和边界框预测分支；网络共享层由卷积层和池化层组成，用于提取图片中目标物体特征，得到特征图；轮廓预测分支由上采样层和卷积层组成，每次上采样之后得到的特征图和网络共享层中相同尺度的特征图拼接得到新的特征图，并作为下一个卷积层的输入；边界框预测分支由一系列全卷积网络以及一个直连层组成，此分支将输入图片划分为S×S个网格，每个网格对应图片中32×32的区域，每个网格输出包含代表3D边界框的9个关键点投影坐标、类别概率，预测框的置信度；边界框预测分支输出维度大小为S×S×D的张量，其中D＝(9×2+N+1)，N代表目标物体的类别个数，9个关键点为3D边界框的顶点和边界框的中心；S2：采用不同背景、角度和姿态的目标物体图片作为训练样本以构建训练集，对训练样本进行数据增强，以及轮廓信息标注、分类信息标注和位姿信息标注；S3：使用步骤S2构建的训练集对目标物体6D位姿估计网络进行训练，通过最小化设计的损失函数优化网络参数，当训练次数达到预设次数时，停止训练并得到6D位姿估计网络模型；S4：调用S3得到的6D位姿估计网络模型对目标物体图片进行预测，得到目标物体关键点的二维投影坐标；S5：利用S4中目标物体预测关键点的投影坐标和目标物体的CAD模型关键点三维坐标，通过EPnP算法计算目标物体相对于相机的位姿。2.如权利要求1所述的一种利用轮廓信息的6D位姿估计方法，其特征在于，目标物体6D位姿估计网络中轮廓预测分支最后一层采用Sigmoid函数，其余非线性激活函均使用Relu函数，每个卷积层均合并了批归一化层。3.如权利要求1所述的一种利用轮廓信息的6D位姿估计方法，其特征在于，在步骤2中，轮廓信息以二维张量标注，以区分目标物体和背景，轮廓信息张量的维度与网络输入图片相同；分类信息以数字标注，不同类别的物体以不同大小的整数标注；位姿信息以目标物体的3D边界框的8个顶点和1个中心点标注。4.如权利要求1所述的一种利用轮廓信息的6D位姿估计方法，其特征在于，步骤S3中所设计的损失函数包括几何约束损失函数、轮廓预测损失函数、关键点坐标误差函数、置信度损失函数和类别预测损失函数，具体是：几何约束损失函数公式：其中λedge为几何约束损失函数的权值，lij为预测边界框的边长，为预测框第i组的四个对应边的平均长度；轮廓预测损失函数：2CN110322510A权利要求书2/2页其中λmask为轮廓预测损失函数的权值，w为输入图片的宽度像素值，h为输入图片的高度像素值，p为预测像素为目标物体的概率，为标注值，；关键点坐标误差函数：2其中λpc为关键点坐标误差函数的权值，S为输入图片划分的网格的数目，x,y为预测坐标值，为标注坐标值，表示目标物体的中心落在第i个网格中；置信度损失函数：其中λobj为置信度损失函数的权值，C为预测置信度，为预测边界框与标注边界框计算得到的置信度，表示目标物体的中心落在第i个网格中，表示目标物体的中心未落在第i个网格中；类别预测损失函数：其中λid为类别预测损失函数的权值，p(c)为网络预测类别概率，为标注类别；整体损失函数：L＝Ledge+Lmask+Lpc+Lconf+Lid。3CN110322510A说明书1/5页一种利用轮廓信息的6D位姿估计方法技术领域[00