基于深度学习迭代匹配的6D姿态估计网络训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109215080A(43)申请公布日2019.01.15(21)申请号201811114456.5(22)申请日2018.09.25(71)申请人清华大学地址100084北京市海淀区清华园1号(72)发明人季向阳王谷李益(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277代理人刘新宇(51)Int.Cl.G06T7/73(2017.01)G06T7/50(2017.01)G06T7/11(2017.01)G06N3/04(2006.01)权利要求书2页说明书8页附图3页(54)发明名称基于深度学习迭代匹配的6D姿态估计网络训练方法及装置(57)摘要本公开涉及一种基于深度学习迭代匹配的6D姿态估计网络训练方法及装置，该方法包括：利用目标对象的三维模型与初始6D姿态估计，获得目标对象的渲染图片和第一分割掩码，将渲染图片、第一分割掩码、目标对象的观测图片及观测图片中目标对象的第二分割掩码输入到深度卷积神经网络中，得到6D姿态估计、第三分割掩码和光流，以所得到的6D姿态估计更新所述初始6D姿态估计，以第三分割掩码替代所述第二分割掩码，重新执行上述步骤，以迭代训练所述深度卷积神经网络。本公开实施例所提出的训练方法在对初始6D姿态估计进行改进时，不需要依赖深度信息，估计结果准确。对于光照、遮挡等问题具有鲁棒性，可以同时处理有纹理和无纹理的物体。CN109215080ACN109215080A权利要求书1/2页1.一种基于深度学习迭代匹配的6D姿态估计网络训练方法，其特征在于，该方法包括：利用目标对象的三维模型与初始6D姿态估计，获得目标对象的渲染图片和第一分割掩码，将渲染图片、第一分割掩码、目标对象的观测图片及观测图片中目标对象的第二分割掩码输入到深度卷积神经网络中，得到6D姿态估计、第三分割掩码和光流，以所得到的6D姿态估计更新所述初始6D姿态估计，以第三分割掩码替代所述第二分割掩码，重新执行上述步骤，以迭代训练所述深度卷积神经网络。2.根据权利要求1所述的方法，其特征在于，将渲染图片、第一分割掩码、目标对象的观测图片及观测图片中目标对象的第二分割掩码输入到深度卷积神经网络中，包括：将目标对象的渲染图片，以及观测图片中目标对象的第二分割掩码的包围矩形区域一起进行的放大操作，使目标对象的三维模型的二维投影中心位于放大后的渲染图片的中心，并且使观测图片中的目标对象完整地位于放大后的观测图片之中；将放大后的渲染图片、第一分割掩码、放大后的观测图片及观测图片中目标对象的第二分割掩码输入到深度卷积神经网络中。3.根据权利要求1所述的方法，其特征在于，该方法还包括：通过以下步骤，利用训练后的深度卷积神经网络对待估计目标对象进行6D姿态估计：利用待估计目标对象的三维模型与初始6D姿态估计，获得待估计目标对象的渲染图片和第四分割掩码，将待估计目标对象的渲染图片、第四分割掩码、待估计目标对象的观测图片及观测图片中待估计目标对象的第五分割掩码输入到训练后的深度卷积神经网络中，得到6D姿态估计；以所得到的6D姿态估计更新所述待估计目标对象的初始6D姿态估计，重新执行上述步骤，以对待估计目标对象的初始6D姿态估计进行迭代改进。4.根据权利要求3所述的方法，其特征在于，将待估计目标对象的渲染图片、第四分割掩码、待估计目标对象的观测图片及观测图片中待估计目标对象的第五分割掩码输入到训练后的深度卷积神经网络中，包括：将待估计目标对象的渲染图片，以及初始预测的观测图片中待估计目标对象的第五分割掩码的包围矩形区域一起进行的放大操作，使待估计目标对象的三维模型的二维投影中心位于放大后的渲染图片的中心，并且使观测图片中的待估计目标对象完整地位于放大后的观测图片之中；将放大后的渲染图片、第四分割掩码、放大后的观测图片及观测图片中待估计目标对象的第五分割掩码输入到训练后的深度卷积神经网络中。5.根据权利要求1所述的方法，其特征在于，所述深度卷积神经网络输出的6D姿态估计用相对于目标姿态的相对姿态变换量来表示，其中，目标姿态是观测图片中目标对象的姿态，相对姿态变换量包括相对旋转变换量和相对平移变换量，相对旋转变换量以目标对象在相机坐标系下的中心点作为相机坐标系的原点，相对平移变换量用2D像素空间的偏移量和尺度变化来表示。6.根据权利要求1所述的方法，其特征在于，所述深度卷积神经网络基于用于预测光流的FlowNet模型来构建。2CN109215080A权利要求书2/2页7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述迭代训练中，基于6D姿态估计、光流和第三分割掩码三个分支的损失函数的加权和，构成损失函数。8.根据权利要求7所述的方法，6D姿态估计分支的损失函数为：其中，