一种物体位姿检测方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114155297A(43)申请公布日2022.03.08(21)申请号202111487942.3G06T17/00(2006.01)(22)申请日2021.12.07G06K9/62(2022.01)G06V10/26(2022.01)(71)申请人南方电网电力科技股份有限公司G06V10/28(2022.01)地址510000广东省广州市越秀区西华路G06V10/44(2022.01)捶帽新街1-3号华业大厦附楼501-503G06V10/75(2022.01)室G06V10/82(2022.01)(72)发明人郑培文陈禹明张晓晔方燕琼赖嘉骏梁俊韬吴勇(74)专利代理机构北京集佳知识产权代理有限公司11227代理人李秋梅(51)Int.Cl.G06T7/73(2017.01)G06T7/13(2017.01)G06T7/12(2017.01)权利要求书2页说明书8页附图3页(54)发明名称一种物体位姿检测方法及装置(57)摘要本申请公开了一种物体位姿检测方法及装置，本申请基于目标物体的观察图像处理后得到的二值轮廓分割图，将二值轮廓分割图作为ResNet网络模型的输入量，通过ResNet网络模型的运算，确定目标物体的关键点信息、边缘向量信息以及图像像素对称对应关系信息；基于关键点信息、边缘向量信息以及图像像素对称对应关系信息，通过仿射空间位姿换算方式以及EPnP算法进行运算，得到目标物体的初始位姿参数。当目标物体部分被遮挡的情况下也能够检测出位姿参数，解决了现有技术的位姿检测方法在遮挡环境下准确度低的技术问题，为机器人的工件物体抓取任务提供信息，进而提升流水线的生产效率。CN114155297ACN114155297A权利要求书1/2页1.一种物体位姿检测方法，其特征在于，包括：获取包含待检测的目标物体的观察图像；基于所述观察图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图；将所述二值轮廓分割图作为ResNet网络模型的输入量，通过所述ResNet网络模型的运算，确定所述目标物体的关键点信息、边缘向量信息以及图像像素对称对应关系信息；基于所述关键点信息、所述边缘向量信息以及所述图像像素对称对应关系信息，通过仿射空间位姿换算方式以及EPnP算法，得到所述目标物体的初始位姿参数。2.根据权利要求1所述的一种物体位姿检测方法，其特征在于，得到所述目标物体的初始位姿参数之后还包括：基于所述目标物体的标准三维模型，结合所述初始位姿参数，构建所述目标物体的渲染图像；对所述渲染图像与所述观察图像进行特征比较，确定所述初始位姿参数与实际位姿参数的位姿参数偏差值，以便基于所述初始位姿参数与所述位姿参数偏差值，确定所述目标物体的实际位姿参数。3.根据权利要求2所述的一种物体位姿检测方法，其特征在于，对所述渲染图像与所述观察图像进行特征比较，确定所述初始位姿参数与实际位姿参数的位姿参数偏差值具体包括：将所述渲染图像与所述观察图像作为FlowNetSimple网络模型的输入量，通过所述FlowNetSimple网络模型以及点匹配损失函数对所述渲染图像与所述观察图像进行特征比较运算，以确定所述初始位姿参数与实际位姿参数的位姿参数偏差值。4.根据权利要求3所述的一种物体位姿检测方法，其特征在于，所述点匹配损失函数具体为：式中，x代表图像中的像素点，n为像素点的数量，p代表所述渲染图像，代表所述观察图像，R代表所述渲染图像中目标物体的位姿旋转分量，代表所述观察图像中目标物体的位姿旋转分量，t代表所述渲染图像中目标物体的位姿平移分量，代表所述观察图像中目标物体的位姿平移分量。5.根据权利要求1所述的一种物体位姿检测方法，其特征在于，获取包含待检测的目标物体的观察图像之后，且基于所述观察图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图之前还包括：基于所述观察图像中包含的目标物体，从所述观察图像中分割出所述目标物体的图像，以便基于分割得到的图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图。6.一种物体位姿检测装置，其特征在于，包括：观察图像获取单元，用于获取包含待检测的目标物体的观察图像；二值分割处理单元，用于基于所述观察图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图；2CN114155297A权利要求书2/2页目标物体信息确定单元，用于将所述二值轮廓分割图作为ResNet网络模型的输入量，通过所述ResNet网络模型的运算，确定所述目标物体的关键点信息、边缘向量信息以及图像像素对称对应关系信息；初始位姿计算单元，用于基于所述关键点信息、所述边缘向量信息以及所述图像像素对称对应关系信息，通过仿射空间位姿换算方式以及EPnP算法，得到