机械臂的抓取点的获取方法及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109241964A(43)申请公布日2019.01.18(21)申请号201810942396.X(22)申请日2018.08.17(71)申请人上海非夕机器人科技有限公司地址201100上海市闵行区555号丙楼1096室(72)发明人卢策吾方浩树(74)专利代理机构上海百一领御专利代理事务所(普通合伙)31243代理人甘章乖王路丰(51)Int.Cl.G06K9/32(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图1页(54)发明名称机械臂的抓取点的获取方法及设备(57)摘要本发明的目的是提供一种机械臂的抓取点的获取方法及设备，本发明利用机械臂自身的运动，对物体进行一次扫描，即可得到物体的立体图像，构建物体三维模型，该数据采集方法高效，效果好。另外，通过物体三维模型渲染出实际场景下的仿真图片，基于仿真图训练一个深度神经网络预测物体位姿信息，该方法具有速度快，效果好，鲁棒等优点。CN109241964ACN109241964A权利要求书1/2页1.一种机械臂的抓取点的获取方法，其中，该方法包括：机械臂围绕待扫描的物体进行立体扫描，以扫描得到物体立体图像；对扫描得到的所述物体立体图像进行基于深度图的前后景分割，得到去背景后的物体立体图片；根据所述背景后的物体立体图片重构物体三维模型；利用所述物体三维模型渲染实际场景下的仿真图片，根据所述仿真图片生成预设数量的训练样本，基于所述训练样本训练深度神经网络；在所述实际场景中，获取物体的当前立体图像，将当前立体图像输入所述深度神经网络，通过所述深度神经网络计算所述当前立体图像中的物体的位姿信息，根据计算得到的所述物体的位姿信息获取机械臂抓取点位。2.根据权利要求1所述的方法，其中，机械臂围绕待扫描的物体进行立体扫描，以扫描得到物体立体图像，包括：机械臂围绕待扫描的物体进行各个视角的立体扫描，以扫描得到各个视角的物体立体图像。3.根据权利要求1所述的方法，其中，根据所述去背景后的物体立体图片重构物体三维模型，包括：利用fastfusion，根据所述去背景后的物体立体图片重构物体三维模型。4.根据权利要求1至3任一项所述的方法，其中，利用所述物体三维模型渲染实际场景下的仿真图片中，所述仿真图片包含物体的位姿信息。5.一种机械臂的抓取点的获取设备，其中，该设备包括：扫描装置，用于使机械臂围绕待扫描的物体进行立体扫描，以扫描得到物体立体图像；处理装置，用于对扫描得到的所述物体立体图像进行基于深度图的前后景分割，得到去背景后的物体立体图片；建模装置，用于根据所述背景后的物体立体图片重构物体三维模型；训练装置，用于利用所述物体三维模型渲染实际场景下的仿真图片，根据所述仿真图片生成预设数量的训练样本，基于所述训练样本训练深度神经网络；计算装置，用于在所述实际场景中，获取物体的当前立体图像，将当前立体图像输入所述深度神经网络，通过所述深度神经网络计算所述当前立体图像中的物体的位姿信息，根据计算得到的所述物体的位姿信息获取机械臂抓取点位。6.根据权利要求5所述的设备，其中，所述扫描装置，用于使机械臂围绕待扫描的物体进行各个视角的立体扫描，以扫描得到各个视角的物体立体图像。7.根据权利要求5所述的设备，其中，所述建模装置，用于利用fastfusion，根据所述去背景后的物体立体图片重构物体三维模型。8.根据权利要求5至7任一项所述的设备，其中，所述仿真图片包含物体的位姿信息。9.一种基于计算的设备，其中，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：2CN109241964A权利要求书2/2页机械臂围绕待扫描的物体进行立体扫描，以扫描得到物体立体图像；对扫描得到的所述物体立体图像进行基于深度图的前后景分割，得到去背景后的物体立体图片；根据所述背景后的物体立体图片重构物体三维模型；利用所述物体三维模型渲染实际场景下的仿真图片，根据所述仿真图片生成预设数量的训练样本，基于所述训练样本训练深度神经网络；在所述实际场景中，获取物体的当前立体图像，将当前立体图像输入所述深度神经网络，通过所述深度神经网络计算所述当前立体图像中的物体的位姿信息，根据计算得到的所述物体的位姿信息获取机械臂抓取点位。10.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：机械臂围绕待扫描的物体进行立体扫描，以扫描得到物体立体图像；对扫描得到的所述物体立体图像进行基于深度图的前后景分割，得到去背景后的物体立体图片；根据所述背景后的物体立体图片重构物体三维模型；利用所述物体三维模型渲染实际场景下的仿真图片，根据所述仿真图片生成预设数量