一种基于视觉的机器人智能理鞋系统设计与实现方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113723475A(43)申请公布日2021.11.30(21)申请号202110927442.0(22)申请日2021.08.10(71)申请人深圳技术大学地址518118广东省深圳市坪山区石井街道兰田路3002号(72)发明人张坛张政(74)专利代理机构深圳市君胜知识产权代理事务所(普通合伙)44268代理人谢松(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)B25J11/00(2006.01)G06K9/32(2006.01)权利要求书2页说明书10页附图6页(54)发明名称一种基于视觉的机器人智能理鞋系统设计与实现方法(57)摘要本发明公开了一种基于视觉的机器人智能理鞋系统设计与实现方法，包括步骤：获取目标图像；所述目标图像中的目标包括鞋子和鞋架；根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；根据所有所述鞋子的图像，确定配对的鞋子；根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。本申请通过确定目标图像中配对的鞋子，并根据目标图像确定鞋子的位姿和鞋架的位姿，将配对的鞋子放入鞋架，解决了鞋子乱摆放的问题。CN113723475ACN113723475A权利要求书1/2页1.一种基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，包括步骤：获取目标图像；所述目标图像中的目标包括鞋子和鞋架；根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；根据所有所述鞋子的图像，确定配对的鞋子；根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。2.根据权利要求1所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像，包括：将所述目标图像输入训练好的识别网络，通过所述训练好的识别网络得到所述目标图像中所述目标的类别和所述目标的掩码；其中，所述目标的类别包括鞋子和鞋架，所述目标的掩码包括：鞋子的掩码和鞋架的掩码；针对每只鞋子，根据所述目标图像以及该鞋子的掩码，确定该鞋子的位姿；根据目标图像以及所述鞋架的掩码，确定所述鞋架的位姿；针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像。3.根据权利要求2所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述目标图像为深度图像；所述鞋子的掩码包括本体掩码和开口掩码；所述鞋子的位姿包括鞋子的位置信息和鞋子的方向信息；所述针对每只鞋子，根据所述目标图像以及该鞋子的边框，确定该鞋子的位姿，包括：根据所述本体掩码，确定所述本体掩码对应的本体边框和本体中心点；其中，所述本体边框为鞋子的最小外接矩形框；针对每只鞋子，根据所述目标图像和该鞋子的本体中心点，确定该鞋子的位置信息；根据所述开口掩码，确定所述开口掩码对应的开口中心点；针对每个本体边框，根据该本体边框和所有开口中心点，确定该本体边框对应的开口中心点；针对每只鞋子，根据该鞋子的本体边框的中心点和该鞋子的本体边框对应的开口中心点，确定该鞋子的方向信息。4.根据权利要求3所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像，包括：针对每只鞋子，根据该鞋子的本体掩码对应的本体边框以及该鞋子的本体边框对应的开口中心点，对所述目标图像进行旋转，得到该鞋子的旋转图像；其中，该鞋子的旋转图像中该鞋子竖直向上；对该鞋子的旋转图像进行裁剪，得到该鞋子的图像。5.根据权利要求2所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述根据所有所述鞋子的图像，确定配对的鞋子，包括：针对每个鞋子的图像，将该鞋子的图像输入训练好的特征提取网络，通过所述训练好的特征提取网络得到该鞋子的特征向量；对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子。2CN113723475A权利要求书2/2页6.根据权利要求5所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子，包括：根据任意两个鞋子的特征向量，确定两个鞋子的余弦相似度；当两个鞋子的余弦相似度满足预设要求时，将两个鞋子作为配对的鞋子。7.根据权利要求1所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架，包括：根据所述鞋架的位姿，确定所述鞋架的目标位姿；其中，所述目标位姿为所述鞋架上放入所述配对的鞋子的位姿；针