物体位姿识别方法及装置、视觉处理设备和可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114140517A(43)申请公布日2022.03.04(21)申请号202111401324.2(22)申请日2021.11.19(71)申请人深圳市优必选科技股份有限公司地址518000广东省深圳市南山区学苑大道1001号南山智园C1栋16、22楼(72)发明人王阳熊友军(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人王新哲(51)Int.Cl.G06T7/70(2017.01)G06T3/40(2006.01)权利要求书2页说明书11页附图4页(54)发明名称物体位姿识别方法及装置、视觉处理设备和可读存储介质(57)摘要本申请提供一种物体位姿识别方法及装置、视觉处理设备和可读存储介质，涉及机器人控制技术领域。本申请在获取到抓取机器人针对目标物体采集到的像素内容匹配的彩色图像及深度图像后，会根据颜色校准参数对彩色图像进行颜色归一化处理，得到第一目标图像，并对深度图像进行深度归一补偿处理，得到第二目标图像，接着对第一目标图像及第二目标图像进行图像通道拼接处理，得到对应的目标物体图像，然后调用预存的位姿估计模型直接从目标物体图像中识别出目标物体的物体位姿信息，从而将目标物体的彩色图像及深度图像进行融合后直接识别目标物体的物体位姿信息，以增强位姿识别实时性，并在确保位姿识别效率的同时有效扩大方案适用范围。CN114140517ACN114140517A权利要求书1/2页1.一种物体位姿识别方法，其特征在于，所述方法包括：获取抓取机器人针对目标物体采集到的彩色图像及深度图像，其中所述彩色图像与所述深度图像在相同像素位置处的像素内容匹配；根据颜色校准参数对所述彩色图像进行颜色归一化处理，得到第一目标图像；对所述深度图像进行深度归一补偿处理，得到第二目标图像；对所述第一目标图像及所述第二目标图像进行图像通道拼接处理，得到对应的目标物体图像；调用预存的位姿估计模型对所述目标物体图像进行识别，得到所述目标物体的物体位姿信息。2.根据权利要求1所述的方法，其特征在于，所述颜色校准参数包括不同颜色通道的预设归一化像素均值及预设归一化像素标准差值，则所述根据颜色校准参数对所述彩色图像进行颜色归一化处理，得到第一目标图像的步骤，包括：针对所述彩色图像在不同颜色通道处的图像分量，对每个图像分量的所有像素进行灰度归一化处理，得到对应的灰度归一化图像；针对每个颜色通道，根据该颜色通道的预设归一化像素均值及预设归一化像素标准差值，对与该颜色通道对应的灰度归一化图像的所有像素进行图像标准化处理，得到所述第一目标图像在该颜色通道处的图像分量。3.根据权利要求1所述的方法，其特征在于，所述对所述深度图像进行深度归一补偿处理，得到第二目标图像的步骤，包括：根据所述深度图像的最大深度值对所述深度图像的所有像素进行深度归一化处理，得到对应的深度归一化图像；按照预设归一化深度值对所述深度归一化图像中的无深度像素进行深度补偿处理，得到所述第二目标图像。4.根据权利要求1‑3中任意一项所述的方法，其特征在于，所述方法还包括：获取不同物体类别各自对应的至少一个物体样本数据集，其中所述物体样本数据集包括对应物体样本在不同真实物体位姿信息下的标注有物体轮廓的目标物体图像，所述真实物体位姿信息由所述抓取机器人的机械臂末端执行器在该抓取机器人抓取对应物体样本时直接反馈得到；基于获取到的所有物体样本数据集进行卷积神经网络模型训练，得到所述位姿估计模型。5.一种物体位姿识别装置，其特征在于，所述装置包括：采集图像获取模块，用于获取抓取机器人针对目标物体采集到的彩色图像及深度图像，其中所述彩色图像与所述深度图像在相同像素位置处的像素内容匹配；颜色归一处理模块，用于根据颜色校准参数对所述彩色图像进行颜色归一化处理，得到第一目标图像；深度归一补偿模块，用于对所述深度图像进行深度归一补偿处理，得到第二目标图像；图像通道拼接模块，用于对所述第一目标图像及所述第二目标图像进行图像通道拼接处理，得到对应的目标物体图像；位姿估计识别模块，用于调用预存的位姿估计模型对所述目标物体图像进行识别，得2CN114140517A权利要求书2/2页到所述目标物体的物体位姿信息。6.根据权利要求5所述的装置，其特征在于，所述颜色校准参数包括不同颜色通道的预设归一化像素均值及预设归一化像素标准差值，则所述颜色归一处理模块包括灰度归一化子模块及图像标准化子模块；所述灰度归一化子模块，用于针对所述彩色图像在不同颜色通道处的图像分量，对每个图像分量的所有像素进行灰度归一化处理，得到对应的灰度归一化图像；所述图像标准化子模块，用于针对每个颜色通道，根据该颜色通道的预设归一化像素均值及预设归一化像素标准差值，对与该颜色