机器人的爬楼控制方法、装置、存储介质和机器人.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110919653A(43)申请公布日2020.03.27(21)申请号201911198984.8(22)申请日2019.11.29(71)申请人深圳市优必选科技股份有限公司地址518000广东省深圳市南山区学苑大道1001号南山智园C1栋16、22楼(72)发明人胡淑萍程骏张惊涛郭渺辰王东庞建新熊友军(74)专利代理机构深圳中一联合知识产权代理有限公司44414代理人翁唱玲(51)Int.Cl.B25J9/16(2006.01)B25J13/00(2006.01)B62D57/024(2006.01)权利要求书3页说明书12页附图7页(54)发明名称机器人的爬楼控制方法、装置、存储介质和机器人(57)摘要本申请适用于机器人控制技术领域，提供了一种机器人的爬楼控制方法、装置、存储介质和机器人，包括：获取楼梯的RGB彩色图像和深度图像；从所述RGB彩色图像中提取所述楼梯上目标阶梯的目标区域轮廓；根据所述深度图像与所述目标区域轮廓，确定机器人与所述目标阶梯的相对位置信息；根据所述相对位置信息，控制所述机器人爬上所述目标阶梯。本申请可使得机器人可以在任意尺寸的、非标准化的楼梯上有效调整姿态和前进方向，避免行走方向出现偏移，从而提高了机器人爬楼的有效性和安全性。CN110919653ACN110919653A权利要求书1/3页1.一种机器人的爬楼控制方法，其特征在于，包括：获取楼梯的RGB彩色图像和深度图像；从所述RGB彩色图像中提取所述楼梯上目标阶梯的目标区域轮廓；根据所述深度图像与所述目标区域轮廓，确定机器人与所述目标阶梯的相对位置信息；根据所述相对位置信息，控制所述机器人爬上所述目标阶梯。2.根据权利要求1所述的机器人的爬楼控制方法，其特征在于，所述从所述RGB彩色图像中提取所述楼梯上目标阶梯的目标区域轮廓的步骤，包括：将所述RGB彩色图像进行灰度化处理，得到所述RGB彩色图像的灰度图像；获取所述灰度图像的二值化图像；识别所述二值化图像中的轮廓，将识别的轮廓中满足预设轮廓条件的轮廓确定为所述楼梯上目标阶梯的目标区域轮廓。3.根据权利要求2所述的机器人的爬楼控制方法，其特征在于，所述识别所述二值化图像中的轮廓，将识别的轮廓中满足预设轮廓条件的轮廓确定为所述楼梯上目标阶梯的目标区域轮廓的步骤，包括：识别所述二值化图像中的轮廓，根据识别的轮廓得到第一轮廓集合；确定所述第一轮廓集合中的轮廓与预设目标区域轮廓的轮廓相似度；将所述轮廓相似度达到预设相似度阈值的轮廓存入第二轮廓集合；获取所述第二轮廓集合中轮廓与所述RGB彩色图像的底边距离；将所述底边距离最小的轮廓，确定为所述目标阶梯的目标区域轮廓。4.根据权利要求1所述的机器人的爬楼控制方法，其特征在于，在所述从所述RGB彩色图像中提取所述楼梯上目标阶梯的目标区域轮廓的步骤之前，包括：利用预设定位算法，对所述RGB彩色图像中的楼梯进行定位；根据所述楼梯的定位，将所述楼梯在所述RGB彩色图像中的区域确定为感兴趣区域；所述从所述RGB彩色图像中提取所述楼梯上目标阶梯的目标区域轮廓的步骤，包括：从所述感兴趣区域中提取满足预设轮廓条件的轮廓，并将其确定为所述楼梯上目标阶梯的目标区域轮廓；若所述感兴趣区域中提取不到满足所述预设轮廓条件的目标区域轮廓，将所述感兴趣区域切换为整幅所述RGB彩色图像。5.根据权利要求1所述的机器人的爬楼控制方法，其特征在于，所述相对位置信息包括机器人相对所述目标阶梯的高度和距离，所述根据所述深度图像与所述目标区域轮廓，确定机器人与所述目标阶梯的相对位置信息的步骤，包括：获取所述RGB图像中所述目标区域轮廓中心点的像素坐标；根据所述深度图像，确定所述RGB彩色图像中所述目标阶梯的图像深度；构建第一坐标系和第二坐标系，其中，所述第一坐标系是在所述目标阶梯的目标区域所在平面构建的三维坐标系，所述第二坐标系是以所述机器人的相机为原点构建的三维坐标系；根据所述目标区域轮廓中心点的像素坐标、所述图像深度以及所述第二坐标系，确定所述机器人在所述第一坐标系下的第一坐标；2CN110919653A权利要求书2/3页根据所述第一坐标确定所述机器人相对所述目标阶梯的高度和距离。6.根据权利要求5所述的机器人的爬楼控制方法，其特征在于，所述根据所述目标区域轮廓中心点的像素坐标、所述图像深度以及所述第二坐标系，确定所述机器人在所述第一坐标系下的第一坐标的步骤，包括：获取所述机器人的相机的内部参数信息；根据所述目标区域轮廓中心点的像素坐标、所述相机的内部参数信息以及所述图像深度，确定所述目标区域轮廓中心点在所述第二坐标系下的第二坐标；获取所述目标区域轮廓在所述第二坐标系下的第一方向向量和第一法向量；根据所述第一方向向量、第