一种基于视觉跟踪的AGV运动控制方法、装置及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035157A(43)申请公布日2022.09.09(21)申请号202210608667.4(22)申请日2022.05.31(71)申请人广东天太机器人有限公司地址528000广东省佛山市顺德区大良105国道大墩段(5-1号地块)六号综合楼三层(广珠公路红岗路段23号之9)(72)发明人吴凌云何志雄陈志满(74)专利代理机构广州嘉权专利商标事务所有限公司44205专利代理师刘力(51)Int.Cl.G06T7/246(2017.01)G06T7/269(2017.01)G06T7/73(2017.01)权利要求书2页说明书6页附图1页(54)发明名称一种基于视觉跟踪的AGV运动控制方法、装置及介质(57)摘要本发明涉及AGV技术领域，具体涉及一种基于视觉跟踪的AGV运动控制方法、装置及介质，方法包括：在AGV进行目标跟踪过程中采集AGV周围的视频流；从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度；控制AGV以跟踪目标在下一时刻的运动速度控制行驶；本发明通过提前预判运行速度实现实时跟随，满足实际应用中的实时性需求。CN115035157ACN115035157A权利要求书1/2页1.一种基于视觉跟踪的AGV运动控制方法，其特征在于，所述方法包括以下步骤：在AGV进行目标跟踪过程中采集AGV周围的视频流；从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度；控制AGV以跟踪目标在下一时刻的运动速度控制行驶。2.根据权利要求1所述的一种基于视觉跟踪的AGV运动控制方法，其特征在于，所述从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度，包括：从所述视频流中提取得到最新采集的3帧连续的图像；对每帧图像分别进行连通域识别，确定每帧图像中的多个连通域；对于每帧图像，根据训练好的目标检测模型生成图像的预测框，确定与所述图像的预测框匹配的连通域，在该连通域对应的图像区域中确定n个关键点；其中，n为自然数；关键点包括角点、边缘点；根据前两帧图像的采集时间间隔及前两帧图像中n个关键点的位置偏差确定跟踪目标在当前时刻的运动速度；根据跟踪目标的运动速度预测跟踪目标的在第三帧图像中对应的关键点所在的预测位置；根据跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三帧图像中对应的关键点所在的位置确定跟踪目标的速度偏差，根据所述速度偏差调整所述跟踪目标在当前时刻的运动速度，得到跟踪目标在下一时刻的运动速度。3.根据权利要求2所述的一种基于视觉跟踪的AGV运动控制方法，其特征在于，所述确定与所述图像的预测框匹配的连通域，在该连通域对应的图像区域中确定n个关键点，包括：确定与所述图像的预测框匹配的连通域的最小外接框；确定所述最小外接框与所述预测框的大小偏差是否在设定的大小阈值范围内；确定大小偏差在设定的大小阈值范围内的最小外接框对应的连通域；遍历所述连通域中的每个像素点，确定每个像素点的梯度值，将梯度值最大的n/2个像素点作为角点，将相邻角点之间梯度值最大的像素点作为边缘点，得到n/2个边缘点；将n/2个角点和n/2个边缘点形成集合，共得到n个关键点。4.根据权利要求2所述的一种基于视觉跟踪的AGV运动控制方法，其特征在于，所述根据前两帧图像的采集时间间隔及前两帧图像中n个关键点的位置偏差确定跟踪目标在当前时刻的运动速度，包括：分别确定前两帧图像中n个关键点的最小外接框；若前两帧图像中n个关键点的最小外接框的重叠部分面积大于最小外接框的0.6倍，则计算前两帧图像对应的2个最小外接矩形的中心的矢量差，作为运动目标的位移；将运动目标的位移和前两帧图像的采集时间间隔之比作为跟踪目标在当前时刻的运动速度。5.根据权利要求2所述的一种基于视觉跟踪的AGV运动控制方法，其特征在于，所述根据跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三帧图像2CN115035157A权利要求书2/2页中对应的关键点所在的位置确定跟踪目标的速度偏差，根据所述速度偏差调整所述跟踪目标在当前时刻的运动速度，得到跟踪目标在下一时刻的运动速度，包括：计算跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三帧图像中对应的关键点所在的位置的位移偏差；将所述位移偏差与第一帧图像和第三帧图像的采集时间间隔之比作为速度偏差；将所述速度偏差与所述跟踪目标在当前时刻的运动速度进行矢量计算，得到跟踪目标在下一时刻的运动速度。6.一种基于视觉跟踪的AGV运动控制装置，其特征在于