一种基于单目相机的AGV行人跟随方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113658221A(43)申请公布日2021.11.16(21)申请号202110857535.0(22)申请日2021.07.28(71)申请人同济大学地址200092上海市杨浦区四平路1239号(72)发明人刘成菊袁家遥陈启军(74)专利代理机构上海科盛知识产权代理有限公司31225代理人杨宏泰(51)Int.Cl.G06T7/246(2017.01)G06T7/70(2017.01)G06T7/80(2017.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书2页说明书6页附图5页(54)发明名称一种基于单目相机的AGV行人跟随方法(57)摘要本发明涉及一种基于单目相机的AGV行人跟随方法，包括以下步骤：1)检测行人目标：根据部署在上位机的行人检测模型得到行人目标检测框；2)利用单目相机标定单应矩阵：获取三维世界坐标系到二维像素坐标系的单应矩阵H；3)行人坐标解算：计算三维世界坐标系下行人与地面接触点的坐标，即行人目标的世界坐标(xw,yw)；4)移动机器人速度和角度的实时计算：分别设计线速度PID控制器和角度PID控制器实时计算移动机器人的线速度和角速度；5)控制底盘运动：上位机通过ROS系统发布线速度和角速度消息到下位机，下位机将速度指令解算为驱动电机的预期转速，实现AGV跟随行人。与现有技术相比，本发明具有简便高效实时准确、主从机分布式通信、计算量小等优点。CN113658221ACN113658221A权利要求书1/2页1.一种基于单目相机的AGV行人跟随方法，其特征在于，用以实现室内环境下的AGV行人跟随，包括以下步骤：1)检测行人目标：根据部署在上位机的行人检测模型实现实时行人目标检测，得到行人目标检测框；2)利用单目相机标定单应矩阵：根据行人目标位于地面平面的先验条件，通过单目相机采集图像与地面上对应的多组特征点对进行标定，获取三维世界坐标系到二维像素坐标系的单应矩阵H；3)行人坐标解算：根据标定的单应矩阵H与行人目标检测框底边中点的二维像素坐标计算三维世界坐标系下行人与地面接触点的坐标，即行人目标的世界坐标(xw,yw)；4)移动机器人速度和角度的实时计算：根据行人目标的世界坐标获取行人相对于移动机器人的距离偏差和角度偏差，分别设计线速度PID控制器和角度PID控制器实时计算移动机器人的线速度和角速度；5)控制底盘运动：上位机通过ROS系统发布线速度和角速度消息到下位机，下位机根据AGV运动学模型将速度指令解算为驱动电机的预期转速，实现AGV跟随行人。2.根据权利要求1所述的一种基于单目相机的AGV行人跟随方法，其特征在于，所述的步骤1)中，行人检测模型采用MobileNet改进的SSD单阶段目标检测器，具体结构为：采用MobileNetv2替换SSD原模型中VGG‑16作为主干网络backbone提取特征，分类器仍使用SSD分类器。3.根据权利要求1所述的一种基于单目相机的AGV行人跟随方法，其特征在于，所述的步骤2)中，由于单应矩阵H的实际自由度只有八个，选取特征点的组数为四组。4.根据权利要求1所述的一种基于单目相机的AGV行人跟随方法，其特征在于，所述的步骤3)中，考虑到三维世界坐标系以固定在移动机器人边缘的相机与地面的交点为坐标原点，因此计算行人目标的世界坐标点时需计入移动机器人半径rAGV，则计入移动机器人半径后的行人目标的世界坐标点坐标为(xw+rAGV,yw)。5.根据权利要求4所述的一种基于单目相机的AGV行人跟随方法，其特征在于，所述的距离PID控制器和角度PID控制器的设计步骤包括：41)进行初始化设置，具体为：411)设定初始线速度cmdv、初始角速度cmdw和起始转动角度；412)获取当前时刻计入移动机器人半径后的行人目标的世界坐标点坐标(xw+rAGV,yw)；413)计算当前时刻在计入安全距离后移动机器人与行人之间的距离其中，dsafe为设置的安全距离，用以防止移动机器人跟踪过近撞到行人；42)设计线速度PID控制器，具体为：设置线速度PID控制器的控制参数，以当前时刻计入安全距离后移动机器人与行人之间的距离作为线速度PID控制器的输入，设置移动机器人与行人之间的距离期望值为0，根据距离误差值得到控制线速度v；43)设计角度PID控制器，具体为：设置角度PID控制器的控制参数，以当前时刻在计入安全距离后移动机器人与行人之2CN113658221A权利要求书2/2页间的角度作为输入，并设置移动机器人与行人之间的角度期望值为0度，根据角度误差值得到控制角速度w。6.根据权利要求5所述的一种基于单目相机的AGV行人跟随方法，其特征在于，所述的线速度PID控制器和角度PI