一种级联多移动机器人灵活编队方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113485323A(43)申请公布日2021.10.08(21)申请号202110655081.9(22)申请日2021.06.11(71)申请人同济大学地址210008江苏省南京市杨浦区四平路1239号(72)发明人董璐何子辰孙长银王嘉伟薛磊潘晶(74)专利代理机构南京纵横知识产权代理有限公司32224代理人朱远枫(51)Int.Cl.G05D1/02(2020.01)权利要求书4页说明书13页附图2页(54)发明名称一种级联多移动机器人灵活编队方法(57)摘要本发明提供了一种级联多移动机器人灵活编队方法，该方法基于结合先验的非线性距离‑角度‑航向编队控制知识与连续控制的策略梯度算法，避免移动机器人盲目探索，提高了训练收敛的速度，避免了繁琐的系数调优过程，同时引入近端策略优化独立训练单个移动机器人应对局部静态、动态障碍物的灵活避障能力。该方法分为训练与推理阶段，将复杂的线上解算过程迁移到线下，基于课程学习思想独立训练编队与灵活避障策略，同时在推理环节灵活调用预训练策略，使得整个编队具有更高的自主性与灵活性。CN113485323ACN113485323A权利要求书1/4页1.一种级联多移动机器人灵活编队方法，其特征在于，包括:基于选定的编队队形，根据机器人间的距离、角度和航向，确定动力学模型；根据动力学模型及动力学模型约束，确定非线性移动机器人的灵活编队方法中强化学习架构的先验控制器；基于移动机器人位姿向量的超参数确定动作空间，所述动作空间包括相邻两个移动机器人的编队跟踪动作空间和每个移动机器人独立灵活避障所需动作空间；根据移动机器人姿态与速度的跟踪误差确定状态空间，所述状态空间包括：当前时间步每个移动机器人跟踪相应虚拟移动机器人的跟踪误差的状态空间、相邻移动机器人之间的状态空间以及每个移动机器人描述周围环境信息所需的状态空间；设定强化学习的奖励函数，所述奖励函数包括编队奖励函数和避障奖励函数；基于所述先验控制器，通过与环境交互，根据动作空间、状态空间以及奖励函数执行强化学习训练，训练完成获得包括编队策略与灵活避障策略的级联多移动机器人灵活编队方法。2.根据权利要求1所述的一种级联多移动机器人灵活编队方法，其特征在于，所述动力学方程描述如下：其中，η＝[x,y,θ]T代表每个移动机器人的位姿向量，其中(x,y)为每个移动机器人的位置，θ为每个移动机器人的角度；为移动机器人的速度，ω为移动机器人的当前角速度，vr与vl分别代表移动机器人的左右两轮的速度；所述动力学模型约束形式如下：3.根据权利要求2所述的一种级联多移动机器人灵活编队方法，其特征在于，确定非线性移动机器人的灵活编队方法中强化学习架构的先验控制器的方法具体包括：S31.确定虚T拟期望移动机器人的期望轨迹定义为ηr＝[xr,yr,θr]，(xr,yr)为虚拟期望移动机器人的位置，θr为虚拟期望移动机器人的角度，移动机器人根据虚拟期望轨迹确定姿态的跟踪误差以及速度的跟踪误差表示为：ex为x方向的位置跟踪误差；ey为y方向的位置跟踪误差；eθ为方位角的跟踪误差；分别是x方向的速度跟踪误差和y方向的速度跟踪误差；为角速度跟踪误差；为虚拟机器人的期望角速度；S32.确定相邻移动机器人之间距离、角度和航向之间的期望编队模型，具体描述如下：2CN113485323A权利要求书2/4页其中，v1，v2分别代表相邻移动机器人需要跟踪的虚拟机器人对象，记为虚拟机器人1与虚拟机器人2，(xv1,yv1)为虚拟机器人1的位置，(xv2,yv2)为虚拟机器人2的位置,θv1为虚拟机器人1的角度，θv2为虚拟机器人2的角度；dv2v1为相邻移动机器人v1,v2的相对距离；φv2v1相邻移动机器人v1,v2的相对角度；βv2v1为保持相同方位角的移动机器人的角度修正量；S33.结合(1)‑(4)与反馈线性化非线性控制理论，相邻移动机器人的编队控制先验的描述形式如下：其中，v与w为移动机器人满足预设编队要求的速度与角速度，为虚拟机器人1非线性编队先验控制器的性能超参数,为虚拟机器人2非线性编队先验控制器的性能超参数,性能超参数直接决定先验控制器的控制性能。4.根据权利要求1所述的一种级联多移动机器人灵活编队方法，其特征在于，所述相邻两个移动机器人的编队跟踪动作空间表示如下；其中，为移动机器人跟踪虚拟机器人1非线性编队先验控制器的性能超参数,为移动机器人的相邻移动机器人跟踪虚拟机器人2非线性编队先验控制器的性能超参数,所述每个移动机器人独立灵活避障所需动作空间表示如下；其中，vdiscrete与ωdiscrete分别为移动机器人离散化的速度指令与角速度指令。5.根据权利要求1所述的一种级联多移动机器人灵活编队方法，其特