一种考虑海浪遭遇角度的水面无人艇智能航迹控制方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113721604A(43)申请公布日2021.11.30(21)申请号202110891928.3(22)申请日2021.08.04(71)申请人哈尔滨工业大学地址150001黑龙江省哈尔滨市南岗区西大直街92号(72)发明人李玉庆黄胜全王日新江飞龙徐敏强(74)专利代理机构哈尔滨市阳光惠远知识产权代理有限公司23211代理人张宏威(51)Int.Cl.G05D1/02(2020.01)权利要求书2页说明书6页附图3页(54)发明名称一种考虑海浪遭遇角度的水面无人艇智能航迹控制方法(57)摘要本发明提出一种考虑海浪遭遇角度的水面无人艇智能航迹控制方法，在水面无人艇USV模拟器中加入安全评价规则；设计基于DQN的智能操船策略；设计USV的动作空间、状态空间；设计深度Q网络，设计USV的奖励函数及行为策略；在模拟器中训练USV以学习到操船策略；训练完毕后，在模拟器或者实船上应用训练好的操船策略；本发明用于水面无人艇的自动驾驶领域，可以大浪条件下自动执行z字操船策略，调整船体与海浪的遭遇角度，减小船体摇摆幅度，避免船体摇摆幅度过大引发危险，确保水面无人艇能够安全航行到达目标点。CN113721604ACN113721604A权利要求书1/2页1.一种考虑海浪遭遇角度的水面无人艇智能航迹控制方法，其特征在于：步骤1：在水面无人艇USV模拟器中加入安全评价规则；步骤2：设计基于DQN的智能操船策略；设计USV的动作空间、状态空间；设计深度Q网络，设计USV的奖励函数及行为策略；步骤3：在模拟器中训练USV以学习到操船策略；步骤4：训练完毕后，在模拟器或者实船上应用训练好的操船策略。2.根据权利要求1所述方法，其特征在于：在步骤1中，船体摇摆幅度关于海浪遭遇角度的关系近似为线性关系，则所述安全评价规则为：当水面无人艇USV遭遇横浪或顶浪航行时，船体的横摇或纵摇幅度随着时间线性增大，当摇摆幅度超过安全限制时认为本次航行任务失败。3.根据权利要求1所述方法，其特征在于：在步骤2中，步骤2.1：设计USV的动作空间：将USV的航行方向离散化为一定数量的值，作为USV的动作空间A；步骤2.2：设计USV的状态空间。USV的状态空间S如下式中，u,v,r为USV的线速度及角速度；x,y,sinψ,cosψ为USV的线位移及角位移，将USV的艏向角度ψ取为单位圆内的投影值；sinα,cosα为USV的风舷角，取单位圆内的投影；sinθwave,cosθwave为USV的受浪角度，取单位圆内的投影；t为当前仿真时间；δ,为舵机的角度和角速度；(x‑xT),(y‑yT)为USV和目标点之间的相对位移；步骤2‑3：设计深度Q网络结构：深度Q网络用于根据当前状态S估计每一个动作的Q值，从而选出Q值最大的动作作为当前输出的动作；根据输入状态的个数，输出动作的个数，确定深度Q网络的输入输出维度，Q网络的结构如下：式中，x为网络的输入状态，x＝S，是一个列向量；W1,b1,y1为第一个隐藏层网络的参数及输出，采用relu单边激活函数；W2,b2,y2为第二个隐藏层网络的参数及输出，采用relu单边激活函数；W3,b3,y为输出层网络的参数及输出，所述输出为线性输出，不需要经过非线性激活函数，并且输出的是每个动作的Q值，Q值是一个任意的实数；步骤2‑4：设计USV的奖励函数：USV在模拟器中进行训练从而学习到相应的航行策略，在训练过程中需要给出奖励，来引导USV学会期望的航行策略；奖励函数如下：2CN113721604A权利要求书2/2页USV到目标点的距离为式中，(x，y)为USV在NED坐标系下的坐标，单位m；(xT，yT)为目标点在NED下的坐标，单位m；当智能体到目标点的距离小于规定值时，判定智能体完成了预订的任务，给一个最大的奖励，当智能体航行任务失败时，给一个较大的惩罚：当智能体靠近目标时，给一个较小奖励，用于引导智能体靠近目标点：当智能体偏离航线时给一个负的惩罚，引导智能体尽可能沿着预订的航线航行，减小航线偏差：r2＝‑k2·|y‑yT|,k2＞0为了避免USV频繁改变航向，需要加入一个改变航向的惩罚：为了让USV快速学会以合适的遭遇角度进行航线，当USV与海浪的遭遇角度不安全时，给一个惩罚：其中参数k1,k2,k3,k4需要根据学习效果进行调整；步骤2‑5：设计USV的行为策略，采用e‑greedy行为策略。4.根据权利要求1所述方法，其特征在于：在步骤4中，训练完毕后，深度Q网络中即包含了学习到的操船策略。在应用过程中，每次执行动作前，USV将环境状态信息输入到深度Q网络中，然后执行网络输出的动作，控制USV的航行方向，实现Z字操船策略。3CN113721604A说明书