有限通信下面向多无人机联合任务分配和航迹规划的方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115981369A(43)申请公布日2023.04.18(21)申请号202310025703.9(22)申请日2023.01.09(71)申请人南京航空航天大学地址211106江苏省南京市江宁区秣陵街道将军大道29号(72)发明人吴启晖卢卓周福辉(74)专利代理机构南京钟山专利代理有限公司32252专利代理师张力(51)Int.Cl.G05D1/10(2006.01)权利要求书4页说明书12页附图7页(54)发明名称有限通信下面向多无人机联合任务分配和航迹规划的方法(57)摘要本发明公开了有限通信下面向多无人机联合任务分配和航迹规划的方法，包括：建立多智能体深度强化学习所需的二维环境模型；建立多无人机联合任务分配和航迹规划环境中的组合优化问题描述和约束条件；定义强化学习关键要素；构建并训练有限通信环境下面向多无人机联合任务分配和航迹规划的MADRL算法网络模型；采用训练完成的网络模型进行多无人机在动态且有限通信环境下最佳路径寻找。将LSTM‑MADDPG算法引入到多无人机联合任务分配和航迹规划当中，使得整个网络即便在较低的通信环境中依旧能获得较为稳定提升的学习策略。CN115981369ACN115981369A权利要求书1/4页1.有限通信下面向多无人机联合任务分配和航迹规划的方法，其特征在于，包括：步骤1：根据多无人机实际有限通信环境，建立多智能体深度强化学习所需的二维环境模型；步骤2：建立多无人机联合任务分配和航迹规划环境中的组合优化问题描述和约束条件；步骤3：基于步骤2的描述和约束条件，定义强化学习关键要素；步骤4：根据步骤1构建的环境模型和步骤3定义的强化学习关键要素，构建并训练有限通信环境下面向多无人机联合任务分配和航迹规划的MADRL算法网络模型；步骤5：采用训练完成的MADRL算法网络模型进行多无人机在动态且有限通信环境下最佳路径寻找。2.根据权利要求1所述的有限通信下面向多无人机联合任务分配和航迹规划的方法，其特征在于，所述步骤1建立的深度强化学习所需的二维环境模型为：设定有限通信环境中存在若干个目标区域、若干个危险区域、若干架无人机，各区域的位置随机分配，其中目标区域数量与无人机数量相等，各无人机最终只能选择一个目标，从随机生成的地图中找到各无人机从不同起点到不同任务点的最佳路径，同时航迹过程中需要避免与其他无人机或者危险区发生碰撞。3.根据权利要求1所述的有限通信下面向多无人机联合任务分配和航迹规划的方法，其特征在于，步骤2所述建立多无人机联合任务分配和航迹规划环境中的组合优化问题描述和约束条件，包括：考虑一组无人机群U＝(U1，U2，...，Ui)，i∈1，...，N在二维环境中，无人机Ui在t时刻的位置任务集为任务在t时刻的位置是危险区集为D＝(D1，D2，...，Di)，i∈1，...，M，危险区Di在t时刻的位置为根据无人机Ui在t时刻的位置为描述无人机Ui的路径Pi：用di代表无人机Ui路径Pi的长度，则优化目标表述为其必须满足的约束条件包括：(1)、每个任务被分配给一架无人机Ui，即(2)、每个任务只被一架无人机执行，即，(3)、在航行过程中，每架无人机与其他无人机在任意t时刻没有碰撞，即，(4)、任意t时刻，每架无人机的航迹路线都与危险区无碰撞，4.根据权利要求1所述的有限通信下面向多无人机联合任务分配和航迹规划的方法，其特征在于，所述步骤3定义强化学习关键要素：其中，代表N＞1个智能体的集合；S是所有智能体观测的状态空间；A代表所有智能体的联合行为动作空间；R是智能体在状态S下做出动作A的环境奖励函数集合，将状态和智能2CN115981369A权利要求书2/4页体的行为映射到奖励，即5.根据权利要求1所述的有限通信下面向多无人机联合任务分配和航迹规划的方法，其特征在于，所述步骤3包括：步骤3‑1：建立场景的智能体集合，由无人机群通信网络中的各无人机组成，无人机数等于智能体数，具体如下：步骤3‑2：建立无人机的状态空间；所述状态评估智能体的动作对环境状态造成的影响，定义S，针对有限通信环境，用表示智能体i在时刻t的完全可观察状态，包括该智能体自身的位置目标位置及危险区位置通信消息m为其他智能体的位置及其通信预算b，部分可观察状态包含相同的状态变量，如果其他智能体通信了该时间步长，则通信消息m*是其他智能体的位置，否则为(‑1，‑1)，因而：t∈T，i∈N(6)其中，通信预算由智能体之间共享，当全部预算为1.0，如果通信预算设置为总共可以发送x条消息，每发一条消息，预算则减少1/x倍，如果没有给出预算，则不允许通信，通信预算将为0.0，一旦通信预算为0.0，消息默认为空值(‑1，‑1)；步骤3‑3：建立无人机的动作空间；无人机