一种基于MADDPG算法的无人机数据收集方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114980020A(43)申请公布日2022.08.30(21)申请号202210540948.0(22)申请日2022.05.17(71)申请人重庆邮电大学地址400065重庆市南岸区黄桷垭崇文路2号(72)发明人柴蓉高艺帆陈前斌(74)专利代理机构北京同恒源知识产权代理有限公司11275专利代理师方钟苑(51)Int.Cl.H04W4/40(2018.01)H04W24/02(2009.01)H04W24/06(2009.01)权利要求书3页说明书7页附图1页(54)发明名称一种基于MADDPG算法的无人机数据收集方法(57)摘要本发明涉及一种基于MADDPG算法的无人机数据收集方法，属于无线通信技术领域。该方法包括：S1：构建包含多个无人机以及多个传感器节点的无人机辅助的物联网数据收集系统，具体包括：建模无人机模型；建模传感器节点模型；建模信道模型；建模传感器节点关联变量；建模系统状态、动作和观测值；S2：建模系统代价函数：为由于缓冲区溢出和数据包到期而导致的丢包数量的相反数；S3：建模并训练MADDPG算法；S4：基于MADDPG算法确定无人机数据收集策略。本发明以最小化网络损失为优化目标，实现无人机数据收集轨迹及节点关联优化设计。CN114980020ACN114980020A权利要求书1/3页1.一种基于MADDPG算法的无人机数据收集方法，其特征在于，该方法具体包括以下步骤：S1：构建包含多个无人机以及多个传感器节点的无人机辅助的物联网数据收集系统，具体包括：S11：建模无人机模型；S12：建模传感器节点模型；S13：建模信道模型；S14：建模传感器节点关联变量；S15：建模系统状态、动作和观测值；S2：建模系统代价函数：为由于缓冲区溢出和数据包到期而导致的丢包数量的相反数；S3：建模并训练MADDPG算法；S4：基于MADDPG算法确定无人机数据收集策略。2.根据权利要求1所述的无人机数据收集方法，其特征在于，步骤S11中，建模无人机模型，具体包括：令表示无人机集合，其中Ui表示第i架无人机，1≤i≤I，I为无人机的数量；无人机飞行时高度固定为h，Ui在时隙t的位置为无人机从初始位置出发进行数据收集，能量耗尽前返回初始位置；无人机的最大速度为vmax；令表示Ui在时隙t的飞行方向，vi,t∈[0,vmax]表示Ui在时隙t的飞行速度；Ui在时隙t+1的二维位置投影为：其中τ为时隙长度；令BU表示无人机从初始位置起飞时的可用能量，无人机需在电量耗尽前返回初始位置；令表示Ui在时隙t的电池电量，的更新公式为：其中为Ui在时隙t的推进能耗，计算公式为：其中P0和P0′为常数，Utip为转子叶片的叶尖速度，v0为无人机悬停时平均转子诱导速度，ξdrag和ξrotor分别为机身阻力比和转子可靠性，ρair和Srotor分别为空气密度和转子盘面积。3.根据权利要求2所述的无人机数据收集方法，其特征在于，步骤S12中，建模传感器节点模型，具体包括：令表示传感器节点集合，其中SNj表示第j个传感器节点，其位置表示为其中1≤j≤J，J为传感器数量；SNj从环境中收集数据，将数据包存放在有限缓存中，SNj的缓存容量为SNj在时隙t的队列长度为令表示新到达的数据包；每个数据包有其时间期限δj，当超过时间期限后，将被丢弃；令表示SNj在时隙t因数据包超时丢弃的数据包的数量；当2CN114980020A权利要求书2/3页SNj的缓存达到其容量，即后，当有新的数据包到达，将导致缓存溢出，SNj将丢弃排在队列前端的相同数量的数据包，令表示因数据溢出丢弃的数据包的数量；令表示SNj在时隙t成功上传的数据包数量；SNj的数据缓存队列更新公式为：传感器节点收集可再生能源，用于数据收集和数据传输；令表示SNj在时隙t的电池电量，表示节点的电池容量，SNj的电量更新公式为：其中表示SNj在时隙t收集的能量，表示SNj在时隙t的能耗；SNj在时隙t的能耗建模为：其中表示SNj收集数据的能耗，表示SNj在时隙t传输数据的能耗，其中Pj,t表示SNj在时隙t的传输功率。4.根据权利要求3所述的无人机数据收集方法，其特征在于，步骤S13中，建模信道模型，具体包括：Ui与SNj在时隙t的信道增益其中αe为路径损失系数，建模为高斯随机变量，为高斯变量的方差，e∈{LoS,NLoS}为传播参数。5.根据权利要求4所述的无人机数据收集方法，其特征在于，步骤S14中，建模传感器节点关联变量，具体包括：令δi,j,t∈{0,1}表示传感器节点关联变量，若δi,j,t＝1，表示Ui在时隙t与SNj相关联，反之，若δi,j,t＝0；Ui在同一时隙最多与一个传感器节点进行关联，即SNj在同一时隙最多与一个无人机