基于OFDMA的双层资源分配模型的资源分配方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115942476A(43)申请公布日2023.04.07(21)申请号202211475816.0(22)申请日2022.11.23(71)申请人广东工业大学地址510090广东省广州市东风东路729号(72)发明人辜方清余志鹏陈学松(74)专利代理机构深圳市创富知识产权代理有限公司44367专利代理师梁嘉朗(51)Int.Cl.H04W72/0453(2023.01)H04W72/044(2023.01)H04W72/53(2023.01)权利要求书3页说明书9页附图14页(54)发明名称基于OFDMA的双层资源分配模型的资源分配方法(57)摘要本发明公开了基于OFDMA的双层资源分配模型的资源分配方法，该方法包括：考虑资源的收益与平等分配并结合OFDMA技术，构建双层资源分配模型；通过多智能体强化学习算法对双层资源分配模型进行优化处理，得到优化后的双层资源分配模型；根据优化后的双层资源分配模型对用户资源请求数据进行分配处理，得到用户的资源分配方案。通过使用本发明，能够通过将多智能体强化学习算法与双层资源分配模型进行结合实现安全高效稳定的资源分配方案。本发明作为基于OFDMA的双层资源分配模型的资源分配方法，可广泛应用于无线网络资源分配技术领域。CN115942476ACN115942476A权利要求书1/3页1.基于OFDMA的双层资源分配模型的资源分配方法，其特征在于，包括以下步骤：考虑资源的收益与平等分配并结合OFDMA技术，构建双层资源分配模型；通过多智能体强化学习算法对双层资源分配模型进行优化处理，得到优化后的双层资源分配模型；根据优化后的双层资源分配模型对用户资源请求数据进行分配处理，得到用户的资源分配方案。2.根据权利要求1所述基于OFDMA的双层资源分配模型的资源分配方法，其特征在于，所述考虑资源的收益与平等分配并结合OFDMA技术，构建双层资源分配模型这一步骤，其具体包括：考虑运营商的收益以及资源的均衡统一分配，构建上层资源分配模型；考虑资源的平等分配，构建下层资源分配模型；整合上层资源分配模型与下层资源分配模型，构建双层资源分配模型。3.根据权利要求2所述基于OFDMA的双层资源分配模型的资源分配方法，其特征在于，所述上层资源分配模型的表达式如下所示：上式中，an表示收益指数，Rn表示下层资源分配模型返回的结果，λ1和λ2表示平衡收益与服务商之间的指数，n表示第n个切片，u表示第u个用户，bn,u表示第n个切片内的第u个用户是否满足其所在切片的最低要求，vn,k表示基站将第k个子信道分配给第n个切片，pn表示基站分配资源给第n个切片的功率。4.根据权利要求3所述基于OFDMA的双层资源分配模型的资源分配方法，其特征在于，所述下层资源分配模型的表达式如下所示：上式中，k表示第k个子信道，vn,u,k表示基站将第k个子信道分配给第n个切片，第n个切片将第k个子信道分配给第u个用户，pn,u,k表示第n个切片在第k个子信道分配给其第u个用户的功率，U表示用户集合，Rn,u,k表示第n个切片中第u个用户在第k个子信道的速率，rdn,u表示第n个切片中第u个用户向切片请求的速率，pn,u表示第n个切片中第u个用户被分配的功率资源。5.根据权利要求4所述基于OFDMA的双层资源分配模型的资源分配方法，其特征在于，所述通过多智能体强化学习算法对双层资源分配模型进行优化处理，得到优化后的双层资源分配模型这一步骤，其具体包括：基于MATD3智能体强化学习算法对上层资源分配模型进行优化处理，得到优化后的上层资源分配模型；基于TD3智能体强化学习算法对下层资源分配模型进行优化处理，得到优化后的下层资源分配模型；整合优化后的上层资源分配模型和优化后的下层资源分配模型，构建优化后的双层资源分配模型。2CN115942476A权利要求书2/3页6.根据权利要求5所述基于OFDMA的双层资源分配模型的资源分配方法，其特征在于，所述上层资源分配模型包括第一智能体和第二智能体，所述基于MATD3智能体强化学习算法对上层资源分配模型进行优化处理，得到优化后的上层资源分配模型这一步骤，其具体包括：初始化上层资源分配模型的状态，所述上层资源分配模型的状态包括上层记忆回放单元、第一智能体的初始状态、第二智能体的初始状态、迭代训练次数和上层时间步长；将第一智能体的初始状态输入至第一智能体中，通过激活函数进行压缩处理，输出子信道分配结果；将第二智能体的初始状态输入至第二智能体中，通过激活函数进行压缩处理，输出功率分配结果；将子信道分配结果与功率分配结果传输至下层资源分配模型进行分配处理，得到下层反馈奖励；整合智能体的初始状态、智能体的输出结果与下层反馈奖励，构建上层四元组并存入上层记忆