一种基于深度双Q网络的蜂窝网络功率分配方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112492686A(43)申请公布日2021.03.12(21)申请号202011268978.8(22)申请日2020.11.13(71)申请人辽宁工程技术大学地址123000辽宁省阜新市细河区中华路47号(72)发明人王伟殷爽爽吕明海武聪(51)Int.Cl.H04W72/04(2009.01)H04W72/08(2009.01)G06N3/04(2006.01)权利要求书1页说明书5页附图2页(54)发明名称一种基于深度双Q网络的蜂窝网络功率分配方法(57)摘要本发明公开了一种基于深度双Q网络的蜂窝网络中功率分配算法，算法采用双神经网络结构，有效解决传统强化学习算法无法处理大规模状态‑动作空间的问题，并降低两个神经网络之间的相关性，解决值函数过估计问题。算法使用状态信息作为神经网络的输入，并对状态、动作及奖赏函数根据仿真蜂窝网络情境分别进行设计，其中将上一时刻的干扰信息及速率信息作为当前时刻状态信息的组成部分，使智能体可以更加有效的进行自主学习，经过多次迭代后，得到最优的功率分配策略。该方法可以有效解决蜂窝网络中的功率分配问题，且在不同用户数量及小区数量下均具备良好的泛化性能，可以有效提升功率分配的合理性，同时运行耗时少，大大提高功率分配的效率。CN112492686ACN112492686A权利要求书1/1页1.一种基于深度强化学习的蜂窝网络功率分配算法，其特征在于使用深度双Q网络实现蜂窝网络的功率分配，其包括如下：使用双神经网络结构来实现智能体的动作选择与动作评估，提升算法的性能；同时对于状态、动作及奖赏函数进行对应设计，加强智能体的自主学习能力，从而提升功率分配的有效性及高效性，可缓解蜂窝网络中严重的干扰问题，提升下行链路的传输速率，使得用户通信体验更佳，蜂窝网络通信性能更优。2.根据权利要求1所述一种基于深度双Q网络的蜂窝网络功率分配算法，初始化蜂窝网络环境，包括小区数量及各小区内的用户数量及相关参数设置，初始化状态作为神经网络的输入。3.根据权利要求1所述一种基于深度双Q网络的蜂窝网络功率分配算法，状态包含三个部分，第一个部分是智能体所接收到的干扰信息，第二部分是干扰信息对应智能体所分配的功率，第三部分是干扰信息对应智能体对应的传输速率，状态表示为：其中，表示智能体当前所接收到的干扰信息，表示上一时隙，干扰信息对应的智能体可以达到的传输速率，表示干扰信息对应的智能体所分配到的功率，表示干扰信息对应的智能体所分配到的功率索引值。4.根据权利要求1所述一种基于深度双Q网络的蜂窝网络功率分配算法，设置10种不同的功率值以供选择，其中包含零值，同时在最小发射功率与最大发射功率之间均匀选取九种发射功率，包含最小与最大发射功率，集合表示为：A＝{0,Pmin,...,Pmax}其中，Pmin与Pmax分别表示最小与最大发射功率，将初始状态信息输入神经网络，输出并根据ε‑greedy策略选择相应的动作，即功率值。5.根据权利要求1所述一种基于深度双Q网络的蜂窝网络功率分配算法，在达到固定迭代次数及固定时隙时，从经验池中随机抽取批次数据量输入神经网络进行训练，计算损失函数的值，更新当前Q网络的参数，在间隔固定时隙数后，更新目标Q网络权重值，将当前Q网络的参数赋值给目标Q网络。6.根据权利要求1所述一种基于深度双Q网络的蜂窝网络功率分配算法，奖赏函数的设计，是通过设置当前时隙当前智能体所得速率加和其他智能体所得速率总和的折扣值作为奖赏函数，计算公式为：。7.根据权利要求1所述一种基于深度双Q网络的蜂窝网络功率分配算法，采用双神经网络结构实现动作的选取及动作的评估，提升网络的性能，所述一种基于深度双Q网络的蜂窝网络功率分配算法，对状态、动作及奖赏函数进行分别设计后，进行神经网络的训练，最终输出并并得到最优的功率分配策略。2CN112492686A说明书1/5页一种基于深度双Q网络的蜂窝网络功率分配方法技术领域[0001]本发明涉及蜂窝网络功率分配领域，特别是涉及一种干扰多址的多用户蜂窝网络功率分配方法。背景技术[0002]无线通信技术在过去几十年发展迅速，从1G到目前5G的广泛推出，在满足用户多样化业务需求的同时，其无线数据传输量也呈指数型增长趋势，且随着智能终端设备的大规模普及，网络中的接入终端数也在不断增多，网络中的传输数据量变得更加巨大。目前，密集小蜂窝网络是解决频谱稀缺性问题的有效方案，不过密集部署的基站及规模不断变小的小区，会使得整个通信网络被无线信号所覆盖，网络中的干扰问题变得十分严重，目前，功率分配技术是实现网络有效干扰管理的关键技术，合理的功率分配可以有效缓解网络中的干扰，提升通信体验，因此，开发出一种功率分配技术来提升网络的通信性能是