异构蜂窝网络中基于Sarsa学习的基站休眠方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111405646A(43)申请公布日2020.07.10(21)申请号202010184627.2(22)申请日2020.03.17(71)申请人重庆邮电大学地址400065重庆市南岸区南山街道崇文路2号(72)发明人吴静李云(74)专利代理机构重庆辉腾律师事务所50215代理人王海军(51)Int.Cl.H04W52/02(2009.01)H04W52/24(2009.01)权利要求书3页说明书10页附图3页(54)发明名称异构蜂窝网络中基于Sarsa学习的基站休眠方法(57)摘要本发明涉及异构蜂窝网络领域，具体涉及一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，所述方法包括：建立系统能效模型；根据系统模型、能效模型以及用户重关联规则构建Sarsa学习中的四个要素；通过Sarsa学习模型求解每个状态的最优休眠决策；本发明相比于传统的基站休眠方法采用了无模型的方法，适用于现实生活中用户分布的多态性和复杂性，并且考虑了休眠基站所服务的用户的重关联保证用户的服务连续性，提出了基于Sarsa学习的FBS动态休眠策略，最大化累积回报值，达到提升网络能效的目的。CN111405646ACN111405646A权利要求书1/3页1.一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，包括以下步骤：根据全双工异构蜂窝网络场景建立系统能效模型；根据系统能效模型以及用户重关联规则构建Sarsa学习中的四个要素，包括：状态空间，动作空间，收益函数，Q值函数；根据Sarsa学习中的四个要素开始Sarsa学习过程：从状态空间的初始状态s开始，通过贪婪算法选择动作a，系统根据动作a转移到下一个状态s'，并获得收益、更新Q值；通过不断的学习以及状态转移，得到每个状态-动作对的Q值累积回报值，直到到达终止状态，得到最优Q值；根据最优Q值为状态空间中的每个状态选取Q值最大对应的动作作为该状态的最优休眠决策，根据最优休眠策略进行基站休眠；基站休眠后，根据用户重关联规则对已休眠基站上一时隙中所关联的用户进行重新关联。2.根据权利要求1所述的一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，所述系统能效模型包括：η＝ωηUL+(1-ω)ηDL其中，η为系统能效，ω为效率权重因子，ηUL为上行信道能效，ηDL为下行信道能效。3.根据权利要求2所述的一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，上行信道的总能效ηUL为异构蜂窝网络中所有用户能效之和与用户终端功耗之比，计算方式如下：其中，K表示FBS数量，ζi表示基站fi(i≥0)的状态，当基站工作时为1，休眠时为0；表示当前基站fi(i≥0)所服务的用户集合；表示用户u到基站fi(i≥0)之间的距离，PUE表示用户终端的功耗，W表示系统带宽，表示用户u到基站fi(i≥0)的信干噪比，PCU表示用户终端的固定消耗，ξ表示功率消耗系数，Pu表示用户终端u的传输功率，表示用户u到基站fi(i≥0)之间的路损，表示用户u受到来自基站fi(i≥0)服务的其他用户的干扰，N0表示高斯白噪声信道的功率谱密度。4.根据权利要求2所述的一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，下行信道的总能效ηDL为异构蜂窝网络中所有用户能效之和与基站总功耗之比，计算方式如下：2CN111405646A权利要求书2/3页其中，K表示FBS的数量，ζi表示基站fi(i≥0)的状态，当基站工作时为1，休眠时为0；表示当前基站fi(i≥0)所服务的用户集合；表示用户u到基站fi(i≥0)之间的距离，W表示系统带宽，表示基站到用户的下行信道的信干噪比；表示基站fi(i≥0)的功率max放大器的最大传输功率，且Pi表示FBSfi的功率放大器的最大传输功率，φi表示直流到射频的转换因子；表示用户u到基站fi(i≥0)之间的路损，表示基站fi(i≥0)受到其他基站与用户u通信时的干扰，N0表示高斯白噪声信道的功率谱密度；P0表示MBS的动态功耗，且ρ0表示MBS的负载因子，表示宏基站MBS的功率放大器的最大传输功率，φ0表示MBS的直流到射频的转换因子；Pi表示FBSfi的功耗，PS表示FBS处于休眠状态时的功耗，PA表示FBS处于工作max状态时的功耗，Pconst表示FBS处于工作状态时的固定功耗，Pi表示FBSfi的功率放大器的最大传输功率，φi表示FBS的直流到射频的转换因子，ρi表示当前FBSfi的负载因子，且ni表示当前FBSfi正在服务的用户数，表示FBSfi的最大用户容量，ξ()表示基站的状态，当基站工作时为1，休眠时为0；nj表示当前FBSfj正在服务的用户数。5.根据权利要求1所述的一种异构蜂窝网