使用深度Q学习的上行链路功率控制.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113875294A(43)申请公布日2021.12.31(21)申请号202080040021.X(74)专利代理机构北京市金杜律师事务所(22)申请日2020.05.1511256代理人马明月(30)优先权数据201954702019.06.03FI(51)Int.Cl.H04W52/14(2009.01)(85)PCT国际申请进入国家阶段日2021.11.29(86)PCT国际申请的申请数据PCT/EP2020/0636732020.05.15(87)PCT国际申请的公布数据WO2020/244906EN2020.12.10(71)申请人诺基亚通信公司地址芬兰埃斯波(72)发明人R·古普塔S·卡尔亚纳森达拉姆权利要求书4页说明书17页附图8页(54)发明名称使用深度Q学习的上行链路功率控制(57)摘要根据一方面，提供了一种用于控制终端设备上行链路传输功率的计算设备。每个终端设备被配置为基于两个功率控制参数确定上行链路传输功率：针对全路径损耗补偿的目标接收功率和路径损耗补偿系数。计算设备包括用于执行以下操作的部件。关于多个小区中的数据业务的信息被维护在数据库中。计算设备初始化深度Q学习网络，在深度Q学习网络中，状态被定义为功率控制参数的小区特定对，动作被定义为选择小区的功率控制参数的有效值，并且奖励基于关于数据业务的信息而被计算。计算设备训练深度Q学习网络以逼近Q值函数，基于此确定最优功率控制参数，并且引起将它们传输到接入节点。CN113875294ACN113875294A权利要求书1/4页1.一种用于控制多个小区中的多个终端设备的上行链路传输功率的计算设备，其中每个终端设备被配置为至少基于针对全路径损耗补偿的每物理资源块PRB的目标接收功率和路径损耗补偿系数来确定其上行链路传输功率，所述计算设备包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述计算设备执行：在数据库中维护关于所述多个小区中涉及所述多个终端设备的数据业务的信息；初始化深度Q学习网络，其中‑状态被定义为针对全路径损耗补偿的每PRB的所述目标接收功率和所述路径损耗补偿系数的对的集合，其中每个对对应于所述多个小区中的一个小区，‑给定状态下的动作被定义为针对当前具有无效值的对，选择针对全路径损耗补偿的每PRB的所述目标接收功率和所述路径损耗补偿系数的有效值，以及‑采取动作的奖励基于关于所述多个小区中的所述数据业务的所述信息而被计算，以优化在所述多个小区中的所有小区上的整体上行链路性能；利用多个随机状态和多个随机动作来训练所述深度Q学习网络以逼近Q值函数，其中每个随机状态最初包括具有随机有效值的针对全路径损耗补偿的每PRB的所述目标接收功率和所述路径损耗补偿系数的预定义数目的对，其中每个随机状态下的所述对中的其余对具有无效值，所述对中的所述其余对包括至少一个对；针对每个小区，基于所述Q值函数确定针对全路径损耗补偿的每PRB的最优目标接收功率和最优路径损耗补偿系数；以及引起向所述多个接入节点发送针对全路径损耗补偿的每PRB的所述目标接收功率和所述路径损耗补偿系数的优化值以用于向所述多个终端设备的进一步传输。2.根据权利要求1所述的计算设备，其中关于数据业务的所述信息可以包括针对所述多个小区中的每个小区的关于以下一项或多项的信息：业务密度、用户分布、所述小区内的终端设备的配置、信道特性、小区内干扰和小区间干扰。3.根据权利要求1或2所述的计算设备，其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述计算设备执行：接收关于所述多个小区中涉及所述多个终端设备的的数据业务的另外的信息；将关于数据业务的所述另外的信息存储到所述数据库，以补充或更新在所述数据库中维护的关于数据业务的所述信息；以及通过重复所述训练、所述确定和所述引起发送，来重新优化所述深度Q学习网络以考虑所述另外的信息。4.根据前述权利要求中任一项所述的计算设备，其中针对所述深度Q学习网络中的状态和动作的所述Q值函数被定义为针对所述状态和动作的所述奖励与在所述动作被执行时在所述状态之后的所有状态和动作的最大累积奖励的总和。5.根据前述权利要求中任一项所述的计算设备，其中所述深度Q学习网络的所述训练包括：a)生成随机状态的集合和在所述随机状态的集合中的每个随机状态下的可能随机动作的集合；b)使用所述随机状态的集合和所述可能动作的集合作为输入，将目标Q值函数计算为2CN113875294A权利要求书2/4页贝尔曼等式的1步迭代其中是所述目标Q值函数，sn+1是在动作被采取时在初始状态sn之后的状态，是在所述状态sn+1下执行的