全双工主动窃听下基于Q学习的D2D协同中继功率控制方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108834109A(43)申请公布日2018.11.16(21)申请号201810415644.5(22)申请日2018.05.03(71)申请人中国人民解放军陆军工程大学地址210007江苏省南京市秦淮区后标营路88号(72)发明人王金龙罗屹洁程云鹏杨旸崔丽郑学强(74)专利代理机构北京思创大成知识产权代理有限公司11614代理人王尧(51)Int.Cl.H04W4/70(2018.01)H04W52/24(2009.01)H04L12/24(2006.01)权利要求书4页说明书8页附图3页(54)发明名称全双工主动窃听下基于Q学习的D2D协同中继功率控制方法(57)摘要本发明提供一种全双工窃听下基于Q学习的D2D协同中继功率控制方法，在蜂窝系统中存在全双工主动窃听者的情况下，采用基于Q学习的分层学习算法，先后更新主动窃听者的干扰功率和D2D协同中继和友好干扰的发射功率，从而提升蜂窝系统的物理层安全性能。CN108834109ACN108834109A权利要求书1/4页1.一种全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，该方法包括以下步骤：1)初始化系统参数；2)外层循环迭代次数加1：k＝k+1；3)在第k次循环中，第i个D2D用户根据其功率选择概率qil从传输功率值的集合中选择其协同中继和友好干扰的传输功率值Pil；4)内层迭代次数加1：t＝t+1；A5)在第t次迭代中，主动窃听者根据其功率选择概率qm从离散功率值集合中选择其主动干扰功率值PAm；6)计算第t次迭代中主动窃听者的平均效用函数7)主动攻击者更新其Q值和功率选择概率qA,m(t+1)；8)内部循环进行，直到主动攻击者的功率选择概率满足收敛条件；9)在外部循环中，D2D用户计算其第k次迭代中效用函数10)每个D2D用户更新其Q值和功率选择概率qi,l(k+1)11)转向步骤3)，直到每个D2D用户的功率选择概率满足收敛条件，循环结束。2.根据权利要求1所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤1)具体为：初始化系统参数：内层迭代次数t＝0,外层循环迭代次数k＝0,以及D2D用户和主动窃听者的Q值；并且令qil表示第i个D2D用户选择离散功率集中的第l个传输功率值的概率，其中，i表示D2D用户的编号，表示D2D用户的集合，l表示D2D用户可选的传输功率值的编号，表示每个D2D用户可选的传输功率值的集合，表示为：其中ai表示第i个D2D用户的策略选择，Pil表示第i个D2D用户选择第l个传输功率值；L表示D2D用户可选的传输功率值的总数；令qAm表示全双工主动窃听者选择第m个干扰功率值的概率，其中，m表示主动窃听者可选的干扰功率值的编号，M表示主动窃听者可选的干扰功率值的总数，表示主动窃听者可选的所有干扰功率值的集合，表示为其中aA表示主动窃听者的策略选择，PAm表示主动窃听者选择第m个传输功率值。3.根据权利要求1所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤3)具体为：a)计算蜂窝用户的数据传输速率RC其中表示从基站到蜂窝用户直连链路上的信干噪比SINR，2CN108834109A权利要求书2/4页并且表示第i个D2D用户在两阶段中继链路上的信干噪比，PB、PA、Pi、Pj表示基站、主动窃听者、第i个和第j个D2D用户的发射功率，N0表示背景的加性高斯白噪声，α表示D2D用户的自干扰系数。基站和蜂窝用户之间的信道增益用hBC表示，基站和第i个D2D用户之间的信道增益用hBi表示，第i个D2D用户与蜂窝用户之间的信道增益用hiC表示，以及第i个D2D发射机到第j个D2D接收机之间的信道增益用hij表示，主动窃听者到第i个D2D用户以及蜂窝用户的信道增益分别用hAi，hAC表示，hii表示第i个D2D用户的发射天线到自身接收天线的信道增益；b)计算全双工主动窃听者的窃听速率RA其中表示从基站到窃听者之间的直连窃听信道上的信干噪比，为主动窃听者窃听的第i个D2D用户中继链路上的信干噪比，其中公式中的β表示主动窃听者的自干扰系数，hAi＝hiA，hiA表示第i个D2D用户到主动窃听者的信道增益，hji＝hij表示D2D收发信机之间的信道增益，并且从主动窃听者发射天线到接收天线的自干扰信道增益用hAA表示，从基站到窃听者之间的信道增益用hBA表示。c)计算蜂窝系统总的安全可达速率Rs+Rs＝[RC-RA](3)其中[x]+＝max(0,x)；d)计算蜂窝用户的效用函数Ui和主动窃听者的效用函数UA；蜂窝用户的效用函数Ui表示为蜂窝系统的安全可达速率Rs和D2D协同中继的功率消耗代价λiPi之间的折中，其