发明授权-201910778087.8-一种D2D通信系统接入频谱的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利(10)授权公告号CN110505604B(45)授权公告日2021.07.09(21)申请号201910778087.8H04W52/38(2009.01)(22)申请日2019.08.22(56)对比文件(65)同一申请的已公布的文献号US2016255617A1,2016.09.01申请公布号CN110505604ACN109862610A,2019.06.07CN109639760A,2019.04.16(43)申请公布日2019.11.26廖晓闽，严少虎，石嘉，谭震宇，赵钟灵，李(73)专利权人电子科技大学赞.基于深度强化学习的蜂窝网资源分配算法.地址611731四川省成都市高新西区西源《通信学报》.2019,第40卷(第2期),全文.大道2006号审查员刘丹(72)发明人梁应敞谭俊杰张蔺(74)专利代理机构成都点睛专利代理事务所(普通合伙)51232代理人孙一峰(51)Int.Cl.H04W4/70(2018.01)H04W52/24(2009.01)权利要求书2页说明书6页附图4页(54)发明名称一种D2D通信系统接入频谱的方法(57)摘要本发明属于无线通信技术领域，涉及一种D2D通信系统接入频谱的方法。本发明针对D2D通信系统提出一种基于深度强化学习的频谱接入方法，让每个D2D通信设备根据历史和局部信息优化接入频谱的策略，以提高系统的整体容量。和现有的方案相比，本发明只需让每个D2D通信设备收集本地测量数据(如接收干扰等)和来自于其他D2D通信设备有延迟的反馈信息，而无需实时收集D2D通信设备间的CSI。CN110505604BCN110505604B权利要求书1/2页1.一种D2D通信系统接入频谱的方法，所述D2D通信系统具有M个D2D通信设备及N个信道，每个D2D通信设备由一个发送端Tx和一个接收端Rx组成，宏蜂窝基站MBS作为协调者帮助D2D通信设备间的同步和传递反馈信息，其特征在于，所述接入频谱的方法为：设定目标为找出一种信道选择和功率控制方案使D2D通信系统的总容量最大化，建立目标模型为：其中，表示第m个D2D通信设备在第t个帧获得速率，和分别表示在第t个帧时所有D2D通信设备的信道选择向量和发送功率向量，表示每个D2D通信设备的发送端的最大发送功率，和分别表示所有D2D通信设备的集合以及所有信道的集合，表示第m个D2D通信设备在第t个帧选择的信道，是信道选择变量，若第m个D2D通信设备在第t个帧选择信道n，则否则表示第m个D2D通信设备在第t个帧选择的发送功率，σ2是加性高斯白噪声，表示第t帧时第m个D2D通信设备的发送端到第k个D2D通信设备的接收端在信道上的信道响应，其中，βm,k是仅与距离有关的路径损耗，是符合Jake’s信道模型的小尺度衰落，相邻帧小尺度衰落的变化表述为其中，δ和在第0帧的初始值都是服从复高斯分布的随机变量，而ρ表示信道相关系数，j≠m；基于目标模型，采用深度强化学习让每个D2D通信设备根据历史和局部信息来动态调整接入频谱，具体为：将D2D通信系统的帧结构设计为包括预处理阶段和发送阶段，在预处理阶段D2D通信设备通过信息反馈即发送反馈信息至相邻D2D通信设备或者接收相邻D2D通信设备的反馈信息、干扰测量、发送‑接收端信道估计获取状态数据，通过深度强化学习选择一个频谱接入策略，包括信道和发送功率；D2D通信设备的发送端在发送阶段以在选择的信道和发送功率进行信息传输；深度强化学习的实现方式为：2CN110505604B权利要求书2/2页状态数据：在第t个帧，D2D通信设备的状态包括：第t‑1个帧及第t‑2个帧的功率、信道、速率信息；第t个帧及第t‑1个帧的发送‑接收端信道估计值；第t个帧及第t‑1个帧干扰测量值，因此，将第m个D2D通信设备在第t个帧获得的系统状态设计为其中，表示第m个D2D通信设备在第t‑1个帧选择的发送功率，表示第m个D2D通信设备在第t‑2个帧选择的发送功率，表示第m个D2D通信设备在第t‑1个帧选择的信道，表示第m个D2D通信设备在第t‑2个帧选择的信道，表示第m个D2D通信设备在第t‑1个帧获得速率，表示第m个D2D通信设备在第t‑2个帧获得速率，表示第m个D2D通信设备在第t个帧所测量到的总干扰，表示第m个D2D通信设备在第t‑1个帧所测量到的总干扰；表示第m个D2D通信设备在第t个帧所测量到本地CSI向量，表示第m个D2D通信设备在第t‑1个帧所测量到本地CSI向量，表示第t帧时第m个D2D通信设备的发送端到第m个D2D通信设备的接收端在信道n上的信道响应；动作空间：在每一个帧的预处理阶段，每个D2D通信设备需要选择一个信道和发送功率，动作空间设计为其中L是功率的离散数量；奖励：由于该系统的目标是为