一种蜂窝移动通信系统接入非授权频谱的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109862567A(43)申请公布日2019.06.07(21)申请号201910241003.7(22)申请日2019.03.28(71)申请人电子科技大学地址611731四川省成都市高新西区西源大道2006号(72)发明人梁应敞谭俊杰张蔺(74)专利代理机构成都点睛专利代理事务所(普通合伙)51232代理人孙一峰(51)Int.Cl.H04W16/04(2009.01)H04W16/14(2009.01)H04W74/02(2009.01)H04B17/382(2015.01)权利要求书1页说明书3页附图5页(54)发明名称一种蜂窝移动通信系统接入非授权频谱的方法(57)摘要本发明属于无线通信技术领域，涉及一种蜂窝移动通信系统接入非授权频谱的方法。本发明的目标是使蜂窝系统充分利用频谱中的空闲时间进行传输。空闲时间是指其他系统没有数据需要传输的时间，即当前缓冲区的包已经传输完成而新的数据包尚未达到。由于深度强化学习能够通过在复杂的数据中提取变化规律，进而实现在复杂动态环境中进行有效地决策，本发明提出利用深度强化学习对频谱占用情况进行分析和预测，然后根据频谱的繁忙程度自适应地调整蜂窝系统的接入策略。本发明无需各个运作在非授权频谱上的系统增加额外的控制信道或控制接口，通过深度强化学习频谱数据中的流量变化规律，实现在蜂窝系统在无需其他系统信息情况下的智能频谱接入方案。CN109862567ACN109862567A权利要求书1/1页1.一种蜂窝移动通信系统接入非授权频谱的方法，设定非授权频谱中存在一个蜂窝系统和其他基于随机接入的非蜂窝通信系统，其特征在于，包括：蜂窝系统采用轮询式的方式接入信道，即蜂窝基站的MAC帧结构为，采用一个时间长度为Tf单位时间的虚拟帧，在每一虚拟帧内的前Ts单位时间的时间长度为蜂窝系统的接入时间，其后的1-Tf单位时间保持静默，允许其他通信系统接入；蜂窝系统在每一虚拟帧中保持静默的时间内持续进行侦听，采集信道信息；根据采集到的信道信息，采用基于深度强化学习的接入时间动态调节方法，对下一虚拟帧蜂窝系统的接入时间进行决策。2.根据权利要求1所述的一种蜂窝移动通信系统接入非授权频谱的方法，其特征在于，所述信道信息包括繁忙时间、空闲时间以及信道中最长的空闲时间，则所述基于深度强化学习的接入时间动态调节方法具体为：设定蜂窝系统的目标是最大化自身的传输容量，同时尽可能地让非蜂窝通信系统传输其所要发送的包，即将一个虚拟帧中观察到的最长空闲时间作为关键指标，则定义深度强化学习的奖励函数为：其中，at为第t个虚拟帧蜂窝系统选取的传输时间，at的取值范围是{0,...,Tf-1}；LIDt为当前帧的蜂窝系统静默时间内观察到的最长空闲长度；TG为保护时间长度，定义是：当TG越大时，奖励函数越容易返回惩罚值，通过调整TG，系统可以实现对非蜂窝系统不同强度的保护效果；在下一虚拟帧的开头作出决策的依据，即深度强化学习的状态，定义为：st+1＝{LIDt,IDLEt,BUSYt,at,rt}其中，IDLEt为上一次帧内的空闲时长，BUSYt为上一帧内的繁忙时长。2CN109862567A说明书1/3页一种蜂窝移动通信系统接入非授权频谱的方法技术领域[0001]本发明属于无线通信技术领域，涉及一种蜂窝移动通信系统接入非授权频谱的方法。背景技术[0002]传统的蜂窝移动通信系统需要通过增加授权频谱的数量来提高传输带宽来满足日益增加的无线流量需求。然而，授权频谱稀缺且授权费用高昂，难以完全依靠授权频谱来填补流量需求和系统容量的缺口。另一方面，非授权频谱充足且利用率低下。因此，让蜂窝移动通信系统接入非授权频谱为用户提供服务是一种高效率且低成本的系统扩容方法。由于非授权频谱是开放接入的，其承载的系统数量多且种类各异，如WiFi、Bluetooth、Zigbee等。虽然这些系统采用了简单的基于随机接入方式来避免碰撞，但是这种方式会提高通信延迟，这对通信质量高度敏感的蜂窝系统是难以接受的。此外，工作在非授权频谱上的各类系统缺少相互协作的所需的控制信道和控制接口，这也使得蜂窝系统难以根据非授权频谱上的实际流量来调节自身的接入策略。相反，若蜂窝系统忽视非授权频谱上的其他系统，这将大大提高信道的碰撞概率、降低频谱的有效利用率以及违反非授权频谱的公平使用原则。发明内容[0003]为了对非授权频谱进行公平且高效的接入，本发明的目标是使蜂窝系统充分利用频谱中的空闲时间进行传输。空闲时间是指其他系统没有数据需要传输的时间，即当前缓冲区的包已经传输完成而新的数据包尚未达到。由于深度强化学习能够通过在复杂的数据中提取变化规律，进而实现在复杂动态环境中进行有效地决策，本发明提出利用深度强化