超可靠低时延的蜂窝车联网下行多连接传输方法与系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115915065A(43)申请公布日2023.04.04(21)申请号202211562213.4(22)申请日2022.12.07(71)申请人南京大学地址210093江苏省南京市鼓楼区汉口路22号(72)发明人周海波查曹怡薛鉴哲(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204专利代理师孟红梅(51)Int.Cl.H04W4/40(2018.01)H04W16/10(2009.01)H04W28/18(2009.01)H04W76/15(2018.01)权利要求书3页说明书13页附图4页(54)发明名称超可靠低时延的蜂窝车联网下行多连接传输方法与系统(57)摘要本发明公开了一种超可靠低时延的蜂窝车联网下行多连接传输方法与系统，为网联自动驾驶车辆提供了一种可靠的下行传输方案。本发明中有多个基站服务于具有多连接能力的多个用户，URLLC业务数据包使用不同的子载波在多条链路上同时独立地传输；本发明提出了一种多智能体深度强化学习算法来实现多连接性URLLC的实时功率分配，在服务于同一个URLLC用户的多个链路之间共享信息，并选择合适的传输功率，使各链路在保证可靠性的同时尽量减少小区间干扰和能耗。本发明利用多连接技术使得URLLC的实时可靠性在不依赖包重传的情况下大大增强。相比于传统算法，本发明提出的多智能体深度强化学习算法能够实时完成功率分配并适配动态用户，在保证可靠性的同时节约传输能量。CN115915065ACN115915065A权利要求书1/3页1.一种超可靠低时延的蜂窝车联网下行多连接传输方法，其特征在于：在下行蜂窝车联网系统中，有多个基站服务于具有多连接能力的多个用户，对于URLLC业务数据包，使用不同的子载波在多条链路上同时独立地传输；将蜂窝车联网下行链路中多连接URLLC的功率分配问题建模为多智能体深度强化学习问题，其中每个URLLC链路被视为一个智能体，智能体观察的状态包括在相同频率上操作的所有基站的子载波的信道增益和传输需求，智能体的行为是其在基站的发射功率；每个URLLC链路以深度强化学习框架给定的发射功率向目标用户发送URLLC数据包的副本；深度强化学习框架采用近端策略优化算法进行训练，以多连接URLLC的功率分配问题的目标作为所有智能体共同的奖励，包括最大化URLLC数据包的可靠性和最小化总/平均发射功率。2.根据权利要求1所述的一种超可靠低时延的蜂窝车联网下行多连接传输方法，其特征在于：所述蜂窝车联网系统中，URLLC服务与低时延服务共享通信资源；低时延数据包在单个链路上传输；所述多连接URLLC的功率分配问题的目标还包括最小化低时延数据包的空中接口延迟。3.根据权利要求2所述的一种超可靠低时延的蜂窝车联网下行多连接传输方法，其特征在于：对于低时延数据包，选择具有最佳信道增益的子载波来开始传输，并且所使用的子载波和发射功率在该数据包被成功传输之前都是恒定的；对于URLLC数据包，从所有未被占用的子载波中选择具有最佳信道增益的多个独立子载波来建立多连接。4.根据权利要求1所述的一种超可靠低时延的蜂窝车联网下行多连接传输方法，其特征在于：所述深度强化学习框架中使用基于Transformer的近端策略优化算法，将Transformer神经网络架构应用于相关智能体之间的信息共享，发送给同一用户的同一URLLC数据包链路由Transformer关联。5.根据权利要求4所述的一种超可靠低时延的蜂窝车联网下行多连接传输方法，其特征在于：所述Transformer神经网络输入为E＝[E1；E2；…；EM]，其中，Em同一用户的所有URLLC链路对应智能体观察的状态数据向量Sm分别经过一个多层感知器进行编码后得到的向量，m∈{1,…,M}，M为服务于一个多连接的URLLC用户的链路数量；网络输入经过多头注意力计算、第一求和与归一化层和前馈网络和第二求和与归一化层得到Transformer神经网络的输出D＝[D1；D2；…；DM]；每个输出向量Dm再通过另一个多层感知器得到每个智能体的行为。6.根据权利要求1所述的一种超可靠低时延的蜂窝车联网下行多连接传输方法，其特征在于：一个时隙内有多个处于激活状态的URLLC链路，每个URLLC链路独立地观察环境；设第j条URLLC链路在第n个子载波频率上服务于第k个用户，第b个基站的状态表示为sb，n＝{gk，b，n，db，n}，其中gk，b，n是在第n个子载波频率上从第b个基站到第k个用户的信道增益，db，n是在该信道上传输的URLLC数据包的长度；第j个URLLC链路的观察状态是所有基站的sb，n的组合Sj＝{s1，n，...，sb，n，...，sB，n}；B为基站数量；将Sj中的sb，n将按照它们在