车辆边缘计算中基于联邦深度强化学习的任务卸载方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115865914A(43)申请公布日2023.03.28(21)申请号202211494716.2H04L67/101(2022.01)(22)申请日2022.11.26H04L67/1001(2022.01)H04L67/12(2022.01)(71)申请人福州大学H04L41/16(2022.01)地址350108福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学(72)发明人陈星林欣郁姚泽玮胡晟熙(74)专利代理机构福州元创专利商标代理有限公司35100专利代理师张灯灿蔡学俊(51)Int.Cl.H04L67/10(2022.01)G06F30/27(2020.01)G06N3/092(2023.01)G06N3/098(2023.01)H04L67/1008(2022.01)权利要求书4页说明书13页附图3页(54)发明名称车辆边缘计算中基于联邦深度强化学习的任务卸载方法(57)摘要本发明涉及一种车辆边缘计算中基于联邦深度强化学习的任务卸载方法，包括：1、将任务卸载问题建模为一个优化问题：找到一组最优的任务卸载策略以最小化系统中所有车辆到达任务的平均响应时间；2、构建卸载动作Q值预测模型；将每辆车看作智能体，在运行时环境中分布式使用DQN方法训练卸载动作Q值预测模型；每个智能体通过自己可观测的数据训练自己的模型；在训练过程中，结合联邦学习框架对各智能体的模型进行聚合，最终得到适用于各智能体的通用的卸载动作Q值预测模型；3、在运行时环境中，使用得到的通用模型，通过比较各卸载动作的Q值选择卸载动作；重复上述过程，为每个子任务决定卸载地点。该方法有利于优化整个系统的平均响应时间。CN115865914ACN115865914A权利要求书1/4页1.一种车辆边缘计算中基于联邦深度强化学习的任务卸载方法，其特征在于，包括以下步骤：步骤1：将任务卸载问题建模为一个优化问题：找到一组最优的任务卸载策略以最小化系统中所有车辆到达任务的平均响应时间；步骤2：构建卸载动作Q值预测模型；将每辆车看作智能体，在运行时环境中分布式使用DQN方法训练卸载动作Q值预测模型；训练数据包括车辆的任务到达率λ、计算节点的服务率μ、计算节点之间的单位任务量传输时延D、任务的卸载方案F、计算节点的负载率ρ及系统平均响应时间T；每个智能体通过自己可观测的数据训练自己的模型，该模型用于在不同的运行时环境下预测不同卸载动作的Q值；在训练过程中，结合联邦学习框架对各智能体的模型进行聚合，最终得到一个适用于各智能体的通用的卸载动作Q值预测模型；步骤3：在运行时环境中，使用步骤2得到的通用的卸载动作Q值预测模型，根据车辆的任务到达率λ、计算节点的服务率μ、计算节点之间的单位任务量传输时延D、任务的卸载方案F及计算节点的负载率ρ，预测不同卸载动作的Q值，通过比较各卸载动作的Q值选择卸载动作；重复上述过程，逐步为每个子任务决定卸载地点。2.根据权利要求1所述的车辆边缘计算中基于联邦深度强化学习的任务卸载方法，其特征在于，按如下方法构建所述任务卸载问题的问题模型：假设在某区域内的道路上部署了N个路侧单元，每个路侧单元都配备一个具有计算能力的边缘服务器，用于处理任务；路侧单元的集合记为E＝{e1,e2,…,eN}，ej表示第j个路侧单元；该区域内有M辆车，记为V＝{v1,v2,…,vM}，vi表示第i辆车；每辆车都拥有计算资源，用于处理自身的任务；具有计算资源的车辆和路侧单元统称为计算节点；每辆车通过无线网络和多接入边缘计算技术接入距离最近的K个路侧单元，进行通信和数据传输，并且使用边缘服务器的计算资源进行数据处理；当车辆产生任务，假设任务内部是无依赖的，运行时被任意划分为多个子任务，划分任务的开销忽略不计；每个子任务均卸载到K个路侧单元中的任意一个执行，或在本地执行；假设单位时间内车辆的任务到达率服从泊松分布；使用向量λ＝[λ1,λ2,…,λM]表示M辆车的任务到达率，即单位时间内车辆产生的任务量；使用向量表示计算节点的服务率，即单位时间内计算节点处理的任务量，表示车辆vi的服务率，表示路侧单元ej的服务率；M辆车和N个路侧单元之间的单位任务量传输时延使用矩阵D表示：其中，di,0＝0表示车辆vi到自身的单位任务量传输时延，di,j表示车辆vi和路侧单元ej之间的单位任务量传输时延；单位时间内M辆车的卸载策略使用矩阵F表示：2CN115865914A权利要求书2/4页其中，fi,0表示车辆vi本地执行的任务量，fi,j表示车辆vi卸载到路侧单元ej的任务量；使用向量表示单位时间内计算节点负载的任务量，其中，表示车辆vi负载的任务量，表示路侧单元ej负载的任务量；假设车辆仅能将任务卸载到其能接入的K个路侧单元或