一种车联网中车辆任务卸载方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113687875A(43)申请公布日2021.11.23(21)申请号202110915535.1(22)申请日2021.08.10(71)申请人北京科技大学地址100083北京市海淀区学院路30号(72)发明人罗熊王婷(74)专利代理机构北京市广友专利事务所有限责任公司11237代理人张仲波付忠林(51)Int.Cl.G06F9/445(2018.01)G06F9/50(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种车联网中车辆任务卸载方法及装置(57)摘要本发明公开了一种车联网中车辆任务卸载方法及装置，该方法包括：将移动边缘计算引入车辆任务卸载场景，建立包括计算节点和待卸载任务车辆的交通环境；其中，计算节点作为边缘计算中的边缘节点，用于供车辆卸载任务，并对车辆所卸载的任务进行处理；基于交通环境，以降低系统时延为目标，采用深度强化学习算法建立车辆任务卸载模型，实现通信与计算资源的协同优化；利用车辆任务卸载模型，实现车联网中的车辆任务卸载。本发明在车联网领域引进了边缘计算，并基于深度强化学习算法改进了传统车联网中车辆任务卸载方式，从而为车辆任务卸载提供了低时延的卸载方案。CN113687875ACN113687875A权利要求书1/2页1.一种车联网中车辆任务卸载方法，其特征在于，包括：将移动边缘计算引入车辆任务卸载场景，建立包括计算节点和待卸载任务车辆的交通环境；其中，所述计算节点作为边缘计算中的边缘节点，用于供所述待卸载任务车辆卸载任务，并对所述待卸载任务车辆所卸载的任务进行处理；基于所述交通环境，以降低系统时延为目标，采用深度强化学习算法建立车辆任务卸载模型，实现通信与计算资源的协同优化；利用所述车辆任务卸载模型，实现车联网中的车辆任务卸载。2.如权利要求1所述的车联网中车辆任务卸载方法，其特征在于，在所述交通环境中，所述待卸载任务车辆与计算节点以正交频分多址的方式通信连接。3.如权利要求1所述的车联网中车辆任务卸载方法，其特征在于，所述计算节点包括宏基站、路边单元和闲置车辆；其中，所述宏基站、路边单元和闲置车辆的任务处理能力依次递减。4.如权利要求3所述的车联网中车辆任务卸载方法，其特征在于，所述车联网中车辆任务卸载方法，还包括：按照对任务卸载时延的容忍度，将车辆任务分为不同优先级；当任务卸载时，优先考虑最高级别的任务，在较高级别的任务处理完后再处理下一级任务。5.如权利要求4所述的车联网中车辆任务卸载方法，其特征在于，在实现车联网中的车辆任务卸载时，根据任务时延敏感度和计算量进行任务卸载；所述根据任务时延敏感度和计算量进行任务卸载，包括：根据预设的计算量阈值和时延阈值对任务进行划分；当车辆卸载任务的计算量大于预设的计算量阈值且时延需求高于预设的时延阈值时，先将任务卸载到基站进行处理；当车辆卸载任务的时延要求低于预设的时延阈值时，对于任务的卸载采取就近原则，卸载到路边单元或闲置车辆。6.如权利要求5所述的车联网中车辆任务卸载方法，其特征在于，在计算车辆任务卸载时延时，对于路径损失的计算，采用对数正态阴影路径损耗模型。7.如权利要求1所述的车联网中车辆任务卸载方法，其特征在于，所述深度强化学习算法为融合了残差网络(ResidualNetwork，ResNet)的深度循环Q学习(DeepRecurrentQ‑Network，DRQN)算法。8.如权利要求7所述的车联网中车辆任务卸载方法，其特征在于，在所述车辆任务卸载模型中，当前状态是待卸载任务车辆，动作是选择计算节点进行卸载，奖励则是环境对当前卸载的反馈值，下一状态是下一待卸载任务车辆。9.如权利要求8所述的车联网中车辆任务卸载方法，其特征在于，利用所述车辆任务卸载模型，实现车联网中的车辆任务卸载，包括：初始化经验集，评估网络与目标网络，设置车辆任务卸载的状态空间为S，可用动作空间为A；在状态s选择动作a，执行动作，同时观测环境得到及时奖励以及新的状态s’，将当前的状态，选择的动作，得到的奖励及下一个状态，放入经验集中，从经验集中选取采样；判断当前是否为终止状态，若未达到终止要求，则通过损失函数来训练网络；损失函数是评估网络与目标网络的差值，并在一定次数后，将评估网络的参数更新给目标网络，直到终止状态。2CN113687875A权利要求书2/2页10.一种车联网中车辆任务卸载装置，其特征在于，包括：交通环境建模模块，用于将移动边缘计算引入车辆任务卸载场景，建立包括计算节点和待卸载任务车辆的交通环境；其中，所述计算节点作为边缘计算中的边缘节点，用于供所述待卸载任务车辆卸载任务，并对所述待卸载任务车辆所卸载的