一种基于强化学习的自适应AR任务卸载和资源分配方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113726858A(43)申请公布日2021.11.30(21)申请号202110925610.2(22)申请日2021.08.12(71)申请人西安交通大学地址710049陕西省西安市咸宁西路28号(72)发明人贺丽君张婉玥李凡(74)专利代理机构西安通大专利代理有限责任公司61200代理人闵岳峰(51)Int.Cl.H04L29/08(2006.01)H04L12/24(2006.01)权利要求书3页说明书10页附图11页(54)发明名称一种基于强化学习的自适应AR任务卸载和资源分配方法(57)摘要本发明公开了一种基于强化学习的自适应AR任务卸载和资源分配方法，包括用户端选择不同视频帧分辨率的AR任务，同时得到对应的准确率；对AR任务进行部分卸载，计算所带来的时延、用户能耗及用户费用，建立用户体验模型，由此形成以提高用户体验为目标的联合优化问题；将优化问题转化为马尔科夫决策过程，初始化其状态空间、动作空间以及奖励设置，根据马尔科夫决策过程设计强化学习网络；训练强化学习网络直到网络收敛；网络训练好之后，将用户端和MEC服务器的状态输入网络，得到相应的策略。本发明综合考虑了用户端对准确率、用户能耗和用户费用的不同需求，在任务时延门限内，有效地提高用户体验，达到各用户体验的纳什均衡。CN113726858ACN113726858A权利要求书1/3页1.一种基于强化学习的自适应AR任务卸载和资源分配方法，其特征在于，包括以下步骤：1)用户端选择不同视频帧分辨率的AR任务，同时得到该视频帧分辨率的AR任务相对应的准确率；2)对于用户端选择的不同视频帧分辨率的AR任务进行部分卸载，首先对AR任务进行不同比例分割，然后分别计算在不同计算资源和无线资源的分配下，任务部分卸载到不同MEC服务器以及本地执行所带来的时延、用户能耗及用户费用；3)在任务时延门限的约束下，综合考虑准确率、用户能耗和用户费用建立用户体验模型；通过联合优化AR视频帧分辨率选择策略、任务部分卸载策略、计算资源和无线资源分配策略，形成以提高用户体验为目标的优化问题；4)将优化问题转化为马尔科夫决策过程，初始化其状态空间、动作空间以及奖励设置；根据马尔科夫决策过程设计强化学习网络；5)通过MADDPG算法训练强化学习网络，直到网络收敛；6)网络训练好之后，将用户端和MEC服务器的状态输入网络，得到相应的策略。2.根据权利要求1的所述的基于强化学习的自适应AR任务卸载和资源分配方法，其特征在于，步骤1)中，假设用户i选择的AR视频被预处理为视频帧分辨率为vi×vi像素的视频帧，即用户i的视频帧分辨率为表示视频帧分辨率的集合，其中为用户集合；不同的帧分辨率对应有不同的任务大小和时延门限，用户i的计算任务表示为τi＝2{di，ci，thri}，分别包括任务的大小、计算量和时延门限，di＝δvi为任务大小，其中δ定义为表示一个像素信息所需的比特数，任务计算量与任务大小之间的关系为ci＝ηidi，其中ηi为计算密度，即单位任务所需的计算量，根据AR视频帧分辨率与准确率的关系，用户i得到的准确率Qi为：3.根据权利要求1的所述的基于强化学习的自适应AR任务卸载和资源分配方法，其特征在于，步骤2)中，由于任务部分卸载能够并行执行，对于用户i的任务，执行完成所需的时延Ti为：其中，TLi为用户i的部分任务在本地执行的时延，TMi，k为用户i的部分任务卸载到MEC服务器k的执行时延。4.根据权利要求3的所述的基于强化学习的自适应AR任务卸载和资源分配方法，其特征在于，用户i的部分任务在本地执行的时延TLi为：其中，ci表示用户i的任务计算量，fi表示用户i处理当前任务所分配的本地计算资源，bi,k表示用户i卸载到MEC服务器k的任务比例；用户i的部分任务卸载到MEC服务器k执行的时延TMi,k为：2CN113726858A权利要求书2/3页其中，di表示用户i的任务大小，rvi,k表示用户i与MEC服务器k之间的上行传输速率，mi,k表示用户i分配到的MEC服务器k的计算资源大小；用户i执行当前任务的用户能耗Ei为：其中，ELi为本地处理能耗，EMi,k为用户卸载部分任务到MEC服务器k时的传输能耗；本地处理能耗ELi为：其中，θ表示处理任务所需的能量密度，fi为本地分配的计算资源；用户卸载部分任务到MEC服务器k时的传输能耗EMi,k为：其中，Pi表示用户传输功率。5.根据权利要求4的所述的基于强化学习的自适应AR任务卸载和资源分配方法，其特征在于，步骤2)中，用户i卸载任务到MEC服务器执行时，根据任务计算量的大小ci，卸载的任务比例bi,k，MEC服务器收费的单价ε，需要付出相应的费用Wi：6.根据权利要求