一种基于深度强化学习的协作边缘计算任务卸载方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114189936A(43)申请公布日2022.03.15(21)申请号202111278169.X(22)申请日2021.10.30(71)申请人中南林业科技大学地址410004湖南省长沙市天心区韶山南路498号(72)发明人邝祝芳谭林邱建立(51)Int.Cl.H04W72/04(2009.01)H04W24/02(2009.01)H04W52/02(2009.01)G06F9/50(2006.01)G06N3/08(2006.01)权利要求书7页说明书11页附图3页(54)发明名称一种基于深度强化学习的协作边缘计算任务卸载方法(57)摘要本发明公开一种基于深度强化学习的协作边缘计算任务卸载方法。主要包括如下步骤：1、构建协作移动边缘计算系统的数学模型p1；2、将问题p1转化为为双层问题p2；3、上层基于深度强化学习求解卸载决策，功率分配和信道分配，提供给下层；4、根据上层提供的卸载决策，功率分配和信道分配，下层求解计算资源的最优分配，计算得出能耗后反馈给上层；5、上层收到下层反馈，存入经验池，更新网络参数；6、训练评估网络与目标网络；7、判断算法迭代次数iteration是否大于最大迭代代数I，如果iteration>I，则迭代结束，否则跳转至步骤3继续迭代；应用本发明，解决了协作移动边缘计算系统在时延约束下的最小能耗问题，可以实现协作边缘计算系统的能耗最小化。CN114189936ACN114189936A权利要求书1/7页1.一种基于深度强化学习的协作边缘计算任务卸载方法，其特征在于，包括以下步骤：步骤1：构建协作移动边缘计算系统的数学模型p1，目标是最小化能耗；步骤2：对问题p1进行分析，将问题p1转化为为双层问题p2进行求解；步骤3：求解上层优化问题，基于深度强化学习求解卸载决策Ok，功率分配Pk和信道分配Wk，提供给下层；步骤4：根据上层提供的卸载决策，功率分配和信道分配后，下层求解计算资源的最优分配rk，计算得出能耗后反馈给上层；步骤5：上层收到下层反馈，存入经验池，更新网络参数；步骤6：训练评估网络与目标网络；步骤7：判断算法迭代次数iteration是否大于最大迭代代数I，如果iteration>I，则迭代结束，否则跳转至步骤3在新的网络参数下继续迭代；步骤1中构建协作边缘计算系统的数学模型p1的步骤如下：1)传输模型对于所有的卸载计算，移动用户必须首先将数据上传到MEC服务器，鉴于OFDMA机制，由于子载波分配，每个用户独占子载波，用户传输之间的干扰被忽略；并且，由于计算结果非常小，我们忽略了计算结果传回的过程；用户n将任务Un传输到MEC服务器m时的数据传输速率如公式(1)所示：其中B是信道带宽，wn,s,m表示将子载波s分配给用户n，将任务卸载计算到服务器m传输时使用，pn,s,m表示用户n和服务器m之间分配子载波s，将任务进行卸载上传的传输功率，gn,s,m表示用户n在和服务器m的信道增益；任务Un传输到MEC服务器m的传输时间如公式(2)所示：任务Un传输到MEC服务器m的传输能耗如公式(3)所示：在MEC服务器m接收到任务Un后，如果当MEC服务器m没有足够的资源来满足用户需求时，MEC服务器会尽自己能力在时延约束之内计算一部分数据MEC服务器m通过X2链路将剩下的数据转发给另一个拥有足够资源的MEC服务器k，两个MEC服务器协作计算，所以对于MEC服务器m传输剩余数据到MEC服务器k的传输时间如公式(4)所示：其中为MEC服务器m与k之间的X2链路容量，MEC服务器m将剩余需要转发的数据的计算公式如公式(5)所示：2CN114189936A权利要求书2/7页其中表示服务器m分配给任务Un的计算资源，当没有MEC服务器有足够的计算资源来完成用户n的剩余任务时，MEC服务器m通过有线光纤链路将任务请求转发给云服务器；MEC服务器m与云服务器协作计算，所以对于MEC服务器m传输剩余数据到云服务器的传输时间如公式(6)所示：其中为MEC服务器m与云服务器之间的链路容量；2)计算模型MEC服务器接收已卸载的任务，然后并行执行这些任务；由于我们考虑了MEC服务器的处理能力的上限和在延迟约束下可以处理的任务的上限，因此我们不考虑任务串行处理和任务等待队列；A)αn＝1，任务Un在本地执行的计算模式，Un在本地执行的计算时间如公式(7)所示：其中为Un本地执行分配的计算资源；任务Un在本地执行的计算能耗如公式(8)所示：其中k0＞0是一个与用户设备CPU相关的常数；B)任务Un卸载到MEC服务器m执行的计算模式，并且MEC服务器m有充足的计算资源保证任务在时延约束之内完成时，Un在执行MEC服务器m执行的计算时间如公式(9)所示：