基于多智能体强化学习的效用感知的协作服务缓存方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114172960A(43)申请公布日2022.03.11(21)申请号202111298648.8(22)申请日2021.11.04(71)申请人杭州电子科技大学地址310018浙江省杭州市钱塘区白杨街道2号大街(72)发明人黄彬彬项媛媛俞东进(74)专利代理机构浙江千克知识产权代理有限公司33246代理人周雷雷(51)Int.Cl.H04L67/568(2022.01)H04L67/10(2022.01)H04L41/14(2022.01)权利要求书4页说明书11页附图5页(54)发明名称基于多智能体强化学习的效用感知的协作服务缓存方法(57)摘要本发明公开了一种基于多智能体强化学习的效用感知的协作服务缓存方法，本发明为了实现边缘计算环境中最小化应用服务供应商成本，并最大限度地减少服务延迟，首先将协作式服务缓存问题建模成一个多智能体联合多臂老虎机模型，之后提出了一个基于多智能体强化学习的效用感知的协作服务缓存方案。该方案能协调多个边缘服务器做出动态的联合缓存决策，目的是使整个系统的长期效用最大化。最后，将本发明提出的策略与其他策略在不同实验参数下进行对比，证明了本发明的有效性。CN114172960ACN114172960A权利要求书1/4页1.基于多智能体强化学习的效用感知的协作服务缓存方法，其特征在于该方法包括以下步骤：S1.建立系统模型：设边缘系统由n个边缘服务器组成，这些边缘服务器通过局域网连接，形成一个连接图G(eNB，E)；其中eNB＝{eNB1，...，eNBi，...，eNBn}表示n个边缘服务器的集合，这些边缘服务器通过核心网络连接到远端云；E＝{e(eNBi，eNBj)|eNBi，eNBj∈eNB}表示边的集合；若e(eNBi，eNBj)＝1，表示边缘服务器eNBi和eNBj之间有一条直连的边；每个边缘服务器eNBi的本地存储能力表示为Pi；定义服务供应商提供的服务项集合为每个服务项的大小为Df；边缘服务器之间可以共享缓存的服务项，即当移动用户所需的服务项没有在本地边缘服务器上缓存时，则可从其他缓存该服务项的边缘服务器上获取；如果所需的服务项没有缓存在任何边缘服务器，或者从边缘服务器获取所需服务项的时延比从远端云获取的时延长，那么从远端云获取服务项；边缘系统采用离散时间模型，即将一个时间段在逻辑上划分为多个连续相等的时间片；这些时间片索引的集合用来表示，每个时间片的大小为Tslot；在任意时间片τ内，不同类型的服务项请求分别到达不同的边缘服务器；假设在任意边缘服务器eNBi上，请求的到达过程服从参数为λi的泊松分布，其中参数λi＝E(ai(τ))；A(τ)＝(a1(τ)，...，ai(τ)，...，an(τ))表示在时间片τ内到达n个边缘服务器的请求数；设表示在时间片τ内边缘服务器eNBi请求服务项的次数，它是一个独立同分布的随机变量，其平均值为表示在时间片τ内n个边缘服务器请求服务项的次数；每个边缘服务器eNBi对不同类型服务项的请求服从参数为γi的Zipf分布；S2.建立多智能体联合多臂老虎机问题：将每个边缘服务器eNBi作为一个多臂老虎机，与系统环境进行交互；每个服务项作为多臂老虎机的一根拉杆；在每个时间片τ中，边缘服务器eNBi是否缓存服务项作为是否选中拉杆的动作如果表示边缘服务器eNBi需要在时间片τ缓存服务项f；每个边缘服务器eNBi可以同时缓存多个服务项；在时间片τ内，边缘服务器eNBi对每个服务项的缓存动作被作为边缘服务器eNBi的超级动作；每个边缘服务器eNBi的超级动作表示为在每个时间片τ，边缘服务器eNBi上缓存的所有服务项大小之和不能超过边缘服务器的存储能力Pi，该约束条件表示为在时间片τ内，n个边缘服务器对服务项的缓存动作作为一个联合动作在时间片τ内，n个边缘服务器对所有服务项的缓存动作作为联合超级动作μ(τ)＝[μ1(τ)，μ2(τ)，...，μi(τ)，...，μn(τ)]；2CN114172960A权利要求书2/4页S3.定义效用函数：将效用函数定义为服务时延减少和服务成本的加权和；在时间片τ中，边缘系统做出联合超级动作μ(τ)的总效用表示为U(μ(τ))＝ω1Δ(μ(τ))‑ω2C(μ(τ))；其中ω1和ω2分别是服务时延减少和服务成本的权重系数，Δ(μ(τ))表示在时间片τ中服务时延减少，C(μ(τ))表示在时间片τ中的服务成本；S31.计算服务时延减少：当请求的服务项在本地边缘服务器eNBi上没有缓存时，则从其他边缘服务器或远端云获取；在时间片τ中，边缘服务器eNBi获取服务项的服务时延表示为：其中表示在时间片τ‑1中服务项是否被缓存在边缘服务器eNBi上；当时，表示在时间片τ‑1中，服务