基于多智能体强化学习模型的边缘缓存方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114185677A(43)申请公布日2022.03.15(21)申请号202111523410.0(22)申请日2021.12.14(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区二号路1158号(72)发明人徐海涛杨羽涛邬惠峰戴翚(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人杨泽黄健(51)Int.Cl.G06F9/50(2006.01)G06N20/00(2019.01)权利要求书3页说明书15页附图5页(54)发明名称基于多智能体强化学习模型的边缘缓存方法和装置(57)摘要本申请实施例提供了一种基于多智能体强化学习模型的边缘缓存方法和装置，通过获取当前缓存的多个高等流行度内容和中等流行度内容的信息，信息包括内容标识、第一存储状态和内容的第一流行度，第一流行度表示内容被请求的概率，中等流行度内容可用于与邻近服务器进行合作被邻近服务器获取；通过多智能体强化学习模型对内容标识、第一存储状态和第一流行度进行处理，得到下一时刻缓存的目标内容的目标内容标识和目标存储状态；并对当前缓存的内容进行更新。本申请提供的技术方案提高了终端设备请求的内容在本地服务器和邻近服务器中的命中率，从而减少了终端设备请求内容的时延，有效地提升了用户体验。CN114185677ACN114185677A权利要求书1/3页1.一种基于多智能体强化学习模型的边缘缓存方法，其特征在于，应用于本地服务器，包括：获取当前缓存的多个内容的信息，所述信息包括内容标识、第一存储状态和所述内容的第一流行度，所述多个内容包括第一流行度大于第一流行度阈值的高等流行度内容，以及，第一流行度小于第一流行度阈值且大于第二流行度阈值的中等流行度内容，所述第一流行度阈值大于所述第二流行度阈值，所述第一流行度表示所述内容被请求的概率，所述中等流行度内容用于被终端设备请求或与邻近服务器进行合作被所述邻近服务器获取；通过多智能体强化学习模型对所述内容标识、所述第一存储状态和所述第一流行度进行处理，得到下一时刻缓存的目标内容的目标内容标识和目标存储状态；根据所述目标内容标识、所述目标存储状态和所述目标内容对应的目标流行度，对当前缓存的内容进行更新。2.根据权利要求1所述的方法，其特征在于，所述通过多智能体强化学习模型对所述内容标识、所述第一存储状态和所述第一流行度进行处理，得到下一时刻缓存的目标内容的目标内容标识和目标存储状态，包括：针对每一个内容，根据所述内容标识，分别获取所述邻近服务器将所述内容发送至所述本地服务器的第一时延，以及，中心服务器将所述内容发送至所述本地服务器的第二时延，并在所述邻近服务器中获取所述内容的第二存储状态和第二流行度；根据所述第一存储状态、所述第一流行度、所述第二存储状态、所述第二流行度、所述第一时延和所述第二时延，计算缓存所述内容对应的瞬时收益、平均收益和收益估计值，所述瞬时收益表示所述内容对应的时延减少量；根据所述瞬时收益、所述平均收益和所述收益估计值，确定下一时刻缓存的临时内容的临时内容标识和临时存储状态，并根据临时内容标识确定临时内容对应的临时流行度；对所述临时内容重复执行上述步骤，直至得到符合预设条件的目标内容的目标内容标识和目标存储状态。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一存储状态、所述第一流行度、所述第二存储状态、所述第二流行度、所述第一时延和所述第二时延，计算缓存所述内容对应的瞬时收益、平均收益和收益估计值，包括：根据公式：计算缓存所述内容对应的瞬时收益；其中，表示内容f对应的瞬时收益，xkf表示内容f在本地服务器k中的第一存储状态，pkf表示内容f在本地服务器k中的第一流行度，ds表示第二时延，pk'f表示内容f在邻近服务器k'中的第二流行度，xk'f表示内容f在邻近服务器k'中的第二存储状态，dn表示第一时延，表示所有服务器的集合，k表示本地服务器，N表示内容f的数量，N＞1；根据公式：计算缓存所述内容对应的平均收益；2CN114185677A权利要求书2/3页其中，表示到t时刻在本地服务器k缓存所述内容f对应的平均收益，表示到t‑1时刻在本地服务器k缓存所述内容f对应的平均收益，表示直到t‑1时刻，内容f在本地服务器k的缓存次数；根据公式：计算缓存所述内容对应的收益估计值；其中，表示当前时刻t在本地服务器k缓存所述内容f对应的收益估计值，表示到t‑1时刻在本地服务器k缓存所述内容f对应的平均收益。4.根据权利要求2或3所述的方法，其特征在于，所述对所述临时内容重复执行上述步骤，直至得到符合预设条件的目标内容的目标内容标识和目标存储状态，包括：在每次执行时，计算所述临时内容对应的总收益估计值；在当前得到的