基于多级缓存的数据处理方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113672524A(43)申请公布日2021.11.19(21)申请号202110963175.2(22)申请日2021.08.20(71)申请人上海哔哩哔哩科技有限公司地址200433上海市杨浦区政立路485号国正中心3号楼(72)发明人蔡尚志王盛(74)专利代理机构北京英特普罗知识产权代理有限公司11015代理人王勇邓小玲(51)Int.Cl.G06F12/0877(2016.01)权利要求书2页说明书12页附图9页(54)发明名称基于多级缓存的数据处理方法及系统(57)摘要本申请实施例公开了一种基于多级缓存的数据处理方法，用于服务器中，其中，所述服务器包括第一级缓存和第二级缓存，所述第一级缓存包括多个第一类存储节点，所述第二级缓存包括多个第二类存储节点；所述数据处理方法包括：响应于读取请求，通过当前哈希环选择一个目标节点；判断所述目标节点是否是所述多个第一类存储节点中的任意一个；及若所述目标节点不是所述多个第一类存储节点中的任意一个，则从所述多个第二类存储节点中读取用于响应所述读取请求的响应数据，并返回所述响应数据。本申请实施例提供的技术方案，可以提高所述读取请求的响应速度和降低第一级缓存的压力。CN113672524ACN113672524A权利要求书1/2页1.一种基于多级缓存的数据处理方法，其特征在于，用于服务器中，其中，所述服务器包括第一级缓存和第二级缓存，所述第一级缓存包括多个第一类存储节点，所述第二级缓存包括多个第二类存储节点；所述数据处理方法包括：响应于读取请求，通过当前哈希环选择一个目标节点；判断所述目标节点是否是所述多个第一类存储节点中的任意一个；及若所述目标节点不是所述多个第一类存储节点中的任意一个，则从所述多个第二类存储节点中读取用于响应所述读取请求的响应数据，并返回所述响应数据。2.根据权利要求1所述的基于多级缓存的数据处理方法，其特征在于，还包括：以预设频率更新所述当前哈希环。3.根据权利要求2所述的基于多级缓存的数据处理方法，其特征在于，所述当前哈希环为第一哈希环；所述以预设频率更新所述当前哈希环，包括：根据各个第一类存储节点的当前状态，将所述当前哈希环从所述第一哈希环更新为第二哈希环。4.根据权利要求3所述的基于多级缓存的数据处理方法，其特征在于，所述各个第一类存储节点的当前状态包括所述各个第一类存储节点的当前磁盘状态值；所述根据各个第一类存储节点的当前状态，将所述当前哈希环从所述第一哈希环更新为第二哈希环，包括：构造一个新哈希环；获取所述各个第一类存储节点的当前磁盘状态值；根据所述新哈希环和所述各个第一类存储节点的当前磁盘状态值，生成所述第二哈希环；及将所述当前哈希环从所述第一哈希环更新为所述第二哈希环。5.根据权利要求4所述的基于多级缓存的数据处理方法，其特征在于，所述获取所述各个第一类存储节点的当前磁盘状态值，包括：根据所述各个第一类存储节点的IO队列和请求延时，获取所述各个第一类存储节点的当前磁盘状态值。6.根据权利要求5所述的基于多级缓存的数据处理方法，其特征在于，所述根据所述各个第一类存储节点的IO队列和请求延时，获取所述各个第一类存储节点的当前磁盘状态值，包括：判断第i个存储节点的IO队列的数量是否大于第一预设值；其中，所述第i个存储节点为所述多个第一类存储节点中任意一个存储节点，1≤i≤M，i为整数，M为所述多个第一类存储节点的数量；若所述第i个存储节点的IO队列的数量大于所述第一预设值，则对所述第i个存储节点的当前磁盘状态值自减1；若所述第i个存储节点的IO队列的数量不大于所述第一预设值，则获取所述第i个存储节点的请求延时；若所述第i个存储节点的请求延时大于所述第二预设值，则对所述第i个存储节点的当前磁盘状态值自减1；2CN113672524A权利要求书2/2页若所述第i个存储节点的请求延时不大于所述第二预设值，则对所述第i个存储节点的当前磁盘状态值增1。7.根据权利要求4所述的基于多级缓存的数据处理方法，其特征在于，所述根据所述新哈希环和所述各个第一类存储节点的当前磁盘状态值，生成所述第二哈希环，包括：根据第i个存储节点的当前磁盘状态值，将所述第i个存储节点的节点信息分别插入到所述新哈希的N个位置处，所述N的值等于所述第i个存储节点的当前磁盘状态值；其中，所述第i个存储节点为所述多个第一类存储节点中任意一个存储节点，1≤i≤M，i为整数，M为所述多个第一类存储节点的数量。8.根据权利要求1至7任意一项所述的基于多级缓存的数据处理方法，其特征在于，所述服务器还包括内存；所述响应于读取请求，通过当前哈希环选择一个目标节点，包括：根据所述读取请求，确定所述内存中是否有所述响应数据；及如果所述内存中没