NUMA平台的内存缓存方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106020974A(43)申请公布日2016.10.12(21)申请号201610308324.0(22)申请日2016.05.11(71)申请人深圳大学地址518000广东省深圳市南山区南海大道3688号(72)发明人罗秋明王梅张义军刘杰(74)专利代理机构深圳市恒申知识产权事务所(普通合伙)44312代理人王利彬(51)Int.Cl.G06F9/50(2006.01)权利要求书2页说明书4页附图3页(54)发明名称NUMA平台的内存缓存方法及系统(57)摘要本发明公开了一种NUMA平台的内存缓存方法，所述方法包括：通过派发者线程接收来自网卡的任务请求，NUMA平台中每个分区中运行一个对网卡进行监听的派发者线程；将所述派发者线程的任务队列中的所述任务请求派发给工作者线程，通过所述工作者线程从所述任务队列中取出所述任务请求并进行处理，所述工作者线程为所述派发者线程下属的线程；通过所述工作者线程将缓存对象通过与缓存对象处于同一分区的网卡发出。本发明还公开了一种NUMA平台的内存缓存系统，能够最大限度减少远端IO访问，并且在线程之间进行相应的负载均衡，提高内存缓存系统的吞吐量和降低系统延迟。CN106020974ACN106020974A权利要求书1/2页1.一种非一致性内存访问NUMA平台的内存缓存方法，其特征在于，所述方法包括：通过派发者线程接收来自网卡的任务请求，NUMA平台中每个分区中运行一个所述派发者线程，所述分区是网卡与其临近的NUMA节点构成的区域；将所述派发者线程的任务队列中的所述任务请求派发给工作者线程，通过所述工作者线程从所述任务队列中取出所述任务请求并进行处理，所述工作者线程为所述派发者线程下属的线程；通过所述工作者线程将缓存对象通过与所述缓存对象处于同处一个分区的网卡发出。2.根据权利要求1所述的方法，其特征在于，通过派发者线程接收来自网卡的任务请求之前，所述方法还包括：建立所述派发者线程及其下属的所述工作者线程，所述派发者线程与所述NUMA平台的分区一一对应，一个所述派发者线程下属有至少一个所述工作者线程。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：检测到有派发者线程空闲时，则进行负载均衡操作。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：实时监测每个所述派发者线程任务队列的任务数；在所述任务数低于预设的低水位时，则认为所述派发者线程为空闲；在所述任务数高于预设的高水位时，则认为所述派发者线程为繁忙。5.根据权利要求1所述的方法，其特征在于，所述NUMA平台包括两个或两个以上分属于不同分区的网卡。6.根据权利要求1所述的方法，其特征在于，所述将所述派发者线程的任务队列中的所述任务请求派发给工作者线程，包括：所述派发者线程根据任务请求的缓存数据包含的所属分区位置信息，优先选择与数据所在位置处于同一分区的工作者线程进行处理。7.一种非一致性内存访问NUMA平台的内存缓存系统，其特征在于，所述系统包括：接收模块，用于通过派发者线程接收来自网卡的任务请求，NUMA平台中每个分区上运行一个所述派发者线程，所述分区是网卡与其临近的NUMA节点构成的区域；处理模块，用于将所述派发者线程的任务队列中的所述任务请求派发给工作者线程，通过所述工作者线程从所述任务队列中取出所述任务请求并进行处理，所述工作者线程为所述派发者线程下属的线程；发出模块，用于通过所述工作者线程将缓存对象通过与所述缓存对象所在同一分区的网卡发出。8.根据权利要求7所述的系统，其特征在于，所述系统还包括：建立模块，用于建立所述派发者线程及其下属的工作者线程，所述派发者线程与所述NUMA平台的分区一一对应，一个所述派发者线程下属有至少一个所述工作者线程。9.根据权利要求7所述的系统，其特征在于，所述系统还包括：负载均衡模块，用于检测到有派发者线程空闲时，则从检测为繁忙的派发者线程或者工作者线程拉取任务到所述空闲的派发者线程或者工作者线程。10.根据权利要求9所述的系统，其特征在于，所述负载均衡模块还用于实时监测每个所述派发者线程任务队列的任务数；在所述任务数低于预设的低水印时，则认为所述派发者线程为空闲；在所述任务数高于预设的高水印时，则认为所述派发者线程为繁忙。11.根据权利要求7所述的系统，其特征在于，所述NUMA平台包括两个或两个以上的网2CN106020974A权利要求书2/2页卡。12.根据权利要求6所述的系统，其特征在于，所述处理模块，用于将所述派发者线程的任务队列中的所述任务请求派发给工作者线程，包括：所述派发者线程根据任务请求的数据包含的所属分区位置信息，优先选择与数据所在位置处于同一分区的工作者线程进行处理。3CN106020974A