用于分配GPU物理内存的方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113377545A(43)申请公布日2021.09.10(21)申请号202110772139.8(22)申请日2021.07.08(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人赵军平(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人林锦辉刘景峰(51)Int.Cl.G06F9/50(2006.01)权利要求书3页说明书14页附图6页(54)发明名称用于分配GPU物理内存的方法及装置(57)摘要本说明书实施例提供了一种用于分配GPU显存的方法及装置。在该方法中，响应于显存请求，在该请求指定的GPU显存对应配置的预设虚拟内存中分配第一虚拟内存，预设虚拟内存的容量大于GPU显存的容量；反馈第一虚拟内存对应的虚拟内存指针，虚拟内存指针对应有虚拟内存指针管理结构，虚拟内存指针管理结构包括第一虚拟内存的容量、与第一虚拟内存对应映射的物理内存地址；在执行内存访问操作时，在GPU显存上分配与所述第一虚拟内存相同容量的第一显存；以及根据所分配的第一显存来更新虚拟内存指针管理结构中的物理内存地址，以使内存访问驱动根据物理内存地址访问第一显存。CN113377545ACN113377545A权利要求书1/3页1.一种用于分配GPU显存的方法，包括：响应于显存请求，在所述请求指定的GPU显存对应配置的预设虚拟内存中分配第一虚拟内存，所述预设虚拟内存的容量大于所述GPU显存的容量；反馈所述第一虚拟内存对应的虚拟内存指针，所述虚拟内存指针对应有虚拟内存指针管理结构，所述虚拟内存指针管理结构包括所述第一虚拟内存的容量、与所述第一虚拟内存对应映射的物理内存地址；在执行内存访问操作时，在所述GPU显存上分配与所述第一虚拟内存相同容量的第一显存；以及根据所分配的第一显存来更新所述虚拟内存指针管理结构中的物理内存地址，以使内存访问驱动根据所述物理内存地址访问所述第一显存。2.如权利要求1所述的方法，其中，所述预设虚拟内存的容量根据系统中各个GPU显存和其他物理内存来确定。3.如权利要求2所述的方法，其中，所述其他物理内存包括CPU内存和/或非易失性内存。4.如权利要求1所述的方法，其中，所述虚拟内存指针管理结构还包括内存状态信息，所述内存状态信息用于指示待分配状态，在执行内存访问操作时，在所述GPU显存上分配与所述第一虚拟内存相同容量的第一显存包括：在执行内存访问操作时，当所述内存状态信息指示为所述待分配状态时，在所述GPU显存上分配与所述第一虚拟内存相同容量的第一显存。5.如权利要求1所述的方法，其中，所述内存状态信息还用于指示数据迁移状态，所述数据迁移状态包括数据迁入进行状态和数据已迁出状态，在执行内存访问操作时，在所述GPU显存上分配与所述第一虚拟内存相同容量的第一显存包括：在执行内存访问操作时，当所述内存状态信息指示为所述数据已迁出状态时，在所述GPU显存上分配与所述第一虚拟内存相同容量的第一显存；以及基于所分配的所述第一显存执行数据迁入操作；以及根据所分配的第一显存来更新所述虚拟内存指针管理结构中的物理内存地址，以使内存访问驱动根据所述物理内存地址访问所述第一显存包括：在数据迁入完成时，根据所分配的第一显存来更新所述虚拟内存指针管理结构中的物理内存地址，以使内存访问驱动根据所述物理内存地址访问所述第一显存。6.如权利要求5所述的方法，还包括：在执行内存访问操作时，当所述内存状态信息指示为所述数据迁入进行状态时，当数据迁入完成时，根据所分配的第一显存来更新所述虚拟内存指针管理结构中的物理内存地址，以使内存访问驱动根据所述物理内存地址访问所述第一显存。7.如权利要求5所述的方法，还包括：在执行内存访问操作之前，当待访问数据在所述其他物理内存上时，基于历史访问记录来预测访问时间点；在所述访问时间点之前的第一指定时长的时间点，将所述待访问数据从所述其他物理2CN113377545A权利要求书2/3页内存上迁移至所述GPU显存上；以及更新所述内存状态信息。8.如权利要求5所述的方法，还包括：在所述GPU显存中存在数据迁出触发事件时，将所述GPU显存中的对应数据迁移至其他物理内存中；以及更新所迁移数据对应的虚拟内存指针管理结构中的内存状态信息。9.如权利要求8所述的方法，其中，所述数据迁出触发事件包括所述GPU显存的可用容量低于所述第一虚拟内存的容量阈值、和/或所述GPU显存中存储有在以当前时刻为起点的指定时长的时间段内不使用的数据。10.如权利要求1所述的方法，其中，所述GPU所在的系统包括有多个GPU，所述方法还包括：在所述GPU显存上的可用容量小于所述第一虚拟内存的容量时，在其他GP