显存分配方法、系统及非暂时性存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115309539A(43)申请公布日2022.11.08(21)申请号202210748218.X(22)申请日2022.06.29(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人梅晓峰张尧赵军平(74)专利代理机构北京市一法律师事务所11654专利代理师李琳娜刘荣娟(51)Int.Cl.G06F9/50(2006.01)G06T1/20(2006.01)权利要求书2页说明书14页附图4页(54)发明名称显存分配方法、系统及非暂时性存储介质(57)摘要本说明书提供的显存分配方法、系统及非暂时性存储介质，用于对串行的多个子任务进行显存分配，通过对串行的每个子任务产生的目标数据进行标记，将目标数据分为不会被后续的子任务使用的第一数据和可以被后续的子任务使用的第二数据，并使多个子任务的第一数据共享同一个目标物理内存地址，从而节省显存消耗。CN115309539ACN115309539A权利要求书1/2页1.一种显存分配方法，用于对目标任务运行时所需的显存进行分配，所述目标任务包括串行的多个子任务，所述显存分配方法包括：响应于所述目标任务运行时的显存分配请求，对所述多个子任务中的每个子任务运行时的目标数据进行分类，所述目标数据的类型至少包括第一数据，所述第一数据不会被后续的子任务使用；为所述多个子任务分配多个目标显存池；以及基于所述目标数据的类型，将所述多个目标显存池中的每个目标显存池划分为至少一个显存块，所述至少一个显存块至少包括与所述第一数据对应第一显存块，所述多个子任务对应的多个第一显存块映射到同一个目标物理内存地址。2.如权利要求1所述的显存分配方法，其中，还包括：在所述每个子任务运行时：基于所述目标数据的类型将所述目标数据存入对应的显存块中；以及当前子任务运行结束后，将所述目标物理内存地址对应的显存空间释放给下一个子任务的所述第一数据。3.如权利要求1所述的显存分配方法，其中，所述对所述多个子任务中的每个子任务运行时的目标数据进行分类，包括：基于所述目标数据的类型对所述目标数据添加类型标签，所述类型标签至少包括与所述第一数据对应的第一标签。4.如权利要求3所述的显存分配方法，其中，所述基于所述目标数据的类型，将所述多个目标显存池中的每个目标显存池划分为至少一个显存块，包括：将所述每个目标显存池的至少部分显存空间划分为所述第一显存块，分配给所述第一数据；以及将所述多个第一显存块映射到所述目标物理内存地址。5.如权利要求4所述的显存分配方法，其中，所述多个第一显存块为虚拟显存，所述将所述多个第一显存块映射到所述目标物理内存地址，包括：基于单例模式将所述多个第一显存块映射到多个虚拟显存；以及将所述多个虚拟显存映射到所述目标物理内存地址，并反馈多个虚拟显存指针，所述多个虚拟显存指针中的每个虚拟显存指针包括其对应的所述第一显存块的容量以及所述目标物理内存地址。6.如权利要求4所述的显存分配方法，其中，所述目标数据的类型还包括第二数据，所述第二数据会被后续的子任务使用，所述类型标签还包括与所述第二数据对应的第二标签，所述至少一个显存块还包括与所述第二数据对应的第二显存块；以及所述基于所述目标数据的类型，将所述多个目标显存池中的每个目标显存池划分为至少一个显存块，还包括：将所述每个目标显存池的至少部分显存空间划分为所述第二显存块，分配给所述第二数据。7.如权利要求6所述的显存分配方法，其中，所述第二数据包括输入数据、输出数据以及默认数据；所述第二标签包括：2CN115309539A权利要求书2/2页输入数据标签，与所述输入数据对应；输出数据标签，与所述输出数据对应；以及默认数据标签，与所述默认数据对应；所述第二显存块包括：输入输出显存块，与所述输入数据以及所述输出数据对应；以及默认显存块，与所述默认数据对应。8.如权利要求4所述的显存分配方法，其中，所述第一数据包括激活值数据以及工作空间数据；所述第一标签包括：激活值数据标签，与所述激活值数据对应；以及工作空间数据标签，与所述工作空间数据对应；所述第一显存块包括：激活值显存块，与所述激活值数据对应；以及工作空间显存块，与所述工作空间数据对应。9.一种显存分配系统，包括：至少一个存储介质，存储有至少一个指令集，用于对目标任务运行时所需的显存进行分配，所述目标任务包括多个串行的子任务；以及至少一个处理器，同所述至少一个存储介质通信连接，其中，当所述显存分配系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行权利要求1‑8中任一项所述的显存分配方法。10.一种非暂时性存储介质，存储有至少一个指令集用于对目标任务运行时