内存分配方法、装置、设备、可读存储介质及程序产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113608881A(43)申请公布日2021.11.05(21)申请号202111177742.8(22)申请日2021.10.09(71)申请人腾讯科技（深圳）有限公司地址518000广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人杨伟光(74)专利代理机构北京市立方律师事务所11330代理人张筱宁(51)Int.Cl.G06F9/50(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06N5/04(2006.01)权利要求书2页说明书13页附图6页(54)发明名称内存分配方法、装置、设备、可读存储介质及程序产品(57)摘要本申请实施例提供了一种内存分配方法、装置、设备、计算机可读存储介质及计算机程序产品，涉及人工智能领域，该方法包括：获取至少一个目标模型的权值文件；根据至少一个目标模型的权值文件，确定图类；根据图类，确定至少一个目标模型中任一目标模型对应的会话类的内存分配信息；根据任一目标模型对应的会话类的内存分配信息，在任一目标模型的推理过程中，对任一目标模型对应的会话类的内存进行复用。本申请实施例实现了对任一目标模型对应的会话类的内存进行复用，从而减少了任一目标模型的推理过程中的内存占用。CN113608881ACN113608881A权利要求书1/2页1.一种内存分配方法，其特征在于，包括：获取至少一个目标模型的权值文件；根据所述至少一个目标模型的权值文件，确定图类；根据所述图类，确定所述至少一个目标模型中任一目标模型对应的会话类的内存分配信息；根据所述任一目标模型对应的会话类的内存分配信息，在所述任一目标模型的推理过程中，对所述任一目标模型对应的会话类的内存进行复用。2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个目标模型的权值文件，确定图类，包括：根据所述至少一个目标模型的权值文件，确定图类的权值、所述图类的参数，以及所述图类的第一内存池，所述第一内存池用于存储所述图类的权值和所述图类的参数，所述图类的权值包括所述至少一个目标模型中各层的权值，所述图类的参数包括所述至少一个目标模型中各层的参数。3.根据权利要求1所述的方法，其特征在于，所述根据所述图类，确定所述至少一个目标模型中任一目标模型对应的会话类的内存分配信息，包括：根据所述图类的参数，确定所述任一目标模型对应的会话类的第二内存池的内存总容量，以及所述第二内存池中各内存块的内存容量；所述第二内存池用于存储所述任一目标模型的推理过程中除所述图类的权值和所述图类的参数之外的数据。4.根据权利要求3所述的方法，其特征在于，所述根据所述图类的参数，确定所述任一目标模型对应的会话类的第二内存池的内存总容量，以及所述第二内存池中各内存块的内存容量，包括：针对所述任一目标模型中每一层的推理过程，根据所述图类的参数，确定所述每一层的输入数据所占用的第一内存、所述每一层的推理过程中数据计算所占用的第二内存，以及所述每一层的输出数据所占用的第三内存；将各第一内存中容量最大的第一内存的容量、各第二内存中容量最大的第二内存的容量，以及各第三内存中容量最大的第三内存的容量，分别确定为所述第二内存池的第一内存块的容量、第二内存块的容量和第三内存块的容量；根据所述第一内存块的容量、所述第二内存块的容量和所述第三内存块的容量，确定所述第二内存池的内存总容量。5.根据权利要求1所述的方法，其特征在于，所述根据所述任一目标模型对应的会话类的内存分配信息，在所述任一目标模型的推理过程中，对所述任一目标模型对应的会话类的内存进行复用，包括：根据所述任一目标模型对应的会话类的内存分配信息，在所述任一目标模型中第N层的推理过程中，调用所述任一目标模型对应的会话类的第二内存池的第一内存块、第二内存块和第三内存块；所述第N层的输入数据占用所述第一内存块中的内存，所述第N层的推理过程中数据计算占用所述第二内存块中的内存，所述第N层的输出数据占用所述第三内存块中的内存；在所述任一目标模型中第N+1层的推理过程中，将所述第N层的推理过程中占用的所述第一内存块中的内存、所述第二内存块中的内存和所述第三内存块中的内存释放到所述第2CN113608881A权利要求书2/2页二内存池，并调用所述第三内存块中的内存复用为所述第N+1层的输入数据所占用的内存、所述第二内存块中的内存复用为所述第N+1层的推理过程中数据计算所占用的内存，以及所述第一内存块中的内存复用为所述第N+1层的输出数据所占用的内存；其中，N为正整数。6.根据权利要求1所述的方法，其特征在于，对所述会话类的内存进行调用，包括：通过预设的指针偏移方式，对所述会话类的内存进行调用。7.根据权利要求1所述的方法，其