内存管理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114201298A(43)申请公布日2022.03.18(21)申请号202111533366.1(22)申请日2021.12.15(71)申请人建信金融科技有限责任公司地址200120上海市自由贸易试验区银城路99号12层、15层(72)发明人李俊杰邢磊曹岩王静逸张国超张俊张鹤苧翁冠蔡娟张术芬李佩芳(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人梁瑜刘芳(51)Int.Cl.G06F9/50(2006.01)权利要求书3页说明书15页附图5页(54)发明名称内存管理方法、装置、电子设备及存储介质(57)摘要本申请提供一种内存管理方法、装置、电子设备及存储介质，涉及人工智能技术领域，通过根据预设的待执行模型，获取算子执行队列，算子执行队列中包括至少两个模型算子，模型算子用于在被执行时，实现待执行模型中的一个处理步骤；根据算子执行队列中各模型算子的执行次序，生成预分配内存信息，预分配内存信息表征各模型算子的目标内存区域，目标内存区域用于执行模型算子，至少两个模型算子对应的目标内存区域相同；根据预分配内存信息，生成内存分配信息，并基于内存分配信息运行待执行模型，内存分配信息用于表征执行算子执行队列中的各模型算子所需的内存地址。避免了内存动态分配和释放带来的效率损失问题，提高了模型的运行速度。CN114201298ACN114201298A权利要求书1/3页1.一种内存管理方法，其特征在于，所述方法包括：根据预设的待执行模型，获取算子执行队列，所述算子执行队列中包括至少两个模型算子，所述模型算子用于在被执行时，实现所述待执行模型中的一个处理步骤；根据所述算子执行队列中各模型算子的执行次序，生成预分配内存信息，所述预分配内存信息表征所述各模型算子的目标内存区域，所述目标内存区域用于执行模型算子，至少两个所述模型算子对应的目标内存区域相同；根据所述预分配内存信息，生成内存分配信息，并基于所述内存分配信息运行所述待执行模型，所述内存分配信息用于表征执行所述算子执行队列中的各模型算子所需的内存地址。2.根据权利要求1所述的方法，其特征在于，所述目标内存区域包括复用内存区域，所述复用内存区域对应至少两个相同的模型算子，根据所述算子执行队列中各模型算子的执行次序，生成预分配内存信息，包括：根据所述算子执行队列中各模型算子的执行次序，生成生命周期队列，所述生命周期队列中包括生命周期信息，所述生命周期信息与模型算子一一对应，所述生成周期信息用于表征模型算子在内存中的生命周期；根据所述生命周期队列中的各生命周期信息，以及对应的模型算子的内存需求，确定至少一个复用内存区域。3.根据权利要求2所述的方法，其特征在于，所述生命周期信息包括起始点标识和终止点标识；根据所述算子执行队列中各模型算子的执行次序，生成生命周期队列，包括：获取所述算子执行队列中各模型算子的执行次序标识；根据各所述模型算子的执行次序标识，确定所述生命周期队列中各生命周期信息的起始点标识；根据与各模型算子的输出连接的下游模型算子的起始点标识，确定所述生命周期队列中各生命周期信息的终止点标识，其中，所述算子执行队列中末位的模型算子的下位模型算子为所述末位的模型算子本身。4.根据权利要求2所述的方法，其特征在于，根据所述生命周期队列中的各生命周期信息，以及对应的模型算子的内存需求，确定至少一个复用内存区域，包括：根据所述算子执行队列中的各模型算子的执行次序，遍历各模型算子，并在各模型算子的遍历周期内执行以下步骤：基于预设的可用内存链表和所述生命周期队列中的各生命周期信息，获取预分配可用内存块，所述预分配可用内存块为前置模型算子的生命周期结束后释放的内存区域，所述前置模型算子为所述算子执行队列中排在当前的模型算子之前的模型算子；若所述预分配可用内存块能够容纳所述当前的模型算子的内存需求，则根据所述预分配可用内存块对应的内存区域，确定所述当前的模型算子对应的复用内存区域。5.根据权利要求4所述的方法，其特征在于，所述生命周期信息包括起始点标识和终止点标识，基于预设的可用内存链表和所述生命周期队列中的各生命周期信息，获取预分配可用内存块，包括：获取所述前置模型算子的终止点标识和所述当前的模型算子的起始点标识；2CN114201298A权利要求书2/3页若所述前置模型算子的终止点标识小于与所述当前的模型算子的起始点标识，且所述前置模型算子的终止点标识与所述当前的模型算子的起始点标识相邻，则将所述前置模型算子对应的预分配可用内存块，存入可用内存链表。6.根据权利要求5所述的方法，其特征在于，在将所述前置模型算子对应的预分配可用内存块，存入可用内存链表之后，所述方法还包括：将所述可用内存链表内连续的至少两