内存管理方法、装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利(10)授权公告号CN108304265B(45)授权公告日2022.02.01(21)申请号201810064209.2(56)对比文件CN10(22)申请日2018.01.236447035A,2017.02.22CN105809248A,2016.07.27(65)同一申请的已公布的文献号JP3816762B2,2006.08.30申请公布号CN108304265AUS2017228643A1,2017.08.10(43)申请公布日2018.07.20ma1998.《卷积神经网络内存占用计算》.(73)专利权人腾讯科技（深圳）有限公司《CSDN博客》.2017,第1-26页.地址518057广东省深圳市南山区高新区MinsooRhu等.vDNN:VirtualizedDeep科技中一路腾讯大厦35层NeuralNetworksforScalable,Memory-EfficientNeuralNetworkDesign.《IEEE(72)发明人黄凯宁朱晓龙梅利健黄生辉Xplore》.2016,第1-13页.王一同罗镜民LinnanWang等.SuperNeurons:Dynamic(74)专利代理机构北京三高永信知识产权代理GPUMemoryManagementforTrainingDeep有限责任公司11138NeuralNetworks.《arXiv:1801.04380v1》代理人刘映东.2018,第1-13页.(51)Int.Cl.审查员冷小素G06F9/50(2006.01)G06N3/04(2006.01)权利要求书3页说明书10页附图3页(54)发明名称内存管理方法、装置及存储介质(57)摘要本发明实施例公开了一种内存管理方法、装置及存储介质，属于计算机技术领域。方法包括：根据神经网络中的特征单元连接关系，确定神经网络的至少一个分支；对于每个分支，根据分支上每个特征单元需要的输出内存的尺寸，为分支分配第一内存和第二内存，第一内存尺寸不小于第二内存尺寸，第一内存尺寸和第二内存尺寸均不小于分支需要的其他内存尺寸；将第一内存和第二内存轮流作为分支上特征单元的输入内存和输出内存。本发明实施例针对神经网络中的每个分支仅分配两个内存，轮流作为特征单元的输入内存和输出内存，既可以保证计算的正常进行，而且实现了内存复用，节省了占用的内存，降低了内存需求，保证在终端上能够正常实现神经网络。CN108304265BCN108304265B权利要求书1/3页1.一种内存管理方法，其特征在于，应用于终端中，所述方法包括：根据神经网络中的特征单元连接关系，确定所述神经网络的至少一个分支，所述神经网络包括按照顺序排列的多个网络层，每个网络层包括至少一个特征单元，每个分支由位于不同网络层的多个特征单元连接构成；对于每个分支，根据所述分支上每个特征单元需要的输出内存的尺寸，为所述分支分配第一内存和第二内存，第一内存尺寸不小于第二内存尺寸，所述第一内存尺寸和所述第二内存尺寸均不小于所述分支需要的其他内存尺寸；当所述第一内存尺寸与所述第二内存尺寸相等时，将所述第一内存和所述第二内存轮流作为所述分支上特征单元的输入内存和输出内存；当所述第一内存尺寸大于所述第二内存尺寸时，确定所述分支上需要的输出内存的尺寸为所述第一内存尺寸的指定特征单元，将所述第一内存作为所述指定特征单元的输出内存，按照所述分支上每个特征单元与所述指定特征单元之间的位置关系，将所述第一内存和所述第二内存作为所述分支上除指定特征单元以外的每个特征单元的输入内存或输出内存，以使所述第一内存和所述第二内存轮流作为所述分支上特征单元的输入内存和输出内存。2.根据权利要求1所述的方法，其特征在于，所述根据所述分支上每个特征单元需要的输出内存的尺寸，为所述分支分配第一内存和第二内存之前，所述方法还包括：对所述分支上每个特征单元需要输出的数据量进行统计，得到所述分支上每个特征单元需要的输出内存的尺寸。3.根据权利要求1所述的方法，其特征在于，所述根据所述分支上每个特征单元需要的输出内存的尺寸，为所述分支分配第一内存和第二内存，包括：按照从大到小的顺序，对所述分支上每个特征单元需要的输出内存的尺寸进行排序；将排在第一位的尺寸作为第一内存尺寸，将排在第二位的尺寸作为第二内存尺寸；为所述分支分配与所述第一内存尺寸匹配的第一内存和与所述第二内存尺寸匹配的第二内存。4.根据权利要求1所述的方法，其特征在于，所述将所述第一内存和所述第二内存轮流作为所述分支上特征单元的输入内存和输出内存，包括：将所述第一内存作为所述分支上第一特征单元的输出内存，且作为第二特征单元的输入内存，将所述第二内存作为所述第二特征单元的输出内存；其中，所述第一特征单元为所述分支上