神经网络模型的编译方法和装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114239803A(43)申请公布日2022.03.25(21)申请号202111519387.8(22)申请日2021.12.13(71)申请人北京地平线机器人技术研发有限公司地址100094北京市海淀区丰豪东路9号院2号楼3层1单元302(72)发明人李德林张祎男李建军王振江(74)专利代理机构北京思源智汇知识产权代理有限公司11657代理人毛丽琴(51)Int.Cl.G06N3/04(2006.01)G06N3/063(2006.01)G06N3/08(2006.01)权利要求书2页说明书13页附图10页(54)发明名称神经网络模型的编译方法和装置、电子设备和存储介质(57)摘要本公开实施例公开了一种神经网络模型的编译方法和装置、电子设备和存储介质，其中，方法包括：获取待编译神经网络模型对应的第一模型；针对第一模型的至少一个MUL层中的第一MUL层，将第一MUL层的第一输入张量和第二输入张量的元素对应相乘运算变换为深度卷积运算，并将深度卷积运算获得的第一输出张量变换为与第一MUL层的原输出张量数据结构相同的第二输出张量，获得第一MUL层对应的优化后的第二MUL层；基于各优化后的第二MUL层获得第一模型对应的优化模型；将优化模型编译为对应的二进制的目标模型。本公开实施例使得神经网络模型的元素对应相乘运算可以在加速芯片上实现，从而有效提高神经网络模型的推理速度。CN114239803ACN114239803A权利要求书1/2页1.一种神经网络模型的编译方法，包括：获取待编译神经网络模型对应的第一模型，所述第一模型为所述待编译神经网络模型对应的中间表示；针对所述第一模型的至少一个MUL层中的第一MUL层，将所述第一MUL层的第一输入张量和第二输入张量的元素对应相乘运算变换为深度卷积运算，并将深度卷积运算获得的第一输出张量变换为与所述第一MUL层的原输出张量数据结构相同的第二输出张量，获得所述第一MUL层对应的优化后的第二MUL层；所述MUL层为两输入张量的元素对应相乘的层；基于各优化后的第二MUL层，获得所述第一模型对应的优化模型；将所述优化模型编译为所述待编译神经网络模型对应的二进制的目标模型。2.根据权利要求1所述的方法，其中，所述将所述第一MUL层的第一输入张量和第二输入张量的元素对应相乘运算变换为深度卷积运算，包括：将所述第一输入张量的数据结构变换为预设格式的第一张量，并将所述第二输入张量的数据结构变换为所述预设格式的第二张量；将所述第二张量按照预设卷积核数据排布方式进行排布，获得所述第二张量对应的第一排布结果，以使所述第一张量能够与所述第一排布结果进行深度卷积运算。3.根据权利要求2所述的方法，其中，所述第一输入张量和所述第二输入张量的数据结构均为H*W*C，H、W、C均为正整数，分别表示张量的高度、宽度和通道数量；所述将所述第一输入张量的数据结构变换为预设格式的第一张量，并将所述第二输入张量的数据结构变换为所述预设格式的第二张量，包括：将所述第一输入张量的数据结构从H*W*C变换为1*1*C1，获得所述第一张量，并将所述第二输入张量的数据结构从H*W*C变换为1*1*C1，获得所述第二张量，C1表示H、W和C三者的乘积。4.根据权利要求3所述的方法，其中，所述第一张量与所述第一排布结果的深度卷积运算获得的第一输出张量的数据结构为1*1*C1，所述将深度卷积运算获得的第一输出张量变换为与所述第一MUL层的原输出张量数据结构相同的第二输出张量，包括：将所述第一输出张量的数据结构从1*1*C1变换为H*W*C，获得所述第二输出张量。5.根据权利要求3所述的方法，其中，所述预设卷积核数据排布方式包括用于深度卷积运算的卷积核在静态随机存取存储器SRAM中的占用规则，所述将所述第二张量按照预设卷积核数据排布方式进行排布，获得所述第二张量对应的第一排布结果，包括：按照所述预设卷积核数据排布方式将所述第二张量排布成卷积核在SRAM中的占用方式，获得所述第一排布结果，使得在与所述第一张量进行深度卷积运算时，所述第一排布结果以卷积核在SRAM中的占用方式占用SRAM。6.根据权利要求2所述的方法，其中，在将所述第一输入张量的数据结构变换为预设格式的第一张量，并将所述第二输入张量的数据结构变换为所述预设格式的第二张量之后，所述方法还包括：按照预设特征数据排布方式对所述第一张量进行排布，获得所述第一张量对应的第二排布结果，并按照所述预设特征数据排布方式对所述第二张量进行排布，获得所述第二张量对应的第三排布结果；所述预设特征数据排布方式包括用于深度卷积运算的张量的特征数据在SRAM中的占用规则；所述第二排布结果用于与所述第一排布结果进行深度卷积运2CN11423