编译方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112463159A(43)申请公布日2021.03.09(21)申请号202011337532.6(22)申请日2020.11.25(71)申请人安徽寒武纪信息科技有限公司地址231283安徽省合肥市高新区习友路3333号中国（合肥）国际智能语音产业园研发中心楼611-194室(72)发明人不公告发明人(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277代理人刘新宇(51)Int.Cl.G06F8/41(2018.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书23页附图18页(54)发明名称编译方法、装置、电子设备和存储介质(57)摘要本公开涉及一种编译方法、装置、电子设备和存储介质。所述计算机设备包括计算处理装置、接口装置、其他处理装置和存储装置。计算处理装置可以配置成执行用户指定的操作，该计算处理装置可以实现为单核人工智能处理器或者多核人工智能处理器。计算处理装置可以通过接口装置与其他处理装置进行交互，以共同完成用户指定的操作。根据本申请的实施方式，减小了逐个算子优化对其他算子的影响，减少残留可以进行优化的算子，实现优化最大化，从而提高整个网络的运算性能。CN112463159ACN112463159A权利要求书1/2页1.一种编译方法，其特征在于，所述方法用于对神经网络对应的程序进行编译，所述方法包括：提取神经网络的计算图的可优化子图，其中，所述可优化子图中的算子能够被优化；从最大数据块开始，遍历可优化子图中算子的输入操作数和输出操作数，根据可优化子图中算子的输入操作数和输出操作数构建可优化子图的地址回填有向图；其中，所述最大数据块为可优化子图中张量大小最大的操作数，所述地址回填有向图是用于地址回填的有向图；根据最大数据块的地址、可优化子图以及地址回填有向图，对可优化子图中算子的操作数进行地址回填。2.根据权利要求1所述的方法，其特征在于，提取神经网络的计算图的可优化子图，包括：根据指定算子的输入操作数和输出操作数的关系、以及指定算子的输入操作数与指定算子的输出操作数以及其他指定算子的操作数的关系确定计算图中的可优化算子；根据计算图中的可优化算子之间的连接关系，用可优化算子构建可优化子图。3.根据权利要求2所述的方法，其特征在于，根据指定算子的输入操作数和输出操作数的关系、以及指定算子的输入操作数或者输出操作数与其他指定算子的操作数的关系确定计算图中的可优化算子，包括：若指定算子的输入操作数和输出操作数在内存中摆放的方式一致，并且指定算子的输入操作数能够避免使用两个相邻的操作数的地址进行回填，则所述指定算子为可优化算子。4.根据权利要求2所述的方法，其特征在于，根据计算图中的可优化算子之间的关系，用可优化算子构建可优化子图，包括：根据计算图中的可优化算子之间的关系，采用并查集算法构建可优化算子的可优化子图。5.根据权利要求1所述的方法，其特征在于，从最大数据块开始，遍历可优化子图中算子的输入操作数和输出操作数，根据可优化子图中算子的输入操作数和输出操作数构建可优化子图的地址回填有向图，包括：在构建可优化子图的地址回填有向图时，以最大数据块为父节点，按照可优化子图中算子的连接顺序，将回填地址时作为依据的操作数确定为父节点、被回填地址的操作数确定为子节点。6.根据权利要求1所述的方法，其特征在于，根据最大数据块的地址、可优化子图以及地址回填有向图，回填可优化子图中算子的操作数的地址，包括：根据地址回填有向图确定待回填操作数；根据待回填操作数与父节点之间的可优化算子类型、以及已回填的父节点的地址对待回填操作数进行地址回填。7.一种编译装置，其特征在于，所述装置用于对神经网络对应的程序进行编译，所述装置包括：提取模块，用于提取神经网络的计算图的可优化子图，其中，所述可优化子图中的算子能够被优化；2CN112463159A权利要求书2/2页构建模块，用于从最大数据块开始，遍历可优化子图中算子的输入操作数和输出操作数，根据可优化子图中算子的输入操作数和输出操作数构建可优化子图的地址回填有向图；其中，所述最大数据块为可优化子图中张量大小最大的操作数，所述地址回填有向图是用于地址回填的有向图；地址回填模块，用于根据最大数据块的地址、可优化子图以及地址回填有向图，对可优化子图中算子的操作数进行地址回填。8.根据权利要求7所述的装置，其特征在于，所述提取模块，包括：第一确定单元，用于根据指定算子的输入操作数和输出操作数的关系、以及指定算子的输入操作数与指定算子的输出操作数以及其他指定算子的操作数的关系确定计算图中的可优化算子；第一构建单元，用于根据计算图中的可优化算子之间的连接关系，用可优化算子构