神经网络模型部署方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115099399A(43)申请公布日2022.09.23(21)申请号202210744352.2(22)申请日2022.06.27(71)申请人清华大学地址100084北京市海淀区清华园1号(72)发明人施路平曲环宇张伟豪(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277专利代理师刘新宇(51)Int.Cl.G06N3/063(2006.01)G06N3/04(2006.01)权利要求书3页说明书21页附图5页(54)发明名称神经网络模型部署方法、装置、电子设备及存储介质(57)摘要本公开涉及一种神经网络模型部署方法、装置、电子设备及存储介质，所述方法包括获取待部署到硬件设备上的原始神经网络模型所对应的原始计算图；将原始计算图转换为基于目标算子集构成的中间计算图，目标算子集为硬件设备支持的算子集；根据硬件设备对应的硬件约束条件，将中间计算图转换为适配硬件设备的目标计算图，硬件约束条件是基于硬件设备对应的数据精度、硬件资源以及目标算子集中的至少一种所确定的；基于目标计算图，确定硬件可执行文件，硬件可执行文件用于部署到硬件设备上。本公开实施例可实现将各种原始神经网络模型高效统一地转换成能部署到硬件设备上的硬件可执行文件。CN115099399ACN115099399A权利要求书1/3页1.一种神经网络模型部署方法，其特征在于，包括：获取待部署到硬件设备上的原始神经网络模型所对应的原始计算图；将所述原始计算图转换为基于目标算子集构成的中间计算图，所述目标算子集为所述硬件设备支持的算子集；根据所述硬件设备对应的硬件约束条件，将所述中间计算图转换为适配所述硬件设备的目标计算图，所述硬件约束条件是基于所述硬件设备对应的数据精度、硬件资源以及所述目标算子集中的至少一种所确定的；基于所述目标计算图，确定硬件可执行文件，所述硬件可执行文件用于部署到所述硬件设备上。2.根据权利要求1所述的方法，其特征在于，所述将所述原始计算图转换为基于目标算子集构成的中间计算图，包括：利用所述目标算子集中的目标算子，替换所述原始计算图中的原始计算节点，得到与所述原始计算节点等价的中间计算节点；根据所述硬件设备对应的数据存储规则，生成与所述中间计算节点关联的中间存储节点，所述数据存储规则用于指示所述硬件设备支持的数据存储方式；根据所述原始计算图中各个节点之间的数据依赖关系，建立所述中间计算节点与所述中间存储节点之间的有向边，得到所述中间计算图，其中，所述数据依赖关系表征所述原始计算图中各个节点之间的关联关系。3.根据权利要求2所述的方法，其特征在于，所述利用所述目标算子集中的目标算子，替换所述原始计算图中的原始计算节点，得到与所述原始计算节点等价的中间计算节点，包括：确定所述原始计算图中能被所述目标算子集中的目标算子等价替换的第一原始计算节点，以及确定所述原始计算图中不能被所述目标算子集中的目标算子等价替换的第二原始计算节点；将能等价替换所述第一原始计算节点的目标算子，作为与所述第一原始计算节点等价的计算节点；将不能被等价替换的所述第二原始计算节点转换成占位节点，并记录所述占位节点对应的第二原始计算节点的算子信息；其中，所述中间计算节点包括：与所述第一原始计算节点等价的计算节点以及所述第二原始计算节点转换成的占位节点。4.根据权利要求3所述的方法，其特征在于，所述原始计算图中包括多个第一原始计算节点，所述将能等价替换所述第一原始计算节点的目标算子，作为与所述第一原始计算节点等价的计算节点，包括：针对所述原始计算图中的任一个第一原始计算节点，在所述目标算子集中存在至少两个目标算子能等价替换所述第一原始计算节点的情况下，根据所述至少两个目标算子各自对应的计算效率和/或存储效率，确定与所述第一原始计算节点等价的计算节点。5.根据权利要求2或3所述的方法，其特征在于，在建立所述中间计算节点与所述中间存储节点之间的有向边之后，所述将所述原始计算图转换为基于目标算子集构成的中间计算图，还包括：2CN115099399A权利要求书2/3页在所述原始计算图中包括用于执行数据重排操作的第三原始计算节点的情况下，根据所述第三原始计算节点在所述原始计算图中的节点位置，将所述第三原始计算节点转换成数据重排信息，并将所述数据重排信息记录于与所述节点位置对应的有向边上；其中，所述数据重排操作包括用于改变数据排布且不产生计算的操作，所述数据重排信息用于指示所述数据重排操作。6.根据权利要求5所述的方法，其特征在于，在得到所述数据重排信息之后，所述将所述原始计算图转换为基于目标算子集构成的中间计算图，还包括：根据所述硬件设备对应的数据存储规则，消除冗余的数据重排信息，和/或，将同一有向边上的至少两个数据重排信