一种编译方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113703775A(43)申请公布日2021.11.26(21)申请号202111013533.X(22)申请日2021.08.31(71)申请人上海阵量智能科技有限公司地址200235上海市徐汇区永嘉路698号518室(72)发明人勾志宏胡英俊徐宁仪曹雨(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人王茹(51)Int.Cl.G06F8/41(2018.01)G06N3/04(2006.01)权利要求书3页说明书13页附图4页(54)发明名称一种编译方法、装置、设备及存储介质(57)摘要本说明书实施例提供一种神经网络的编译方法、装置、设备及存储介质。可以确定待编译的神经网络的计算图，从计算图的多个拓扑序列中筛选出目标拓扑序列，然后基于目标拓扑序列对神经网络进行编译得到机器指令，供目标芯片执行。通过筛选出目标芯片执行效率较高的目标拓扑序列，再进行神经网络的编译，可以最大程度的发挥目标芯片的计算能力，提高推理过程中的处理效率。CN113703775ACN113703775A权利要求书1/3页1.一种编译方法，其特征在于，所述方法包括：确定待编译的神经网络对应的计算图，所述计算图中的节点表示所述神经网络中的算子，所述计算图中的边表示所述神经网络中的数据流向；从所述计算图的多个拓扑序列中确定目标拓扑序列，其中，每个所述拓扑序列表示该拓扑序列包含的所述神经网络中的算子的对应执行顺序；基于所述目标拓扑序列生成所述神经网络对应的机器指令，以使目标芯片执行所述机器指令。2.根据权利要求1所示的方法，其特征在于，所述目标拓扑序列基于所述目标芯片按照每个所述拓扑序列表示的所述对应执行顺序对所述神经网络的输入数据进行运算的运算时长确定。3.根据权利要求1或2所述的方法，其特征在于，所述目标芯片包括至少两种类型的计算单元，所述至少两种类型的计算单元可以并行地对所述输入数据进行不同类型的运算。4.根据权利要求1‑3任一项所述的方法，其特征在于，从所述计算图的多个拓扑序列中确定目标拓扑序列，包括：将所述计算图划分成多个子图，其中，每个子图包括至少两个子拓扑序列；针对每个子图，从所述每个子图的至少两个子拓扑序列中确定目标子拓扑序列；所述目标子拓扑序列基于所述目标芯片按照所述至少两个子拓扑序列表示的所述对应执行顺序对所述输入数据进行运算的运算时长确定；基于所述每个子图的目标子拓扑序列得到所述目标拓扑序列。5.根据权利要求4所述的方法，其特征在于，将所述计算图划分成多个子图，包括：从所述计算图的节点中确定关键节点，其中，所述关键节点为所述计算图中至少两条路径的汇聚点；基于所述关键节点将所述计算图划分成多个子图。6.根据权利要求5所述的方法，其特征在于，基于所述关键节点将所述计算图拆分成多个子图，包括：将邻近的至少两个关键节点以及位于所述至少两个关键节点之间的节点和边构成的计算图作为一个子图。7.根据权利要求6所述的方法，其特征在于，将所述计算图拆分成多个子图之后，还包括：确定所述子图中节点数量小于预设数量的目标子图；将所述目标子图与所述目标子图的邻近子图融合。8.根据权利要求4‑7任一项所述的方法，其特征在于，基于所述目标拓扑序列确定所述神经网络对应的机器指令，包括：确定每个所述目标子拓扑序列对应的机器指令；将每个所述目标子拓扑序列对应的机器指令按照所述计算图中的数据流向链接，得到所述神经网络对应的机器指令。9.根据权利要求1‑8任一项所述的方法，其特征在于，所述目标芯片按照每个所述拓扑序列表示的所述执行顺序对所述输入数据进行运算的运算时长基于以下方式确定：针对每个所述拓扑序列，确定目标芯片按照每个所述拓扑序列表示的算子执行顺序对2CN113703775A权利要求书2/3页所述输入数据进行运算对应的机器指令；基于所述目标芯片执行所述机器指令的时长确定所述运算时长；或针对每个拓扑序列，基于预设的代价模型确定所述目标芯片按照每个所述拓扑序列表示的所述对应执行顺序对所述输入数据进行运算的运算时长，其中，所述代价模型用于根据所述目标芯片的硬件参数以及所述拓扑序列表示的所述对应执行顺序预估所述运算时长。10.根据权利要求9所述的方法，其特征在于，基于预设的代价模型确定所述目标芯片按照每个所述拓扑序列表示的所述对应执行顺序对所述输入数据进行运算的运算时长，包括：针对每个拓扑序列，确定目标芯片按照每个所述拓扑序列表示的所述对应执行顺序对所述输入数据进行运算对应的机器指令；基于预设的代价模型以及所述机器指令确定所述运算时长。11.根据权利要求1‑10任一项所述的方法，其特征在于，确定待编译的神经网络对应的计算图，包括：对所述神经网络进行解析，得到所述神经网络对应的原始计算图；根