算子处理方法及装置、电子设备、计算机可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115081598A(43)申请公布日2022.09.20(21)申请号202211014065.2(22)申请日2022.08.23(71)申请人北京灵汐科技有限公司地址100080北京市海淀区北四环西路67号8层801(72)发明人张伟豪王冠睿(74)专利代理机构北京天昊联合知识产权代理有限公司11112专利代理师彭瑞欣冯建基(51)Int.Cl.G06N3/04(2006.01)G06N3/063(2006.01)G06F15/78(2006.01)权利要求书2页说明书13页附图9页(54)发明名称算子处理方法及装置、电子设备、计算机可读存储介质(57)摘要本公开提供一种算子处理方法及装置、电子设备、计算机可读存储介质，该方法包括：将神经网络计算图中预设数量的算子中的每个算子映射为一个多面体模型，多面体模型包括对应算子中的多个执行实例；将预设数量的多面体模型置于同一参考坐标空间中并确定每个多面体模型中多个执行实例的当前执行顺序；利用目标算法对每个多面体模型中多个执行实例的当前执行顺序进行迭代优化，以使预设数量的算子的输入输出数据的当前最大缓存量满足目标条件，得到预设数量的目标多面体模型。根据本公开能够高效、自动化地调整算子中多个执行实例的执行顺序，有利于降低神经网络计算图中动态数据的存储量，有利于节省硬件设备的存储资源。CN115081598ACN115081598A权利要求书1/2页1.一种神经网络计算图的算子处理方法，其特征在于，包括：将神经网络计算图中预设数量的算子中的每个算子映射为一个多面体模型，所述多面体模型包括对应的所述算子中的多个执行实例；所述预设数量为所述神经网络计算图中全部或部分算子的数量；将所述预设数量的所述多面体模型置于同一参考坐标空间中，并确定每个所述多面体模型中所述多个执行实例的当前执行顺序；利用目标算法对所述预设数量中每个所述多面体模型中所述多个执行实例的当前执行顺序进行迭代优化，以使所述预设数量的算子对应的输入输出数据的当前最大缓存量满足目标条件，从而得到优化后的所述预设数量的目标多面体模型。2.根据权利要求1所述的方法，其特征在于，在所述利用目标算法对所述预设数量中每个所述多面体模型中多个执行实例的当前执行顺序进行迭代优化之前，所述方法还包括：根据硬件内存模型的存储粒度，获取预设数量的所述多面体模型中多个执行实例按照所述当前执行顺序执行时，所述预设数量的算子对应的输入输出数据的当前最大缓存量；所述利用目标算法对所述预设数量中每个所述多面体模型中多个执行实例的当前执行顺序进行迭代优化，包括：在所述预设数量的算子对应的输入输出数据的当前最大缓存量不满足目标条件的情况下，利用目标算法对所述预设数量中每个所述多面体模型中多个执行实例的当前执行顺序进行迭代优化。3.根据权利要求1所述的方法，其特征在于，所述目标算法包括线性变换函数，所述利用目标算法对所述预设数量中每个所述多面体模型中多个执行实例的当前执行顺序进行迭代优化，包括：针对每个多面体模型，根据所述线性变换函数对所述多面体模型进行线性变换处理，以更新所述多面体模型中所述多个执行实例的当前执行顺序；根据硬件内存模型的存储粒度，获取所述预设数量的所述多面体模型中多个执行实例按照所述当前执行顺序执行时，所述预设数量的算子对应的输入输出数据的当前最大缓存量；在所述预设数量的算子对应的输入输出数据的当前最大缓存量不满足目标条件的情况下，更新所述线性变换函数的线性变换参数，并返回所述根据所述线性变换函数对所述多面体模型进行线性变换处理的步骤；在所述预设数量的算子对应的输入输出数据的当前最大缓存量满足目标条件的情况下，将在满足目标条件时的所述预设数量的多面体模型作为所述预设数量的目标多面体模型。4.根据权利要求3所述的方法，其特征在于，所述线性变换函数包括：，其中，表示所述多面体模型中所述多个执行实例在所述参考坐标空间中的位置坐标，表示所述多面体模型对应的线性变换函数的线性变换参数，表示线性变换处理后的所述多面体模型中多个执行实例在参考坐标空间中的位置坐标。5.根据权利要求3所述的方法，其特征在于，所述更新所述线性变换函数的线性变换参数，包括：2CN115081598A权利要求书2/2页基于梯度下降法更新所述线性变换函数的线性变换参数。6.根据权利要求1所述的方法，其特征在于，在得到优化后的所述预设数量的目标多面体模型之后，所述方法还包括：根据所述目标多面体模型，生成对应的目标算子；基于所述目标算子，更新所述神经网络计算图；将更新后的所述神经网络计算图编译至计算设备执行。7.根据权利要求1所述的方法，其特征在于，在确定每个所述多面体模型中所述多个执行实例的当前执行顺序之前，所述方法还包括：设定