网络模型优化方法、装置、计算机设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113642702A(43)申请公布日2021.11.12(21)申请号202110801036.X(22)申请日2021.07.15(71)申请人深圳供电局有限公司地址518001广东省深圳市罗湖区深南东路4020号电力调度通信大楼(72)发明人吕启深向真陈昆鲜成黄湛华张欣(74)专利代理机构广州华进联合专利商标代理有限公司44224代理人刘广(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06N5/04(2006.01)G06K9/62(2006.01)权利要求书2页说明书12页附图3页(54)发明名称网络模型优化方法、装置、计算机设备和存储介质(57)摘要本申请涉及一种网络模型优化方法、装置、计算机设备和存储介质。所述方法包括：获取目标网络模型；基于目标网络模型的模型参数，计算目标网络模型对应的能耗值；在根据能耗值确定目标网络模型未达到能耗优化结束条件时，调整目标网络模型的模型参数，获得调整后模型参数；将调整后模型参数作为目标网络模型的新的模型参数，返回计算目标网络模型对应的能耗值的步骤，直至达到能耗优化结束条件，获得优化后的目标网络模型。采用本申请实施例方法，通过对预先训练的目标网络模型的能耗进行优化，能够在确保目标网络模型的模型精度的情况下，有效降低目标网络模型运行时的计算推理能耗。CN113642702ACN113642702A权利要求书1/2页1.一种网络模型优化方法，所述方法包括：获取目标网络模型；基于所述目标网络模型的模型参数，计算所述目标网络模型对应的能耗值；在根据所述能耗值确定所述目标网络模型未达到能耗优化结束条件时，调整所述目标网络模型的模型参数，获得调整后模型参数；将所述调整后模型参数作为所述目标网络模型的新的模型参数，返回所述计算所述目标网络模型对应的能耗值的步骤，直至达到所述能耗优化结束条件，获得优化后的目标网络模型。2.根据权利要求1所述的网络模型优化方法，其特征在于，所述基于所述目标网络模型的模型参数，计算所述目标网络模型对应的能耗值，包括：根据所述目标网络模型的结构层，构建能耗拟合模型；基于所述目标网络模型的模型参数以及所述能耗拟合模型，计算所述目标网络模型对应的能耗值。3.根据权利要求2所述的网络模型优化方法，其特征在于，所述结构层包括卷积层和全连接层中的至少一种；当所述模型参数为调整前模型参数时，所述基于所述目标网络模型的模型参数以及所述能耗拟合模型，计算所述目标网络模型对应的能耗值，包括以下至少一项：第一项：获取所述目标网络模型的各卷积层的卷积核对应的卷积核参数、输入参数以及输出参数；基于所述能耗拟合模型，对所述卷积核参数、所述输入参数以及所述输出参数进行浮点运算，分别计算各所述卷积层对应的卷积层运算能耗量和卷积层参数能耗量；根据所述卷积层运算能耗量以及所述卷积层参数能耗量，确定所述目标网络模型的卷积层对应的能耗值；第二项：获取所述目标网络模型的全连接层对应的输入神经元参数和输出神经元参数；根据所述能耗拟合模型，将所述输入神经元参数以及所述输出神经元参数进行浮点运算，计算所述全连接层对应的全连接层运算能耗量和全连接层参数能耗量；基于所述全连接层运算能耗量以及所述全连接层参数能耗量，确定所述目标网络模型的全连接层对应的能耗值。4.根据权利要求2所述的网络模型优化方法，其特征在于，所述调整所述目标网络模型的模型参数，获得调整后模型参数，包括：将所述目标网络模型的模型参数进行二值化处理，得到处理后的目标网络模型；计算所述处理后的目标网络模型的模型精度；当所述模型精度不满足预设精度要求时，基于所述能耗拟合模型获取所述目标网络模型的目标层；将所述目标层的模型参数进行所述二值化处理，返回所述计算所述处理后的目标网络模型的模型精度的步骤，直至所述模型精度满足所述预设精度要求，将满足所述预设精度要求的模型参数作为调整后模型参数。2CN113642702A权利要求书2/2页5.根据权利要求4所述的网络模型优化方法，其特征在于，所述二值化处理，包括；将所述模型参数中的输入参数或者权值参数中的至少一种，量化至预设比特值。6.根据权利要求3所述的网络模型优化方法，其特征在于，当所述模型参数为调整后模型参数时，所述基于所述目标网络模型的模型参数以及所述能耗拟合模型，计算所述目标网络模型对应的能耗值，包括：根据所述能耗拟合模型，对所述目标层的模型参数进行位运算，计算所述目标层对应的目标层运算能耗量和目标层参数能耗量；基于所述目标层运算能耗量以及所述目标层参数能耗量，确定所述目标网络模型的目标层对应的能耗值。7.根据权利要求1所述的网络模型优化方法，其特征在于，在所述获得优化后的目标网络模型之后