模型训练、图像处理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110942090A(43)申请公布日2020.03.31(21)申请号201911097179.6(22)申请日2019.11.11(71)申请人北京迈格威科技有限公司地址100086北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人刘泽春(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人莎日娜(51)Int.Cl.G06K9/62(2006.01)权利要求书2页说明书11页附图3页(54)发明名称模型训练、图像处理方法、装置、电子设备及存储介质(57)摘要本发明公开一种模型训练、图像处理方法、装置、电子设备及存储介质，模型训练方法包括：获取初始网络模型和目标限定条件；在目标限定条件下，基于预设交替更新方式、初始网络模型的初始网络结构超参数和常规参数，进行网络模型的网络结构超参数和常规参数迭代更新直至均收敛，得到目标网络模型，预设交替更新方式包括：每进行S次常规参数的迭代更新，基于预设进化策略进行T次网络结构超参数的迭代更新。实施上述方法，在训练用于实现特定用途的图像处理模型时，对于网络模型中的网络结构超参数，可以基于预设进化策略进行自动地迭代更新，从而降低模型训练过程的成本，提高模型训练效率，进而降低整个图像处理过程的成本，提高图像处理效率。CN110942090ACN110942090A权利要求书1/2页1.一种模型训练方法，其特征在于，所述方法包括：获取预设初始网络模型和目标限定条件，其中，所述预设初始网络模型包括初始网络结构超参数和初始常规参数；在所述目标限定条件下，基于预设交替更新方式、所述初始网络结构超参数和所述初始常规参数，进行网络模型的网络结构超参数和常规参数迭代更新，直至网络模型的网络结构超参数和常规参数均收敛，得到目标网络模型；其中，所述预设交替更新方式包括：每进行S次常规参数的迭代更新，基于预设进化策略进行T次网络结构超参数的迭代更新，T＜S，所述目标网络模型包括目标网络结构超参数和目标常规参数。2.根据权利要求1所述的方法，其特征在于，所述网络结构超参数的更新过程，包括：提取所述预设初始网络模型的初始网络结构超参数a1、a2,…,aN，其中，ai为所述预设初始网络模型中的第i个初始网络结构超参数，1≤i≤N，N为所述预设初始网络模型中初始网络结构超参数的个数；基于所述a1、a2,…,aN，生成网络结构超参数向量p，其中，p＝(a1,a2,…,aN)；基于所述p，生成用于更新网络结构超参数的方向导数gP，其中，loss为预设损失函数，△p为扰动量；获取扰动量集合{△p1,△p2,…,△pM}，其中，△pj为所述扰动量集合中的第j个扰动量，1≤j≤M，M为所述扰动量集合中扰动量的个数；基于所述{△p1,△p2,…,△pM}和所述gP，生成方向导数集合{gP1,gP2,…,gPM}，其中，gPj为所述方向导数集合中的第j个方向导数；基于预设梯度下降算法对所述{gP1,gP2,…,gPM}进行处理，得到所述p相对于所述{△p1,△p2,…,△pM}的更新方向集合{D1,D2,…,DM}，其中，Dj为所述p相对于所述△pj的更新方向；基于所述{D1,D2,…,DM}，确定目标网络结构超参数。3.根据权利要求2所述的方法，其特征在于，所述基于所述{D1,D2,…,DM}，确定目标网络结构超参数，包括：确定所述{D1,D2,…,DM}中满足预设条件的更新方向；计算所述满足预设条件的更新方向所对应的网络结构超参数的均值，并将所述均值确定为目标网络结构超参数。4.根据权利要求1所述的方法，其特征在于，所述网络结构超参数包括：网络模型中每层的输出通道数、网络模型的输入图像的分辨率和网络模型的网络深度。5.根据权利要求1所述的方法，其特征在于，所述目标限定条件包括下述任一项：网络模型的总参数量低于预设数量阈值、网络模型的总计算量低于预设计算量阈值，以及网络模型在特定设备上的运行时长低于预设时长阈值。6.一种图像处理方法，用于基于权利要求1至5任一项所述的目标网络模型进行图像处理，其特征在于，所述方法包括：2CN110942090A权利要求书2/2页接收待处理图像；将所述待处理图像转换为与所述目标网络模型匹配的输入数据；将所述输入数据输入至所述目标网络模型进行处理，得到所述目标网络模型的输出结果；将所述目标网络模型的输出结果，确定为所述待处理图像的图像处理结果。7.一种模型训练装置，其特征在于，所述装置包括：获取模块，用于获取预设初始网络模型和目标限定条件，其中，所述预设初始网络模型包括初始网络结构超参数和初始常规参数；训练模块，用于在所述目标限定条件下，基于预设交替更新方式、所述初始网络结构超参数和所述初始常规