神经网络训练方法、装置及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110705691A(43)申请公布日2020.01.17(21)申请号201910907549.1(22)申请日2019.09.24(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人李亮亮(74)专利代理机构北京钲霖知识产权代理有限公司11722代理人冯志云李志新(51)Int.Cl.G06N3/04(2006.01)G06K9/62(2006.01)权利要求书2页说明书9页附图3页(54)发明名称神经网络训练方法、装置及计算机可读存储介质(57)摘要本公开提供了一种神经网络训练方法及装置，其中，方法包括：获取待训练的神经网络的多个中间层输出的多个特征图；通过特征提取网络对多个特征图进行特征提取，分别得到每个中间层的第一特征输出；根据多个第一特征输出与待训练的神经网络输出的第二特征输出，计算得到第一损失；基于第一损失，调整多个中间层的参数。通过自蒸馏的方式，将神经网络模型自身的各中间层、以及各次迭代中提取的结果特征输出，作为自身的监督信号充分利用，能够更快的收敛结果，完成训练，节约了时间和资源。CN110705691ACN110705691A权利要求书1/2页1.一种神经网络训练方法，其中，所述方法包括：获取待训练的神经网络的多个中间层输出的多个特征图；通过特征提取网络对所述多个特征图进行特征提取，分别得到每个所述中间层的第一特征输出；根据多个所述第一特征输出与所述待训练的神经网络输出的第二特征输出，计算得到第一损失；基于所述第一损失，调整所述多个中间层的参数。2.根据权利要求1所述的方法，其中，所述根据多个所述第一特征输出与所述神经网络输出的第二特征输出，计算得到第一损失，包括：每个所述第一特征输出分别与所述第二特征输出进行比对，得到每个所述中间层对应的中间层损失；所述基于所述第一损失，调整所述多个中间层的参数，包括：基于所述中间层损失，调整对应的中间层的参数以及对应的中间层前序全部中间层的参数。3.根据权利要求1所述的方法，其中，所述根据多个所述第一特征输出与所述神经网络输出的第二特征输出，计算得到第一损失，包括：根据当前轮的第二特征输出与前N轮迭代的第二特征输出，计算得到第一迭代损失，N为正整数；所述基于所述第一损失，调整所述多个中间层的参数，包括：基于所述第一迭代损失，调整所述多个中间层的参数。4.根据权利要求3所述的方法，其中，所述根据当前轮的第二特征输出与前N轮迭代的第二特征输出，计算得到第一迭代损失，包括：根据所述前N轮迭代的第二特征输出分别对应的第一权重系数，对多个所述前N轮迭代的第二特征输出进行加权拼接，得到前N轮迭代的加权特征输出；根据当前轮的第二特征输出与所述前N轮迭代的加权特征输出，计算得到所述第一迭代损失。5.根据权利要求4所述的方法，其中，第i轮迭代的第二特征输出对应的第一权重系数大于第j轮迭代的第二特征输出对应的第一权重系数，i、j均为正整数，且i＞j。6.根据权利要求3所述的方法，其中，所述方法还包括：存储各轮迭代的第二特征输出。7.根据权利要求1所述的方法，其中，所述根据多个所述第一特征输出与所述待训练的神经网络输出的第二特征输出，计算得到第一损失，包括：对所述第一特征输出和所述第二特征输出进行拼接，得到第三特征输出；根据当前轮的第二特征输出与前M轮迭代的第三特征输出或当前轮的第三特征输出与前M轮迭代的第三特征输出，计算得到第二迭代损失，M为正整数；所述基于所述第一损失，调整所述中间层的参数，包括：基于所述第二迭代损失，调整所述多个中间层的参数。8.根据权利要求7所述的方法，其中，所述根据当前轮的第二特征输出与前M轮迭代的第三特征输出或当前轮的第三特征输出与前M轮迭代的第三特征输出，计算得到第二迭代损失，包括：根据所述前M轮迭代的第三特征输出分别对应的第二权重系数，对多个所述前M轮迭代2CN110705691A权利要求书2/2页的第三特征输出进行加权拼接，得到前M轮迭代的加权特征输出；根据所述当前轮的第二特征输出或所述当前轮的第三特征输出与所述前M轮迭代的加权特征输出，计算得到所述第二迭代损失。9.根据权利要求8所述的方法，其中，第g轮迭代的第三特征输出对应的第二权重系数大于第h轮迭代的第三特征输出对应的第二权重系数，g、h均为正整数，且g＞h。10.根据权利要求7所述的方法，其中，所述方法还包括：存储各轮迭代的第三特征输出。11.根据权利要求1-10任一项所述的方法，其中，所述特征提取网络包括卷积层和全连接层。12.根据权利要求1-10任一项所述的方法，其中，所述方法还包括：根据所述待训练的神经网络输出的训练样本的预测值与所述训练样本的真实值