神经网络训练方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110163344A(43)申请公布日2019.08.23(21)申请号201910344418.7(22)申请日2019.04.26(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人郭义袁野王剑锋俞刚(74)专利代理机构北京华进京联知识产权代理有限公司11606代理人朱五云王程(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06K9/62(2006.01)权利要求书2页说明书14页附图5页(54)发明名称神经网络训练方法、装置、设备和存储介质(57)摘要本发明涉及一种神经网络训练方法、装置、设备和存储介质，终端通过预设的提取方法，获取待训练图片的第一前景信息和第二前景信息，并根据第一前景信息，采用预设的编码器获得教师网络低维特征图，同时根据第二前景信息，采用编码器获得学生网络低维特征图，进而根据教师网络低维特征图和学生网络低维特征图，确定学生网络的监督损失函数，并根据监督损失函数，及预设的自学习损失函数，训练学生网络，自学习损失函数用于根据真实的数据标签训练学生网络。使得训练学生网络的损失函数中同时使用了只作用于前景信息的监督损失函数，和根据真实数据标签得到的自学习损失函数，因此学生网络的损失函数更加准确，提高了学生网络的精度。CN110163344ACN110163344A权利要求书1/2页1.一种神经网络训练方法，其特征在于，所述方法包括：通过预设的提取方法，获取所述待训练图片的第一前景信息和第二前景信息；所述第一前景信息为在教师网络中所述待训练图片对应的前景信息；所述第二前景信息为在学生网络中所述待训练图片对应的前景信息；根据所述第一前景信息，采用预设的编码器获得教师网络低维特征图，并根据所述第二前景信息，采用所述预设的编码器获得学生网络低维特征图；根据所述教师网络低维特征图和所述学生网络低维特征图，确定所述学生网络的监督损失函数；根据所述监督损失函数，及预设的自学习损失函数，训练所述学生网络；所述自学习损失函数用于根据真实的数据标签训练所述学生网络。2.根据权利要求1所述方法，其特征在于，所述根据所述教师网络低维特征图和所述学生网络低维特征图，确定所述学生网络的监督损失函数，包括：根据所述教师网络低维特征图和所述学生网络低维特征图，确定所述监督损失函数的权值；根据所述监督损失函数的权值，确定所述监督损失函数。3.根据权利要求2所述方法，其特征在于，所述根据所述教师网络低维特征图和所述学生网络低维特征图，确定所述监督损失函数的权值，包括：根据公式获取所述监督损失函数的权值fm_weights，其中，所述fm_T表示所述教师网络低维特征图，所述fm_S表示所述学生网络低维特征图。4.根据权利要求1-3任一项所述方法，其特征在于，所述学生网络包括分类分支，则所述训练所述学生网络，包括：将所述待训练图片输入所述教师网络，得到检测对象的第一概率分布；将所述待训练图片输入所述学生网络，得到所述检测对象的第二概率分布分布；将所述第一概率分布作为标签，将所述第二概率分布作为预测值，调整分类损失函数的参数，以训练所述分类分支。5.根据权利要求4所述方法，其特征在于，所述根据所述监督损失函数和所述预设的自学习损失函数，训练所述学生网络还包括：获取所述学生网络的分类损失函数；根据所述监督损失函数、所述预设的自学习损失函数和所述分类损失函数，训练所述学生网络。6.根据权利要求5所述方法，其特征在于，所述获取所述学生网络的分类损失函数，包括：根据所述第一概率分布和所述第二概率分布，确定所述分类损失函数的权值；根据所述分类损失函数的权值，确定所述分类损失函数。7.根据权利要求4-6任一项所述方法，其特征在于，所述学生网络还包括回归分支，所述根据所述监督损失函数、所述预设的自学习损失函数和所述分类损失函数，训练所述学2CN110163344A权利要求书2/2页生网络，包括：获取回归损失函数；根据所述监督损失函数、所述预设的自学习损失函数、所述分类损失函数和所述回归损失函数，训练所述学生网络。8.根据权利要求7所述方法，其特征在于，所述根据所述监督损失函数、所述预设的自学习损失函数、所述分类损失函数和所述回归损失函数，训练所述学生网络，包括：根据预设的权重系数，对所述监督损失函数、所述分类损失函数和所述回归损失函数进行加权处理，获得加权后的监督损失函数、加权后的分类损失函数和加权后的回归损失函数；则根据所述监督损失函数、所述预设的自学习损失函数、所述分类损失函数和所述回归损失函数，训练所述学生网络，包括：根据所述加权后的监督损失函数、所述预设的自学习损失函数