神经网络训练方法、装置、可读存储介质和计算机设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109978140A(43)申请公布日2019.07.05(21)申请号201910238685.6(22)申请日2019.03.27(71)申请人腾讯科技（深圳）有限公司地址518000广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人陈华明张红林(74)专利代理机构广州华进联合专利商标代理有限公司44224代理人李文渊何平(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06N3/063(2006.01)权利要求书3页说明书16页附图11页(54)发明名称神经网络训练方法、装置、可读存储介质和计算机设备(57)摘要本申请涉及一种神经网络训练方法、装置、计算机可读存储介质和计算机设备，该方法包括：获取第二神经网络模型，第二神经网络模型的第一网络层包括多个特征领域，各个特征领域存在对应的模型参数，模型参数为与第一网络层连接的第二网络层的输入参数；从第一神经网络模型获取与第一网络层对应的第三网络层，第一神经网络模型已经达到收敛；获取第三网络层中与第一网络层中相同的特征领域，获取相同的特征领域对应的模型参数得到保留模型参数；将保留模型参数作为第二神经网络模型匹配的特征领域的模型参数；输入训练样本至第二神经网络模型进行训练，直至满足收敛条件，得到目标神经网络模型。本申请提供的方案能够提高神经网络模型的训练效率。CN109978140ACN109978140A权利要求书1/3页1.一种神经网络训练方法，包括：获取第二神经网络模型，所述第二神经网络模型的第一网络层包括多个特征领域，各个特征领域存在对应的模型参数，所述模型参数为与所述第一网络层连接的第二网络层的输入参数；从第一神经网络模型获取与所述第一网络层对应的第三网络层，所述第一神经网络模型已经达到收敛；获取所述第三网络层中与所述第一网络层中相同的特征领域，获取所述相同的特征领域对应的模型参数得到保留模型参数；将所述保留模型参数作为所述第二神经网络模型匹配的特征领域的模型参数；输入训练样本至所述第二神经网络模型进行训练，直至满足收敛条件，得到目标神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述获取所述第三网络层中与所述第一网络层中相同的特征领域，包括：获取所述第三网络层中的各个特征领域；获取所述第一网络层中的各个特征领域；将所述第三网络层中的各个特征领域和所述第一网络层中的各个特征领域进行比较，得到相同的特征领域。3.根据权利要求1所述的方法，其特征在于，所述将所述保留模型参数作为所述第二神经网络模型匹配的特征领域的模型参数，包括：获取所述第一网络层中各个特征领域和对应的模型参数的第一关系表，所述第一关系表包括所述第一网络层中各个特征领域对应的第一领域标识和所述第一领域标识对应的第一模型参数矩阵，所述第一模型参数矩阵包括多个第一模型参数子矩阵；获取所述第三网络层中各个特征领域和对应的模型参数的第二关系表，所述第二关系表包括所述第三网络层中各个特征领域对应的第二领域标识和所述第二领域标识对应的第二模型参数矩阵，所述第二模型参数矩阵包括多个第二模型参数子矩阵；当所述第一领域标识在所述第二关系表中存在相同的第二领域标识时，将所述第二领域标识作为目标领域标识；在所述第二关系表中获取所述目标领域标识对应的第二目标模型参数矩阵；将所述第二目标模型参数矩阵的矩阵值填充至所述第一领域标识对应的第一目标模型参数矩阵中。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：当所述第一领域标识在所述第二关系表中未存在相同的第二领域标识时，对所述第一领域标识对应的第一目标模型参数矩阵的矩阵值进行随机赋值。5.根据权利要求3所述的方法，其特征在于，所述获取所述第三网络层中各个特征领域和对应的模型参数的第二关系表，所述第二关系表包括所述第三网络层中各个特征领域对应的第二领域标识和所述第二领域标识对应的第二模型参数矩阵，所述第二模型参数矩阵包括多个第二模型参数子矩阵，包括：根据第一预设特征领域标识分配规则对所述第三网络层中各个特征领域生成对应的第二特征领域标识；2CN109978140A权利要求书2/3页根据第一预设矩阵标识分配规则对所述第二模型参数矩阵中各个第二模型参数子矩阵分配对应的第二模型参数子矩阵标识，所述第二模型参数子矩阵标识的数目是根据所述第一神经网络的特征领域的向量维度确定的；建立所述第二特征领域标识和对应的第二模型参数子矩阵标识的关系，形成所述第二关系表。6.根据权利要求4所述的方法，其特征在于，所述获取所述第一网络层中各个特征领域和对应的模型参数的第一关系表，所述第一关系表包括所述第一网络层中各个特征领域对应的第一领域标识和所述第一领域标识对应的第一