神经网络模型训练方法及其装置、设备、介质、产品.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115495998A(43)申请公布日2022.12.20(21)申请号202211338874.9G06F111/04(2020.01)(22)申请日2022.10.28(71)申请人广州华多网络科技有限公司地址511442广东省广州市番禺区南村镇万达广场B1栋24层(72)发明人叶朝鹏(74)专利代理机构广州利能知识产权代理事务所(普通合伙)44673专利代理师王增鑫(51)Int.Cl.G06F30/27(2020.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06F111/08(2020.01)权利要求书2页说明书13页附图4页(54)发明名称神经网络模型训练方法及其装置、设备、介质、产品(57)摘要本申请涉及一种神经网络模型训练方法及其装置、设备、介质、产品，所述方法包括：确定待监测的性能指标及训练轮数，根据训练轮数随机生成容忍轮数，使容忍轮数成为关联于所述训练轮数的随机值；按照训练轮数对神经网络模型执行多轮训练，在每轮训练中将神经网络模型的实例训练至收敛，获得相应的已收敛实例；判断每轮训练所得的已收敛实例的性能指标是否低于历轮获得的已收敛实例的性能指标中的最高性能指标，当低于最高性能指标时，统计持续低于最高性能指标的持续总轮数；当持续总轮数达到所述容忍轮数时，终止训练，确定获得最高性能指标的已收敛实例为最佳实例。本申请可以自动化地识别出多轮训练过程中的过拟合现象，确保最佳实例的有效性。CN115495998ACN115495998A权利要求书1/2页1.一种神经网络模型训练方法，其特征在于，包括：确定待监测的性能指标及训练轮数，根据所述训练轮数随机生成容忍轮数，使所述容忍轮数成为关联于所述训练轮数的随机值；按照所述训练轮数对神经网络模型执行多轮训练，在每轮训练中将所述神经网络模型的实例训练至收敛，获得相应的已收敛实例；判断每轮训练所得的已收敛实例的性能指标是否低于历轮获得的已收敛实例的性能指标中的最高性能指标，当低于所述最高性能指标时，统计持续低于所述最高性能指标的持续总轮数；当所述持续总轮数达到所述容忍轮数时，终止训练过程，确定获得所述最高性能指标的已收敛实例为最佳实例。2.根据权利要求1所述的神经网络模型训练方法，其特征在于，确定待监测的性能指标及训练轮数之前，包括：配置所述神经网络模型，使其包含至少一个特征表示组件，所述特征表示组件包括神经网络层和失活层，所述神经网络层用于提取被处理信息中的深层特征信息，所述失活层用于随机丢弃所述深层特征信息中的部分特征；将所述神经网络层所采用的激活函数配置为高斯误差线性单元；将所述失活层所采用的用于控制丢弃特征数量的丢弃概率设置为与随机概率值的自然常数幂相关联。3.根据权利要求1所述的神经网络模型训练方法，其特征在于，根据所述训练轮数随机生成容忍轮数，使所述容忍轮数成为关联于所述训练轮数的随机值，包括：基于特定比例与所述训练轮数的乘积确定标定轮数，所述特定比例为70％至90％范围内的定值；以自然常数为底，以随机概率值为指数，确定所述标定轮数的归一化权重所述随机概率值的数值区间为(‑∞,0]；应用归一化权重对所述标定轮数加权获得归一化后的结果数值；将所述结果数值取整作为所述容忍轮数。4.根据权利要求1所述的神经网络模型训练方法，其特征在于，判断每轮训练所得的已收敛实例的性能指标是否低于历轮获得的已收敛实例的性能指标中的最高性能指标，包括：当每轮训练所得的已收敛实例的性能指标不低于历轮获得的已收敛实例的性能指标中的最高性能指标时，重置所述持续总轮数为其最低值。5.根据权利要求1所述的神经网络模型训练方法，其特征在于，当所述持续总轮数达到所述容忍轮数时，终止训练过程之前，包括：判断所述容忍轮数是否大于所述训练轮数与已训练轮数之间的差值，当大于所述差值时，增大所述训练轮数使其大于所述容忍轮数。6.根据权利要求1至5中任意一项所述的神经网络模型训练方法，其特征在于，按照所述训练轮数对神经网络模型执行多轮训练，包括：基于网络架构搜索算法构造所述神经网络模型在每轮训练中的实例。7.根据权利要求1至5中任意一项所述的神经网络模型训练方法，其特征在于，确定获2CN115495998A权利要求书2/2页得所述最高性能指标的已收敛实例为最佳实例之后，包括：将所述最佳实例的权重参数迁移到计算机设备中运行；向所述计算机设备中的所述最佳实例输入待处理信息，获得所述最佳实例根据所述待处理信息进行推理后输出的特征表示，所述待处理信息包括图片，所述最佳实例相对应的神经网络模型为图像特征提取模型。8.一种神经网络模型训练装置，其特征在于，包括：初始化模块，设置为确定待监测的性能指标及