基于DE-BP算法的神经网络模型的参数训练方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115906959A(43)申请公布日2023.04.04(21)申请号202211548944.3(22)申请日2022.12.05(71)申请人南京信息工程大学地址210032江苏省南京市江北新区宁六路219号(72)发明人童怡玲薛羽(74)专利代理机构南京经纬专利商标代理有限公司32200专利代理师朱小兵(51)Int.Cl.G06N3/0499(2023.01)G06N3/048(2023.01)G06F18/214(2023.01)G06N3/084(2023.01)权利要求书3页说明书7页附图3页(54)发明名称基于DE-BP算法的神经网络模型的参数训练方法(57)摘要本发明公开了基于DE‑BP算法的神经网络模型的参数训练方法，包括：对待分类样本数据集进行预处理，按比例划分为训练集和测试集，根据预处理后待分类样本数据构建前馈神经网络模型；利用样本训练集对每个编码后的个体在前馈神经网络模型向前传播过程中训练，计算前馈神经网络模型的预期值和真实值之间的误差，将误差作为个体的适应度值；利用样本训练集训练前馈神经网络模型，分别利用DE算法和BP算法训练编码后的种群，获得种群最优个体；利用带有最优参数的前馈神经网络模型对样本测试集进行测试，得到最佳的分类精度。本发明基于DE‑BP算法对前馈神经网络模型进行训练，解决了BP算法在搜索时容易陷入局部最优点的缺陷，提高神经网络训练的效率。CN115906959ACN115906959A权利要求书1/3页1.基于DE‑BP算法的神经网络模型的参数训练方法，其特征在于，所述参数训练方法包括以下步骤：步骤1，对待分类样本数据集进行预处理，按比例划分为训练集和测试集，根据预处理后待分类样本数据构建前馈神经网络模型；步骤2，根据进化计算算法构建种群，对种群进行随机初始化，种群中的每个个体代表前馈神经网络模型的一组参数，对种群中的每个个体进行编码；利用样本训练集对每个编码后的个体在前馈神经网络模型向前传播过程中训练，计算前馈神经网络模型的预期值和真实值之间的误差，将误差作为个体的适应度值；步骤3，利用样本训练集训练前馈神经网络模型，分别利用DE算法和BP算法训练编码后的种群，获得种群最优个体；所述最优个体代表前馈神经网络模型的一组最优参数；步骤4，利用带有最优参数的前馈神经网络模型对样本测试集进行测试，得到待分类样本数据的最佳分类精度。2.根据权利要求1所述的基于DE‑BP算法的神经网络模型的参数训练方法，其特征在于，在步骤3中，分别利用DE算法和BP算法训练编码后的种群包括以下步骤：步骤31，根据种群中个体的适应度值，初始化种群的历史全局最优个体和个体的历史最优，初始化选择概率池中每种BP算法的选择概率Pk，k表示第k种BP算法，k＝1,2,3,4；步骤32，判断当前前馈神经网络模型的迭代次数是否达到最大迭代次数，若是则结束迭代，否则进入步骤33；步骤33，利用DE算法对个体进行变异操作和交叉操作，更新个体的位置；步骤34，计算种群中每个个体的适应度值，选取适应度值最小的个体作为种群的历史全局最优个体，更新个体的历史最优，判断历史全局最优个体和当前全局最优个体的适应度值差距是否小于阈值r，或者种群的历史全局最优个体和当前全局最优个体的位置差距是否大于阈值h1，如果满足任一条件则进入步骤35，否则返回步骤32；步骤35，根据选择概率池中的选择概率，利用轮盘赌技术，自适应选择一种BP算法在反向传播中更新种群中的个体，在每一次迭代中，记录第k种BP算法在第j次迭代时更新个体成功次数nsflagk,j和失败次数nfflagk,j；步骤36，当迭代次数达到预设值m0时，则更新选择概率池中每一种BP算法对应的选择概率；步骤37，判断种群的历史全局最优个体和当前全局最优个体的适应度值差距是否不变，或者种群的历史全局最优个体和当前全局最优个体的位置差距是否小于阈值h2，如果满足任一条件则返回步骤32，否则返回步骤35。3.根据权利要求1所述的基于DE‑BP算法的神经网络模型的参数训练方法，其特征在于，步骤1中的前馈神经网络模型包含一层隐藏层，隐藏层节点的数量n表达式为：n＝2*m+1式中，m表示待分类样本数据的特征数。4.根据权利要求2所述的基于DE‑BP算法的神经网络模型的参数训练方法，其特征在于，所述步骤33具体包括以下过程：对个体进行变异操作，表达式为：2CN115906959A权利要求书2/3页式中，和分别表示第i个个体的第一种、第二种和第三种变异方式，xi表示第i个个体的位置，xGbest表示种群的历史全局最优个体的位置，xPbest表示个体i的历史最优的位置，r1和r2均是0到1之间的随机数，c1和c2分别表示群体学习因子和自我学习