基于预测机制和遗传算法融合的深度神经网络结构优化方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110490320A(43)申请公布日2019.11.22(21)申请号201910696239.X(22)申请日2019.07.30(71)申请人西北工业大学地址710072陕西省西安市友谊西路127号(72)发明人魏巍徐松正李威王聪张艳宁(74)专利代理机构西北工业大学专利中心61204代理人王鲜凯(51)Int.Cl.G06N3/08(2006.01)G06N3/12(2006.01)G06K9/62(2006.01)权利要求书3页说明书7页(54)发明名称基于预测机制和遗传算法融合的深度神经网络结构优化方法(57)摘要本发明公开了一种基于预测机制和遗传算法融合的深度神经网络结构优化方法，用于解决现有网络结构搜索方法搜索效率低的技术问题。技术方案是首先对深度网络结构进行编码表示，形成网络结构编码，随后随机生成网络结构编码，作为遗传算法的初代；接着，对初代中的个体进行选择、交叉、变异与预测过程，并仅对预期性能较高的个体对应的网络进行实际训练；最后，对所有个体表现进行评估，并进入下一轮的选择操作。算法结束后，选择适应度最佳的个体即为特定任务下的网络最优结构。通过在网络实际训练前对网络性能进行预测，可以降低搜索算法在低价值网络上进行训练的时间花费，从而极大加速搜索算法的搜索过程。CN110490320ACN110490320A权利要求书1/3页1.一种基于预测机制和遗传算法融合的深度神经网络结构优化方法，其特征在于包括以下步骤：步骤一、数据预处理：Tn×b1×b首先定义图像分类数据库X＝x1,x2...xn∈R,xn∈R表示第n个样本数据；其类别Tn×l1×l标签矢量为Y＝y1,y2...yn∈R，yn∈R是第n个样本数据的one-hot标签，n＝1,2...N，N为样本总数，L表示样本的类别总数，b表示光谱维数；随后将图像分类数据库X中的每个样本归一化至0～1范围，并从中随机地选择Ntrain个样本数据及其类别标签，得到训练数据Xtrain和其对应的类别标签Ytrain，其中，Ntrain＜N；另外，将数据集中的剩余数据及其标签全部划为测试集，其数据及标签分别记为Xtest与Ytest；步骤二、确定网络结构的编码规则：首先生成M个不同的网络结构，记其中第m个神经网络的结构编码为Cm，编码内包含S个阶段，即其中为第s阶段的编码段；该阶段包含Ks个节点，每个节点表示一个由卷积+批量标准化+ReLU激活构成的混合操作，记为相同阶段内的小编号节点连接到大编号节点，节点间的连接方式用位二进制编码进行表示；其中，第1个位二进制编码表示(vs,1,vs,2)间的连接情况，若有连接则该比特位为1，若无连接则该比特位为0；接下来的两个比特表示三个节点(vs,1,vs,3),(vs,2,vs,3)间的连接情况；设定S＝3，K1＝3,K2＝4,K3＝5，网络结构编码总长为19位，即步骤三、收集网络性能预测模型的训练数据：随机生成m个互不相同的结构编码C1,C2,...,Cm，经自动编译后对编码对应的深度网络在指定数据集上进行完整训练；训练使用Adam优化器对网络参数进行学习，训练共迭代T次；当网络经历一个批尺寸的训练后，记录当前网络经历的迭代次数t及验证集上的分类准确率Agt，并以此作为预测模型训练所需的数据：data＝Cm,t,Agt,t＝{1,2...T}；步骤四、网络性能预测模型的构建与训练：定义网络性能预测模型f，向模型输入结构编码C并对其进行映射μ后，模型测出该结构神经网络在经过t次迭代训练后在测试集上的准确率Apt，即：Apt＝f(μ(Cm),t)(2)在映射阶段中，模型将结构编码C映射为由s个结构编码组成的网络结构编码组其中，Ps第个比特至第个比特的值等于原结构编码对应位置的值，其余位置用零值进行填充，即：2CN110490320A权利要求书2/3页其中，p[idx]与C[idx]为结构编码p与C第idx位的值；在将结构编码进行映射后，将p1,p2...ps顺序输入隐层大小为128的单层长短期记忆网络并最终得到长短期记忆网络单元的隐含状态h，称为网络结构特征；同时，将迭代次数t输入由一个尺寸为(1,64)的全连接层、一个ReLU激活函数层、一个尺寸为(64,32)的全连接层和一个尺寸为(32,1)的全连接层组成的多层感知机，得到迭代次数对于网络最终分类准确率的贡献度Dt；将贡献度Dt与网络的结构特征h进行逐元素相乘：h[id]＝Dt×h[id],id＝{1,2,...,len(h)}(4)将计算结果输入一个小型全连接模块；其包含一个尺寸为(128，128)的全连接层，一个失活概率为0.5的随机失活层，一个ReLU激活函数层，一个尺寸为(128,32)的全连