一种基于进化方法的快速注意力神经网络架构搜索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112465120A(43)申请公布日2021.03.09(21)申请号202011424217.7(22)申请日2020.12.08(71)申请人上海悠络客电子科技股份有限公司地址200000上海市青浦区徐泾镇华徐公路888号6幢(72)发明人金耀初沈修平(74)专利代理机构上海新天专利代理有限公司31213代理人徐伟奇(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06N3/12(2006.01)G06K9/62(2006.01)权利要求书4页说明书11页附图7页(54)发明名称一种基于进化方法的快速注意力神经网络架构搜索方法(57)摘要本发明提供了一种基于进化方法的快速注意力神经网络架构搜索方法，包括以下步骤：(1)基于预定的编码方案和种群初始化方案生成包含注意力机制的神经网络架构搜索空间；(2)将进化方法作为搜索方法，以验证集的图像分类准确率为优化目标，通过进化机制与反向传播梯度值对个体的结构与one‑shot模型的权值同时进行优化；进化方法搜索任务结束之后，对种群中的个体进行排序，保留适应度值最大的个体作为搜索到的最优结果；(3)将进化搜索到的个体解码生成神经网络架构，重置结构权值，使用训练数据集对该神经网络架构训练直至收敛，并测试其性能。CN112465120ACN112465120A权利要求书1/4页1.一种基于进化方法的快速注意力神经网络架构搜索方法，其特征在于，包括以下步骤：(1)基于预定的编码方案和种群初始化方案生成包含注意力机制的神经网络架构搜索空间；(2)将进化方法作为搜索方法，以验证集的图像分类准确率为优化目标，通过进化机制与反向传播梯度值对个体的结构与one-shot模型的权值同时进行优化；进化方法搜索任务结束之后，对种群中的个体进行排序，保留适应度值最大的个体作为搜索到的最优结果；(3)将进化搜索到的个体解码生成神经网络架构，重置结构权值，使用训练数据集对该神经网络架构训练直至收敛，并测试其性能。2.根据权利要求1所述的一种基于进化方法的快速注意力神经网络架构搜索方法，其特征在于，所述步骤(1)中，所述预定的编码方案为一种基于进化方法的one-shot模型编码方法；具体为：(201)将神经网络架构按照不同尺度分为：网络，子网络块，神经元；(202)神经元是神经网络架构中的最小单元，每个计算神经元包含两个计算节点；将所述神经元编码为整数四元组表示与神经元i相连的神经元的索引，即将神经元的输出作为神经元i的两个输入；表示神经元i所包含的两个计算节点类型，分别处理所述神经元i的两个输入；(203)所述神经元i的输出计算公式为：其中，Hi表示神经元i的输出；神经元i的输入，神经元i内包含的两个计算节点；分别由处理之后，将两个计算节点的输出数据Oa(Ia)，Ob(Ib)相加作为神经元i的输出Hi；(204)一个子网络块内包含M个神经元，M为大于一的整数；一个子网络块的编码结构为：(205)N个不同类型的子网络块堆叠组成一个神经网络架构；N为大于一的整数；一个神经网络架构的编码结构为：(206)子网络块依次堆叠连接组成一个完整的神经网络架构；一个神经网络架构的编码结构称为种群中的一个个体。3.根据权利要求1所述的一种基于进化方法的快速注意力神经网络架构搜索方法，其特征在于，所述步骤(1)中，所述种群初始化方案为基于所述编码方案，通过均匀分布随机生成个体，直到达到预定的初始种群的种群规模；初始种群中所有的个体组成一个one-shot模型，覆盖整个搜索空间；也就是说，每个个体为one-shot模型的一个子模型。4.根据权利要求1所述的一种基于进化方法的快速注意力神经网络架构搜索方法，其特征在于，所述步骤(1)中，将包含注意力机制的特征重构计算节点在进化搜索的过程中自适应的集成到神经网络架构中，提高神经网络的表达能力；所述轻量级多尺度通道注意力2CN112465120A权利要求书2/4页机制由一个2维卷积层和轻量级通道注意力机制组成；2维卷积层可提取不同尺度的特征信息，通道注意力机制用于减少通道中的冗余信息，重新校准通道特征响应，提高神经网络的表达能力；(401)所述特征重构计算节点的结构为：一个2维卷积层、一个全局平均池化层、一个1维卷积层、一个sigmoid层和相乘模块组成；特征重构的过程为：(402)2维卷积层用于提取输入特征图的特征信息，将输入的特征图集合转换为转换特征图集合其中，h×w表示输入的特征图的大小，s表示输入特征图集合的通道数，H×W表示转换后的特征图的大小，c表示转换特征图集合的通道数；(403)将转换特征图集合输入全局平均池化层，利用全局平均池化层提取每个特征图的全局特征