基于贝叶斯卷积神经网络的进化神经架构搜索方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908909A(43)申请公布日2023.04.04(21)申请号202211426782.6G06N3/047(2023.01)(22)申请日2022.11.14G06N3/08(2023.01)(71)申请人山东师范大学地址250358山东省济南市山东师范大学长清湖校区(72)发明人于加良田杰李俊青(74)专利代理机构北京百年育人知识产权代理有限公司11968专利代理师劳锦花(51)Int.Cl.G06V10/764(2022.01)G06V10/82(2022.01)G06V10/776(2022.01)G06N3/0464(2023.01)G06N3/048(2023.01)权利要求书2页说明书10页附图3页(54)发明名称基于贝叶斯卷积神经网络的进化神经架构搜索方法及系统(57)摘要本发明提供一种基于贝叶斯卷积神经网络的进化神经架构搜索方法及系统，属于神经网络架构搜索技术领域，采用固定长度的整数编码策略编码搜索空间，输入预处理好的目标数据集，输出本发明系统得到的最优网络模型在目标数据集上的分类及KL散度结果；其中，所述最优网络模型由训练集训练得到。本发明将具有变分推理的贝叶斯卷积神经网络和神经网络架构搜索方法相结合，建立经过进化优化后的最优贝叶斯卷积神经网络有效解决了大规模分类任务中过拟合和无法提供不确定性度量的问题，能够在双目标中有更好的表现；在模型中加入了早停机制，大大减少了模型性能评估阶段的耗时，提高了模型训练的效率。CN115908909ACN115908909A权利要求书1/2页1.一种基于贝叶斯卷积神经网络的进化神经架构搜索方法，其特征在于，包括：编码搜索空间，将神经网络编码为一个具有15维基因位的个体；其中，受先前的贝叶斯卷积神经网络的启发，我们定义了一个含有贝叶斯变分推理的搜索空间，它包括五个激活函数，三个卷积层和多达三个完全连接的层，在相邻卷积层之间采用最大池化操作，以减小特征图的空间大小。2.根据权利要求1所述的基于贝叶斯卷积神经网络的进化神经架构搜索方法，其特征在于：采用一种固定长度的整数编码方案来编码搜索空间，每一个基因位都代表一个可以在某些先验知识的范围内随机取值的参数，这些参数既包好网络层内的，也包含网络层与层之间的，所有的基因位取值完成就生成了一个对应的神经网络架构，当编码的神经网络个体数量达到所设置的种群最大规模时，就标志着搜索空间的设计已完成。3.根据权利要求2所述的基于贝叶斯卷积神经网络的进化神经架构搜索方法，其特征在于，训练所述贝叶斯卷积神经包括：引入进化算法的思想来优化神经网络架构，我们就可以将一个神经网络看作是种群中的一个个体；基于所提出的编码策略，种群被随机初始化，其中每个个体代表一个候选的神经网络结构，利用个体之间的交叉、变异实现对种群的迭代优化；构建贝叶斯卷积神经网络，利用训练集的各类图片训练所述贝叶斯卷积神经网络，当损失函数达到最小值，或者迭代次数满足设定要求时，停止训练，得到训练好的最优贝叶斯卷积神经网络。4.根据权利要求2所述的基于贝叶斯卷积神经网络的进化神经架构搜索方法，其特征在于，所述贝叶斯卷积神经网络包括依次连接的前向层、后向层、卷积层c1、激活函数层a1、最大池化层m1、卷积层c2、激活函数层a2、最大池化层m2、卷积层c3、激活函数层a3、最大池化层m3、全连接层f1、Softplus激活函数层、全连接层f2、Softplus激活函数层、全连接层f3和输出层。5.根据权利要求4所述的基于贝叶斯卷积神经网络的进化神经架构搜索方法，其特征在于，所述前向层，用于向前推算；所述后向层，用于向后推算；所述卷积层c1、卷积层c2以及卷积层c3用于特征提取；所述激活函数层a1、激活函数层a2以及激活函数层a3用于增添非线性元素，增强模型的泛化能力；所述最大池化层m1、最大池化层m2以及最大池化层m3用于过滤一些不重要的特征信息；所述Softplus层用于将全连接层f1及全连接层f2的输出值映射到[0，1]的范围；进一步地，所述全连接层f1、全连接层f2以及全连接层f3用于高纯度地提取特征以及模型在最后用于图像二分类。6.根据权利要求3所述的基于贝叶斯卷积神经网络的进化神经架构搜索方法，其特征在于，在训练和性能评估过程中，使用早停机制来进一步防止过拟合。7.根据权利要求3所述的基于贝叶斯卷积神经网络的进化神经架构搜索方法，其特征在于，获取子代种群，利用二元锦标赛选择方法从种群中选择两个亲本个体进行交叉变异生成两个后代，这个过程重复直到N个后代个体生成以形成子代种群，子代种群的训练与评估同初始2CN115908909A权利要求书2/2页种群相同。8.一种基于贝叶斯卷积神经网络的进化神经架构搜索系统，其特