一种高效的基于可微分的神经网络架构搜索方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116011521A(43)申请公布日2023.04.25(21)申请号202310125417.XG06V10/77(2022.01)(22)申请日2023.02.17(71)申请人北京工业大学地址100124北京市朝阳区平乐园100号(72)发明人刘波赵汇文(74)专利代理机构北京思海天达知识产权代理有限公司11203专利代理师刘萍(51)Int.Cl.G06N3/0464(2023.01)G06N3/047(2023.01)G06N3/048(2023.01)G06N3/08(2023.01)G06V10/82(2022.01)G06V10/764(2022.01)权利要求书2页说明书6页附图4页(54)发明名称一种高效的基于可微分的神经网络架构搜索方法(57)摘要本发明提出一种高效的基于可微分的神经网络架构搜索方法，用于提高搜索算法的效率和性能，使机器学习的过程自动化。本发明基于可微分搜索算法，将离散的网络架构连续化松弛，利用有向无环图对搜索空间建模。搜索框架为有向无环图堆叠的深度卷积神经网络，针对具体图像分类数据集，使用梯度下降算法进行训练。优化收敛后，通过贪心微调的方法评估架构重要性，依据重要性选择最优神经网络架构模型。本发明可在无专业技术人员参与的情况下，快速高效地对图像分类数据集进行神经网络建模。在数据集上对建模结果进行实验验证，结果显示本发明搜索出的最优神经网络架构模型的分类准确率更高，模型更稳定，不易出现无参数操作过多而导致的性能崩塌现象。CN116011521ACN116011521A权利要求书1/2页1.一种高效的基于可微分的神经网络架构搜索方法，其特征在于利用深度学习优化技术并根据贪心思想，针对特定数据集的图像分类，实现自动化地选择神经网络架构模型，极大地减少技术人员建模所需的时间，方法具体包括以下步骤：步骤1：图像分类数据集准备；步骤2：设置网络架构搜索空间，将搜索空间建模成有向无环图，即“超网”，通过调整“超网”中节点数量和操作集合设置搜索空间；步骤3：堆叠“超网”模块，构建搜索算法框架；搜索框架是由“超网”模块堆叠形成的深度卷积神经网络架构；步骤4：优化搜索框架，采用常用的优化技术对搜索框架进行训练，得到拟合效果较优的“超网”；步骤5：搜索框架优化收敛后，利用贪心微调的方法依次评估各操作的重要性，选择最优神经网络架构模块，该模块为“超网”的子图，即搜索空间中的子架构；步骤6：构建并训练针对特定数据集的神经网络架构模型，完成图像分类任务。2.根据权利要求1所述一种高效的基于可微分的神经网络架构搜索方法，步骤2中有向无环图的特征在于：将搜索空间建模成有向无环图，也称“超网”，离散的网络架构被连续化松弛，构成连续可微的搜索空间，包含了所有候选网络模型；在“超网”中，节点代表特征图信息，边代表操作集合中的所有操作，通过设置节点数量以及操作集合来控制搜索空间的大小，搜索算法在搜索空间中寻找性能最优的神经网络架构模型；搜索空间越大，搜索到的最优架构性能越好，消耗的时间和计算资源也越多。3.根据权利要求1所述一种高效的基于可微分的神经网络架构搜索方法，步骤5中使用的贪心微调方法，其特征在于：具体步骤如下：贪心思想：采用贪心的思想，依次对“超网”中每条边的每种操作进行微调，评估该操作的重要性；微调方法：在“超网”中，选择需要评估重要性的边及操作，在该边两端的节点中，将需要评估重要性的操作保留，操作集合其他操作的特征提取结果删除，“超网”中剩余的有向连接边不做处理；边(i，j)，具体表示如下：其中，为架构参数，为(i，j)上的每种操作对应的架构参数，O为操作集合，o表示操作；若评估(i，j)上的操作o1，则将边(i，j)上的其他操作删除，具体表示如下：接下来利用梯度下降算法进行微调操作，在微调过程中只调整需要评估重要性的边，2CN116011521A权利要求书2/2页即只更新该边所代表的操作的模型参数，其他模型参数均固定不变；微调结束后，新“超网”的拟合能力代表该边的重要性；通过贪心微调的方法，对有向无环图中的各个操作进行了重要性评估，利用该重要性选择最优的神经网络架构模型。3CN116011521A说明书1/6页一种高效的基于可微分的神经网络架构搜索方法技术领域[0001]本发明属于计算机视觉领域，涉及深度学习方法。背景技术[0002]在计算机视觉领域，深度学习已经成为主要研究内容。计算机视觉旨在使计算机能同人一样通过视觉来观察和理解世界，并具有一定的自主适应能力。[0003]深度学习的快速发展，极大地提高了图像分类、检测和分割的性能，计算机视觉与日常生活已经密不可分。面对不同终端设备，不同图像处理任务，技术人员往往需要进行大量实验，测试主流的神经