神经架构搜索方法、装置、终端及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115994554A(43)申请公布日2023.04.21(21)申请号202211678147.7G06F16/903(2019.01)(22)申请日2022.12.26(71)申请人东软睿驰汽车技术（沈阳）有限公司地址110172辽宁省沈阳市沈抚新区金枫街75-1号(72)发明人王鹏宇胡骏刘威袁淮程帅曹斌(74)专利代理机构北京知帆远景知识产权代理有限公司11890专利代理师乔海莲(51)Int.Cl.G06N3/04(2023.01)G06N3/08(2023.01)G06F17/16(2006.01)G06F16/901(2019.01)权利要求书2页说明书9页附图3页(54)发明名称神经架构搜索方法、装置、终端及存储介质(57)摘要本申请公开了一种神经架构搜索方法、装置、终端及存储介质，方法包括：初始化超网络；将超网络映射为初始有向无环图；基于竞争‑合作学习方法和初始有向无环图，确定n个目标有向无环图；基于n个目标有向无环图和数据集，确定目标神经网络架构。本发明将超网路抽象成有向无环图，然后通过竞争‑合作学习方法搜索每个目标有向无环图中的重要节点和泛化性较强的特征，再通过同一个数据集对每个目标有向无环图进行训练，以搜索到具有良好性能的网络结构，即目标神经网络架构，不仅提高了神经网络架构的搜索效率，还通过同一个数据集学习各个目标有向无环图，使得到的目标神经网络架构具有较强的泛化能力。CN115994554ACN115994554A权利要求书1/2页1.一种神经架构搜索方法，其特征在于，包括：初始化超网络；将所述超网络映射为初始有向无环图；基于竞争‑合作学习方法和所述初始有向无环图，确定n个目标有向无环图，其中，n为大于1的整数；基于所述n个目标有向无环图和数据集，确定目标神经网络架构。2.如权利要求1所述神经架构搜索方法，其特征在于，所述基于竞争‑合作学习方法和所述初始有向无环图，确定n个目标有向无环图，包括：利用所述竞争‑合作学习方法所生成的k个粒子来感染所述初始有向无环图中的所有节点；基于所述所有节点和所述k个粒子，确定所述n个目标有向无环图，其中，k为大于n的整数。3.如权利要求2所述神经架构搜索方法，其特征在于，所述基于所述所有节点和所述k个粒子，确定所述n个目标有向无环图，包括：将所述所有节点中属于所述k个粒子中的任一粒子所感染的目标节点以及所述目标节点对应的边，形成所述任一粒子对应的目标有向无环图；将所形成的全部目标有向无环图进行汇总，得到所述n个目标有向无环图。4.如权利要求3所述神经架构搜索方法，其特征在于，所述将所述所有节点中属于所述k个粒子中的任一粒子所感染的目标节点以及所述目标节点对应的边，形成所述任一粒子对应的目标有向无环图，包括：计算所述k个粒子中的任一粒子在不同游走规则下的矩阵，其中，所述矩阵用于表征所述任一粒子与所述目标节点之间的关系；基于所述任一粒子在不同游走规则下的矩阵，计算所述任一粒子对应的转移矩阵；将所述任一粒子对应的转移矩阵输入粒子竞争模型的动力系统中，得到所述任一粒子对应的目标有向无环图。5.如权利要求4所述神经架构搜索方法，其特征在于，所述不同游走规则至少包括随机游走和优先游走。6.如权利要求1所述神经架构搜索方法，其特征在于，所述基于所述n个目标有向无环图和数据集，确定目标神经网络架构，包括：将所述n个目标有向无环图映射为n个神经网络架构，其中，所述n个目标有向无环图与所述n个神经网络架构一一对应；利用所述数据集对所述n个神经网络架构进行训练，确定所述目标神经网络架构。7.如权利要求6所述神经架构搜索方法，其特征在于，所述利用所述数据集对所述n个神经网络架构进行训练，确定所述目标神经网络架构，包括：针对所述n个神经网络架构中的每个神经网络架构，利用所述数据集对所述每个神经网络架构进行训练，得到所述每个神经网络架构对应的训练结果；利用拟合方法对所述每个神经网络架构对应的训练结果进行拟合，得到所述每个神经网络架构对应的训练曲线；将所述每个神经网络架构对应的训练曲线进行汇总，得到n个训练曲线，其中，所述n个2CN115994554A权利要求书2/2页神经网络架构与所述n个训练曲线一一对应；在所述n个训练曲线中选取准确率最高的训练曲线对应的神经网络架构作为所述目标神经网络架构。8.一种神经架构搜索装置，其特征在于，包括：初始化模块，用于初始化超网络；映射模块，用于将所述超网络映射为初始有向无环图；模型处理模块，用于基于竞争‑合作学习方法和所述初始有向无环图，确定n个目标有向无环图，其中，n为大于1的整数；神经架构搜索模块，用于基于所述n个目标有向无环图和数据集，确定目标神经网络架构。9.一种终端，包括存储器、处理器以及