神经网络结构搜索方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114239800A(43)申请公布日2022.03.25(21)申请号202111492924.4(22)申请日2021.12.08(71)申请人阿里巴巴达摩院（杭州）科技有限公司地址310023浙江省杭州市余杭区五常街道文一西路969号3幢5层516室(72)发明人梁小丹王兵卿泉王刚(74)专利代理机构北京合智同创知识产权代理有限公司11545代理人李杰赵海娇(51)Int.Cl.G06N3/04(2006.01)权利要求书3页说明书12页附图6页(54)发明名称神经网络结构搜索方法、装置、电子设备及存储介质(57)摘要本申请实施例提供了一种神经网络结构搜索方法、装置、电子设备及存储介质。神经网络结构搜索方法包括：获取基于预设搜索空间构建的孪生超网络，孪生超网络包括第一超网络和第二超网络；根据第一超网络的输出向量、第二超网络的输出向量以及预设损失函数得到损失值，基于损失值优化孪生超网络的权重参数，得到候选网络结构；基于权重参数对候选网络结构进行性能评估，得到候选网络结构的性能得分；基于性能得分，调整孪生超网络的权重参数，并返回得到候选网络结构的步骤，直至满足预设优化终止条件；根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。本申请实施例提高了结构搜索的准确性。CN114239800ACN114239800A权利要求书1/3页1.一种神经网络结构搜索方法，包括：获取基于预设搜索空间构建的孪生超网络，所述孪生超网络包括第一超网络和第二超网络；所述第二超网络与所述第一超网络的网络结构相同，所述第二超网络的网络权重基于所述第一超网络的网络权重得到；根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构；基于所述权重参数对所述候选网络结构进行性能评估，得到所述候选网络结构的性能得分；基于所述性能得分，调整所述孪生超网络的权重参数，并返回所述根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构的步骤，直至满足预设优化终止条件；根据各候选网络结构的性能得分，从多个候选网络结构中确定目标网络结构。2.根据权利要求1所述的方法，其中，所述第二超网络的网络权重为基于所述第一超网络的网络权重进行指数滑动平均处理得到的。3.根据权利要求2所述的方法，其中，所述根据所述第一超网络的输出向量、所述第二超网络的输出向量以及预设损失函数得到损失值，基于所述损失值优化所述孪生超网络的权重参数，得到候选网络结构，包括：对所述第一超网络进行分块，得到多个第一超网络模块；对所述第二超网络进行分块，得到多个第二超网络模块；其中，所述第一超网络模块与所述第二超网络模块一一对应；针对每个第一超网络模块，根据该第一超网络模块的输出向量、对应的第二超网络模块的输出向量以及预设损失函数得到损失值，基于所述损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到所述孪生超网络模块中的候选子网络结构；所述候选网络结构是由各候选子网络结构组合而成的。4.根据权利要求3所述的方法，其中，所述针对每个第一超网络模块，根据该第一超网络模块的输出向量、对应的第二超网络模块的输出向量以及预设损失函数得到损失值，基于所述损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到所述孪生超网络模块中的候选子网络结构，包括：获取优化样本，并对所述优化样本进行数据增强处理，得到增强样本；对所述增强样本进行卷积处理，得到第一增强优化样本和第二增强优化样本；针对每个第一超网络模块，将所述第一增强优化样本输入该第一超网络模块，得到第一输出向量；将所述第二增强优化样本输入对应的第二超网络模块，得到第二输出向量；基于所述第一输出向量和所述第二输出向量，采用预设损失函数得到损失值；根据所述损失值优化由该第一超网络模块和对应的第二超网络模块组成的孪生超网络模块的权重参数，得到所述孪生超网络模块中的候选子网络结构。5.根据权利要求4所述的方法，其中，所述针对每个第一超网络模块，将所述第一增强优化样本输入该第一超网络模块，得到第一输出向量，包括：针对每个第一超网络模块，按照预设采样策略，对该第一超网络模块进行路径采样，得到多个第一采样子网络；将所述第一增强优化样本分别输入各第一采样子网络，得到各第2CN114239800A权利要求书2/3页一采样子网络的第一输出向量；所述将所述第二增强优化样本输入与该第一超网络模块对应的第二超网络模块，得到第二输出向量，包括：按照所述预设采样策略，对与该第