一种用于获取神经网络架构的方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111753953A(43)申请公布日2020.10.09(21)申请号202010405396.3(22)申请日2020.05.13(71)申请人北京迈格威科技有限公司地址100000北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人胡一鸣梁玉鼎郭梓超万若斯(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人何少岩(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书12页附图4页(54)发明名称一种用于获取神经网络架构的方法及装置(57)摘要本申请实施例提供一种用于获取神经网络架构的方法及装置，所述方法包括：根据搜索空间中候选模型训练前初始的权重向量和训练后当前的权重向量之间的夹角确定目标搜索空间，其中，所述候选模型为所述搜索空间对应的超网络中的一个子模型；根据搜索算法从所述目标搜索空间中获取用于视觉处理任务的神经网络架构。本申请实施例的技术方案克服了现有技术中使用基于测试准确度指标和基于幅度指标来得到神经网络架构的诸多缺陷，通过本申请实施例的角度计算过程无需模型完全收敛，因此可以在早期发现性能较差的选项，这对搜索空间裁剪非常有利。CN111753953ACN111753953A权利要求书1/3页1.一种用于获取神经网络架构的方法，其特征在于，所述方法包括：根据搜索空间中候选模型训练前初始的权重向量和训练后当前的权重向量之间的夹角确定目标搜索空间，其中，所述候选模型为所述搜索空间对应的超网络中的一个子模型；根据搜索算法从所述目标搜索空间中获取用于视觉处理任务的神经网络架构。2.如权利要求1所述的方法，其特征在于，所述根据搜索空间中候选模型训练前初始的权重向量和训练后当前的权重向量之间的夹角确定目标搜索空间，包括：采用图像数据训练所述搜索空间对应的超网络包括的多个所述候选模型，其中，所述候选模型为连接输入节点和输出节点的至少一条路径；根据多个所述候选模型训练前初始的权重向量和训练后当前的权重向量之间的夹角确定删除部分候选项，其中，所述候选模型包括多个所述候选项，所述候选项包括卷积操作或者节点之间的连接属性。3.如权利要求2所述的方法，其特征在于，所述根据多个所述候选模型训练前初始的权重向量和训练后当前的权重向量之间的夹角确定删除部分候选项之后，所述方法还包括：确认剩余所述候选项满足设定条件时得到所述目标搜索空间。4.如权利要求3所述的方法，其特征在于，所述搜索空间包括N个候选项，所述候选模型包括所述N个所述候选项中的多个候选项，其中，N为大于1的整数；所述根据多个所述候选模型训练前初始的权重向量和训练后当前的权重向量之间的夹角确定删除部分候选项，包括：确定所述候选模型的夹角，其中，所述候选模型的夹角是根据所述候选模型训练前初始的权重向量和训练后当前的权重向量得到的；根据所述候选模型的夹角确定所述N个候选项中各候选项的夹角均值；根据所述夹角均值确定删除所述N个候选项中的部分所述候选项。5.如权利要求2所述的方法，其特征在于，所述采用图像数据训练所述搜索空间对应的超网络包括的多个所述候选模型，包括：多次依据均匀采样的方式从所述搜索空间构成的超网络架构中选择一个所述候选模型进行训练。6.如权利要求4所述的方法，其特征在于，所述候选模型的夹角的计算公式如下：其中，Δ_W为所述候选模型的夹角，W为所述候选模型经过本次训练后的当前的权重向量，W0是所述候选模型在经过所述本次训练前的初始的权重向量，是所述当前的权重向量与所述初始的权重向量的余弦距离。7.如权利要求4所述的方法，其特征在于，所述候选模型为线性结构，所述候选模型对应一条所述路径，所述候选项包括位于多层的一种或多种所述卷积操作，所述N个候选项包括N个所述卷积操作；所述采用图像数据训练所述搜索空间对应的超网络包括的多个所述候选模型，包括：根据多次均匀采样的方式从所述超网络中选择一条所述路径进行训练；所述确定所述候选模型的夹角，包括：确所述超网络中包括的所有所述路径的夹角，其2CN111753953A权利要求书2/3页中，所述路径的夹角是根据所述路径训练前初始的权重向量和训练后当前的权重向量得到的；所述根据所述候选模型的夹角确定所述N个候选项中各候选项的夹角均值，包括：根据所述卷积操作所在的所有所述路径的夹角确定所述卷积操作的夹角均值；所述根据所述夹角均值确定删除所述N个候选项中的部分所述候选项，包括：根据所述夹角均值确定删除所述N个卷积操作中的部分卷积操作。8.如权利要求7所述的方法，其特征在于，所述设定条件包括裁剪所述候选项后剩余所述候选项组成的所述路径的数值或者裁剪所述候选项后剩余的所述候选项的数值