模型搜索方法及装置、图像处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109685204A(43)申请公布日2019.04.26(21)申请号201811584647.8(22)申请日2018.12.24(71)申请人北京旷视科技有限公司地址100000北京市海淀区科学院南路2号A座313(72)发明人郭梓超(74)专利代理机构北京超凡志成知识产权代理事务所(普通合伙)11371代理人苏胜(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书14页附图5页(54)发明名称模型搜索方法及装置、图像处理方法及装置(57)摘要本发明涉及深度学习技术领域，提供一种模型搜索方法及装置、图像处理方法及装置。其中，模型搜索方法包括：构建待搜索结构，待搜索结构的任意两个相连节点之间连接有至少一条边，至少一条边中的每条边对应不同的候选操作；训练待搜索结构，在每次迭代时，将每两个相连节点之间的边中保留一条边后获得的模型确定为本次迭代所要训练的模型，若该模型中包含之前已经训练过的边，则直接迁移这些边已经训练好的参数；在待搜索结构训练好后，根据对模型性能的测试结果从待搜索结构包含的模型中选择至少一个可用的模型。该方法搜索模型的效率较高，且可以覆盖较大的搜索范围，避免遗漏有价值的模型。CN109685204ACN109685204A权利要求书1/3页1.一种模型搜索方法，其特征在于，用于搜索神经网络模型，包括：构建待搜索结构，所述待搜索结构包括多个节点以及连接所述多个节点的有向的边，所述节点表示神经网络中缓存数据的单元，所述边表示将该边的起始节点缓存的数据经过候选操作处理后输入至该边的终端节点，其中，任意两个相连节点之间连接有至少一条边，所述至少一条边中的每条边对应不同的所述候选操作；利用训练集中的数据训练所述待搜索结构，在训练过程中的每次迭代时，将每两个相连节点之间的边中保留一条边后获得的模型确定为本次迭代所要训练的模型，若所述本次迭代所要训练的模型中包含之前迭代中已经训练过的边，则将所述已经训练的边对应的已经训练好的参数确定为所述已经训练的边在本次迭代时的初始参数；在所述待搜索结构训练好后，根据对模型性能的测试结果从所述待搜索结构包含的模型中选择至少一个可用的模型，其中，所述搜索结构包含的模型是指将每两个相连节点之间的边中保留一条边后获得的模型。2.根据权利要求1所述的模型搜索方法，其特征在于，所述本次迭代所要训练的模型是将每两个相连节点之间的边中随机保留一条边后获得的模型。3.根据权利要求1所述的模型搜索方法，其特征在于，所述根据对模型性能的测试结果从所述待搜索结构包含的模型中选择至少一个可用的模型，包括：根据对模型性能的测试结果从所述待搜索结构包含的模型中选择性能最优的前N个模型，其中，N为大于或等于1的正整数。4.根据权利要求3所述的模型搜索方法，其特征在于，所述根据对模型性能的测试结果从所述待搜索结构包含的模型中选择性能最优的前N个模型，包括：测试所述待搜索结构包含的每个模型的性能；根据对模型性能的测试结果从所述待搜索结构包含的全部模型中选择性能最优的前N个模型。5.根据权利要求3所述的模型搜索方法，其特征在于，所述根据对模型性能的测试结果从所述待搜索结构包含的模型中选择性能最优的前N个模型，包括：根据对模型性能的测试结果，利用启发式搜索算法从所述待搜索结构包含的模型中选择性能最优的前N个模型。6.根据权利要求1－5中任一项所述的模型搜索方法，其特征在于，在所述根据对模型性能的测试结果从所述待搜索结构包含的模型中选择至少一个可用的模型之后，所述方法还包括：利用目标任务的数据对所述至少一个可用的模型进行进一步训练，根据进一步训练的结果选择性能最优的模型。7.根据权利要求1所述的模型搜索方法，其特征在于，所述构建待搜索结构，包括：构建至少一种待搜索单元，所述待搜索单元包括多个节点以及连接多个节点的有向的边；根据所述至少一种待搜索单元构建所述待搜索结构，在构建时每种待搜索单元可以被复制为多个。8.根据权利要求1所述的模型搜索方法，其特征在于，所述候选操作包括乘以0操作。9.根据权利要求1所述的模型搜索方法，其特征在于，所述多个节点中包括具有求和功2CN109685204A权利要求书2/3页能的节点，所述具有求和功能的节点能够将来自不同节点的输入数据相加以获得该节点需要缓存的数据。10.一种采用神经网络模型的图像处理方法，其特征在于，所述神经网络模型包括输入层、中间层以及输出层，所述方法包括：构建待搜索结构，所述待搜索结构包括多个节点以及连接所述多个节点的有向的边，所述节点表示神经网络中缓存数据的单元，所述边表示将该边的起始节点缓存的数据经过候选操作处理后输入至该边的终端节点，其中，任