待搜索网络训练方法、数据处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110059804A(43)申请公布日2019.07.26(21)申请号201910299409.0(22)申请日2019.04.15(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号A座316-318(72)发明人陈程鹏(74)专利代理机构北京钲霖知识产权代理有限公司11722代理人李志新李静波(51)Int.Cl.G06N3/04(2006.01)G06K9/62(2006.01)权利要求书2页说明书7页附图3页(54)发明名称待搜索网络训练方法、数据处理方法及装置(57)摘要本发明提供了待搜索网络训练方法、数据处理方法及装置。待搜索网络训练方法包括：将训练样本分别输入待搜索网络和指导网络，根据待搜索网络和指导网络分别输出的处理结果，获取待搜索网络的网络损失；获取一个或多个待搜索网络中间层中至少一个待搜索网络中间层输出的待搜索中间层特征，并且获取一个或多个指导网络中间层中与至少一个待搜索网络中间层相对应的至少一个指导网络中间层输出的指导中间层特征；将待搜索中间层特征与指导中间层特征进行匹配，获得中间层特征匹配损失；根据网络损失和中间层特征匹配损失，计算待搜索网络的综合损失；将综合损失反馈到待搜索网络，以便对待搜索网络进行训练。本发明可以加速模型的训练并促进模型搜索。CN110059804ACN110059804A权利要求书1/2页1.一种待搜索网络训练方法，其中，所述待搜索网络包括卷积神经网络，所述方法包括：网络损失获取步骤，将训练样本分别输入待搜索网络和指导网络，根据所述待搜索网络和所述指导网络分别输出的处理结果，获取所述待搜索网络的网络损失，其中，所述待搜索网络包括一个或多个待搜索网络中间层，所述指导网络包括一个或多个指导网络中间层；中间层特征获取步骤，获取所述一个或多个待搜索网络中间层中至少一个待搜索网络中间层输出的待搜索中间层特征，并且获取所述一个或多个指导网络中间层中与所述至少一个待搜索网络中间层相对应的至少一个指导网络中间层输出的指导中间层特征；中间层特征匹配步骤，将所述待搜索中间层特征与所述指导中间层特征进行匹配，获得中间层特征匹配损失；综合损失计算步骤，根据所述网络损失和所述中间层特征匹配损失，计算所述待搜索网络的综合损失；综合损失反馈步骤，将所述综合损失反馈到所述待搜索网络，以便对所述待搜索网络进行训练。2.根据权利要求1所述的方法，其中，所述中间层特征匹配步骤包括：通过计算所述待搜索中间层特征与所述指导中间层特征的明氏距离、皮尔逊相关距离、马氏距离中的任一种来获得所述中间层特征匹配损失。3.根据权利要求1所述的方法，其中，所述综合损失计算步骤包括：将所述网络损失和所述中间层特征匹配损失进行加权组合得到所述综合损失。4.一种数据处理方法，所述方法包括：待搜索网络训练步骤，根据如权利要求1所述的方法对所述待搜索网络进行训练，直到所述待搜索网络收敛，获得经训练的待搜索网络；特定模型搜索步骤，搜索所述经训练的待搜索网络，获得执行特定任务的特定模型；特定模型训练步骤，对所述特定模型进行训练，获取经训练的特定模型；数据处理步骤，将待处理图像输入至所述经训练的特定模型进行数据处理，得到数据处理结果。5.一种待搜索网络训练装置，其中，所述待搜索网络包括卷积神经网络，所述装置包括：网络损失获取模块，配置用于将训练样本分别输入待搜索网络和指导网络，根据所述待搜索网络和所述指导网络分别输出的处理结果，获取所述待搜索网络的网络损失，其中，所述待搜索网络包括一个或多个待搜索网络中间层，所述指导网络包括一个或多个指导网络中间层；中间层特征获取模块，配置用于获取所述一个或多个待搜索网络中间层中至少一个待搜索网络中间层输出的待搜索中间层特征，并且获取所述一个或多个指导网络中间层中与所述至少一个待搜索网络中间层相对应的至少一个指导网络中间层输出的指导中间层特征；中间层特征匹配模块，配置用于将所述待搜索中间层特征与所述指导中间层特征进行匹配，获得中间层特征匹配损失；2CN110059804A权利要求书2/2页综合损失计算模块，配置用于根据所述网络损失和所述中间层特征匹配损失，计算所述待搜索网络的综合损失；综合损失反馈模块，配置用于将所述综合损失反馈到所述待搜索网络，以便对所述待搜索网络进行训练。6.一种数据处理装置，所述装置包括：待搜索网络训练模块，配置用于通过如权利要求5所述的装置对所述待搜索网络进行训练，直到所述待搜索网络收敛，获得经训练的待搜索网络；特定模型搜索模块，配置用于搜索所述经训练的待搜索网络，获得执行特定任务的特定模型；特定模型训练模块，配置用于对所述特定模型进行训练，获取经训练的特定模型；数据处理模块，配置用于将待处