用于生成识别模型的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112348162A(43)申请公布日2021.02.09(21)申请号201910741129.0(22)申请日2019.08.12(71)申请人北京沃东天骏信息技术有限公司地址100076北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人姚霆梅涛(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06N3/04(2006.01)G06N3/06(2006.01)G06K9/62(2006.01)权利要求书2页说明书16页附图6页(54)发明名称用于生成识别模型的方法和装置(57)摘要本公开的实施例公开了用于生成识别模型的方法和装置。该方法包括：获取基于神经网络构建的初始模型和样本数据集；基于样本数据集迭代训练初始模型，在迭代训练过程中，按照预设的时间表执行结构搜索操作，预设的时间表用于指示迭代过程中确定神经元之间的转换操作的时刻，预设的时间表与已完成的迭代操作的迭代次数关联，结构搜索操作包括基于初始模型在迭代操作中被更新得到的参数，从预设的操作集合中确定出初始模型中的神经元之间的转换操作；基于训练完成后得到的初始模型中的各神经元之间的转换操作和训练完成后得到的初始模型的参数，生成识别模型。该方法实现了用于识别任务的神经网络模型结构的自动设计。CN112348162ACN112348162A权利要求书1/2页1.一种用于生成识别模型的方法，包括：获取基于神经网络构建的初始模型和样本数据集；基于所述样本数据集迭代训练所述初始模型，在迭代训练过程中，按照预设的时间表执行结构搜索操作，所述预设的时间表用于指示迭代过程中确定神经元之间的转换操作的时刻，所述预设的时间表与已完成的迭代操作的迭代次数关联，所述结构搜索操作包括基于所述初始模型在迭代操作中被更新得到的参数，从预设的操作集合中确定出所述初始模型中的神经元之间的转换操作；基于训练完成后得到的所述初始模型中的各神经元之间的转换操作和训练完成后得到的所述初始模型的参数，生成识别模型。2.根据权利要求1所述的方法，其中，所述方法还包括：将所述初始模型中的神经元之间的转换操作初始化为所述预设的操作集合中各候选操作的加权归一化指数函数；以及所述按照预设的时间表执行结构搜索操作，包括：响应于确定所述预设的时间表指示当前时刻为确定神经元之间的转换操作的时刻，选择待确定相互间的转换操作的目标神经元，从当前迭代操作得到的初始模型的参数所包含的各候选操作的权重中确定出权重最大的候选操作，作为确定出的所述目标神经元之间的转换操作。3.根据权利要求1或2所述的方法，其中，所述初始模型包括相互连接的多个计算单元，每个计算单元包括至少两个神经元；所述方法还包括：对每个计算单元，将计算单元中的神经元作为节点构建有向图，所述有向图中连接两个节点的有向边表征被连接的两个神经元之间的转换操作；所述预设的时间表包括：所述有向图中已确定的有向边的数量与已完成的迭代操作的迭代次数之间的对应关系；以及所述按照预设的时间表执行结构搜索操作，包括：基于所述时间表确定当前迭代操作对应的有向图中已确定的有向边的数量；响应于所述当前迭代操作对应的有向图中已确定的有向边的数量与上一次迭代操作对应的有向图中已确定的有向边的数量的差值不小于1，基于对应的计算单元在当前迭代操作中被更新后的参数，选定所述有向图中未确定的至少一条有向边，从预设的操作集合中确定出被选定的所述有向边对应的转换操作，并将被选定的所述有向边添加至已确定的有向边集合。4.根据权利要求3所述的方法，其中，所述按照预设的时间表执行结构搜索操作，还包括：响应于所述当前迭代操作对应的有向图中已确定的有向边的数量与上一次迭代操作对应的有向图中已确定的有向边的数量的差值小于1，执行下一次迭代操作。5.根据权利要求3所述的方法，其中，所述有向图中已确定的有向边的数量与已完成的迭代操作的迭代次数之间的对应关系包括：以已完成的迭代操作的迭代次数作为自变量，以所述有向图中已确定的有向边的数量作为因变量的函数。2CN112348162A权利要求书2/2页6.根据权利要求3所述的方法，其中，所述初始模型还包括预先设定的基本层。7.根据权利要求2所述的方法，其中，所述样本数据集包括训练样本集以及验证样本集；以及所述基于所述样本数据集迭代训练所述初始模型，包括：构建联合损失函数，所述联合损失函数包括第一损失函数和第二损失函数，所述第一损失函数表征所述初始模型对所述训练样本集的识别误差随初始模型的操作参数的变化关系，所述第二损失函数表征所述初始模型对所述验证样本集的识别误差随所述候选操作的权重的变化关系；基于