一种网络架构搜索方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115392428A(43)申请公布日2022.11.25(21)申请号202110570110.1(22)申请日2021.05.25(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人詹忆冰陈紫业(74)专利代理机构中原信达知识产权代理有限责任公司11219专利代理师李召春王志远(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书15页附图5页(54)发明名称一种网络架构搜索方法和装置(57)摘要本发明公开了一种网络架构搜索方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：从搜索空间中选取多个网络架构，网络架构包括多个节点以及多种操作类型；根据权重系数分别对拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量；根据第一特征向量确定网络架构对应的性能参数；根据损失函数、性能参数以及网络架构对应的实际性能参数确定目标网络架构。该实施方式缩短了确定目标网络架构的搜索耗时，节约了存储空间、提升了搜索效果，保障了所确定的目标网络架构具备良好的性能、并通过设置节点之间向量信息传送过程中的权重，提高了所确定的网络架构性能时的可解释性、鲁棒性以及可信度。CN115392428ACN115392428A权利要求书1/2页1.一种网络架构搜索方法，其特征在于，包括：从搜索空间中选取多个网络架构，所述网络架构包括多个节点以及多种操作类型；其中，所述网络架构对应的拓扑图中，以所述操作类型作为所述拓扑图中连接两节点的边；根据权重系数分别对所述拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量；其中，所述权重系数是根据进行向量信息传送的节点之间的特征向量的相似度进行确定的；根据所述第一特征向量确定所述网络架构对应的性能参数；根据损失函数、所述性能参数以及所述网络架构对应的实际性能参数确定目标网络架构。2.根据权利要求1所述的网络架构搜索方法，其特征在于，所述根据权重系数分别对所述拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量，包括：根据所述拓扑图中节点之间向量信息发送的顺序，根据权重系数对第一前驱节点的特征向量进行加权聚合处理，得到第一中间特征向量；利用激活函数对所述第一前驱节点与第一后续节点之间的操作类型进行映射处理；其中，所述第一后续节点为所述第一前驱节点对应的向量信息接受方，所述第一后续节点的数量为至少一个；将映射处理结果与所述第一中间特征向量进行再次加权聚合处理，作为所述第一后续节点对应的第一特征信息。3.根据权利要求2所述的网络架构搜索方法，其特征在于，在所述利用激活函数对所述第一前驱节点与第一后续节点之间的操作类型进行映射处理的步骤之前，所述方法还包括：根据权重矩阵对所述第一前驱节点与第一后续节点之间的操作类型进行转换处理。4.根据权利要求1所述的网络架构搜索方法，其特征在于，所述根据权重系数分别对所述拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量，还包括：根据所述拓扑图中节点之间向量信息发送的顺序，针对第二后续节点，利用激活函数对第二后续节点与第二前驱节点之间的操作类型进行映射处理后，与所述第二前驱节点的特征向量进行加权聚合处理，得到第二中间信息；其中，所述第二前驱节点为所述第二后续节点的向量信息发送方，所述第二后续节点的数量为至少一个；将所述至少一个所述第二中间特征向量分别与所述权重系数进行加权聚合，以确定加权聚合处理后各节点对应的第一特征向量。5.根据权利要求1至4中任一项所述的网络架构搜索方法，其特征在于，在所述根据权重系数分别对所述拓扑图中的各节点进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量之后，所述方法还包括：以所述第一特征向量作为各节点对应的初始特征向量，根据迭代次数阈值对所述拓扑图中的各节点对应的特征向量进行迭代处理，以实现对所述第一特征向量的迭代更新。6.根据权利要求1所述的网络架构搜索方法，其特征在于，所述根据所述第一特征向量确定所述网络架构对应的性能参数，包括：2CN115392428A权利要求书2/2页根据每个网络架构对应的拓扑图中各节点的第一特征向量确定所述网络架构对应的均值向量；利用感知器对所述均值向量进行处理，以确定所述网络架构对应的性能参数。7.根据权利要求6所述的网络架构搜索方法，其特征在于，当所述第一特征向量是经过多次迭代处理时，以每次迭代后的网络架构为一层；所述根据所述第一特征向量确定所述网络架构对应的性能参数，还