神经网络架构的搜索方法及装置、电子设备、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114298271A(43)申请公布日2022.04.08(21)申请号202111579065.2(22)申请日2021.12.22(71)申请人OPPO广东移动通信有限公司地址523860广东省东莞市长安镇乌沙海滨路18号(72)发明人赵娟萍(74)专利代理机构广州德科知识产权代理有限公司44381代理人蔡丽妮万振雄(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06N20/00(2019.01)G06F16/903(2019.01)权利要求书2页说明书13页附图5页(54)发明名称神经网络架构的搜索方法及装置、电子设备、存储介质(57)摘要本申请实施例公开了神经网络架构的搜索方法及装置、电子设备、存储介质，包括：确定第一节点和第二节点对应的多个算子，并确定多个算子分别对应的第一架构参数，第一节点和第二节点是从搜索空间中获取到的至少两个节点中的任意两个节点；对初始损失函数进行正则化处理，得到目标损失函数，并根据目标损失函数对多个算子对应的第一架构参数进行优化，得到多个算子分别对应的第二架构参数；在多个算子中确定第二架构参数最大的算子作为第一节点和第二节点对应的目标算子；根据至少两个节点，以及至少两个节点中的任意两个节点对应的目标算子确定出子网络，并根据多个子网络确定目标神经网络。实施本申请实施例，能够提高所生成的神经网络的性能。CN114298271ACN114298271A权利要求书1/2页1.一种神经网络架构的搜索方法，其特征在于，所述方法包括：确定第一节点和第二节点对应的多个算子分别对应的第一架构参数，所述第一节点和第二节点是从搜索空间中获取到的至少两个节点中的任意两个节点；对初始损失函数进行正则化处理，以得到目标损失函数，并根据所述目标损失函数对所述多个算子分别对应的第一架构参数进行优化，以得到所述多个算子分别对应的第二架构参数；在所述多个算子中确定第二架构参数最大的算子作为所述第一节点和第二节点对应的目标算子；根据所述至少两个节点，以及所述至少两个节点中的任意两个节点对应的目标算子确定出子网络，并根据多个所述子网络确定目标神经网络。2.根据权利要求1所述的方法，其特征在于，所述对初始损失函数进行正则化处理，以得到目标损失函数，包括：根据所述多个算子分别对应的第一架构参数确定正则化项，并根据所述正则化项对所述初始损失函数进行正则化处理，以得到目标损失函数。3.根据权利要求2所述的方法，其特征在于，所述根据所述正则化项对所述初始损失函数进行正则化处理，以得到目标损失函数，包括：计算所述正则化项和所述正则化项对应的权重系数的第一乘积；根据所述第一乘积和所述初始损失函数确定目标损失函数。4.根据权利要求1所述的方法，其特征在于，所述确定第一节点和第二节点对应的多个算子分别对应的第一架构参数，包括：从搜索空间中获取至少两个节点；根据归一化函数对第一节点和第二节点对应的多个算子进行松弛化处理，以得到所述第一节点和第二节点对应的多个算子分别对应的第一架构参数。5.根据权利要求4所述的方法，其特征在于，所述归一化函数包括sigmoid函数。6.根据权利要求1所述的方法，其特征在于，所述根据多个所述子网络确定目标神经网络，包括：获取待填充的网络框架，并利用多个所述子网络对所述待填充的网络框架进行填充，以得到目标神经网络。7.根据权利要求6所述的方法，其特征在于，所述网络框架包括U型网络框架；所述利用多个所述子网络对所述待填充的网络框架进行填充，以得到目标神经网络，包括：根据所述U型网络框架的框架信息，获取目标数量的所述子网络作为下采样层，以及获取目标数量的所述子网络作为上采样层，所述框架信息包括所述U型网络框架需要填充的上采样层和下采样层分别对应的目标数量；利用所述目标数量的下采样层和所述目标数量的上采样层，对所述U型网络框架进行填充，以得到目标神经网络。8.根据权利要求7所述的方法，其特征在于，所述利用所述目标数量的下采样层和所述目标数量的上采样层，对所述U型网络框架进行填充，以得到目标神经网络，包括：利用所述目标数量的下采样层和所述目标数量的上采样层，对所述U型网络框架进行填充，已得到过渡神经网络；2CN114298271A权利要求书2/2页获取图像处理算子，并将所述图像处理算子与所述过渡神经网络中的目标上采样层连接，以得到目标神经网络，所述图像处理算子用于对图像进行图像超分辨处理，所述目标上采样层是所述过渡神经网络中排列在最后的上采样层。9.根据权利要求1～8任一项所述的方法，其特征在于，在所述根据多个所述子网络确定目标神经网络之后，所述方法还包括：利用训练数据集对所述目标神经网络进行训练，并利用验证数据