基于可微分采样器和渐进学习的卷积神经网络架构搜索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114239795A(43)申请公布日2022.03.25(21)申请号202111187811.3G06V10/764(2022.01)(22)申请日2021.10.12G06V10/82(2022.01)(71)申请人广东工业大学地址510090广东省广州市越秀区东风东路729号(72)发明人刘德荣饶煊王永华赵博李佳鑫(74)专利代理机构广州粤高专利商标代理有限公司44102代理人刘俊(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06F17/13(2006.01)G06K9/62(2022.01)权利要求书2页说明书9页附图4页(54)发明名称基于可微分采样器和渐进学习的卷积神经网络架构搜索方法(57)摘要本发明针对现有技术的局限性，提出了一种基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，该方法通过利用可微分采样器直接对构造出来的超网络进行采样优化，能够将架构搜索的优化目标从优化超网络转为寻找最优的概率分布函数，最小化子网络在该概率分布下损失函数的期望；其可以通过评估子网络的性能，优化子网络的概率分布函数，从而降低离散化误差。同时，由于采取了渐进学习的策略，得以在指数级别地增大的搜索空间内进行稳定的搜索，从而能够到更复杂的卷积神经网络架构。CN114239795ACN114239795A权利要求书1/2页1.一种基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，包括以下步骤：S1，构建超网络、所述超网络的架构参数以及可微分采样器；S2，以渐进学习的方式，根据所述架构参数，运用所述可微分采样器对所述超网络进行采样优化，得到期望网络；S3，对所述期望网络进行网络重训直至所述期望网络收敛。2.根据权利要求1所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述超网络按深度分为第一网络模块、第二网络模块以及第三网络模块；所述第一网络模块的输出连接所述第二网络模块的输入，所述第二网络模块的输出连接所述第三网络模块的输入；所述第一网络模块以及第二网络模块分别由两种单元组成，包括若干normal单元和1个reduction单元；所述第三网络模块由若干normal单元组成；所述normal单元以及reduction单元分别由若干节点组成有向无环图，所述节点表示特征图，节点间的边表示对特征图进行变换的神经算子。3.根据权利要求2所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述架构参数表征所述超网络中的子网络的概率分布函数，通过以下方式构建：将所述超网络中的边视为随机变量，假设所述超网络中的边都相互独立；为所述超网络中的边分别分配一组独立的参数并由Softmax函数处理，得到所述超网络的架构参数。4.根据权利要求3所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，子网络的概率分布函数通过以下公式表示：其中，式中，A表示子网络；p(A)表示采样到子网络A的概率；k表示单元的序号；i和j分别表示边(i，j)输入节点和输出节点的序号；Ek,i,j表示第k个单元中边(i,j)的神经算子；α为架构参数；O为神经算子的集合。5.根据权利要求2所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述步骤S2在运用所述可微分采样器对所述超网络进行优化的过程中，包括逐渐增大子网络搜索空间的第一阶段、第二阶段以及第三阶段；在所述第一阶段中，所述超网络中的所有normal单元之间以及所有reduction单元之间分别共享相同的拓扑结构；在所述第二阶段中，需要先根据所述第一阶段的优化结果对所述超网络以及超网络的架构参数进行重构再进行采样优化；在所述第二阶段中重构得到的超网络中，同一模块中的normal单元之间以及reduction单元之间分别共享相同的拓扑结构，不同模块的normal单元之间以及reduction单元之间允许存在不同的拓扑结构；2CN114239795A权利要求书2/2页在所述第三阶段中，需要先根据所述第二阶段的优化结果对所述超网络以及超网络的架构参数进行重构再进行采样优化；在所述第三阶段中重构得到的超网络中，所有normal单元之间以及所有reduction单元之间均允许存在不同的拓扑结构。6.根据权利要求5所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述步骤S2在所述超网络前向传播的过程中，只对采样权重排名靠前的若干神经算子进行计算，还会对残差连接施加Dropout操作。7.根据权利要求1所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述可微分采样器基于离散