基于压缩的卷积神经网络模型的图像特征提取方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114492791A(43)申请公布日2022.05.13(21)申请号202210096201.0(22)申请日2022.01.26(71)申请人浙江吉利控股集团有限公司地址310051浙江省杭州市滨江区江陵路1760号申请人宁波吉利汽车研究开发有限公司(72)发明人李双双缪继树辛海同陈勇李志成(74)专利代理机构北京安信方达知识产权代理有限公司11262专利代理师胡艳华解婷婷(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)G06N3/00(2006.01)权利要求书2页说明书7页附图1页(54)发明名称基于压缩的卷积神经网络模型的图像特征提取方法及装置(57)摘要本文公开基于压缩的卷积神经网络模型的图像特征提取方法，包括：构建卷积神经网络模型，对卷积神经网络模型进行压缩：将卷积神经网络模型多个卷积层的权重压缩比作为蜜源，利用人工蜂群算法搜索适应度值最高的蜜源，根据蜜源确定对应的卷积神经网络压缩模型，利用压缩模型计算蜜源的适应度值；将适应度值最高的蜜源对应的压缩模型作为最终的卷积神经网络压缩模型；利用卷积神经网络压缩模型对图像进行特征提取；其中，根据蜜源确定对应的压缩模型包括：将卷积神经网络模型多个卷积层的权重进行稀疏低秩分解得到低秩矩阵，根据每层的权重压缩比对该层权重的低秩矩阵进行通道裁剪。本文的方案能在保证模型精度的基础上加快图像特征提取的速度。CN114492791ACN114492791A权利要求书1/2页1.一种基于压缩的卷积神经网络模型的图像特征提取方法，包括：构建卷积神经网络模型，对所述卷积神经网络模型进行压缩：将卷积神经网络模型多个卷积层的权重压缩比作为蜜源，利用人工蜂群算法搜索适应度值最高的蜜源，在搜索过程中根据蜜源确定对应的卷积神经网络压缩模型，利用所述卷积神经网络压缩模型计算所述蜜源的适应度值；将适应度值最高的蜜源对应的卷积神经网络压缩模型作为最终需要的卷积神经网络压缩模型；利用所述卷积神经网络压缩模型对图像进行特征提取；其中，根据蜜源确定对应的卷积神经网络压缩模型包括：将卷积神经网络模型多个卷积层的权重进行稀疏低秩分解得到低秩矩阵，根据蜜源指示的每个卷积层的权重压缩比对该层权重的低秩矩阵进行通道裁剪，对通道裁剪后的卷积神经网络模型进行训练得到卷积神经网络压缩模型。2.如权利要求1所述的方法，其特征在于：任意一个卷积层对应的权重压缩比是指经过通道裁剪后该卷积层的通道数与该卷积层的原始通道数的比值，所述比值大于0且小于1。3.如权利要求1所述的方法，其特征在于：所述蜜源的适应度值是该蜜源对应的卷积神经网络压缩模型的峰值信噪比PSNR。4.如权利要求1所述的方法，其特征在于：所述利用人工蜂群算法搜索适应度值最高的蜜源，包括：设置m个初始蜜源；对任意一个初始蜜源，根据初始蜜源确定对应的卷积神经网络压缩模型，利用所述卷积神经网络压缩模型计算所述初始蜜源的适应度值；m≥1；其中，根据初始蜜源确定对应的卷积神经网络压缩模型，包括：将卷积神经网络模型多个卷积层的权重进行稀疏低秩分解得到低秩矩阵，根据每个卷积层的权重压缩比对该层权重的低秩矩阵进行通道裁剪，对通道裁剪后的卷积神经网络模型进行训练得到卷积神经网络压缩模型。5.如权利要求4所述的方法，其特征在于：初始蜜源包括的权重压缩比为随机数xi，0<xi<1。6.如权利要求1所述的方法，其特征在于：将卷积神经网络模型多个卷积层的权重进行稀疏低秩分解得到低秩矩阵，包括：对卷积神经网络模型的任意一层卷积层，将所述卷积层的权重W分解为稀疏矩阵S与低秩矩阵L的和，并将低秩矩阵L分解为矩阵U和矩阵V的乘积，上述矩阵分解方式可以采用以下的公式1进行表示：W＝L+S＝UV+S；(公式1)其中，U∈Rh×r，V∈Rr×k×k，r为低秩矩阵L的秩，k为卷积层的卷积核大小，h为卷积层的卷积核的通道数。7.如权利要求1所述的方法，其特征在于：根据每个卷积层的权重压缩比对该层权重的低秩矩阵进行通道裁剪，包括：对任意一层卷积层，确定低秩矩阵每一个通道的L1范数；将L1范数按照从大到小的顺序进行排序；根据该层卷积层的权重压缩比将L1范数最小的a个通道裁剪掉；其中：a可以采用以下公式2进行计算；2CN114492791A权利要求书2/2页a＝[b(1‑xi)]；(公式2)其中，b是卷积层的原始通道数，xi是卷积层的权重压缩比，[]是取整符号。8.如权利要求4所述的方法，其特征在于：利用人工蜂群算法搜索适应度值最高的蜜源，还包括：在所述人工蜂群算法的迭代次数没有达到第一阈值前，执行以下处理：针对任意一个初始蜜源，利用雇佣蜂搜索新蜜源，根据新蜜源确定对应的卷积神经网络压缩模型，利用所述卷积神经网络压