卷积神经网络压缩方法及人脸检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108960340A(43)申请公布日2018.12.07(21)申请号201810812355.9(22)申请日2018.07.23(71)申请人电子科技大学地址610000四川省成都市高新区（西区）西源大道2006号(72)发明人段翰聪付美蓉邹涵江闵革勇朱越(74)专利代理机构成都行之专利代理事务所(普通合伙)51220代理人李朝虎(51)Int.Cl.G06K9/62(2006.01)G06N3/08(2006.01)G06K9/00(2006.01)权利要求书2页说明书9页附图2页(54)发明名称卷积神经网络压缩方法及人脸检测方法(57)摘要本发明公开了卷积神经网络压缩方法，包括以下步骤：S1：对卷积神经网络结构中各卷积层的权值集中度进行统计；S2：将权值集中度超过阈值的网络进行二值化；S3：重新训练神经网络至收敛。本发明还公开了人脸检测方法。本发明卷积神经网络压缩方法及人脸检测方法，在网络中使用混合精度推理，即一个完整的网络结构中，浮点卷积和异或卷积同时存在，选择权值集中度更高的层次进行二值压缩，保留权值较为分散的层次，从而使得网络的精度能够更大程度地保留，通过引入基于IOU的置信度惩罚来实现软化的非极大值抑制，对于密集目标的检测场景有一定正面影响。CN108960340ACN108960340A权利要求书1/2页1.卷积神经网络压缩方法，其特征在于，包括以下步骤：S1：对卷积神经网络结构中各卷积层的权值集中度进行统计；S2：将权值集中度超过阈值的网络进行二值化；S3：重新训练神经网络至收敛。2.根据权利要求1所述的卷积神经网络压缩方法，其特征在于，步骤S1还包括以下子步骤：卷积层中第i层的权重集中度Ci根据下式得到：式中，Wi为该卷积层的权重向量；N为该卷积层权重的个数。3.根据权利要求1所述的卷积神经网络压缩方法，其特征在于，步骤S2包括以下子步骤：所述对网络进行二值化包括对卷积核权值进行二值化和对卷积层输入特征的二值化。4.根据权利要求3所述的卷积神经网络压缩方法，其特征在于，对卷积核权值进行二值化包括以下步骤：将卷积核权值中32-bit的信息用1-bit来表示；对用1-bit表示后的二值卷积使用异或运算和popcnt指令近似原本的卷积运算。5.根据权利要求3所述的卷积神经网络压缩方法，其特征在于，对卷积层输入特征进行二值化包括以下步骤：将卷积层输入特征进行逐通道的归一化；将归一化后的卷积层输入特征用1-bit来表示；对用1-bit表示后的二值卷积使用异或运算和popcnt指令近似原本的卷积运算。6.使用权利要求1～5任意一项所述卷积神经网络压缩方法的人脸检测方法，其特征在于，包括以下步骤：S1：由剪切后的VGG网络产生卷积特征；S2：在指定的特征层上使用卷积预测器预测人脸目标的置信度和人脸目标框的位置；S3：将每一层得到的结果集中到一起，通过置信度筛选、非极大值抑制得到预测结果。7.根据权利要求6所述的人脸检测方法，其特征在于，步骤S2包括以下子步骤：在特征图上设置预设框作为先验框，所述先验框采用正方形；卷积预测器基于先验框给出人脸目标的置信度并回归人脸目标框的位置。8.根据权利要求7所述的人脸检测方法，其特征在于，步骤S2还包括以下子步骤：根据目标在原图中的占比和特征所对应的感受野尺寸得出先验框尺寸；所述感受野尺寸以VGG作为基础特征提取器得出。9.根据权利要求6所述的人脸检测方法，其特征在于，还包括以下步骤：使用随机尺寸的正方形框在原始图像上截取训练数据；对截取后的图像进行缩放；当进行图像放大时，只保留原尺寸区域的内容，舍去超出原尺寸区域的部分；当进行图像缩小时，使用0值填充图像周围，保持原图的尺寸不变。10.根据权利要求6所述的人脸检测方法，其特征在于，所述特征提取层采用TensorRT2CN108960340A权利要求书2/2页进行软件加速；步骤S3采用Caffe进行训练。3CN108960340A说明书1/9页卷积神经网络压缩方法及人脸检测方法技术领域[0001]本发明涉及计算机视觉领域，具体涉及卷积神经网络压缩方法及人脸检测方法。背景技术[0002]随着计算能力的发展和可用数据集的扩充，深度卷积神经网络在计算机视觉、语音识别、自然语言处理等领域获得了广泛的应用，但是深度卷积神经网络通常具有大量的参数，复杂的计算和存储压力限制了深度学习的应用和发展。为了解决这个问题，除了对硬件性能的提升外，还可以从算法层面上考虑实现对网络模型本身的压缩，从而达到减少计算和存储成本的目的。[0003]近年来，人脸识别技术在安防领域越来越流行，而人脸检测技术作为人脸识别等一系列工作的前置任务，如何在拍摄环境复杂、目标尺度多变的情况下实现对人脸