基于深度学习的人脸口罩高效识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114743234A(43)申请公布日2022.07.12(21)申请号202210175799.2(22)申请日2022.02.25(71)申请人华南农业大学地址510640广东省广州市天河区五山路483号(72)发明人彭红星邢政刘晓瑭(74)专利代理机构佛山市君创知识产权代理事务所(普通合伙)44675专利代理师张燕玲(51)Int.Cl.G06V40/16(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/82(2022.01)G06V10/764(2022.01)权利要求书2页说明书8页附图3页(54)发明名称基于深度学习的人脸口罩高效识别方法(57)摘要本发明公开了一种基于深度学习的人脸口罩高效识别方法，包括：首先构建嵌入空间数据库，其中存储有人脸特征向量的嵌入空间；在需要识别的场景中采集人脸图像，将采集的每张人脸图像先通过并行网络进行降维，得到降维后的特征图；将降维后的特征图输入训练好的人脸检测模型中，得到检测后的特征图；再将检测后的特征图输入到训练好的人脸口罩分类模型中进行分类，将分类后的特征图输入到三元网络，得到更加细化的人脸特征向量以及人脸特征向量的嵌入空间；再将所述人脸特征向量输入到多层感知器中，进行人脸特征向量的多层感知与读取，最终通过将人脸特征向量的嵌入空间与所述嵌入空间数据库中已有的嵌入空间进行对比得到人脸识别结果。CN114743234ACN114743234A权利要求书1/2页1.一种基于深度学习的人脸口罩高效识别方法，其特征在于，包括：首先构建嵌入空间数据库，其中存储有人脸特征向量的嵌入空间；在需要识别的场景中采集人脸图像，将采集的每张人脸图像先通过并行网络进行降维，得到降维后的特征图；将降维后的特征图输入训练好的人脸检测模型中，得到检测后的特征图；再将检测后的特征图输入到训练好的人脸口罩分类模型中进行分类，将分类后的特征图输入到三元网络，得到更加细化的人脸特征向量以及人脸特征向量的嵌入空间；再将所述人脸特征向量输入到多层感知器中，进行人脸特征向量的多层感知与读取，最终通过将人脸特征向量的嵌入空间与所述嵌入空间数据库中已有的嵌入空间进行对比得到人脸识别结果；所述的人脸检测模型是将现有的SSD模型输入层的VGG16网络替换为EfficientNet网络，并利用3×3的卷积层替代EfficientNet网络的第一层中的卷积层，使用2×2的卷积层替代EfficientNet网络的第二和第三层中的卷积层，并在更改后的卷积层之后分别加入CA通道注意力机制；所述人脸口罩分类模型是在现有Xception模型的基础上，构建新的全连接单元代替现有Xception模型中原有的全连接层；新的全连接单元依次包括：AveragePooling2D层、Flatten层、Dense层、Dropout层、Dense层；当人脸检测模型输出的检测后的特征图传递到Xception模型时，将Xception模型中的可分离卷积进行冻结，使其在反向传播时不会更新；在特征图经过新的全连接单元传递结束后，将可分离卷积进行解冻；所述三元网络从前至后结构依次为：三个并行的卷积神经网络、嵌入空间层、tripletloss函数；利用三元网络将输入的分类特征图中的人脸的锚框和正样本特征图进行相似度对比、人脸的锚框和负样本特征图进行相似度的对比，使得人脸的锚框更加接近正样本特征图，远离负样本特征图；通过三个一维的所述卷积神经网络对人脸的锚框、正样本特征图、负样本特征图这三种人脸特征向量的权重进行共享，以在嵌入空间层中分别得到每个人脸特征向量的嵌入空间，之后再通过tripletloss函数将嵌入空间进行对比，并反向传播梯度到负样本特征图对应的卷积神经网络中。2.根据权利要求1所述的基于深度学习的人脸口罩高效识别方法，其特征在于，所述并行网络包含R通道网络、G通道网络和B通道网络；R通道网络的结构从前至后依次为：3×3的卷积层、BN层、全连接层、全局平均池化层；G通道网络的结构从前至后依次为：2×2的卷积层、BN层、全连接层、ReLU非线性激活函数、全局平均池化层；B通道网络的结构从前至后依次为：3×3的卷积层、BN层、全连接层、全局平均池化层；将经过RGB三种通道处理后的特征进行合并，得到降维后的特征图。3.根据权利要求1所述的基于深度学习的人脸口罩高效识别方法，其特征在于，CA注意力机制内的处理过程为：在经过CA注意力机制中的残差模块输入之后，坐标信息划分为X和Y，并且两个坐标点X和Y都进行平均池化操作，通过二维卷积合并在一起，最后利用两个sigmoid激活函数输出重构的位置信息。4.根据权利要求1所述的基于深度学习的人脸口罩高效识别方法，其特