一种基于深度学习的人脸口罩佩戴检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111931623A(43)申请公布日2020.11.13(21)申请号202010764905.1(22)申请日2020.07.31(71)申请人南京工程学院地址211167江苏省南京市江宁区科学园弘景大道1号(72)发明人温秀兰姚波赵艺兵孙乔崔伟祥宋爱国(74)专利代理机构南京钟山专利代理有限公司32252代理人戴朝荣(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图6页(54)发明名称一种基于深度学习的人脸口罩佩戴检测方法(57)摘要本发明公开了一种基于深度学习的人脸口罩佩戴检测方法，包括如下步骤：S1、数据准备并制作训练集；S2、构建YOLOV4目标检测模型；S3、人脸口罩佩戴检测模型进行视频流实时检测；S4、通过YOLOV4的特征提取网络，提取三个特征层，三个特征层的预测结果分别对应三个边界框的位置；通过先验框对边界框的预测与回归，就可以获得多个边界框的信息，通过非极大值抑制算法，保留置信分最高的边界框作为目标的检测框，从而确定检测框的最终位置，检测识别未佩戴口罩人员。本发明实现了对佩戴口罩和未佩戴口罩人员的检测识别，通过采用YOLOV4目标检测算法，识别的精确度和速度大大提高。CN111931623ACN111931623A权利要求书1/2页1.一种基于深度学习的人脸口罩佩戴检测方法，其特征在于，包括如下步骤：S1、数据准备并制作训练集；S2、构建YOLOV4目标检测模型；S3、人脸口罩佩戴检测模型进行视频流时检测；S4、通过YOLOV4的特征提取网络，提取三个特征层，三个特征层的预测结果分别对应三个边界框的位置；通过先验框对边界框的预测与回归，就可以获得多个边界框的信息，通过非极大值抑制算法，保留置信分最高的边界框为目标的检测框，从而确定检测框的最终位置，检测识别未佩戴口罩人员。2.如权利要求1所述的基于深度学习的人脸口罩佩戴检测方法，其特征在于，步骤S1包括：S11、获取训练样本数据，对样本数据进行整理、清晰和重新标注；S12、将样本数据进行分类，将图片进行数据增强，生成更多的训练样本，形成训练集；S13、对获得的训练集进行标注，标注类别分为两类，分别是戴口罩的mask(0)和未戴口罩的nomask(1)。3.如权利要求2所述的基于深度学习的人脸口罩佩戴检测方法，其特征在于，获取训练样本数据包括从AIZOO与RMFD数据集中获取、网上收集手捂图片、视频帧抽取图片。4.如权利要求2所述的基于深度学习的人脸口罩佩戴检测方法，其特征在于，步骤S12中，对图片进行数据增强的方法包括改变图片的旋转角度、调整图片的饱和度、曝光量和色调。5.如权利要求2所述的基于深度学习的人脸口罩佩戴检测方法，其特征在于，对训练集进行标注具体为，建立XOY像素坐标系，其中O为像素坐标系的原点，通过labelImg软件对目标进行框选，得到一个矩形标记框，其中，xo代表标记框中心点的像素横坐标，yo代表标记框中心点的像素纵坐标，(xmin，ymin)代表标记框左上角的像素坐标，(xmax，ymax)代表标记框右下角的像素坐标，W和H分别代表了图像的总宽度和总高度；分别将标记框中心点的像素横、纵坐标和标记框的宽度、高度进行归一化处理，得到YOLOV4格式所需要的x、y、w、h四个坐标信息，如下式所示：x＝xo/Wy＝yo/Hw＝(xmax-xmin)/Wh＝(ymax-ymin)/H6.如权利要求1所述的基于深度学习的人脸口罩佩戴检测方法，其特征在于，步骤S2中具体包括：S21、通过YOLOV4原有的CSPDarknet53骨干网络来进行特征的提取，再将空间金字塔池化层、感知对抗网络、YOLOV3一同与其骨干网络相结合，形成更加完整的检测网络，进一步对提取的特征细化；S22、将步骤S21得到的特征通过Keras/Tensorflow深度学习框架来构建YOLOV4的目标检测模型。7.如权利要求1所述的基于深度学习的人脸口罩佩戴检测方法，其特征在于，步骤S3包括：2CN111931623A权利要求书2/2页S31、利用步骤S2构建的YOLOV4目标检测模型对步骤S1获得训练数据集进行训练，从而得到人脸口罩佩戴检测的模型；S32、将获得的人脸口罩佩戴检测的模型对输入的视频进行实时检测识别，获得视频帧内的各个目标框位置、大小以及类别。8.如权利要求1所述的基于深度学习的人脸口罩佩戴检测方法，其特征在于，步骤S4包括：当前视频帧通过YOLOV4的特征提取网络来提取三个特征层，特征层的预测结果对应三个边界框的位置；通过解码计算出每个边界框的中心点坐标；再通过和先验框的宽高结合，得到