一种基于深度学习的人员口罩佩戴状态检测识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113033328A(43)申请公布日2021.06.25(21)申请号202110243176.X(22)申请日2021.03.05(71)申请人杭州追猎科技有限公司地址311100浙江省杭州市余杭区仓前街道海创科技中心2幢4层408-8室(72)发明人吴宝昕(74)专利代理机构北京恒泰铭睿知识产权代理有限公司11642代理人何平(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06N20/00(2019.01)权利要求书2页说明书8页附图4页(54)发明名称一种基于深度学习的人员口罩佩戴状态检测识别方法(57)摘要本发明公开了一种基于深度学习的人员口罩佩戴状态检测识别方法。主要步骤包括：获取数据集；设计人脸检测网络，并在网络中添加第一特征向量输出；将检测到的口罩人脸区域通过比例随机裁剪输入第二深度学习网络模型的第一网络部分，第二网络部分和第三网络部分以获得三个代表全局、局部和细粒度特征的特征图；将三个特征图进行特征融合得到第二特征向量；将第一特征向量和第二特征向量融合，最后使用机器学习模型识别人脸口罩佩戴状态。这样，基于优化设计的神经网络，提取不同层次的深度特征并融合，能大幅提高人脸口罩佩戴状态识别的准确率。CN113033328ACN113033328A权利要求书1/2页1.一种基于深度学习的人员口罩佩戴状态检测识别方法，其特征在于，所述的基于深度学习的人员口罩佩戴状态检测识别方法，包括：步骤1：数据集采集，采集不同场景下的人脸口罩佩戴数据，数据采集包括实际场景的图片以及采用对抗生成算法生成的不同口罩佩戴方式的图片数据；步骤2：数据集标注；数据集标注，对采集得到的数据集进行人工标注，标注出图像中人脸的位置，并根据不同的口罩佩戴状态标注为不同的类别标签；步骤3：设计深度学习网络结构；本发明构建的深度学习口罩佩戴状态检测识别网络以业内检测效果较好的YOLOv3为基础，对网络结果进行优化，包括：去除特征融合部分的上采样操作，增强佩戴口罩人脸小目标检测的能力；将网络最后的三尺度特征输出的设计修改为两尺度输出设计，只保留中等目标检测输出和小目标检测输出，在保持多尺度戴口罩人脸目标检测的能力的同时，排除大尺度目标的干扰；网络添加N维的第一特征向量的输出，其中维度N不小于128；步骤4：对所述步骤3中设计的深度学习网络进行训练得到第一深度学习网络模型，所述第一深度学习网络模型网络输出包括佩戴口罩人脸位置、大小、置信度及N维第一特征向量；步骤5：根据不同口罩佩戴状态将佩戴口罩人脸图片细分为不同预设类别标签并以所述不同口罩佩戴状态将佩戴口罩人脸图片为输入训练得到第二深度学习网络模型，所述第二深度学习网络模型用于提取第二特征向量，所述第二特征向量用于表征融合不同图片区域范围和尺度的人脸区域的深层语义信息；步骤6：将待检测图片输入到所述训练得到的第一深度学习网络模型得到人脸位置、大小、置信度及N维第一特征向量；具体地，在步骤4中的深度学习网络训练结束以后，加载训练好的第一深度学习网络模型，输入待检测图片，网络进行前向推理计算获得口罩检测图片人脸位置、大小、置信度及N维第一特征向量；步骤7：根据步骤6中得到的人脸位置、大小、置信度，判断所述置信度是否大于预设阈值，若不大于，则将该置信度对应的人脸滤除；若大于，则根据所述人脸位置、大小从待检测图片中截取人脸区域，并以所述截取的人脸区域作为输入，通过所述第二深度学习网络模型提取第二特征向量；步骤8：将所述第一特征向量以及所述第二特征向量进行特征融合得到第三特征向量，然后使用预设机器学习模型对所述第三特征向量进行识别得到人脸口罩佩戴状态的识别结果，从而确定当前人脸口罩佩戴状态。2.如权利要求1所述的一种基于深度学习的人员口罩佩戴状态检测识别方法，其特征在于，所述步骤1中，采用实际场景收集数据和对抗生成算法自动生成的方式进行，所述对抗生成算法为预训练好的算法，所述生成的图片数据包括不同口罩佩戴状态的人脸。3.如权利要求1所述的一种基于深度学习的人员口罩佩戴状态检测识别方法，其特征在于，所述步骤3中，网络添加N维的第一特征向量输出，其中，维度N不小于128；其中，若骨2CN113033328A权利要求书2/2页干网络的网络层数量大于M，则从第M‑1层输出第一特征向量；若骨干网络的网络层数量不大于M，则从网络输出层输出第一特征向量。4.如权利要求1所述的一种基于深度学习的人员口罩佩戴状态检测识别方法，其特征在于，所述步骤5中所述第二深度学习网络模型具有第一网络部分，第二网络部分和第三网络部分，其中，第一网络部分具有L网络层