一种基于深度学习的人员口罩佩戴数据集生成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113052010A(43)申请公布日2021.06.29(21)申请号202110243172.1(22)申请日2021.03.05(71)申请人杭州追猎科技有限公司地址311100浙江省杭州市余杭区仓前街道海创科技中心2幢4层408-8室(72)发明人吴宝昕(74)专利代理机构北京恒泰铭睿知识产权代理有限公司11642代理人何平(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图3页(54)发明名称一种基于深度学习的人员口罩佩戴数据集生成方法(57)摘要本发明提供一种基于深度学习的人员口罩佩戴数据集生成方法，基于卷积神经网络模型，通过权重因子自学习的模型进行人脸图片和口罩图片的有效融合，能以端到端的方式快速生成不同口罩佩戴方式的图片数据集，相比传统的图片融合和仿射变换的方式得到的数据集更快速，更精准，从而能够能节省大量人力物力去识别和标定人员是否正确佩戴口罩，可扩展性强，能根据不同需求，快速扩充不同样式口罩、不同特征人群的数据集，为流行病疫情防控期间人员口罩佩戴状态识别提供数据支撑。CN113052010ACN113052010A权利要求书1/2页1.一种基于深度学习的人员口罩佩戴数据集生成方法，其特征在于，所述的基于深度学习的人员口罩佩戴数据集生成方法，包括：采集不同场景下的人脸数据，数据采集包括各种场景下的人脸视频和图片，并提取视频中的帧；采集不同场景下的口罩数据，包括各种不同形态和款式的口罩类型；通过通用人脸检测算法检测所采集的人脸数据图像中的人脸位置和大小，并截取人脸区域图片；将所述人脸区域图片作为第一网络输入数据输入到卷积神经网络的第一网络分支以得到第一深度特征图；将所述第一深度特征图输入所述卷积神经网络的权重因子参数层以获得第一权重因子特征图；将所述口罩数据图片作为第二网络输入数据输入到所述卷积神经网络的第二网络分支以得到第二深度特征图；将所述第二深度特征图输入所述卷积神经网络的权重因子参数层以获得第二权重因子特征图；根据所述第一权重因子特征图和所述第二权重因子特征图，对所述第一深度特征图和第二深度特征图进行融合得到目标特征图；以及，基于所述目标特征图进行上采样操作得到生成目标图像，所述目标图像为融合了人脸和口罩的佩戴口罩人脸图像。2.如权利要求1所述的一种基于深度学习的人员口罩佩戴数据集生成方法，其特征在于，所述卷积神经网络的第一网络分支具有第一下采样倍率，所述卷积神经网络的第二网络分支具有第二下采样倍率。3.如权利要求1所述的一种基于深度学习的人员口罩佩戴数据集生成方法，其特征在于，所述第一下采样倍率为D1，第二下采样倍率为D2，且满足D1为D2的1/2。4.如权利要求1所述的一种基于深度学习的人员口罩佩戴数据集生成方法，其特征在于，所述根据所述第一权重因子特征图和所述第二权重因子特征图，对所述第一深度特征图和第二深度特征图进行融合得到目标特征图，包括：基于以下公式对所述第一深度特征图和第二深度特征图进行融合：F＝αF1+βF2其中，F为目标特征图，F1为所述第一深度特征图，F2为所述第二深度特征图，“+”表示所述第一深度特征图和第二深度特征图相对应位置处的元素相加；α和β分别表示所述第一权重因子特征图和所述第二权重因子特征图与所述第一深度特征图和所述第二深度特征图相对应位置处的权重因子元素。5.如权利要求1所述的一种基于深度学习的人员口罩佩戴数据集生成方法，其特征在于，所述卷积神经网络模型训练过程中的损失函数计算公式，包括：L＝λmLm+λnoseLnose+λmouthLmouth+λrLr其中，L为总的损失函数，Lm表示人脸正常佩戴口罩的损失函数分量，Lnose表示佩戴口罩但露出鼻子的损失函数分量，Lmouth表示佩戴口罩但露出嘴巴的损失函数分量，Lr表示正则化参数；λm、λnose、λmouth以及λr分别表示所述Lm、Lnose、Lmouth和Lr的权重，通过调整不同的权重2CN113052010A权利要求书2/2页便能得到不同的图片生成结果。6.如权利要求5所述的一种基于深度学习的人员口罩佩戴数据集生成方法，其特征在于，所述Lm的计算方法为所述卷积神经网络输出图片Haar特征向量与佩戴口罩的标签图片Haar特征向量的距离；所述Lnose的计算方法为所述卷积神经网络输出图片Haar特征向量与佩戴口罩但露出鼻子的标签图片Haar特征向量的距离；所述Lmouth的计算方法为所述卷积神经网络输出图片Haar特征向量与佩戴口罩但露出嘴巴的标签图片Haar特征向量的距离。7.如权利要求5所述的一种