一种同时检测和特征提取的人脸识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113378675A(43)申请公布日2021.09.10(21)申请号202110603538.1(22)申请日2021.05.31(71)申请人南京理工大学地址210094江苏省南京市玄武区孝陵卫200号(72)发明人茅耀斌沈庆强项文波陈婷吴敏杰张伟(74)专利代理机构南京理工大学专利中心32203代理人封睿(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图3页(54)发明名称一种同时检测和特征提取的人脸识别方法(57)摘要本发明公开了一种同时检测和特征提取的人脸识别方法，构建人脸检测数据集、人脸特征提取数据集，组成多任务人脸检测识别数据集；构建主干网络、人脸检测分支、人脸特征提取分支，训练基于深度神经网络的人脸检测识别模型，其中主干网络用于提取图像中深层特征，为后续检测以及特征提取分支提供回归分类信息，人脸检测分支用于估算热图、目标中心偏移以及边界框的大小，人脸特征提取分支用于提取每个人脸的特征生成特征向量；将待检测识别图像输入到训练好的人脸检测识别模型，完成人脸检测以及特征提取，进而确定人员身份信息。本发明提高了人脸检测识别的速度，降低了特征提取阶段对人脸检测阶段效果的依赖。CN113378675ACN113378675A权利要求书1/3页1.一种同时检测和特征提取的人脸识别方法，其特征在于，包括如下步骤：步骤1，数据建模与准备构建人脸检测数据集、人脸特征提取数据集，组成多任务人脸检测识别数据集；步骤2，深度神经网络模型训练构建主干网络、人脸检测分支、人脸特征提取分支，训练基于深度神经网络的人脸检测识别模型，其中主干网络用于提取图像中深层特征，为后续检测以及特征提取分支提供回归分类信息，人脸检测分支用于估算热图、目标中心偏移以及边界框的大小，人脸特征提取分支用于提取每个人脸的特征生成特征向量；步骤3，模型推理应用将待检测识别图像输入到训练好的人脸检测识别模型，完成人脸检测以及特征提取，进而确定人员身份信息。2.根据权利要求1所述的同时检测和特征提取的人脸识别方法，其特征在于，步骤1中，数据建模与准备，具体方法为：步骤1.1、构建人脸检测数据集用矩形框形式在图像中标注出人脸区域，记录矩形框的中心点位置以及宽高；步骤1.2、构建人脸特征提取数据集标签中设置身份标识位，同一身份采用同一标识，不同身份的标识不同；步骤1.3、构建多任务人脸检测识别数据集将已构建的人脸检测数据集和人脸特征提取身份数据集进行综合，得到标签内容为身份标识位、矩形框中心点坐标、矩形框宽高，并设置标签文件名称与原图像名相一致。3.根据权利要求1所述的同时检测和特征提取的人脸识别方法，其特征在于，步骤2中，深度神经网络模型训练，具体方法为：(1)主干网络主干网络采用ResNet+转置卷积、DLA、Hourglass、MobilenetV2或者高分辨率网络；(2)人脸检测分支检测分支采用无锚框进行设计，表现为在主干网络后的三个平行头，分别热图头、中心点偏移头、边界框头，包括输入层、动态卷积层、第一全连接层、第二全连接层和输出层；(a)热图头检测分支热图头基于热图表示法估计对象中心的位置，对于在图像中每个目标检测边界框计算中心点其中：划分步幅得到其在特征图上的位置则图像(x,y)处的特征图响应Mxy表示为：其中N代表图像中人脸框数量，σc代表标准差，热图头损失函数Lheat采用Focal‑Loss损失函数，如式(2)所示：2CN113378675A权利要求书2/3页式中表示模型预估的热值图，α和β表示为Focal‑Loss预设的超参数；(b)中心点偏移头中心点偏移头旨在更加精确地定位人脸位置，设输出的中心点位移为O∈RW×H×2，对于每个边界框其中心点偏移量为中心点偏移头损失函数Lcenter采用l1范数，如式(3)所示：式中表示模型预估的中心点偏移量；(c)边界框头边界框头用于估计每个锚点位置的人脸边界框的高度和宽度，与特征提取分支没有直接关系，但是定位精度将影响人脸检测性能的评估，设输出的边界框的大小表示为S∈RW×H×2，对于每个边界框其大小为边界框头损失函数Lbox采用l1范数，如式(4)所示；式中表示模型预估的边界框大小；(3)人脸特征提取分支人脸特征提取分支通过分类任务来学习特征提取任务，训练集中具有相同标识的所有对象认为是同一类，对于图像中每个边界框获取其在热图上的中心在这个位置上提取一个可区分的特征向量表示为人脸特征提取分支的损失函数Lid为：联合人脸检测分支中热图头损失函数、中心偏移头损失函数、边界框头损失函数，以及人脸特征提取分支