一种基于改进FCOS的人脸口罩检测系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887455A(43)申请公布日2022.01.04(21)申请号202111181138.2(22)申请日2021.10.11(71)申请人东北大学地址110819辽宁省沈阳市和平区文化路3号巷11号(72)发明人高天寒朱子辰江欣蓓(74)专利代理机构沈阳东大知识产权代理有限公司21109代理人梁焱(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书9页附图3页(54)发明名称一种基于改进FCOS的人脸口罩检测系统及方法(57)摘要本发明公开了一种基于改进FCOS的人脸口罩检测系统及方法，涉及目标检测技术领域。系统包括特征提取模块、包括自顶向下特征融合模块和自底向上特征融合模块的特征融合模块、预测模块。方法包括：将捕获的视频流分解成逐张图像输入系统；特征提取模块从输入图像中提取卷积神经网络的至少任意两个阶段输出的特征图；自顶向下特征融合模块使用特征金字塔网络对从骨干网提取的特征图进行自顶向下特征融合；自底向上特征融合模块使用PAN模块对自顶向下特征融合模块输出特征图进行自底向上特征融合；预测模块使用全卷积神经网络在特征融合模块输出的融合特征图上分别进行预测，最后合并预测结果得到输入图像中人脸位置、大小及是否佩戴口罩的分类信息。CN113887455ACN113887455A权利要求书1/2页1.一种基于改进FCOS的人脸口罩检测系统，其特征在于，该系统包括：特征提取模块，以卷积神经网络为骨干网络，从输入该模块的图像中提取出所述骨干网络的至少任意两个阶段输出的特征图；特征融合模块，包括自顶向下特征融合模块和自底向上特征融合模块；所述自顶向下特征融合模块用于使用特征金字塔网络对特征提取模块从骨干网络提取的不同阶段的特征图进行自顶向下的特征融合，以将高层语义信息从顶层特征图传递至高分辨率的底层特征图中；所述自底向上特征融合模块用于使用现有的PAN模块对所述自顶向下特征融合模块输出的特征图进行自底向上的特征融合，以将底层图像信息从所述自顶向下特征融合模块输出的底层特征图融合到所述自顶向下特征融合模块输出的高层特征图中；预测模块，用于使用共享卷积核权重的全卷积神经网络在所述特征融合模块输出的融合特征图上分别进行预测，最后合并预测结果得到输入图像中的人脸位置、大小及是否佩戴口罩的分类信息。2.根据权利要求1所述的基于改进FCOS的人脸口罩检测系统，其特征在于，所述卷积神经网络为ResNet‑50卷积神经网络。3.根据权利要求2所述的基于改进FCOS的人脸口罩检测系统，其特征在于，所述特征提取模块从输入该模块的图像中提取出ResNet‑50网络在第三、四、五阶段输出的特征图C3、C4、C5。4.根据权利要求1所述的基于改进FCOS的人脸口罩检测系统，其特征在于，对于所述骨干网络不同阶段输出的特征图，较前阶段提取的特征图称为底层特征图，较后阶段提取的特征图称为顶层特征图。5.根据权利要求1所述的基于改进FCOS的人脸口罩检测系统，其特征在于，所述预测模块包括两个独立的四层全卷积网络，会产生三个输出结果，其中一个四层全卷积网络用于输出目标分类预测结果，该输出分支简称为目标分类预测分支，另外一个四层全卷积网络同时用于输出中心分数预测结果和边界框回归结果，这两个输出分支分别简称中心分数预测分支和边界框回归分支；针对每个像素位置：目标分类预测分支会输出一个二维向量p＝(p1,p2)，p1为对该像素作出预测的目标已佩戴口罩的概率，p2为对该像素作出预测的目标未佩戴口罩的概率；边界框回归分支会输出一个四维向量d＝(l,t,r,b)，l、t、r、b分别为该以该像素作出预测的目标的边界框边界距离该像素的左距离、上距离、右距离和下距离；中心分数预测分支会输出一个张量c，以表示该像素与目标中心位置的靠近程度。6.根据权利要求3所述的基于改进FCOS的人脸口罩检测系统，其特征在于，所述自顶向下特征融合模块首先使用特征金字塔网络对特征提取模块从骨干网络提取的第五阶段输出的特征图C5进行自卷积得到特征图P5，再将P5与第四阶段输出的特征图C4进行自顶向下的特征融合得到特征图P4，将特征图P4与第三阶段输出的特征图C3进行自顶向下的特征融合得到特征图P3，将高层语义信息从顶层特征图传递至高分辨率的底层特征图中，然后再对特征图P5进行3x3的卷积得到特征图P6，同样再对特征图P6进行3x3的卷积得到特征图P7，这样获得五层特征图；所述自底向上特征融合模块对所述五层特征图进行自底向上的特征融合，获得五层融合特征图。7.利用以上任一权利要求所述的基于改进FCOS的人脸