基于视频监控图像处理的人数统计系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109376637A(43)申请公布日2019.02.22(21)申请号201811197134.1(22)申请日2018.10.15(71)申请人齐鲁工业大学地址250353山东省济南市长清区大学路3501号(72)发明人王磊孔得越(74)专利代理机构济南圣达知识产权代理有限公司37221代理人黄海丽(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于视频监控图像处理的人数统计系统(57)摘要本申请实施例公开了基于视频监控图像处理的人数统计系统，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成以下步骤：对三个卷积神经网络分别采用对应尺寸的人脸图像进行训练；将经过训练的三个卷积神经网络进行并联，三个并联的卷积神经网络的输出端均连接到同一个输出层；将经过缩放处理的三张图像均输入到每个卷积神经网络中进行检测，三个并联的卷积神经网络均将各自输出的带有人脸检测框的三张图像通过输出层映射到原始图像上，从而每一个人脸包括若干个检测框；采用非极大值抑制算法对每一个人脸的若干个检测框进行筛选，保留最优的人脸检测框，获得最终的人脸检测结果。CN109376637ACN109376637A权利要求书1/2页1.基于视频监控图像处理的人数统计系统，其特征是，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成以下步骤：构建人脸检测器模型：人脸检测器模型包括：包含第一卷积神经网络、第二卷积神经网络和第三卷积神经网络；三个卷积神经网络进行并联，三个并联的卷积神经网络的输出端均连接到一个输出层上；训练三个卷积神经网络：对三个卷积神经网络分别采用对应尺寸的人脸图像进行训练；人脸检测：选取一帧待检测场景的图像，对所选取的图像按照设定尺寸进行放大处理和缩小处理；得到三张图像：经放大处理后的图像、经缩小处理后的图像和原始图像；将三张图像均输入到一个区域候选网络RPN后得到所有候选检测框，所有候选检测框分别送给所述的人脸检测器模型，输出每个检测框是人脸的概率，如果概率超过设定阈值则判定为人脸，并标记当前检测框，最终返回三张图像的检测结果，每一张输出图像均带有所有的人脸检测框；带有人脸检测框的三张图像通过输出层映射到原始图像上，从而每一个人脸包括至少一个检测框；采用非极大值抑制算法对每一个人脸的所有检测框进行筛选，保留最优的人脸检测框，获得最终的人脸检测结果。2.如权利要求1所述的基于视频监控图像处理的人数统计系统，其特征是，对第M帧图像采用人脸检测器模型进行人脸检测，得到一个人脸列表，所述人脸列表包括：第M帧图像的所有人脸位置、所有人脸尺寸和所有人脸计数总和。3.如权利要求1所述的基于视频监控图像处理的人数统计系统，其特征是，将第M+N帧图像的人脸与第M帧图像的人脸进行匹配，N表示计数更新区间；以第M帧图像为参考图像，以第M+N帧图像为待匹配图像；判断第M+N帧图像的人脸与第M帧图像的人脸是否一一匹配，如果一一匹配，则认为人脸计数不变；否则，认为人脸数量有更新，更新人脸列表。4.如权利要求3所述的基于视频监控图像处理的人数统计系统，其特征是，人脸进行匹配的步骤：采用回归树ERT算法分别对第M帧图像和第M+N图像的人脸进行人脸对齐；采用预训练的Facenet神经网络对人脸对齐后的第M帧图像和第M+N图像所有人脸图像进行特征提取，将所有人脸图像均映射到128维向量空间，得到人脸的特征向量；将第M帧的人脸图像的人脸特征向量和第M+N帧人脸图像的人脸特征向量均输入到SVM分类器中，输出第M帧图像和第M+N帧图像的人脸匹配的结果。5.如权利要求4所述的基于视频监控图像处理的人数统计系统，其特征是，将第M帧的人脸图像的人脸特征向量和第M+N帧人脸图像的人脸特征向量均输入到SVM分类器中，输出第M帧图像和第M+N帧图像的人脸匹配的结果：训练SVM分类器；设首帧中得到的人脸列表为L＝{S1…SM}，其中，Sj为第j个人脸，M是人脸个数；在第M+N帧得到的人脸列表为L’＝{S’1…S’N}，其中，N是人脸个数；假设当前待匹配人脸为Sj＝(x,y,w,h)，其中，(x,y)代表人脸位置坐标，(w,h)代表人脸尺寸宽和高；那么在第M+N帧中只在(x+Δw,y+Δh)的范围内做匹配，Δw和Δh分别表示横2CN109376637A权利要求书2/2页向和纵向的扩展的范围尺寸。6.如权利要求5所述的基于视频监控图像处理的人数统计系统，其特征是，如果视频背景是运动的，则加大匹配范围参数(Δw,Δh)。7.如权利要求5所述的基于视