一种基于卷积神经网络的监控视频中人的自动识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109344688A(43)申请公布日2019.02.15(21)申请号201810890872.8(22)申请日2018.08.07(71)申请人江苏大学地址212013江苏省镇江市京口区学府路301号(72)发明人陆虎(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于卷积神经网络的监控视频中人的自动识别方法(57)摘要本发明公开了一种基于卷积神经网络的监控视频中人的自动识别方法。该识别方法采集到的视频信息进行处理训练，将视频转成一帧帧图像，本发明提出了一种卷积神经网络，针对图像中存在着人的信息，通过本发明的卷积神经网络抽取出人的轮廓信息，针对抽取出的人的信息抽取特征值形成数据库，并且对数据库中信息打上标签，然后对被测试图像特征与服务器数据库中的信息进行比对分类，对分类结果进行计算相似度。其识别方法依次是：图像采集，图像分割，图像特征提取，构建数据库，图像匹配实现一次识别过程。本发明具有设计灵活，功能强大，系统可裁减，能满足未来对各种新增功能的需求等优点，可应用于网络安全监控各种场合。CN109344688ACN109344688A权利要求书1/2页1.一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，包括四个部分：第一部分为基于卷积神经网络进行人的语义分割，将图像中的人像分割出来；第二部分为基于人抽取深度学习特征，所述深度学习特征可表示成某人的特征向量；第三部分为构建数据库，把某张图的人对应的一个特征向量作为一条记录，保存到数据库；第四部分为对人识别，提取到该人的深度学习特征，并且与数据库中保存的各种人的深度学习特征进行匹配识别，把类似的人都自动显示出来。2.根据权利要求1所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述第一部分是采用卷积神经网络模型进行图像中人的语义分割，具体包括：对于摄像头采集到的视频，首先将视频转化为一帧一帧的图像；然后采用预先训练好的卷积神经网络模型对摄像头拍摄的视频中的一帧一帧图像进行分割，然后将图像中除了人以外的背景像素点值全部设置为0，只保留人的那部分的像素点的值。3.根据权利要求2所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述卷积神经网络模型的构造包括如下：该模型包含有3个池化层和卷积层，利用预训练好的残差网络ResNet-18模型，对原始图像进行特征提取，得到一个维度channel×高度height×宽度width的特征图，通过3个池化层后分别得到大小不同的中间特征图谱，分别对中间特征图谱进行卷积和采样操作后得到三张特征图谱进行融合，得到最终的特征图谱输出。4.根据权利要求1所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述第二部分是采用改进的卷积神经网络VGG模型来提取图像的深度学习特征，具体包括：对第一部分利用卷积神经网络分割出来的人的图像，作为第二部分深度学习特征提取的输入，将图像输入到改进的卷积神经网络VGG模型中，将该模型作为一个特征提取器，在该模型的全连接层，提取维度为4096的图像特征，将一幅图像中人的信息转化成一行特征向量。5.根据权利要求1所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述第三部分中的每条记录都打上标签类别，所述数据库存放在专用服务器里面，并且该服务器与网络监控联网。6.根据权利要求1所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述第四部分的具体实现包括：首先将被测试视频转化为一帧一帧的图像；再通过卷积神经网络模型进行语义分割，提取图像中的人；然后通过卷积神经网络VGG模型，提取图像的深度学习特征，得到每一帧图像中人的特征向量；最后对获取到的特征向量与所述的第三部分中构建的特征数据库中记录的信息进行比对分类，对分类结果进行计算相似度，相似的计算的结果数值范围在0到1之间，约接近1则说明距离越近，也就是越匹配，反之则差异度越高；对相似度大于阈值的匹配的人信息都输出。7.根据权利要求6所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述相似度的计算采用欧氏距离计算实现。8.根据权利要求1-7任一项所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述自动识别方法按如下具体步骤实现：2CN109344688A权利要求书2/2页(1)应用外部摄像头采集视频，将视频划分成一帧一帧的视频数据，并且打好标签，用于后期识别比对；(2)对采集到的视频图像进行初步处理，将其