一种安防监控中遗留物品的检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112699769A(43)申请公布日2021.04.23(21)申请号202011564655.3(22)申请日2020.12.25(71)申请人北京竞业达数码科技股份有限公司地址102308北京市门头沟区石龙工业区雅安路6号院1号楼C座8层805(72)发明人巩凯强朱全福(74)专利代理机构北京市盛峰律师事务所11337代理人于国强(51)Int.Cl.G06K9/00(2006.01)G06T7/66(2017.01)权利要求书2页说明书5页附图1页(54)发明名称一种安防监控中遗留物品的检测方法及系统(57)摘要本发明涉及图像处理领域，公开了一种安防监控中遗留物品的检测方法及系统，包括对监控视频帧图像数据集进行预处理；建立加入SPP模块的卷积神经网络模型；将若干个关键帧图像输入目标检测网络模型，目标检测网络模型输出关键帧图像中所有物体的坐标边界框和标签；根据质心坐标、并采用前后帧最小质心距离匹配方法匹配出前后不同关键帧图像中的同一个物体，判断同一个物体在遗留后的静止时长是否超过时长阈值，输出物体遗留预警信息。本发明在物体遗留较长时间后更具有鲁棒性和稳定性；本发明不仅提升了小物品的召回率，还通过基于质心最小距离快速匹配同一个物体，匹配准确率高，保证了物品遗留后及时发出预警信息。CN112699769ACN112699769A权利要求书1/2页1.一种安防监控中遗留物品的检测方法，其特征在于，包括以下步骤：S1)采集不同场景下的监控视频帧图像数据集，对所述监控视频帧图像数据集进行预处理、并对所述监控视频帧图像数据集中的每一张图像设置标签类别，获得预处理后的监控视频帧图像数据集以及与所述预处理后的监控视频帧图像数据集相对应的标签数据集；S2)建立目标检测网络模型，所述目标检测网络模型为加入SPP模块的卷积神经网络模型，根据所述预处理后的监控视频帧图像数据集以及所述标签数据集对所述目标检测网络模型进行训练，获得训练完成的目标检测网络模型；S3)采集待检测遗留物品的视频流图像数据，按时间顺序获取所述视频流图像数据中的若干个关键帧图像，将所述若干个关键帧图像按时间先后顺序分别输入所述训练完成的目标检测网络模型，所述训练完成的目标检测网络模型分别输出每一个关键帧图像中所有物体的坐标边界框和标签；S4)根据所述每一个关键帧图像中所有物体的坐标边界框计算每一个关键帧图像所有物体的质心坐标，根据质心坐标、并采用前后帧最小质心距离匹配方法匹配出前后不同关键帧图像中的同一个物体，并获取前后不同关键帧图像中的同一个物体在遗留后的静止时长，设置时长阈值，判断所述匹配出的前后不同关键帧图像中的同一个物体在遗留后的静止时长是否超过时长阈值，若否，则返回步骤S3)；若是，则输出物体遗留预警信息。2.根据权利要求1所述的安防监控中遗留物品的检测方法，其特征在于，在步骤S1)中，对所述监控视频帧图像数据集进行预处理、并对所述监控视频帧图像数据集中的每一张图像设置标签类别，包括对所述监控图像数据集中的每一张图像数据进行增强预处理，所述增强预处理包括图像裁剪、图像翻转和Mosaic数据增强方式；所述标签包括行人、纸箱、书包和行李箱。3.根据权利要求1或2所述的安防监控中遗留物品的检测方法，其特征在于，在步骤S2)中，所述加入SPP模块的卷积神经网络模型包括输入层、中间层和输出层；所述中间层包括若干层卷积层、若干层批量归一化层、若干层非线性激活函数层以及SPP模块；所述输出层输出每一张图像中的物体坐标边界框、置信度以及标签。4.根据权利要求3所述的安防监控中遗留物品的检测方法，其特征在于，在步骤S3)中，按时间顺序获取所述视频流图像数据中的若干个关键帧图像，包括设置预设帧数，按时间顺序在所述视频流图像数据中每隔预设帧数采集关键帧图像。5.根据权利要求4所述的安防监控中遗留物品的检测方法，其特征在于，在步骤S4)中，根据质心坐标、并采用前后帧最小质心距离匹配方法匹配出前后关键帧图像中的同一个物体，包括在不同关键帧图像间以物体的质心坐标之间的最小距离为特征进行匹配关联，通过所述匹配关联获取位于不同关键帧图像中的同一个物体。6.根据权利要求5所述的安防监控中遗留物品的检测方法，其特征在于，在步骤S4)中，获取前后不同关键帧图像中的同一个物体在遗留后的静止时长，还包括设置质心坐标变化阈值，计算获得前后不同关键帧图像中的第j个同一个物体在前后不同关键帧图像中的质心坐标差值ωj，所述第j个同一个物体在第i+1个关键帧图像中的质心坐标为(xi+1，yi+1)，所述第j个同一个物体在第i个关键帧图像中的质心坐标为(xi，yi)，当第j个同一个物体在前后不同关键帧图像中的质心坐标差值ωj小于所述质心坐2