基于多列残差空洞卷积神经网络的人群密度预测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110853025A(43)申请公布日2020.02.28(21)申请号201911121622.9(22)申请日2019.11.15(71)申请人苏州大学地址215104江苏省苏州市相城区济学路8号(72)发明人张莉闫磊磊郑晓晗王邦军(74)专利代理机构北京集佳知识产权代理有限公司11227代理人张春辉(51)Int.Cl.G06T7/00(2017.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书8页附图4页(54)发明名称基于多列残差空洞卷积神经网络的人群密度预测方法(57)摘要本申请公开了一种基于多列残差空洞卷积神经网络的人群密度预测方法、装置、设备及可读存储介质，方案包括：获取待测人群图像；将待测人群图像输入人群密度预测模型，得到人群密度图；根据人群密度图，确定待测人群图像中的人群数量。其中，人群密度预测模型在提取待测人群图像的高维特征之后，使用多列空洞卷积结构从高维特征中提取特征信息，由于各列空洞卷积结构的扩张率不同，因此能够捕捉高维特征中不同尺度的特征信息。此外，该模型还采用了残差结构，将高维特征直接输入到网络后端与各列空洞卷积结构输出的特征信息相加，不仅防止了网络过拟合现象的发生，还可以保留更多的特征信息，提升了人群数量计算结果的准确性和人群密度图的质量。CN110853025ACN110853025A权利要求书1/2页1.一种基于多列残差空洞卷积神经网络的人群密度预测方法，其特征在于，包括：获取待测人群图像；将所述待测人群图像输入人群密度预测模型，得到人群密度图；所述人群密度预测模型包括前端结构和后端结构，所述前端结构用于提取所述待测人群图像的高维特征；所述后端结构包括第一支路和第二支路，其中所述第一支路包括连接结构和多列具有不同扩张率的空洞卷积结构，所述空洞卷积结构用于提取所述高维特征的特征信息，所述连接结构用于连接各列所述空洞卷积结构输出的特征信息，得到连接特征；所述第二支路包括残差结构，所述残差结构用于对所述高维特征与所述连接特征进行相加操作，以生成所述人群密度图；根据所述人群密度图，确定所述待测人群图像中的人群数量。2.如权利要求1所述的方法，其特征在于，在所述获取待测人群图像之前，还包括：获取人群图像集合；确定所述人群图像集合中各个人群图像的人头坐标；选取预先定义的全零矩阵中以所述人头坐标为中心的目标区域，将所述目标区域与预先生成的高斯滤波器进行相加操作，得到人群密度图；其中所述全零矩阵与所述人群图像的大小一致，所述目标区域与所述高斯滤波器的大小一致；利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练。3.如权利要求2所述的方法，其特征在于，所述利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练，包括：根据目标损失函数，利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练；所述目标损失函数为：其中，N为所述人群图像集合中人群图像的数量，Xi为所述人群图像集合中第i个人群图像，Θ为所述人群密度预测模型学习的参数，F(Xi；Θ)为所述人群密度预测模型预测得到的第i个人群密度图，Mi'为第i个人群图像真实的人群密度图。4.如权利要求1所述的方法，其特征在于，所述根据所述人群密度图，确定所述待测人群图像中的人群数量，包括：对所述人群密度图进行求和操作，得到所述待测人群图像中的人群数量。5.如权利要求1-4任意一项所述的方法，其特征在于，所述人群密度预测模型的第一支路包括三列具有不同扩张率的空洞卷积结构。6.如权利要求5所述的方法，其特征在于，各列所述空洞卷积结构的扩张率分别为1、2、3。7.如权利要求5所述的方法，其特征在于，所述人群密度预测模型的前端结构为VGG16的前十层结构。8.一种基于多列残差空洞卷积神经网络的人群密度预测装置，其特征在于，包括：图像获取模块：用于获取待测人群图像；模型预测模块：用于将所述待测人群图像输入人群密度预测模型，得到人群密度图；所2CN110853025A权利要求书2/2页述人群密度预测模型包括前端结构和后端结构，所述前端结构用于提取所述待测人群图像的高维特征；所述后端结构包括第一支路和第二支路，其中所述第一支路包括连接结构和多列具有不同扩张率的空洞卷积结构，所述空洞卷积结构用于提取所述高维特征的特征信息，所述连接结构用于连接各列所述空洞卷积结构输出的特征信息，得到连接特征；所述第二支路包括残差结构，所述残差结构用于对所述高维特征与所述连接特征进行相加操作，以生成所述人群密度图；数量确定模块：用于根据所述人群密度图，确定所述待测人群图像中的人群数量。9.一种基于多列