一种基于多尺度特征信息的人群计数方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111488827A(43)申请公布日2020.08.04(21)申请号202010278489.4(22)申请日2020.04.10(71)申请人山东师范大学地址250014山东省济南市历下区文化东路88号(72)发明人吕蕾谢锦阳顾玲玉陈梓铭(74)专利代理机构济南圣达知识产权代理有限公司37221代理人祖之强(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图1页(54)发明名称一种基于多尺度特征信息的人群计数方法及系统(57)摘要本公开提供了一种基于多尺度特征信息的人群计数方法，属于计算机视觉技术领域，对获取的图像进行预处理，得到图像对应的人群密度图；将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值；本公开解决了人群的大规模变化对于人群计数带来的影响，采用特征图融合的方式，进一步减小了经过逐层抽象表达和池化层的下采样后丢失细节信息所造成的损失，可以保留更多细节信息，从而实现效果较好的多尺度密集人群的计数。CN111488827ACN111488827A权利要求书1/2页1.一种基于多尺度特征信息的人群计数方法，其特征在于，包括以下步骤：对获取的图像进行预处理，得到图像对应的人群密度图；将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连接，得到多张连接后的特征图；将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。2.如权利要求1所述的基于多尺度特征信息的人群计数方法，其特征在于，对获取的图像进行预处理，具体为：对获取的图像进行人头位置标注，对位置标注后的图像通过二维高斯卷积核进行卷积，得到图像对应的人群密度图。3.如权利要求2所述的基于多尺度特征信息的人群计数方法，其特征在于，得到图像对应的人群密度图，具体为：其中，N代表人群图像中的人数，x代表图像中每个像素的位置，xi代表第i个人的标注位置，δ(x-xi)表示激活函数，表示标准差为σi的高斯核，为标记点xi与其最近的K个人头之间的平均距离，β为预设系数。4.如权利要求1所述的基于多尺度特征信息的人群计数方法，其特征在于，所述预设多特征提取网络模型为VGG-16卷积神经网络的前十层，将预处理得到的人群密度图标签输入多特征提取网络模型中，进行从下而上的前向计算，得到四张尺度逐渐减小的特征图；然后对得到的四张特征图进行自上而下的逐层侧边连接，得到三张连接后的特征图，具体为最上层的特征图与下一层的特征图进行侧边拼接，将拼接结果与下一层的特征图进行拼接，知道最后一层的特征图。5.如权利要求4所述的基于多尺度特征信息的人群计数方法，其特征在于，得到的多张连接后的特征图，具体为：Mi＝Conv(hi；θ)+Up(Mi+1)其中，Conv(hi；θ)表示卷积核大小为1*1的卷积层，hi表示基于该尺度的特征图，Up()为上采样操作，将特征图向上采样两倍。6.如权利要求4所述的基于多尺度特征信息的人群计数方法，其特征在于，对得到的尺度较小的特征图，通过双线性插值法进行上采样操作，通过第一预设尺寸的卷积层和第二预设尺寸的卷积层处理后，得到具备人群空间分布的特征图。7.如权利要求1所述的基于多尺度特征信息的人群计数方法，其特征在于，采用通道拼接法对多张连接后的特征图进行特征融合，得到统一的结构化增强的多尺度特征图，使用预设尺寸的卷积核对得到的多尺度特征图进行定位信息加强。8.一种基于多尺度特征信息的人群计数系统，其特征在于，包括：数据预处理模块，被配置为：对获取的图像进行预处理，得到图像对应的人群密度图；特征提取模块，被配置为：将得到的人群密度图输入到预设多特征提取网络模型中，逐层计算得到多张尺度逐渐减小的特征图，将得到的多张尺度的特征图进行反向逐层侧边连2CN111488827A权利要求书2/2页接，得到多张连接后的特征图；人群计数模块，被配置为：将得到的多张连接后的特征图进行特征融合，得到多尺度特征图，进行密度图回归后得到最终的人群密度图，进而得到最终的人群计数数值。9.一种介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于多尺度