一种基于多尺度信息融合网络的空基人群计数与密度估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111429466A(43)申请公布日2020.07.17(21)申请号202010196984.0G06K9/00(2006.01)(22)申请日2020.03.19(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人曹先彬罗晓燕肖泽昊(74)专利代理机构北京永创新实专利事务所11121代理人冀学军(51)Int.Cl.G06T7/11(2017.01)G06T5/50(2006.01)G06T3/60(2006.01)G06T3/40(2006.01)G06N3/04(2006.01)G06K9/46(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于多尺度信息融合网络的空基人群计数与密度估计方法(57)摘要本发明公开了一种基于多尺度信息融合网络的空基人群计数与密度估计方法，属于航空监视领域。首先针对某张待检测场景图，对图像进行在线采样的数据增广，并将每个像素进行归一化后，转换得到真实密度图。然后对真实密度图使用多尺度特征编码器进行特征提取与编码，得到五张特征图；将多尺度特征编码器于解码器级联，输入特征图进行解码并拼接融合，输出最终的特征图f。最后使用图像生成模块将解码拼接融合的最终特征图f转化为人群密度图；对人群密度图中每个像素点的值求积分得到人群的密度估计，将所有像素点的值相加求和，得到总人数计数。本发明保留了足够的空间信息，更加充分地融合多尺度信息，进而提升网络的性能。CN111429466ACN111429466A权利要求书1/2页1.一种基于多尺度信息融合网络的空基人群计数与密度估计方法，其特征在于，具体步骤包括：步骤一、针对某张待检测场景图，对图像进行在线采样的数据增广，并将每个像素进行归一化后，转换得到真实密度图；具体步骤如下：步骤101、以在线生成密度图的方法，将待检测场景图进行数据增广，得到尺寸均为H×W的图像；步骤102、对增广后的每张图像，将输入的每个像素数据X做((X-255)-0.5)/0.5的运算，将每个像素的值归一化到[-1,1]；步骤103、在尺寸为H×W的图像中随机采样一个ls×ls大小的子图像S，统计位于子图像S区域内的行人目标，将行人目标的坐标筛选出来组成集合O，筛除其他目标坐标；子图像S左上角顶点的坐标为(ws,hs)；步骤104、将子图像S缩放至lr×lr大小，作为训练的输入图像R；缩放可替换为在线的左右翻转或旋转；lr的取值根据显存占用量设定，为4的整数倍；步骤105、对集合O内的每一组坐标(xi,yi)分别进行坐标转换，得到各行人目标在子图像R中的相对坐标转换公式为：步骤106、利用转换后的相对坐标，得到与待检测场景图像对应的真实密度图；步骤二、对真实密度图使用多尺度特征编码器进行特征提取与编码，得到五张特征图；特征提取与编码的具体过程如下：在卷积神经网络中，编码器共包含9个级联的卷积模块，分别为第一个卷积模块到第九个卷积模块，除第一个卷积模块之外，将之后每两个卷积模块分为一组，得到第一组卷积模块到第四组卷积模块，共5个卷积阶段；第一个卷积模块与第一组卷积模块之后分别各连接一个池化层；首先，针对真实密度图，使用1×1的卷积层将该图的特征维压缩至原来的1/4，然后使用第一个卷积模块中的1×1，3×3，5×5，7×7四种普通卷积核分别处理该特征图，将四种普通卷积核分别输出的特征图进行拼接，得到第一特征图；然后，将第一特征图经过池化层后，使用1×1的卷积层将特征维压缩至原来的1/4，将第二组卷积模块中的一个卷积模块的1×1，3×3，5×5，7×7四种普通卷积核分别处理该特征图，将分别输出的特征图进行拼接，然后用另一个卷积模块中的1×1，3×3，5×5，7×7四种普通卷积核再次分别处理，将再次得到的输出图进行拼接，得到第二特征图；将第二特征图经过池化层后，再次使用1×1的卷积层将特征维压缩至原来的1/4，使用第三阶段的两个卷积组中的1×1，3×3，5×5，7×7八种空洞卷积核分别处理该特征图，得2CN111429466A权利要求书2/2页到第三特征图；将第三特征图使用1×1的卷积层将特征维压缩至原来的1/4，使用第四阶段的两个卷积组中的1×1，3×3，5×5，7×7八种空洞卷积核分别处理该特征图，得到第四特征图；将第四特征图使用1×1的卷积层将特征维压缩至原来的1/4，使用第五阶段的两个卷积组中的1×1，3×3，5×5，7×7八种空洞卷积核分别处理该特征图，得到第五特征图；步骤三、将多尺度特征编码器于解码器级联，输入特征图进行解码并拼接融合，输出最终的特征图f；具体过程如下：将第二特征图和第三特征图输入第一解码器，分别经过1×1的卷积层得到各自对应的特征图