一种基于超分辨率多尺度特征融合的小目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241274A(43)申请公布日2022.03.25(21)申请号202111473712.1(22)申请日2021.11.30(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人徐洁叶娅兰刘紫奇(74)专利代理机构电子科技大学专利中心51203代理人周刘英(51)Int.Cl.G06V10/80(2022.01)G06V10/774(2022.01)G06K9/62(2022.01)权利要求书2页说明书8页附图2页(54)发明名称一种基于超分辨率多尺度特征融合的小目标检测方法(57)摘要本发明公开了一种基于超分辨率多尺度特征融合的小目标检测方法，属于图像处理技术领域。本发明将待识别的低分辨率图像输入特征提取器获取第一特征图，对低分辨率图像进行数据增强处理再与噪声扰动叠加后输入生成器得到叠加量；第一特征图和叠加量的叠加结果作为第一重构特征并输入解码器获取不同尺寸的第二重构特征并输入特征融合网络；特征融合网络将所有第二重构特征上采样到相同的尺寸进行叠加，得到第三重构特征并输入图像目标检测网络；基于图像目标检测网络的输出得到小目标的类别及其检测框位置。本发明在进行小目标检测的同时达到训练时间短、快速推理快和精度高的效果，并且具有行业领先的小目标检测效果。CN114241274ACN114241274A权利要求书1/2页1.一种基于超分辨率多尺度特征融合的小目标检测方法，其特征在于，包括下列步骤：网络模型配置及训练步骤：采集高低分辨率图像对作为训练图像，得到训练图像集；配置网络模型，包括：用于高分辨图像的编码器‑解码器网络、低分辨率图像的特征提取器GL、生成器G、特征融合网络和图像目标检测网络；所述编码器‑解码器网络中的编码器部分记为编码器GH，解码器部分记为解码器DH，所述编码器GH包括多个卷积层和池化层，为卷积层和池化层的交替结构；所述解码器DH包括多个反卷积层，所述反卷积层与编码器GH的卷积层数量对应且特征维度和尺寸对应；将高低分辨率图像对中的低分辨率图LR像输入特征提取器GL，基于特征提取器GL的输出得到特征fL；并将高低分辨率图像对中的高分辨率图像HR输入编码器GH，基于其输出得到特征fH；所述编码器‑解码器网络训练时采用的损失函数为：其中，HR′表示解码器DH的输出；所述特征提取器GL包括多层特征提取块，所述特征提取块由多尺度特征融合网络和局部残差学习组成；所述生成器G的输入为：对低分辨率图像LR进行数据增强处理得到图像LR′，将图像LR′与随机生成的噪声扰动的叠加作为生成器G的输入；所述生成器G的输出记为叠加量p，且所述生成器G训练时采用的损失函数为：Lp＝||p||；所述生成器G的输出与特征提取器GL的输出叠加后得到第一重构特征并输入解码器DH，解码器DH的各反卷积层的输出作为特征融合网络的输入，所述特征融合网络用于将输入的不同尺寸的特征图上采样到相同的尺寸并叠加，再将叠加结果输入图像目标检测网络；所述图像目标检测网络包括分类分支和定位分支，且所述图像目标检测网络的分类分支在进行目标分类处理时，基于注意力机制进行目标分类；所配置的网络模型训练时采用的总损失为：L＝λLr+μLloc+ηLreg，其中，Lr表示超分辨重构损失，且Lr＝Lrc1+Lrc2+Lp，Lrc2表示第一重构损失，为：Lloc、Lreg分别表示图像目标检测网络的分类分支的分类损失和定位分支的定位损失，λ、μ、η分别为损失Lr、Lloc和Lreg的权重因子；待识别的低分辨率图像的检测步骤：将待识别的低分辨率图像输入特征提取器GL，基于特征提取器GL的输出得到待识别的低分辨率图像的第一特征图；对低分辨率图像进行数据增强处理后，再与随机生成的噪声扰动叠加后输入生成器G，基于生成器G的输出得到叠加量；将第一特征图和叠加量的叠加结果作为待识别的低分辨率图像的第一重构特征；将第一重构特征输入解码器DH，基于解码器DH的每一反卷积层的输出生成不同尺寸的第二重构特征并输入特征融合网络；所述特征融合网络将所有第二重构特征上采样到相同的尺寸进行叠加，得到第三重构特征并输入图像目标检测网络；基于图像目标检测网络的输出得到小目标的类别及其检测框位置。2.如权利要求1所述的方法，其特征在于，所述特征提取器GL的特征提取块的网络结构2CN114241274A权利要求书2/2页包括两条并行的支路，其中一条支路包括依次连接的两层第一卷积块，所述第一卷积块包括依次连接的卷积核为5×5的卷积层和ReLU层，另一条支路包括依次连接的两层第二卷积块，所述第二卷积块包括依次连接的卷积核为3×3的卷积层和ReLU层，且第一个第一卷积块的输出还接入第二个第二卷积块