一种基于多特征融合全卷积网络的多聚焦图像融合方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114529486A(43)申请公布日2022.05.24(21)申请号202210095100.1(22)申请日2022.01.26(71)申请人西安电子科技大学地址710071陕西省西安市太白南路2号(72)发明人周峰石晓然龚啸杨爽樊伟伟董洋珣刘磊(74)专利代理机构西安睿通知识产权代理事务所(特殊普通合伙)61218专利代理师惠文轩(51)Int.Cl.G06T5/50(2006.01)G06T5/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于多特征融合全卷积网络的多聚焦图像融合方法(57)摘要本发明涉及图像处理技术领域，具体涉及一种基于多特征融合全卷积网络的多聚焦图像融合方法。本发明弥补了传统图像融合方法中均是手动设计特征提取方法和融合规则的不足，使多聚焦图像融合后细节信息得到充分保留；利用不同模糊函数预处理的图像数据训练网络，提高了网络的泛化性能和融合精度；构建的多特征融合全卷积网络，利用跨层连接实现了特征复用，既保留了图像的原始特征，同时增添了网络学习的特征，使得图像表征更加全面；且减少了网络参数量，提高了算法效率。CN114529486ACN114529486A权利要求书1/2页1.一种基于多特征融合全卷积网络的多聚焦图像融合方法，其特征在于，包括以下步骤：步骤1，选取一个包含多张光学图像的光学图像集，对光学图像集的光学图像进行处理，获得样本集；步骤2，将样本集数据按比例划分为训练集与测试集；步骤3，将训练集数据输入多特征融合全卷积网络，计算输出的全聚焦图像与全聚焦标签图像的损失函数，并进行反向传播更新多特征融合全卷积网络，直至损失函数收敛，得到训练后的多特征融合全卷积网络；步骤4，将测试集数据输入训练后的多特征融合全卷积网络，对比输出的全聚焦图像和相对应的全聚焦标签图像，对比输出的全聚焦图像和相对应的待聚焦图像A、待聚焦图像B，验证多特征融合全卷积网络输出的全聚焦图的质量；步骤5，将需要融合的两张待聚焦图像输入训练后的多特征融合全卷积网络，得到融合后的全聚焦图像。2.根据权利要求1所述的基于多特征融合全卷积网络的多聚焦图像融合方法，其特征在于，步骤1的子步骤为：子步骤1.1，选取一个包含多张光学图像的光学图像集，对光学图像集中任一光学图像进行降采样处理，得到大小为128×128，通道数为3的RGB原始图像；子步骤1.2，使用图像模糊算法对RGB图像进行模糊处理，得到模糊图像；子步骤1.3，获取待聚焦图像；在模糊图像上的随机位置选取大小为48×48或64×64或90×90的子图a，使用子图a替换RGB图像上与子图a对应位置的像素，将替换后的RGB图像作为待聚焦图像A；在RGB图像上与子图a对应的位置选取大小与子图a相同的子图b，使用子图b替换模糊图像上与子图b对应位置的像素，将替换后的模糊图像作为待聚焦图像B；子步骤1.4，将RGB图像和与其对应的待聚焦图像A、待聚焦图像B作为一组数据；子步骤1.5，对光学图像集中所有光学图像进行子步骤1.1～1.4，将获得的全部组数据作为样本集。3.根据权利要求1所述的基于多特征融合全卷积网络的多聚焦图像融合方法，其特征在于，步骤3的将训练集数据输入多特征融合全卷积网络，具体的，每组数据的待聚焦图像A、待聚焦图像B作为输入，每组数据的RGB图像作为全聚焦标签图像。4.根据权利要求3所述的基于多特征融合全卷积网络的多聚焦图像融合方法，其特征在于，步骤3的多特征融合全卷积网络，具体的，多特征融合全卷积网络包含编码层、特征融合层、解码层和输出层；编码层包含依次连接的两个卷积层、一个拼接层和一个卷积层；待聚焦图像A作为编码层的第一路输入，待聚焦图像B作为编码层的第二路输入；编码层输出两路相对应的特征图；编码层的第一个卷积层的卷积核大小为3×3，卷积核个数为4，输出通道数为4的特征图；编码层的第二个卷积层的卷积核大小为3×3，卷积核个数为8，输出通道数为8的特征图；编码层的拼接层将输入图像与第二个卷积层输出的特征图在第四维上进行连接，输出通道数为11的特征图；编码层的第三个卷积层的卷积核的大小为3×3，卷积核个数为16，输2CN114529486A权利要求书2/2页出通道数为16的特征图；特征融合层包含依次连接的拼接层和两个卷积层；编码层输出的两路特征图作为特征融合层的两路输入，特征融合层输出一路融合特征后的特征图；特征融合层的拼接层将编码层第一路输出的特征图与编码层第二路输出的特征图进行拼接，输出通道数为32的特征图；特征融合层的第一个卷积层的卷积核大小为1×1，卷积核个数为16，输出通道数为16的特征图；特征融合层的第二个卷积层的卷积核大小为1×1，卷积核