一种基于无监督深度学习网络的高动态图像融合方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115272149A(43)申请公布日2022.11.01(21)申请号202210920331.1(22)申请日2022.08.02(71)申请人常州工学院地址213000江苏省常州市辽河路666号(72)发明人周培培侯幸林(74)专利代理机构常州市华信天成专利代理事务所(普通合伙)32294专利代理师姚紫薇(51)Int.Cl.G06T5/50(2006.01)G06T5/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书4页附图1页(54)发明名称一种基于无监督深度学习网络的高动态图像融合方法(57)摘要本发明涉及图像处理技术技术领域，尤其涉及一种基于无监督深度学习网络的高动态图像融合方法，包括以下操作步骤：S1、编码器设计：选择经典深度网络结构的主体部分，去除网络最后的全连接层与分类层，保留剩余部分作为编码器的网络结构；S2、解码器设计：根据编码器网络，设计一一对应的对称网络；S3、权值图设计：对解码器网络的输出经过全连接层与分类层，得到与输入图像大小一致的权值图像，用于输入图像的加权求和；S4、训练与测试。本发明无需标注训练集样本，能够实现无监督学习，并且可以消除块效应、光晕伪影等传统方法带来的问题，算法鲁棒性强，融合效果好，可极大提升高动态场景下多曝光融合的图像质量。CN115272149ACN115272149A权利要求书1/2页1.一种基于无监督深度学习网络的高动态图像融合方法，其特征在于，包括以下操作步骤：S1、编码器设计：选择经典深度网络结构的主体部分，去除网络最后的全连接层与分类层，保留剩余部分作为编码器的网络结构；S2、解码器设计：根据编码器网络，设计一一对应的对称网络，其中，编码器网络的池化层在下采样过程中，保留最大池化的索引，用于解码器网络的上采样；S3、权值图设计：对解码器网络的输出经过全连接层与分类层，得到与输入图像大小一致的权值图像，用于输入图像的加权求和；S4、训练与测试：无监督深度学习网络涉及到训练与测试两个环节，其中，训练环节需要设计目标函数与损失函数，用于实现无监督学习，从而基于训练后的网络参数，对多曝光图像进行图像融合，可以得到高动态场景的清晰、高质量的高动态图像。2.根据权利要求1所述的一种基于无监督深度学习网络的高动态图像融合方法，其特征在于，所述S4中的目标函数设计，是为了使网络能够在无标注数据的前提下进行无监督学习，令融合结果向融合结果最优的方向收敛是目标函数设计的根本任务，选用能够衡量融合图像F与输入图像f1和f2的图像信息丰富度的指标作为目标函数设计的重点候选对象，目标函数设计如下：其中，S(x,y,w)为图像x和图像y在窗口w内的图像信息相似度，以结构相似度与图像余弦量衡量指标为例，S(x,y,w)定义为：其中，C1、C2、a和b均为经验值，初值分别设置为10‑4、10‑3、0.5、0.5，根据网络的表现可进行适度调整；αw表示根据单幅图像局部信息丰富程度设计的权值系数，单幅图像局部信息丰富程度可以采用多种衡量方式，以不同曝光下两幅图像中对应区域的平均梯度为例来设计，平均梯度越大，所对应图像区域的权值就越大：图像的梯度Gave(w)采用窗口w内的平均梯度：h⊥和h‖为对图像f进行梯度计算的两种梯度算子，为了避免出现奇点，设计g(x)＝max(x,c)，其中c为一个很小的正值，如10‑5。3.根据权利要求1所述的一种基于无监督深度学习网络的高动态图像融合方法，其特2CN115272149A权利要求书2/2页征在于，所述S4中的损失函数设计，是训练过程中，损失函数在目标函数收敛的过程能够尽量趋于0，设计如下：其中，N代表一个整数，当取RGB三通道均值、取5种图像窗口时，N＝15。4.根据权利要求1所述的一种基于无监督深度学习网络的高动态图像融合方法，其特征在于，所述S4中的训练与测试的过程，训练过程：设计合适的学习率初值与衰减率，设定合适的训练终止条件，从而得到一个高动态图像融合网络；测试过程：通过对多曝光图像进行批量测试，可以得到多曝光图像融合后的高动态图像。3CN115272149A说明书1/4页一种基于无监督深度学习网络的高动态图像融合方法技术领域[0001]本发明涉及针对多曝光图像的图像融合领域，尤其针对高动态场景下的多曝光图像融合问题，公开了一种基于无监督深度学习网络的高动态图像融合方法。背景技术[0002]高动态场景广泛存在于自然界与人类社会活动中，然而，由于相机的动态范围较小，单次曝光往往无法表达高动态场景，因此，对高动态场景的清晰表达是目前图像融合的热点之一。传统的图像融合方法极大依赖于研究人员的算法设计经验，容易带来块效应、光晕伪影等