一种基于深度学习的偏振图像超分辨率重建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115841420A(43)申请公布日2023.03.24(21)申请号202211403929.X(22)申请日2022.11.10(71)申请人天津大学地址300072天津市南开区卫津路92号(72)发明人胡浩丰杨世瑶李校博翟京生(74)专利代理机构天津市北洋有限责任专利代理事务所12201专利代理师刘子文(51)Int.Cl.G06T3/40(2006.01)G06V10/774(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)G06N3/08(2023.01)权利要求书2页说明书8页附图6页(54)发明名称一种基于深度学习的偏振图像超分辨率重建方法(57)摘要本发明公开一种基于深度学习的偏振图像超分辨率重建方法，可用于由低分辨率偏振图像重建出相应的高分辨率偏振图像。该方法包括：基于偏振相机采集高分辨率偏振图像，并进行预处理得到低分辨率偏振图像，制作数据集；通过浅层卷积神经网络融合特征信息；通过残差密集模块进行密集融合特征；利用升尺度模块将图像特征通道数放大到对应放大因子的倍数；通过输出模块得到超分辨率偏振图像；利用偏振感知与像素混合损失函数对神经网络进行优化。该方法基于深度学习卷积神经网络，构建了超分辨率重建神经网络模型，使用偏振感知与像素混合损失函数对神经网络进行训练优化，可将低分辨率偏振图像重建得到超分辨率偏振图像。CN115841420ACN115841420A权利要求书1/2页1.一种基于深度学习的偏振图像超分辨率重建方法，其特征在于，包括以下步骤：S1.使用偏振相机拍摄得到单通道高分辨率的偏振图像A，对采集偏振图像A进行预处理，并构建数据集，将数据集按比例划分为训练集、测试集、验证集；S2.搭建神经网络模型，并设置偏振感知与像素混合损失函数，利用数据集中的偏振特征信息和偏振像素信息；S3.将数据集输入所述神经网络模型进行网络训练，得到超分辨率重建神经网络模型；S4.使用超分辨率重建神经网络模型对测试集进行测试，从超分辨率重建神经网络模型的输出层得到预先设置好放大因子的输出偏振图像。2.根据权利要求书1所述的基于深度学习的偏振图像超分辨率重建方法，其特征在于，步骤S1中预处理过程如下，先将每一张偏振图像A按偏振方向拆分为四个子图，并合并成具有四个通道的高分辨率偏振图像B，通过裁剪使偏振图像B的长和宽都能被放大因子整除，再使用双立方插值降采样将偏振图像B缩小固定倍数得到四通道低分辨率的偏振图像C，最后将偏振图像C裁剪为32×32大小的图像块，对应4倍放大因子的偏振图像B裁剪为128×128大小的图像块，对应3倍放大因子的偏振图像B裁剪为96×96大小的图像块，将偏振图像B的图像块与偏振图像C的图像块作为图像对，构成数据集。3.根据权利要求书1所述的基于深度学习的偏振图像超分辨率重建方法，其特征在于，所述神经网络模型包括：浅层特征提取模块，包括两层卷积层，第一层卷积层由64个3×3的卷积核构成，第二层卷积层同样由64个3×3的卷积核构成；16个残差密集模块，每个残差密集模块依次由3×3卷积层、线性修正单元ReLU函数、用于特征融合的连结层和1×1卷积层组成，每个残差密集模块中各层之间采用密集连接的方式进行特征组合，最终将每个残差密集模块前的输入与经过对应残差密集模块后的输出相加得到局部残差连接结果；全局特征融合模块，依次包括用于特征融合的连结层、1×1卷积层和3×3卷积层；用于特征融合的连结层和1×1卷积层将从若干个残差密集模块中输出的所有特征进行融合，3×3卷积层进一步对融合结果进行特征提取；全局残差学习模块，将浅层特征提取模块的第一层卷积层的输出与全局特征融合模块的输出相加，采用短路连接实现全局残差学习；升尺度模块，包括5×5卷积层和3×3卷积层，能够将得到的粗分辨率特征升尺度到细分辨率特征，将特征信息的通道数放大到对应放大因子的倍数；输出模块，包括亚像素卷积层和3×3卷积层，亚像素卷积层将特征信息的长和宽放大到对应放大因子的倍数，最后的3×3卷积层用于重构得到四通道高分辨率的偏振图像，得到最终的输出超分辨率偏振图像。4.根据权利要求书2所述的基于深度学习的偏振图像超分辨率重建方法，其特征在于，步骤S3中训练神经网络模型的步骤如下：首先将偏振图像C输入神经网络模型，使用浅层特征提取模块对四个偏振方向的偏振图像C进行特征提取融合，并将获得的特征信息传输到残差密集模块中，输出不同层次的特征信息；在全局特征融合模块对输出的不同层次的特征信息进行特征融合，并对融合后的特征再进行特征提取；在全局残差学习模块将得到的特征信息与浅层特征提取模块输出的2CN115841420A权利要求书2/2页特征信息相加得到低分辨率空间