一种基于融合退化先验的盲图像超分辨率重建方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972036A(43)申请公布日2022.08.30(21)申请号202210657948.9(22)申请日2022.06.10(71)申请人上海交通大学地址200240上海市闵行区东川路800号(72)发明人张小云付裕张娅王延峰(74)专利代理机构上海恒慧知识产权代理事务所(特殊普通合伙)31317专利代理师徐红银张琳(51)Int.Cl.G06T3/40(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书8页附图1页(54)发明名称一种基于融合退化先验的盲图像超分辨率重建方法和系统(57)摘要本发明提供一种基于融合退化先验的核反卷积盲图像超分辨率重建网络；低分辨率图像输入所述上采样网络，重建出满足原始模糊核约束的高分辨率尺度的过渡图像；将所述过渡图像和所述原始模糊核输入所述反卷积网络，实现高分辨率图像的重建。本发明通过引入退化建模的方式，将盲图像超分辨率重建解耦，并将完整原始模糊核显式引入重建过程中，避免了由于引入预生成的模糊核降维手段而带来的模糊核信息丢失，以及面对未知退化核而带来的泛化性问题，端到端的实现了盲图像超分辨率重建。CN114972036ACN114972036A权利要求书1/3页1.一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，包括：将盲图像超分辨率重建任务解耦成上采样网络和反卷积网络；低分辨率图像输入所述上采样网络，重建出满足原始模糊核约束的高分辨率尺度的过渡图像；将所述过渡图像和所述原始模糊核输入所述反卷积网络，实现高分辨率图像的重建。2.根据权利要求1所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，所述低分辨率图像输入所述上采样网络，重建出满足原始模糊核约束的高分辨率尺度的过渡图像，包括：低分辨率图像输入所述上采样网络；对所述低分辨率图像进行特征提取和映射，获得低分辨率图像特征；将所述低分辨率图像特征进行尺度变换并映射回图像域；生成高分辨率尺度过渡图像。3.根据权利要求2所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征H在于，所述低分辨率图像输入所述上采样网络，其中：仅以sRGB空间的低分辨率图像ILR∈R×W×3作为所述上采样网络的输入，其中H,W为输入图像尺寸；所述对所述低分辨率图像进行特征提取和映射，其中，使用卷积网络对输入图像进行特征提取；所述将所述低分辨率图像特征进行尺度变换，其中，使用特征通道变换将输出图像尺寸进行提升；所述生成高分辨率尺度过渡图像，其中，输出满足模糊核约束的高分辨率尺度过渡图sH×sW×3像ISRBlur∈R，其中s为分辨率提升的尺度，表示为4.根据权利要求1所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，将所述过渡图像和所述原始模糊核输入所述反卷积网络，实现高分辨率图像的重建，包括：对上采样网络输出的高分辨率尺度过渡图经过卷积神经网络提取图像特征；对所述图像特征和所述原始模糊核分别进行傅里叶变换，从特征区到频域，对应得到特征图频域特征和模糊核频域特征；将所述特征图频域特征和所述模糊核频域特征分别进行变换；在频域使用变换后的模糊核频域特征对变换后的特征图频域特征进行滤波和校正；重建出对应高分辨率清晰图像。5.根据权利要求4所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，所述重建出对应高分辨率清晰图像，包括：对于滤波和校正后的图像特征，采用傅里叶反变换回到空间域；使用卷积网络进行特征映射，实现最终的高分辨清晰图像的重建。6.根据权利要求4所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，所述将过渡图像和所述原始模糊核输入所述反卷积网络，实现高分辨率图像的重建，包括：m×m以所述上采样网络输出的过渡图像ISRBlur以及原始模糊核k∈R为输入，其中m表示模2CN114972036A权利要求书2/3页糊核窗函数尺度，通过反卷积网络完成对于卷积作用的去除，生成最终的高分辨率清晰sH×sW×3图像ISR∈R，表示为7.根据权利要求5所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，所述对上采样网络输出的高分辨率尺度过渡图经过卷积神经网络提取图像特征，其中：在反卷积网络中，所述卷积神经网络对输入的过渡图像进行特征提取得到其对应的特sH×sW征为fi∈R,N表示需要使用的特征数量；所述对图像特征和原始模糊核分别进行傅里叶变换，从特征域到频域，对应得到特征图频域特征和模糊核频域特征，其中：提取的特征和所述原始模糊核k∈Rm×m分别进入频域反卷积模块KFFC，使用傅里叶变换将特征与对应的模糊核变换到频域，得到特征图频域特征和模糊核频域特征将所述特征图频域特征和所述模糊核频