图像的盲增强方法及装置、电子设备、存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115409718A(43)申请公布日2022.11.29(21)申请号202110589470.6(22)申请日2021.05.28(71)申请人上海交通大学地址200030上海市徐汇区华山路1954号(72)发明人徐奕李一鸣王楠王明达张佼唐洋孙宝德(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463专利代理师钟扬飞(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)G06T11/40(2006.01)权利要求书2页说明书13页附图8页(54)发明名称图像的盲增强方法及装置、电子设备、存储介质(57)摘要本申请提供一种图像的盲增强方法及装置、电子设备、计算机可读存储介质，该方法包括：将目标图像输入已训练的残差特征提取网络，获得目标图像的残差特征；将目标图像输入已训练图像修复网络的编码器，获得目标图像的纹理特征和结构特征；通过图像修复网络的多尺度填充模块对纹理特征和结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征；将填充后纹理特征、填充后结构特征和残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征；将均衡融合特征、纹理特征和结构特征输入已训练图像修复网络的解码器，获得目标图像的盲增强图像。本申请方案，可以在不确定图像中噪声位置的情况下对图像进行修复。CN115409718ACN115409718A权利要求书1/2页1.一种图像的盲增强方法，其特征在于，包括：将目标图像输入已训练的残差特征提取网络，获得所述目标图像的残差特征；将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹理特征和结构特征；通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征；将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征；将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像。2.根据权利要求1所述的方法，其特征在于，所述编码器为已训练的基于U‑Net的图像修复网络的编码器；所述将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹理特征和结构特征，包括：将所述目标图像输入所述编码器，以由所述编码器对所述目标图像进行编码处理，获得多个浅层特征和多个深层特征；将所述浅层特征作为纹理特征，将所述深层特征作为结构特征。3.根据权利要求1所述的方法，其特征在于，所述多尺度填充模块包括第一多尺度填充模块和第二多尺度填充模块；所述通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征，包括：对多个纹理特征和多个结构特征分别进行融合处理，获得指定纹理特征和指定结构特征；将所述指定纹理特征输入所述第一多尺度填充模块，获得所述第一多尺度填充模块输出的多个填充后子纹理特征，并将所述多个填充后子纹理特征融合为填充后纹理特征；将所述指定结构特征输入所述第二多尺度填充模块，获得所述第二多尺度填充模块输出的多个填充后子结构特征，并将所述多个填充后子结构特征融合为填充后结构特征。4.根据权利要求1所述的方法，其特征在于，所述将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征，包括：将所述填充后纹理特征和所述填充后结构特征进行拼接，获得待均衡特征；将所述待均衡特征输入所述特征均衡模块，以由所述特征均衡模块对所述待均衡特征进行通道维度的均衡处理，获得中间特征图；通过所述特征均衡模块对所述中间特征图和所述残差特征进行空间维度的均衡处理，获得所述均衡融合特征。5.根据权利要求1所述的方法，其特征在于，所述解码器为已训练的基于U‑Net的图像修复网络的解码器；所述将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像，包括：2CN115409718A权利要求书2/2页将所述均衡融合特征、所述纹理特征和所述结构特征通过跳跃连接的方式输出至所述解码器的各个网络层，以由所述解码器输出所述目标图像的盲增强图像。6.根据权利要求1所述的方法，其特征在于，所述残差特征提取网络和所述图像修复网络通过如下方式训练得到：将第一样本数据集中的样本图像分别输入经过预训练的残差特征提取网络和未训练的图像修复网络，获得经过预训练的残差特征提取网络输出的样本残差特征、所述图像修复网络的编码器输出的样本纹理特征和样本结构特征、所述图像修复网络的解码器输出的预测增强图像；确定所述样本残差特征与所述