图像修复方法、装置、电子设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908205A(43)申请公布日2023.04.04(21)申请号202310141997.1G06N3/047(2023.01)(22)申请日2023.02.21G06N3/08(2023.01)(71)申请人成都信息工程大学地址610225四川省成都市西南航空港经济开发区学府路1段24号(72)发明人王婷向东杨川梁佳莹马洪江(74)专利代理机构北京元本知识产权代理事务所(普通合伙)11308专利代理师曹广生(51)Int.Cl.G06T5/00(2006.01)G06T3/40(2006.01)G06N3/0455(2023.01)G06N3/0464(2023.01)权利要求书2页说明书9页附图4页(54)发明名称图像修复方法、装置、电子设备和存储介质(57)摘要本发明涉及图像处理技术领域，公开了图像修复方法、装置、电子设备和存储介质，利用局部卷积将第一待修复图像下采样到预设的分辨率大小，得到第二待修复图像，将第二待修复图像输入全局结构先验重建网络模型进行全局结构先验，输出粗略修复图像，将粗略修复图像输入纹理细节补充网络模型进行纹理细节补充，输出精细修复图像。基于Transformer网络和卷积神经网络联合优化，对图像进行修复，可得到与原图像近乎等同的高分辨率图像；解决了现有技术中图像重要信息和全局上下文细节丢失的技术问题。CN115908205ACN115908205A权利要求书1/2页1.图像修复方法，其特征在于，包括：利用局部卷积将第一待修复图像下采样到预设的分辨率大小，得到第二待修复图像，所述预设的分辨率大于等于128×128dpi；将所述第二待修复图像输入全局结构先验重建网络模型进行全局结构先验，输出粗略修复图像，所述全局结构先验重建网络模型是基于Transformer网络构建的；将所述粗略修复图像输入纹理细节补充网络模型进行纹理细节补充，输出精细修复图像，所述纹理细节补充网络模型是基于卷积神经网络构建的。2.如权利要求1所述的图像修复方法，其特征在于，所述全局结构先验重建网络模型包括卷积神经网络映射层、Transformer编码器层、图像恢复层和第一解码器；将所述第二待修复图像输入全局结构先验重建网络模型进行全局结构先验，输出粗略修复图像，包括：利用所述卷积神经网络映射层将所述第二待修复图像映射为二维序列，即第一二维序列；利用所述Transformer编码器层对所述第一二维序列进行自注意力计算，得到所述第一二维序列的第一自注意力得分，根据所述第一自注意力得分将图像全局特征建立起长距离依赖关系，得到新的二维序列，即第二二维序列；利用所述图像恢复层将所述第二二维序列恢复成图像格式，得到第三待修复图像；利用所述第一解码器对所述第三待修复图像进行上采样使其分辨率达到预设大小，得到粗略修复图像。3.如权利要求2所述的图像修复方法，其特征在于，利用所述卷积神经网络映射层将所述第二待修复图像映射为第一二维序列，包括：利用所述卷积神经网络映射层的卷积核提取所述第二待修复图像的可见信息，所述可见信息为所述第二待修复图像的可见区域的像素，所述可见区域为图像未受损区域；将所述可见信息映射为第一二维序列。4.如权利要求3所述的图像修复方法，其特征在于，利用所述Transformer编码器层对所述第一二维序列进行自注意力计算，得到所述第一二维序列的第一自注意力得分，包括：利用所述Transformer编码器层在每层嵌入可学习的位置编码，计算所述第一二维序列中每两个元素之间的成对相似度；利用遮挡区域的权重缩放所述成对相似度，得到掩码权重，所述遮挡区域为图像受损区域；根据所述成对相似度和所述掩码权重计算得到所述第一二维序列的第一自注意力得分。5.如权利要求4所述的图像修复方法，其特征在于，所述第一二维序列和所述第二二维序列的长度相同。6.如权利要求2所述的图像修复方法，其特征在于，所述纹理细节补充网络模型包括第一残差编码器、先验注意力层、第二残差编码器、感知注意力层和第二解码器；将所述粗略修复图像输入纹理细节补充网络模型进行纹理细节补充，输出精细修复图像，包括：利用所述第一残差编码器提取所述粗略修复图像的图像浅层特征，将所述粗略修复图像的受损区域与可见区域的像素进行区分，得到临时粗略修复图像；利用所述先验注意力层对所述临时粗略修复图像进行自注意力计算，得到第二自注意2CN115908205A权利要求书2/2页力得分，得到自注意力图像，并将所述自注意力图像复制为第一自注意力图像和第二自注意力图像，将所述第一自注意力图像输入所述第二残差编码器，将所述第二自注意力图像输入所述感知注意力层；利用所述第二残差编码器基于所述第二自注意力得分提取所述第二自注意力图像的图像深层特征；利