图像超分辨率.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113674146A(43)申请公布日2021.11.19(21)申请号202010414770.6(22)申请日2020.05.15(71)申请人微软技术许可有限责任公司地址美国华盛顿州(72)发明人杨欢傅建龙郭百宁(74)专利代理机构北京市金杜律师事务所11256代理人黄倩(51)Int.Cl.G06T3/40(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书18页附图5页(54)发明名称图像超分辨率(57)摘要根据本公开的实现，提出了一种用于图像处理的方案。在该方案中，第一信息和第二信息基于输入图像和参考图像的纹理特征被确定。第一信息至少指示参考图像中按照纹理特征与输入图像中的第一像素块最相关的第二像素块，并且第二信息至少指示第一像素块与第二像素块的相关度。具有目标分辨率的迁移特征图基于该第一信息和参考图像被确定。该迁移特征图包括与第一像素块相对应的特征块并且该特征块包括第二像素块的纹理特征。输入图像基于该迁移特征图和该第二信息被变换成具有目标分辨率的输出图像。该输出图像体现参考图像的纹理特征。以此方式，该方案能够高效且准确地迁移参考图像的纹理，并且获得更清晰、真实的图像变换结果。CN113674146ACN113674146A权利要求书1/4页1.一种计算机实现的方法，包括：基于输入图像和参考图像的纹理特征来确定第一信息和第二信息，所述第一信息至少指示所述参考图像中按照纹理特征与所述输入图像中的第一像素块最相关的第二像素块，并且所述第二信息至少指示所述第一像素块与所述第二像素块的相关度；基于所述第一信息和所述参考图像，确定具有目标分辨率的迁移特征图，所述迁移特征图包括与所述第一像素块相对应的特征块并且所述特征块包括所述第二像素块的纹理特征；以及基于所述迁移特征图和所述第二信息，将所述输入图像变换成具有所述目标分辨率的输出图像，所述输出图像体现所述参考图像的纹理特征。2.根据权利要求1所述的方法，其中确定所述第一信息和所述第二信息包括：通过将所述参考图像和所述输入图像应用到经训练的第一神经网络，生成表示所述输入图像的纹理特征的第一特征图和表示所述参考图像的纹理特征的第二特征图；以及基于所述第一特征图和所述第二特征图，确定所述第一信息和所述第二信息。3.根据权利要求2所述的方法，其中确定所述第一信息和所述第二信息包括：针对所述第一特征图中与所述第一像素块相对应的第一特征块，确定所述第一特征块与所述第二特征图中的多个特征块的相关度；从所述多个特征块中选择与所述第一特征块的所述相关度最高的第二特征块；基于所述第一像素块和所述参考图像中与所述第二特征块相对应的所述第二像素块，确定所述第一信息；以及基于所述第二特征块与所述第一特征块的所述相关度，确定所述第二信息。4.根据权利要求2所述的方法，其中将所述参考图像和所述输入图像应用到所述第一神经网络包括：通过以预定因子对所述输入图像进行上采样，来预处理所述输入图像；通过以所述预定因子对所述参考图像顺序进行下采样和上采样，来预处理所述参考图像；以及将经预处理的所述输入图像和经预处理的所述参考图像应用到所述第一神经网络。5.根据权利要求1所述的方法，其中将所述输入图像变换成所述输出图像包括：获得针对所述输入图像的具有第一分辨率的第一合成特征图，所述第一分辨率低于所述目标分辨率，并且所述第一合成特征图包括所述输入图像的图像特征和从所述参考图像迁移的纹理特征；将所述第一合成特征图变换到所述目标分辨率；基于所述第二信息、所述迁移特征图和经变换的所述第一合成特征图，生成针对所述输入图像的具有所述目标分辨率的第二合成特征图；以及基于所述第二合成特征图，确定所述输出图像。6.根据权利要求5所述的方法，其中基于所述第二合成特征图确定所述输出图像包括：将所述第二合成特征图和经变换的所述第一合成特征图组合成具有所述目标分辨率的第三合成特征图；将所述第二合成特征图变换到所述第一分辨率；将所述第一合成特征图和经变换的所述第二合成特征图组合成具有所述第一分辨率2CN113674146A权利要求书2/4页的第四合成特征图；以及基于所述第三合成特征图和所述第四合成特征图，确定所述输出图像。7.根据权利要求5所述的方法，其中所述输入图像具有比所述第一分辨率低的第二分辨率，并且获得所述第一合成特征图包括：利用第二神经网络提取所述输入图像的所述图像特征；基于所述第一信息、所述第二信息和所述图像特征，生成针对所述输入图像的具有所述第二分辨率的第五合成特征图，所述第五合成特征图包括从所述参考图像迁移的纹理特征；将所述第五合成特征图变换到所述第一分辨率；以及基于经变换的所述第五合成特征图，确定所