图像超分辨率模型训练方法和图像重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113870116A(43)申请公布日2021.12.31(21)申请号202111217649.5(22)申请日2021.10.19(71)申请人北京大觥科技有限公司地址100000北京市朝阳区建国门外大街1号，国贸大厦A座1601(72)发明人李昊(74)专利代理机构北京太合九思知识产权代理有限公司11610代理人刘戈孙明子(51)Int.Cl.G06T3/40(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图5页(54)发明名称图像超分辨率模型训练方法和图像重建方法(57)摘要本发明实施例提供一种图像超分辨率模型训练方法和图像重建方法，该方法包括：获取第一图像以及对第一图像进行分辨率降低处理后得到的第二图像；通过超分辨率模型对第二图像进行重建，以得到第三图像；其中，第三图像的分辨率和第二图像的分辨率匹配；通过与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，对第三图像进行向显示屏的像素映射处理，以得到第四图像；根据第四图像和第一图像，确定感知损失函数；根据感知损失函数，对超分辨率模型进行模型训练。应用本方案的模型训练方法训练得到的超分辨率模型，对图像进行重建，在具有目标子像素排列结构的显示屏上显示时，有更好的清晰度和纹理质感，能够提升图像的视觉效果。CN113870116ACN113870116A权利要求书1/2页1.一种图像超分辨率模型训练方法，其特征在于，包括：获取第一图像以及对所述第一图像进行分辨率降低处理后得到的第二图像；通过超分辨率模型对所述第二图像进行重建，以得到第三图像；其中，所述第三图像的分辨率和所述第二图像的分辨率匹配；通过与具有目标子像素排列结构的显示屏相对应的子像素排列模拟器，对所述第三图像进行向所述显示屏的像素映射处理，以得到第四图像；根据所述第四图像和所述第一图像，确定感知损失函数；根据所述感知损失函数，对所述超分辨率模型进行模型训练。2.根据权利要求1所述的方法，其特征在于，所述第三图像的分辨率和所述第二图像的分辨率匹配，包括：所述第三图像的分辨率是所述第二图像的分辨率的预设倍数，所述预设倍数大于或等于1。3.根据权利要求2所述的方法，其特征在于，所述预设倍数的不同取值用于训练不同的超分辨率模型。4.根据权利要求1所述的方法，其特征在于，所述对所述第三图像进行向所述显示屏的像素映射处理，包括：根据所述目标子像素排列结构，确定与所述第三图像中的目标像素对应的像素矩阵，所述像素矩阵由多个像素构成，所述目标像素是所述第三图像中的任一个像素；根据所述目标像素中各子像素的取值，确定所述像素矩阵中各个像素的像素值。5.根据权利要求4所述的方法，其特征在于，所述目标子像素排列结构为RGB结构，所述对所述第三图像进行向所述显示屏的像素映射处理，包括：根据所述目标子像素排列结构，确定与所述第三图像中的目标像素对应的第一像素矩阵，所述第一像素矩阵由3*3个像素构成；分别根据所述目标像素中R、G、B三个子像素的取值，确定所述第一像素矩阵中各列像素的像素值，其中，同一列像素的像素值相同。6.根据权利要求4所述的方法，其特征在于，所述目标子像素排列结构为RGBW结构，所述对所述第三图像进行向所述显示屏的像素映射处理，包括：根据所述目标子像素排列结构，确定与所述第三图像中的目标像素对应的第二像素矩阵，所述第二像素矩阵由2*2个像素构成；分别根据所述目标像素中R、G、B、W四个子像素的取值，确定所述第二像素矩阵中各个像素的像素值。7.一种图像重建方法，其特征在于，包括：获取第一目标图像，以及所述第一目标图像对应的目标显示屏的参数信息；确定与所述目标显示屏的参数信息对应的超分辨率模型；通过所述超分辨率模型对所述第一目标图像进行重建，以得到第二目标图像；其中，所述第一目标图像的分辨率与所述第二目标图像的分辨率匹配；所述超分辨率模型是采用权利要求1‑6中任一项所述的图像超分辨率模型训练方法训练得到的；在所述目标显示屏中显示所述第二目标图像。8.根据权利要求7所述的方法，其特征在于，所述参数信息包括所述目标显示屏的子像2CN113870116A权利要求书2/2页素排列结构和分辨率。9.根据权利要求8所述的方法，其特征在于，所述确定与所述目标显示屏的参数信息对应的超分辨率模型，包括：确定所述目标显示屏的分辨率与所述第一目标图像的分辨率的比值；确定与所述比值和所述子像素排列结构对应的超分辨率模型。10.一种电子设备，其特征在于，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1‑6中任一项所述的图像超分辨