图像超分辨率处理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113674143A(43)申请公布日2021.11.19(21)申请号202010403330.0(22)申请日2020.05.13(71)申请人深圳市中兴微电子技术有限公司地址518055广东省深圳市南山区西丽街道留仙大道中兴工业园(72)发明人孔德辉刘衡祁徐科杨维宋剑军朱方(74)专利代理机构北京品源专利代理有限公司11332代理人潘登(51)Int.Cl.G06T3/40(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图4页(54)发明名称图像超分辨率处理方法、装置、设备及存储介质(57)摘要本申请提出一种图像超分辨率处理方法、装置、设备及存储介质，图像超分辨率处理包括：获取待处理图像；通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。CN113674143ACN113674143A权利要求书1/2页1.一种图像超分辨率处理方法，其特征在于，包括：获取待处理图像；通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同。2.根据权利要求1所述的方法，其特征在于，通过目标图像样本集迭代训练金字塔神经网络模型包括：建立金字塔神经网络模型；将所述目标样本集中的低分辨率图像输入所述金字塔神经网络得到预测图像；根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数，其中，所述目标函数包括函数L2+αL1、函数L1+θLP以及函数L2+μL1+βLP中的一种或多种，其中，L2为L2范数，L1为L1范数，LP为LP范数，α、θ、μ、β为正则化因子的权重；返回执行将所述目标样本集中的低分辨率图像输入所述金字塔神经网络得到预测图像的操作，直至得到目标神经网络模型。3.根据权利要求2所述的方法，其特征在于，根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数包括：基于目标函数L2+αL1和设置为第一数值的学习率，训练所述金字塔神经网络的参数；在目标函数输出值的下降数值小于第二数据后，基于目标函数L1+θLP，和设置为第二数值的学习率，继续训练所述金字塔神经网络的参数，其中，所述第二数值小于所述第一数值，α和θ随着学习率的减小而增大。4.根据权利要求2所述的方法，其特征在于，根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数训练所述金字塔神经网络的参数包括：根据所述预测图像和所述低分辨率图像对应的高分辨率图像形成的目标函数L2+μL1+βLP训练所述金字塔神经网络的参数；在每轮训练中，或者，在两轮训练之间，调整μ和β，进而实现对全局最优的逼近。5.根据权利要求1所述的方法，其特征在于，所述样本信息含量包括：图像样本的梯度信息，或者，图像样本内的方差。6.根据权利要求1所述的方法，其特征在于，所述样本信息含量为：PIC＝||max(abs(Sobel(ai[x,y,w,h])))||1，其中，PIC表示样本信息含量，x，y分别表示选取的图像样本起始点的横坐标和纵坐标，w，h表示选取的图像样本的宽和高，ai为图像样本。7.根据权利要求1所述的方法，其特征在于，所述样本信息含量为：PIC＝||max(abs(Var(ai[x,y,w,h])))||1，其中，PIC表示样本信息含量，x，y分别表示选取的图像样本起始点的横坐标和纵坐标，w，h表示选取的图像样本的宽和高，ai为图像样本。8.根据权利要求1所述的方法，其特征在于，所述目标图像样本根据样本信息含量区间过滤原始图像样本得到，各样本信息含量区间的图像样本数量相同包括：将目标图像样本集对应的样本信息含量空间进行划分，得到至少两个样本信息含量区2CN113674143A权利要求书2/2页间，各样本信息含量区间对应的信息含量范围不同，其中，各样本信息含量区间包含目标数量的图像样本；获取图像样本的信息含量；根据所述图像样本的信息含量确定对应的样本信息含量区间；若所述样本信息含量区间内的样本数量小于目标数量，则将所述图像样本确定为目标图像样本。9.一种图像超分辨率处理装置，其特征在于，包括：获取模块，用于获取待处理图像；处理模块，用于通过目标神经网络模型对所述待处理图像进行超分辨率处理，所述目标神经网络模型通过目标图像样本集迭代训练金字塔神经网络模型得到，所述目标图像样本根