图像重建方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299180A(43)申请公布日2022.04.08(21)申请号202111637777.5(22)申请日2021.12.29(71)申请人苏州科达科技股份有限公司地址215011江苏省苏州市高新区金山路131号(72)发明人张艳丽李瑮毛晓蛟(74)专利代理机构苏州谨和知识产权代理事务所(特殊普通合伙)32295代理人叶栋(51)Int.Cl.G06T11/00(2006.01)G06T7/90(2017.01)G06T5/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书11页附图3页(54)发明名称图像重建方法、装置、设备及存储介质(57)摘要本申请属于数字图像处理领域，具体涉及一种图像重建方法、装置、设备及存储介质，其包括：获取预先训练的图像重建模型，图像重建模型中的第一网络分支用于基于第一图像数据生成初始重建图像；第二网络分支用于从第二图像数据中提取色彩矫正系数；输出层用于使用色彩矫正系数对初始重建图像进行调整；将第一图像数据和第二图像数据输入图像重建模型，得到重建图像；可以解决传统的图像重建模型不能恢复出在宽动态场景中暗区或者亮区采集的图像数据，导致图像重建效果不佳的问题；使用图像传感器采集到第一图像数据重建图像，可以保证重建图像不丧失明暗部分细节，同时使用第二图像数据提取色彩矫正系数进行色彩调整，可以提高重建图像的感观效果。CN114299180ACN114299180A权利要求书1/2页1.一种图像重建方法，其特征在于，所述方法包括：获取第一图像数据和第二图像数据，所述第一图像数据是指图像传感器输出的图像数据，所述第二图像数据是指对所述第一图像数据进行图像信号处理后得到的图像数据；获取预先训练的图像重建模型，所述图像重建模型包括第一网络分支、第二网络分支、以及分别与所述第一网络分支和所述第二网络分支相连的输出层；所述第一网络分支用于基于所述第一图像数据生成初始重建图像；所述第二网络分支用于从所述第二图像数据中提取色彩矫正系数；所述输出层用于使用所述色彩矫正系数对所述初始重建图像进行调整；将所述第一图像数据和所述第二图像数据输入所述图像重建模型，得到重建图像。2.根据权利要求1所述的方法，其特征在于，所述第二网络分支包括与所述输出层分别相连的第一网络子分支和第二网络子分支；所述第一网络子分支用于从所述第二图像数据中提取所述色彩矫正系数中的全局矫正系数，所述全局矫正系数用于对所述初始重建图像进行全局的白平衡矫正；所述第二网络子分支用于从所述第二图像数据中提取所述色彩矫正系数中的局部矫正系数，所述局部矫正系数用于对所述第初始重建图像进行局部的颜色矫正。3.根据权利要求2所述的方法，其特征在于，所述第一网络子分支依次包括卷积层、修正线性单元ReLU函数、全局平均池化层和非线性激活函数；所述第二网络子分支依次包括卷积层、ReLU函数和非线性激活函数。4.根据权利要求1所述的方法，其特征在于，所述获取预先训练的图像重建模型，包括：获取训练数据，所述训练数据包括：样本传感数据、所述样本传感数据对应的处理后数据、以及所述样本传感数据对应的标准图像；将所述样本传感数据和所述处理后数据输入预先创建的初始网络模型，得到第一训练结果；所述初始网络模型的模型结构与所述图像重建模型的模型结构相同；将所述第一训练结果和所述标准图像输入预设的损失函数，得到第一损失函数值；使用所述第一损失函数值对所述初始网络模型进行迭代训练，得到中间网络模型；基于所述处理后数据确定掩码权重；将所述样本传感数据和所述处理后数据输入所述中间网络模型，得到第二训练结果；将所述第二训练结果和所述标准图像输入预设的第一损失函数，得到第二损失函数值；确定所述第二损失函数值和所述掩码权重的乘积，得到第三损失函数值；使用所述第三损失函数值对所述中间网络模型进行迭代训练，得到所述图像重建模型。5.根据权利要求4所述的方法，其特征在于，所述获取训练数据，包括：获取在同一场景下采集的多张样本传感数据，不同样本传感数据的曝光不同；对每张样本传感数据进行图像信号处理，得到每张样本传感数据对应的处理后数据；对曝光不同的处理后数据进行图像融合，得到所述标准图像。6.根据权利要求4所述的方法，其特征在于，所述基于所述处理后数据确定掩码权重，包括：2CN114299180A权利要求书2/2页基于所述处理后数据的Y通道的像素值计算所述掩码权重。7.根据权利要求4所述的方法，其特征在于，所述损失函数包括第一损失函数、第二损失函数和第三损失函数；所述第一损失函数用于计算训练结果和所述标准图像之间像素值的差异。所述第二损失函数用于缩小所述训练结果与所述标准图像间视觉感知的差异。所述第三损失函数