图像重建方法、电子设备、存储介质及程序产品.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114581316A(43)申请公布日2022.06.03(21)申请号202210035539.5(22)申请日2022.01.13(71)申请人北京旷视科技有限公司地址100080北京市海淀区中关村大街1号10层1018室申请人北京迈格威科技有限公司(72)发明人刘震刘帅成(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481专利代理师徐丁峰戴亚南(51)Int.Cl.G06T5/00(2006.01)G06T7/50(2017.01)权利要求书2页说明书13页附图4页(54)发明名称图像重建方法、电子设备、存储介质及程序产品(57)摘要本发明实施例提供一种图像重建方法、电子设备、计算机可读存储介质及计算机程序产品。方法包括：获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是低动态范围图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得；将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是高动态范围图像。这种方式可以有效解决HDR图像重建时的鬼影问题。CN114581316ACN114581316A权利要求书1/2页1.一种图像重建方法，包括：获取与多个待处理图像一一对应的多个伽马校正图像，所述待处理图像是低动态范围图像，所述多个伽马校正图像通过对所述多个待处理图像进行伽马校正获得；将所述多个伽马校正图像输入所述重建网络模型中的可变形对齐模块，以获得与所述多个待处理图像一一对应的对齐特征；将所述对齐特征输入所述重建网络模型中的融合模块，以获得重建图像，所述重建图像是高动态范围图像。2.如权利要求1所述的方法，其中，所述重建网络模型还包括空间注意力模块，所述方法还包括：获取所述多个待处理图像；将所述多个待处理图像输入所述空间注意力模块，以获得与所述多个待处理图像一一对应的注意力特征；所述将所述对齐特征输入所述重建网络模型中的融合模块，以获得重建图像包括：将所述对齐特征与所述注意力特征一起输入所述融合模块，以获得所述重建图像。3.如权利要求1或2所述的方法，其中，所述将所述多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与所述多个待处理图像一一对应的对齐特征包括：在所述可变形对齐模块中，执行以下操作：对所述多个伽马校正图像分别进行特征提取，以获得与所述多个待处理图像一一对应的图像特征；对于任一非参考图像，将与参考图像对应的图像特征和与该非参考图像对应的图像特征进行拼接，以获得拼接特征，其中，所述参考图像是所述多个待处理图像之一，所述非参考图像是所述多个待处理图像中除所述参考图像以外的图像；对所述拼接特征进行卷积，以计算所述参考图像和该非参考图像之间的偏移量；基于所述偏移量对与该非参考图像对应的图像特征进行可变形卷积，以获得与该非参考图像对应的对齐特征；其中，与所述参考图像对应的对齐特征为与所述参考图像对应的图像特征。4.如权利要求3所述的方法，其中，所述参考图像是所述多个待处理图像中曝光值最接近0的图像。5.如权利要求3所述的方法，其中，所述参考图像是所述多个待处理图像中曝光值处于最中间的图像之一。6.如权利要求1或2所述的方法，其中，所述方法还包括：获取训练图像，所述训练图像包括与多个样本图像一一对应的多个样本校正图像和与所述多个样本图像对应的标注图像，其中，所述样本图像是低动态范围图像，所述标注图像是高动态范围图像，所述多个样本校正图像通过对所述多个样本图像进行伽马校正获得；利用初始重建网络模型处理所述多个样本校正图像，以获得预测重建图像；基于所述预测重建图像和所述标注图像计算重建损失项；获取所述预测重建图像和所述标注图像各自对应的预测图像特征和标注图像特征；基于所述预测图像特征和所述标注图像特征计算感知损失项；2CN114581316A权利要求书2/2页基于所述重建损失项和所述感知损失项计算总损失；基于所述总损失对所述初始重建网络模型的参数进行优化，得到所述重建网络模型。7.如权利要求6所述的方法，其中，所述获取所述预测重建图像和所述标注图像各自对应的预测图像特征和标注图像特征包括：对所述预测重建图像和所述标注图像分别进行色调映射，以获得新的预测重建图像和新的标注图像；将所述新的预测重建图像和所述新的标注图像分别输入预训练网络模型，以获得各自对应的所述预测图像特征和所述标注图像特征。8.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1‑7任一项所述的图像重建方法。9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程