高动态范围图像生成方法、装置、设备及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115103118A(43)申请公布日2022.09.23(21)申请号202210699748.X(22)申请日2022.06.20(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人邓欣张雨童蒋铼李胜曦徐迈(74)专利代理机构北京开阳星知识产权代理有限公司11710专利代理师张子青(51)Int.Cl.H04N5/232(2006.01)H04N5/355(2011.01)H04N5/359(2011.01)H04N5/235(2006.01)权利要求书2页说明书15页附图4页(54)发明名称高动态范围图像生成方法、装置、设备及可读存储介质(57)摘要本公开涉及一种高动态范围图像生成方法、装置、设备及可读存储介质。相较于现有技术，本公开实施例不需要真值图像的参与，降低高动态范围图像重建的难度，通过提取低动态范围图像的浅层特征，对浅层特征与运动掩膜进行特征联结，得到每组的联结特征，进一步，对每组的联结特征以及三张初始图像中包括的参考图像对应的浅层特征进行聚合处理，得到待重建图像的聚合特征，通过预训练的局部模型对低动态范围图像的局部信息进行整合，保留图像细节，并通过预训练的全局模型探索全局的文本信息来去除运动产生的伪影，可以使生成的高动态范围图像与低动态范围图像的联系更加紧密，进而提升了生成的高动态范围图像的效果，从而提升用户体验。CN115103118ACN115103118A权利要求书1/2页1.一种高动态范围图像生成方法，其特征在于，包括：对输入的三张初始图像和两张潜在图像进行特征提取，得到每张图像分别对应的浅层特征；基于待重建图像的曝光度将所述每张图像分别对应的浅层特征分为两组，对每组的浅层特征以及对应的运动掩膜进行特征联结，得到所述每组的联结特征；对所述每组的联结特征以及所述三张初始图像中包括的参考图像对应的浅层特征进行聚合处理，得到待重建图像的聚合特征；将所述待重建图像的聚合特征分别输入到预训练的局部模型和预训练的全局模型中，输出所述待重建图像的局部特征和所述待重建图像的全局特征；根据所述待重建图像的局部特征和所述待重建图像的全局特征，生成所述待重建图像的高动态范围图像。2.根据权利要求1所述的方法，其特征在于，所述对输入的三张初始图像和两张潜在图像进行特征提取，得到每张图像分别对应的浅层特征之前，所述方法还包括：基于所述三张初始图像生成两张潜在图像。3.根据权利要求2所述的方法，其特征在于，所述三张初始图像包括所述待重建图像的高曝光度图像、低曝光度图像和参考图像；所述低曝光度图像的曝光度小于或等于预设第一曝光度阈值，所述高曝光度图像的曝光度大于或等于预设第二曝光度阈值，所述参考图像的曝光度大于所述预设第一曝光度阈值且小于所述预设第二曝光度阈值，所述两张潜在图像包括高曝光度潜在图像和低曝光度潜在图像；相应的，所述基于所述三张初始图像生成两张潜在图像，包括：根据所述高曝光度图像和所述参考图像生成所述高曝光度潜在图像；根据所述低曝光度图像和所述参考图像生成所述低曝光度潜在图像。4.根据权利要求3所述的方法，其特征在于，所述基于待重建图像的曝光度将所述每张图像分别对应的浅层特征分为两组，对每组的浅层特征以及对应的运动掩膜进行特征联结，得到所述每组的联结特征之前，所述方法还包括：生成所述高曝光度图像和所述低曝光度图像各自对应的运动掩膜；相应的，基于待重建图像的曝光度将所述每张图像分别对应的浅层特征分为两组，对每组的浅层特征以及对应的运动掩膜进行特征联结，得到所述每组的联结特征，包括：基于待重建图像的曝光度将所述每张图像分别对应的浅层特征分为高曝光组图像的浅层特征和低曝光组图像的浅层特征；对所述高曝光组图像的浅层特征以及所述高曝光度图像对应的运动掩膜进行特征联结，得到所述高曝光组图像的联结特征；对所述低曝光组图像的浅层特征以及所述低曝光度图像对应的运动掩膜进行特征联结，得到所述低曝光组图像的联结特征。5.根据权利要求1所述的方法，其特征在于，所述将所述待重建图像的聚合特征分别输入到预训练的局部模型和预训练的全局模型中，输出所述待重建图像的局部特征和所述待重建图像的全局特征，包括；通过预设第一卷积层对所述待重建图像的聚合特征的通道进行压缩，得到局部输入特征，对所述局部输入特征进行多个层次的特征聚合，得到所述待重建图像的局部特征；2CN115103118A权利要求书2/2页通过预设第二卷积层对所述待重建图像的聚合特征的通道进行压缩，得到全局输入特征，对所述全局输入特征进行多个层次的特征聚合，得到所述待重建图像的全局特征。6.根据权利要求1所述的方法，其特征在于，所述根据所述待重建图像的局部特征和所述待重建图像的全局特征，生成所述待重建