图像融合的方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110728648A(43)申请公布日2020.01.24(21)申请号201911024851.9(22)申请日2019.10.25(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人汪彧之(74)专利代理机构北京市立方律师事务所11330代理人张筱宁(51)Int.Cl.G06T5/50(2006.01)G06T5/00(2006.01)权利要求书2页说明书15页附图4页(54)发明名称图像融合的方法、装置、电子设备及可读存储介质(57)摘要本申请实施例提供了一种图像融合的方法、装置、电子设备及可读存储介质。该方法包括：获取同一场景下的至少两张待处理RAW图像；将至少两张待处理RAW图像中的一张图像作为参考帧，其它图像作为补充帧，并分别确定每个补充帧与参考帧之间的亮度关系；针对每个补充帧，基于亮度关系，对补充帧中像素的亮度进行线性调整，得到调整后的补充帧；对调整后的各补充帧以及参考帧进行融合，得到融合图像。本申请实施例，由于调整后的各补充帧是基于参考帧的亮度调整的，因此调整后的各补充帧的亮度与参考帧的亮度之间的差异可以进一步减小，进而可以有效地解决了因图像中存在多种亮度，导致最终得到的图像容易出现亮度过渡不自然的问题。CN110728648ACN110728648A权利要求书1/2页1.一种图像融合的方法，其特征在于，包括：获取同一场景下的至少两张待处理RAW图像；将所述至少两张待处理RAW图像中的一张图像作为参考帧，其它图像作为补充帧，并分别确定每个所述补充帧与所述参考帧之间的亮度关系；针对每个所述补充帧，基于所述亮度关系，对所述补充帧中像素的亮度进行线性调整，得到调整后的补充帧；对所述调整后的各补充帧以及所述参考帧进行融合，得到融合图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取每个所述待处理RAW图像的权重特征图，其中，所述权重特征图包括所述待处理RAW图像中每个像素的权重值；所述对所述调整后的各补充帧以及所述参考帧进行图像融合，包括：基于每个所述待处理RAW图像的权重特征图，对所述调整后的各补充帧和所述参考帧进行融合。3.根据权利要求2所述的方法，其特征在于，当所述待处理RAW图像为高动态范围图像时，所述获取每个所述待处理RAW图像的权重特征图，包括：将各所述待处理RAW图像分别转换为低动态范围图像，得到各转换后的待处理RAW图像；将每个所述转换后的待处理RAW图像分别输入至神经网络，得到每个所述待处理RAW图像的权重特征图。4.根据权利要求3所述的方法，其特征在于，所述神经网络是通过下列方式训练得到的：获取训练样本集，所述训练样本集包括对应于至少一个场景的训练图像，每个场景的训练图像为至少两张图像，对于每个场景的至少两张图像，将其中的一张图像作为样本参考帧，其它图像作为样本补充帧；对各所述训练图像分别进行线性亮度变换，得到各变换后的训练图像，并基于所述各变换后的训练图像对初始网络进行训练，直至所述初始网络的损失函数收敛，将损失函数收敛时的所述初始网络确定为所述神经网络；其中，所述初始网络是以图像为输入，以图像的权重特征图为输出的神经网络，所述损失函数表征了对应于同一场景的样本融合图像与样本参考帧的误差，所述样本融合图像是根据对应于同一场景的各训练图像的权重特征图，对各变换后的训练图像进行融合得到的。5.根据权利要求4所述的方法，其特征在于，所述获取训练样本集，包括：获取初始训练样本集，所述初始训练样本集包括对应于至少一个场景的初始图像，每个场景的初始图像为至少两张图像；当所述初始图像为低动态范围图像时，将所述初始图像作为每个场景的训练图像；当所述初始图像为高动态范围图像时，将各所述初始图像分别转换为各所述初始图像对应的低动态范围图像；将每个场景的各所述初始图像对应的低动态范围图像作为每个场景的训练图像。6.根据权利要求1所述的方法，其特征在于，所述分别确定每个所述补充帧与所述参考2CN110728648A权利要求书2/2页帧之间的亮度关系，包括：获取每张待处理RAW图像的曝光参数；针对于每一补充帧，根据所述参考帧的曝光参数与所述补充帧的曝光参数，确定所述补充帧与所述参考帧之间的亮度关系。7.根据权利要求1所述的方法，其特征在于，所述分别确定每个所述补充帧与所述参考帧之间的亮度关系，包括：基于所述参考帧中每个像素的亮度，确定权重掩膜；基于所述权重掩膜，分别对各所述待处理RAW图像中各像素的亮度进行调整；对于每个所述待处理RAW图像，基于调整后的所述待处理RAW图像各像素的亮度，确定所述待处理RAW图像的亮度；针对每个所述补充帧，基于所述补充帧的亮度与