图像融合方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112418279A(43)申请公布日2021.02.26(21)申请号202011227393.1(22)申请日2020.11.05(71)申请人北京迈格威科技有限公司地址100090北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人王光甫蒋霆王珏刘帅成(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人何少岩(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书14页附图5页(54)发明名称图像融合方法、装置、电子设备及可读存储介质(57)摘要本申请提供一种图像融合方法、装置、电子设备及可读存储介质，涉及图像处理技术领域。该方法包括：获取待融合的M张图像中各个目标像素值组合，每个所述目标像素值组合包括相互对应的M个像素点的像素值；获取预先通过神经网络模型确定的权重字典，所述权重字典包含对应不同像素值组合的融合权重；根据所述权重字典确定各个所述目标像素值组合对应的融合权重；基于各个所述目标像素值组合对应的融合权重将所述M张图像进行融合，获得融合的目标图像。本方案相比于人工通过经验设置权重的方式，通过上述方式获得的权重更加合理，具有较强的鲁棒性，从而可获得更好的图像融合效果。CN112418279ACN112418279A权利要求书1/2页1.一种图像融合方法，其特征在于，所述方法包括：获取待融合的M张图像中各个目标像素值组合，每个所述目标像素值组合包括相互对应的M个像素点的像素值，其中，M为大于或等于2的整数，所述相互对应的M个像素点分别属于M张图像且在各自所属图像中的位置具有对应关系；获取预先通过神经网络模型确定的权重字典，所述权重字典包含对应不同像素值组合的融合权重；根据所述权重字典确定各个所述目标像素值组合对应的融合权重；基于各个所述目标像素值组合对应的融合权重将所述M张图像进行融合，获得融合的目标图像。2.根据权利要求1所述的方法，其特征在于，所述获取预先通过神经网络模型确定的权重字典，包括：分别取i1至iM为0到N，获得多个像素值组合(i1,i2,...,iM)，其中，N为图像的灰度等级数减一；将所述多个像素值组合中的每个像素值组合对应的M张单色图像输入所述神经网络模型中，获得每个像素值组合对应的融合权重，其中，与像素值组合(i1,i2,...,iM)对应的M张单色图像中第j张单色图像的像素值为ij，j为1到M；根据每个像素值组合对应的融合权重确定所述权重字典。3.根据权利要求2所述的方法，其特征在于，所述将所述多个像素值组合中的每个像素值组合对应的M张单色图像输入所述神经网络模型中，获得每个像素值组合对应的融合权重，包括：将所述多个像素值组合中的每个像素值组合对应的M张单色图像输入所述神经网络模型中，获得每个像素值组合对应的权重图像；将每个像素值组合对应的权重图像的像素值均值作为该像素值组合对应的融合权重。4.根据权利要求3所述的方法，其特征在于，在M＝2时，所述权重图像为1张，所述像素值组合对应的融合权重为所述像素值组合中的一个像素值对应的融合权重，所述像素值组合中另一个像素值对应的融合权重为1-所述像素值组合对应的融合权重。5.根据权利要求3所述的方法，其特征在于，在M大于或等于2时，所述权重图像为M张大小相同的子权重图像，M张所述子权重图像中相互对应的M个像素点的像素值之和为1；其中，M张所述子权重图像中相互对应的M个像素点分别属于M张子权重图像且在各自所属图像中的位置具有对应关系。6.根据权利要求1-5任一所述的方法，其特征在于，通过以下方式对所述神经网络模型进行训练：获取的多组样本图像，每组所述样本图像包括M张子样本图像；获取每组样本图像对应的标准权重图像；根据所述样本图像和所述标准权重图像对初始神经网络模型进行训练；在确定表征所述初始神经网络模型训练完成的参数满足预设要求时，获得训练好的所述神经网络模型。7.根据权利要求6所述的方法，其特征在于，所述获取每组样本图像对应的标准权重图像，包括：2CN112418279A权利要求书2/2页获取所述M张子样本图像中各个样本像素值组合，所述样本像素值组合包括相互对应的M个样本像素点的像素值，其中，M为大于或等于2的整数；所述相互对应的M个像素点分别属于M张子样本图像且在各自所属图像中的位置具有对应关系；获取所述M张子样本图像融合后获得的标准HDR图像；对于每个样本像素值组合，根据所述标准HDR图像中与该样本像素值组合对应的像素点的像素值，确定该样本像素值组合对应的标准融合权重；根据各个样本像素值组合对应的标准融合权重确定所述样本图像对应的标准权重图像