图像拼接方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113902657A(43)申请公布日2022.01.07(21)申请号202110990427.0(22)申请日2021.08.26(71)申请人北京旷视科技有限公司地址100096北京市海淀区西三旗建材城内建中路12幢一层1268号申请人北京迈格威科技有限公司(72)发明人刘伟舟胡晨周舒畅(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人何少岩(51)Int.Cl.G06T5/50(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书18页附图3页(54)发明名称图像拼接方法、装置和电子设备(57)摘要本发明提供了一种图像拼接方法、装置和电子设备，获取待拼接的第一图像和第二图像；确定第一图像和第二图像的初始拼接图像；利用第一神经网络模型对初始拼接图像中的目标重叠区域进行融合处理，得到目标重叠区域所对应的融合重叠区域；基于融合重叠区域和初始拼接图像，确定第一图像和第二图像所对应的目标拼接图像。该方式中，在确定第一图像和第二图像的初始拼接图像后，采用第一神经网络模型对初始拼接图像中的目标重叠区域进行融合处理，得到对应的融合重叠区域，不需要基于CPU对初始拼接图像中的每个像素进行融合相关计算，节省了对初始拼接图像中所有像素进行融合计算的时间，提高了融合处理效率，进而提高了图像拼接的处理效率。CN113902657ACN113902657A权利要求书1/3页1.一种图像拼接方法，其特征在于，所述方法包括：获取待拼接的第一图像和第二图像；确定所述第一图像和所述第二图像的初始拼接图像；利用第一神经网络模型对所述初始拼接图像中的目标重叠区域进行融合处理，得到所述目标重叠区域所对应的融合重叠区域；基于所述融合重叠区域和所述初始拼接图像，确定所述第一图像和所述第二图像所对应的目标拼接图像。2.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像和所述第二图像的初始拼接图像之前，所述方法还包括：对所述第二图像进行光照补偿；相应的，所述确定所述第一图像和所述第二图像的初始拼接图像，包括：基于所述第一图像和光照补偿后的第二图像，确定所述初始拼接图像。3.根据权利要求2所述的方法，其特征在于，所述对所述第二图像进行光照补偿的步骤包括：基于第二神经网络模型和所述第一图像，对所述第二图像进行光照补偿。4.根据权利要求3所述的方法，其特征在于，所述基于第二神经网络模型和所述第一图像，对所述第二图像进行光照补偿，包括：基于所述第一图像和所述第二图像，确定投影变换矩阵；基于所述投影变换矩阵，确定所述第一图像和所述第二图像的初始重叠区域；其中，所述初始重叠区域包括：所述第一图像对应的第一子重叠区域以及所述第二图像对应的第二子重叠区域；将所述第一子重叠区域和所述第二子重叠区域，输入至所述第二神经网络模型，通过所述第二神经网络模型确定所述第一子重叠区域中各个像素的第一像素值与所述第二子重叠区域中相同位置像素的第二像素值的映射关系；获取所述第二神经网络模型输出的所述映射关系；针对各个颜色通道，基于所述映射关系，将所述第二图像中的各个像素点在所述颜色通道的像素值，与所述第一图像中的各个像素点在所述颜色通道的像素值进行匹配,以对所述第二图像进行光照补偿。5.根据权利要求4所述的方法，其特征在于，所述基于所述投影变换矩阵，确定所述第一图像和所述第二图像的初始重叠区域的步骤包括：获取所述第二图像的边界坐标；其中，所述边界坐标用于指示所述第二图像的图像区域；基于所述投影变换矩阵和所述第二图像的边界坐标，确定投影变换后的边界坐标；基于所述投影变换后的边界坐标，确定投影变换后的第二图像；将所述投影变换后的第二图像与所述第一图像的重合图像区域，确定为所述初始重叠区域。6.根据权利要求4所述的方法，其特征在于，所述基于所述第一图像和所述第二图像，确定投影变换矩阵的步骤包括：提取所述第一图像中的至少一个第一特征点，以及所述第二图像中的至少一个第二特2CN113902657A权利要求书2/3页征点；基于所述至少一个第一特征点和所述至少一个第二特征点，确定至少一个匹配特征点对；基于所述至少一个匹配特征点对，确定投影变换矩阵。7.根据权利要求3所述的方法，其特征在于，所述基于第二神经网络模型和所述第一图像，对所述第二图像进行光照补偿的步骤包括：将所述第一图像和所述第二图像，输入至所述第二神经网络模型中，通过所述第二神经网络基于所述第一图像对所述第二图像进行光照补偿，得到光照补偿后的所述第二图像。8.根据权利要求1所述的方法，其特征在于，所述目标重叠区域包括：所述第一图像对应的第三子重叠区域和光照补偿后的第二图像对应的第四子重叠区域