立体匹配方法、模型训练方法、相关装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113658277A(43)申请公布日2021.11.16(21)申请号202110980247.4(22)申请日2021.08.25(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人叶晓青谭啸孙昊(74)专利代理机构北京银龙知识产权代理有限公司11243代理人黄灿刘念(51)Int.Cl.G06T7/80(2017.01)权利要求书3页说明书12页附图3页(54)发明名称立体匹配方法、模型训练方法、相关装置及电子设备(57)摘要本公开提供了一种立体匹配方法、模型训练方法、相关装置及电子设备，涉及计算机视觉、深度学习等人工智能技术领域。具体实现方案为：获取第一双目图像；将所述第一双目图像输入至目标模型执行第一操作，得到所述第一双目图像的第一初始视差图，以及相对于所述第一初始视差图的第一偏移视差图；将所述第一初始视差图和所述第一偏移视差图进行聚合，得到所述第一双目图像的第一目标视差图；其中，所述第一初始视差图基于与所述第一双目图像对应的第二双目图像进行立体匹配得到，所述第二双目图像的尺寸小于所述第一双目图像的尺寸，所述第一偏移视差图基于所述第一双目图像在预设视差偏移范围内进行立体匹配得到。CN113658277ACN113658277A权利要求书1/3页1.一种立体匹配方法，包括：获取第一双目图像；将所述第一双目图像输入至目标模型执行第一操作，得到所述第一双目图像的第一初始视差图，以及相对于所述第一初始视差图的第一偏移视差图；将所述第一初始视差图和所述第一偏移视差图进行聚合，得到所述第一双目图像的第一目标视差图；其中，所述第一初始视差图基于与所述第一双目图像对应的第二双目图像进行立体匹配得到，所述第二双目图像的尺寸小于所述第一双目图像的尺寸，所述第一偏移视差图基于所述第一双目图像在预设视差偏移范围内进行立体匹配得到。2.根据权利要求1所述的方法，其中，所述将所述第一双目图像输入至目标模型执行第一操作，得到所述第一双目图像的第一初始视差图，包括：将所述第一双目图像的尺寸进行第一调整处理，得到第二双目图像，所述第一调整处理用于降低所述第一双目图像的尺寸；基于所述第二双目图像在所述第二双目图像的最大视差范围内进行立体匹配，得到所述第二双目图像的第二初始视差图；对所述第二初始视差图的尺寸进行第二调整处理，所述第二调整处理用于提高所述第二初始视差图的尺寸，所述第一调整处理与所述第二调整处理对应；对所述第二调整处理后的第二初始视差图中每个像素点的视差进行调整，得到所述第一初始视差图。3.一种模型训练方法，包括：获取训练样本图像，所述训练样本图像包括第三双目图像和所述第三双目图像的标签视差图；将所述第三双目图像输入至目标模型执行第二操作，得到所述第三双目图像的第三初始视差图，以及相对于所述第三初始视差图的第二偏移视差图，所述第三初始视差图基于与所述第三双目图像对应的第四双目图像进行立体匹配得到，所述第四双目图像的尺寸小于所述第三双目图像的尺寸，所述第二偏移视差图基于所述第三双目图像在预设视差偏移范围内进行立体匹配得到；基于所述第三初始视差图、所述第二偏移视差图和所述标签视差图，获取所述目标模型的网络损失值；基于所述网络损失值，更新所述目标模型的网络参数。4.根据权利要求3所述的方法，其中，所述基于所述第三初始视差图、所述第二偏移视差图和所述标签视差图，获取所述目标模型的网络损失值，包括：获取所述标签视差图与所述第三初始视差图的第一损失值，以及获取所述标签视差图与所述第二偏移视差图的第二损失值；将所述第一损失值和第二损失值进行聚合，得到视差损失值；基于所述视差损失值，确定所述网络损失值。5.根据权利要求4所述的方法，所述基于所述视差损失值，确定所述网络损失值之前，还包括：将所述第三初始视差图和所述第二偏移视差图进行聚合，得到所述第三双目图像的第2CN113658277A权利要求书2/3页二目标视差图；基于所述第三双目图像的图像梯度和所述第二目标视差图的图像梯度，确定所述第二目标视差图的平滑损失值；所述基于所述视差损失值，确定所述网络损失值，包括：将所述视差损失值和所述平滑损失值进行聚合，得到所述网络损失值。6.一种立体匹配装置，包括：第一获取模块，用于获取第一双目图像；第一操作模块，用于将所述第一双目图像输入至目标模型执行第一操作，得到所述第一双目图像的第一初始视差图，以及相对于所述第一初始视差图的第一偏移视差图；第一聚合模块，用于将所述第一初始视差图和所述第一偏移视差图进行聚合，得到所述第一双目图像的第一目标视差图；其中，所述第一初始视差图基于与所述第一双目图像对应的第二双目图像进行立体匹配得到，所述第二双目图