基于深度网络和双目视觉的阴影区域视差计算方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998412A(43)申请公布日2022.09.02(21)申请号202210914862.XG06V10/75(2022.01)(22)申请日2022.08.01(71)申请人北京中科慧眼科技有限公司地址100085北京市海淀区创业中路32号楼32-1-1-559(72)发明人谢启伟白珍章佳裴姗姗孙钊(74)专利代理机构北京远立知识产权代理事务所(普通合伙)11502专利代理师李海燕(51)Int.Cl.G06T7/55(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T7/11(2017.01)权利要求书2页说明书12页附图6页(54)发明名称基于深度网络和双目视觉的阴影区域视差计算方法和系统(57)摘要本发明公开了一种基于深度网络和双目视觉的阴影区域视差计算方法和系统，所述方法包括：获取目标区域内的原始图像，提取所述原始图像中的阴影区域，并计算所述阴影区域内的初始视差图；通过预先创建的网络分割模型，标记所述阴影区域的阴影边界，并提取所述初始视差图中所述阴影边界的原视差值；基于模板匹配方法计算所述阴影边界的新视差值，并计算所述阴影边界上每个像素点所述新视差值与所述原视差值的差值；若所述差值大于预设阈值，则剔除该差值对应的原视差值，以得到具有空白的更新视差图；将所述原始图像中非阴影区域的视差值以插值形式填充至所述更新视差图的空白处，以得到阴影区域的新视差图。解决了现有技术中阴影区域视差值准确性较差的技术问题。CN114998412ACN114998412A权利要求书1/2页1.一种基于深度网络和双目视觉的阴影区域视差计算方法，其特征在于，所述方法包括：获取目标区域内的原始图像，提取所述原始图像中的阴影区域，并计算所述阴影区域内的初始视差图；通过预先创建的网络分割模型，标记所述阴影区域的阴影边界，并提取所述初始视差图中所述阴影边界的原视差值；基于模板匹配方法计算所述阴影边界的新视差值，并计算所述阴影边界上每个像素点所述新视差值与所述原视差值的差值；若所述差值大于预设阈值，则剔除该差值对应的原视差值，以得到具有空白的更新视差图；将所述原始图像中非阴影区域的视差值以插值形式填充至所述更新视差图的空白处，以得到阴影区域的新视差图。2.根据权利要求1所述的阴影区域视差计算方法，其特征在于，网络分割模型为U‑Net分割模型，所述U‑Net分割模型的网络结构包括编码器、下采样模块、解码器和上采样模块；其中，所述下采样模块包括两个3×3卷积层和一个2×2的maxpooling层；所述上采样模块包括一个上采样卷积层、特征拼接层和两个3×3的卷积层。3.根据权利要求1所述的阴影区域视差计算方法，其特征在于，所述原始图像包括双目相机的左目图像和右目图像，所述左目图像为所述原始图像的左图，所述右目图像为所述原始图像的右图，基于模板匹配方法计算所述阴影边界的新视差值，具体包括：在所述原始图像的左图中获取所述阴影边界中每个像素点的模板图，在所述原始图像的右图获取与所述模板图对应的源图像；采用SSIM算法对每一组模板图和源图像进行整像素模板匹配；对整像素模板匹配得到的视差结果进行亚像素模板匹配，以得到所述阴影边界的新视差值。4.根据权利要求1所述的阴影区域视差计算方法，其特征在于，若所述差值大于预设阈值，则剔除该差值对应的原视差值，具体包括：以世界坐标系中，目标区域与相机的实际距离为边界；若阴影边界距离相机大于所述实际距离，且所述差值小于第一预设阈值，则保留所述差值对应像素点的原视差值，否则剔除所述差值对应像素点的原视差值；若阴影边界距离相机大于所述实际距离，且所述差值小于第二预设阈值，则保留所述差值对应像素点的原视差值，否则剔除所述差值对应像素点的原视差值；其中，所述第一预设阈值小于所述第二预设阈值。5.根据权利要求4所述的阴影区域视差计算方法，其特征在于，所述第一预设阈值为0.2，所述第二预设阈值为0.5。6.根据权利要求1所述的阴影区域视差计算方法，其特征在于，将所述原始图像中非阴影区域的视差值以插值形式填充至所述更新视差图的空白处，以得到阴影区域的新视差图，具体包括：利用OCR‑Net网络将路面分割出来，以得到路面分隔结果；将所去除的部分各个方向均膨胀两个像素单位，以得到更新视差图；2CN114998412A权利要求书2/2页获取所述更新视差图中视差值为零的位置和端点处的非零值，用非零值线性插值填充视差值为零的位置，以得到阴影区域的新视差图。7.一种基于深度网络和双目视觉的阴影区域视差计算系统，其特征在于，所述系统包括：初始视差获取单元，用于获取目标区域内的原始图像，提取所述原始图像中的阴影区域，并计算所述阴影区域内的初始视差图；边界视