基于深度学习的立体匹配方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114119777A(43)申请公布日2022.03.01(21)申请号202210098583.0G06V10/44(2022.01)(22)申请日2022.01.27(71)申请人北京中科慧眼科技有限公司地址100085北京市海淀区创业中路32号楼32-1-1-559(72)发明人刘永才朱海涛杨超葛方海王鹏(74)专利代理机构北京远立知识产权代理事务所(普通合伙)11502代理人李海燕(51)Int.Cl.G06T7/80(2017.01)G06T3/40(2006.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书8页附图3页(54)发明名称基于深度学习的立体匹配方法和系统(57)摘要本发明公开了一种基于深度学习的立体匹配方法和系统，所述方法包括：采集目标区域内的左目图像和右目图像；利用预存的特征提取网络层提取所述左目图像和右目图像中每个像素点的特征值，并生成特征图；计算所述特征图中每个对应像素点的余弦相似度，并以所述余弦相似度的数值作为代价值，对应像素点包括左目图像的目标像素点和右目图像上与该目标像素点对应的像素点；基于预存的图像检测网络，通过所述代价值得到视差图。解决了现有技术中立体匹配泛化能力差，计算资源要求较高的技术问题。CN114119777ACN114119777A权利要求书1/2页1.一种基于深度学习的立体匹配方法，其特征在于，所述方法包括：采集目标区域内的左目图像和右目图像；利用预存的特征提取网络层提取所述左目图像和右目图像中每个像素点的特征值，并生成特征图；计算所述特征图中每个对应像素点的余弦相似度，并以所述余弦相似度的数值作为代价值，对应像素点包括左目图像的目标像素点和右目图像上与该目标像素点对应的像素点；基于预存的图像检测网络，通过所述代价值得到视差图。2.根据权利要求1所述的立体匹配方法，其特征在于，所述特征提取网络层包括平均池化算子和双线性差值算子。3.根据权利要求2所述的立体匹配方法，其特征在于，所述利用预存的特征提取网络层提取所述左目图像和右目图像中每个像素点的特征值，并生成特征图，具体包括：利用所述平均池化算子和所述双线性差值算子经过多次采样和卷积得到所述特征图。4.根据权利要求3所述的立体匹配方法，其特征在于，利用所述平均池化算子和所述双线性差值算子经过多次采样和卷积得到所述特征图，具体包括：对所述左目图像和右目图像进行卷积操作，以得到第一卷积结果；利用所述平均池化算子对所述第一卷积结果进行多次降采样操作，以得到第一降采样结果；利用卷积算子对所述第一降采样结果进行降采样操作，以得到第二降采样结果；利用所述双线性插值算子所述第二降采样结果进行上采样操作，以得到第一上采样结果；对所述第一降采样结果和所述第一上采样结果进行加和操作，并对该加和进行卷积操作，以得到第二卷积结果；利用所述双线性插值算子对所述第二卷积结果进行上采样操作，以得到第二上采样结果；对所述第一降采样结果和所述第二上采样结果进行加和操作，并对该加和进行卷积操作，以得到第三卷积结果；使用双线性插值算子对第三卷积结果进行上采样操作，以得到第三上采样结果；对所述第三上采样结果和所述第一卷积结果进行加和操作，并将该加和进行卷积操作，以得到所述特征图。5.根据权利要求4所述的立体匹配方法，其特征在于，利用所述平均池化算子对所述第一卷积结果进行多次降采样操作，以得到第一降采样结果，具体包括：使用平均池化算子对第一卷积结果进行一次降采样操作，以得到初级降采样结果；使用平均池化算子对所述初级降采样结果进行二次降采样操作，以得到中级降采样结果；使用平均池化算子对中级降采样结果进行三次降采样操作，以得到所述第一降采样结果。6.根据权利要求1所述的立体匹配方法，其特征在于，利用以下公式，计算所述特征图2CN114119777A权利要求书2/2页中每个对应像素点的余弦相似度：其中，为像素点A对应的任意特征向量点，为像素点B对应的任意特征向量点。7.一种基于深度学习的立体匹配系统，其特征在于，所述系统包括：图像采集单元，用于采集目标区域内的左目图像和右目图像；特征图生成单元，用于利用预存的特征提取网络层提取所述左目图像和右目图像中每个像素点的特征值，并生成特征图；代价计算单元，用于计算所述特征图中每个对应像素点的余弦相似度，并以所述余弦相似度的数值作为代价值，对应像素点包括左目图像的目标像素点和右目图像上与该目标像素点对应的像素点；视差图获取单元，用于基于预存的图像检测网络，通过所述代价值得到视差图。8.根据权利要求7所述的立体匹配系统，其特征在于，所述特征提取网络层包括平均池化算子和双线性差值算子。9.一种智能终端，其特征在于，所