使用全局最小化和深度内插的立体深度估计的系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106663320A(43)申请公布日2017.05.10(21)申请号201580033881.X斯蒂芬·迈克尔·维罗尔(22)申请日2015.06.15(74)专利代理机构北京律盟知识产权代理有限(30)优先权数据责任公司1128762/022,1272014.07.08US代理人宋献涛14/631,6812015.02.25US(51)Int.Cl.(85)PCT国际申请进入国家阶段日G06T7/00(2017.01)2016.12.22(86)PCT国际申请的申请数据PCT/US2015/0358462015.06.15(87)PCT国际申请的公布数据WO2016/007261EN2016.01.14(71)申请人高通股份有限公司地址美国加利福尼亚州(72)发明人哈西卜·艾哈迈德·西迪基卡林·米特科夫·阿塔纳索夫权利要求书3页说明书13页附图16页(54)发明名称使用全局最小化和深度内插的立体深度估计的系统和方法(57)摘要多个方面涉及一种生成包含物体的深度信息的高分辨率图像的方法。在一个方面中，所述方法包括将第一参考图像和第二参考图像从第一分辨率下采样到第二分辨率，其中所述第一分辨率高于所述第二分辨率，并且其中所述第一参考图像和所述第二参考图像包括立体图像对。所述方法还包括：使用下采样后的所述立体图像对，基于全局最小化技术以所述第二分辨率生成深度图。所述方法还包括将所述深度图从所述第二分辨率上采样到所述第一分辨率，并使用导向滤波器将上采样后的所述深度图的轮廓与所述第一参考图像的轮廓对准。CN106663320ACN106663320A权利要求书1/3页1.一种生成包含物体的深度信息的高分辨率图像的方法，所述方法包括：将第一参考图像和第二参考图像从第一分辨率下采样到第二分辨率，其中所述第一分辨率高于所述第二分辨率，并且其中所述第一参考图像和所述第二参考图像是立体图像对；使用下采样后的所述立体图像对，基于全局最小化技术以所述第二分辨率生成深度图；将所述深度图从所述第二分辨率上采样到所述第一分辨率；以及使用导向滤波器将上采样后的所述深度图的轮廓与所述第一参考图像的轮廓对准。2.根据权利要求1所述的方法，其中对所述深度图进行上采样包括：使用双线性内插来将所述深度图的分辨率从所述第二分辨率增加到所述第一分辨率。3.根据权利要求1所述的方法，其中所述第二分辨率包含至多与所述第一分辨率的四分之一一样多的像素。4.根据权利要求3所述的方法，其中所述第二分辨率包含与所述第一分辨率的四分之一或十六分之一一样多的像素。5.根据权利要求1所述的方法，其中使用下采样后的所述立体图像对，基于全局最小化技术以所述第二分辨率生成深度图包括：使用对逐渐更大图像的迭代过程以使用全局最小化来生成深度图，由此生成深度图。6.根据权利要求1所述的方法，其中基于全局最小化技术以所述第二分辨率生成深度图包括：基于全局最小化技术通过使能量函数最小化来生成深度图。7.根据权利要求1所述的方法，其中所述第一参考图像和所述第二参考图像由彼此相距已知距离的相机同时捕获。8.一种用于生成包含物体的深度信息的高分辨率图像的装置，包括：处理器，经配置以：将第一参考图像和第二参考图像从第一分辨率下采样到第二分辨率，其中所述第一分辨率高于所述第二分辨率，并且其中所述第一参考图像和所述第二参考图像包括立体图像对；使用下采样后的所述立体图像对，基于全局最小化技术以所述第二分辨率生成深度图；将所述深度图从所述第二分辨率上采样到所述第一分辨率；以及使用导向滤波器将上采样后的所述深度图的轮廓与所述第一参考图像的轮廓对准。9.根据权利要求8所述的装置，其中对所述深度图进行上采样包括：使用双线性内插来将所述深度图的分辨率从所述第二分辨率增加到所述第一分辨率。10.根据权利要求8所述的装置，其中所述第二分辨率包含至多与所述第一分辨率的四分之一一样多的像素。11.根据权利要求10所述的装置，其中所述第二分辨率包含与所述第一分辨率的四分之一或十六分之一一样多的像素。12.根据权利要求8所述的装置，其中使用下采样后的所述立体图像对，基于全局最小化技术以所述第二分辨率生成深度图包括：使用对逐渐更大图像的迭代过程以使用全局最小化来生成深度图，由此生成深度图。2CN106663320A权利要求书2/3页13.根据权利要求8所述的装置，其中基于全局最小化技术以所述第二分辨率产生深度图包括：基于全局最小化技术通过使能量函数最小化来生成深度图。14.根据权利要求8所述的装置，还包括被放置在彼此相距已知距离的第一相机和第二相机，所述第一相机和所述第二相机经配置以同时分别捕获第一参考图像和第二参考图像。15.根据权利要求8所述的装置，其中所述