预览加载中,请您耐心等待几秒...
1/8
2/8
3/8
4/8
5/8
6/8
7/8
8/8

在线预览结束,喜欢就下载吧,查找使用更方便

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822925A(43)申请公布日2021.12.21(21)申请号202110877733.3G06N3/08(2006.01)(22)申请日2021.08.01(71)申请人国网江苏省电力有限公司徐州供电分公司地址221005江苏省徐州市解放北路20号(72)发明人赵正刘明孙常青邓剑鸣孙珂(74)专利代理机构长沙睿翔专利代理事务所(普通合伙)43237代理人周松华孙建霞(51)Int.Cl.G06T7/593(2017.01)G06T7/80(2017.01)G06K9/46(2006.01)G06N3/04(2006.01)权利要求书2页说明书4页附图1页(54)发明名称一种异步双目相机的深度估计方法及系统(57)摘要本发明公开了一种异步双目相机的深度估计方法及系统。方法包括:S1、将任意两台单目相机以视线方向平行放置,通过缓存分别存储两台单目相机在T秒内的视频帧;S2、分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点,计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合;S3、根据匹配帧集合计算每一帧的深度图,并计算深度图的置信度,以形成一组深度图和对应的置信度,对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到。本发明可实现深度图的实时获取,显著降低了双目相机的制作成本,可广泛应用在各类场景的三维感知中。CN113822925ACN113822925A权利要求书1/2页1.一种异步双目相机的深度估计方法,其特征在于,包括以下步骤:S1、将任意两台单目相机以视线方向平行放置,通过缓存分别存储两台单目相机在T秒内的视频帧;S2、分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点,计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合;S3、根据匹配帧集合计算每一帧的深度图,并计算深度图的置信度,以形成一组深度图和对应的置信度,对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到。2.根据权利要求1所述的异步双目相机的深度估计方法,其特征在于,所述步骤S1中的两台单目相机为两台同型号的监控相机、工业相机或网络摄像头。3.根据权利要求1所述的异步双目相机的深度估计方法,其特征在于,所述步骤S1中采用棋盘格法计算从第一单目相机到第二单目相机的旋转矩阵R和平移向量t,并计算第一单目相机到第二单目相机的内参数,该内参数包括和其中Kl为第一单目相机的内参矩阵,其中fl为焦距、为主点,Kr为第二单目相机的内参矩阵,其中fr为焦距、为主点。4.根据权利要求1所述的异步双目相机的深度估计方法,其特征在于,所述步骤S1中的T小于1。5.根据权利要求1所述的异步双目相机的深度估计方法,其特征在于,所述步骤S2具体包括:S20、提取第一单目相机视频帧的特征点,并提取第二单目相机的缓存帧集合I={I1,I2,I3,...In}中每一图像的特征点;S21、计算第一单目相机视频帧到第二单目相机缓存帧的特征匹配,选择匹配点最多的一组第二单目相机缓存帧,构成匹配帧集合G=={J1,J2,J3,...Jk},且6.根据权利要求1所述的异步双目相机的深度估计方法,其特征在于,所述步骤S3具体包括:S20、给定第一单目相机的当前帧中的像素p,根据以p为中心的图像块Mp和p所对应的深度假设d,通过相机参数到第二单目相机匹配帧J∈G的对应投影位置q处提取相同大小的图像块Mq,计算图像块Mp和图像块Mq的匹配代价,通过给像素p赋值一组深度假设值,选择匹配代价最小的作为像素p的深度dp;S21、对第一单目相机的当前帧中的每一像素执行步骤S20操作,形成当前帧的深度图集合D={D1,D2,D3,...Dk};S22、计算深度图集合D={D1,D2,D3,...Dk}中每一深度图Di∈D的置信度Ci,形成置信度集合C={C1,C2,C3,...Ck};S23、基于深度图集合D={D1,D2,D3,...Dk}和对应的置信度集合C={C1,C2,C3,...Ck},2CN113822925A权利要求书2/2页融合多组深度图,则对于任意像素位置的最终深度为7.根据权利要求1所述的异步双目相机的深度估计方法,其特征在于,所述步骤S3中深度图的计算方法为深度学习方法或非学习方法。8.一种用于实现权利要求1‑7任意一项所述的异步双目相机的深度估计方法的系统,其特征在于,包括:视频帧缓冲模块,在将任意两台单目相机以视线方向平行放置后,通过缓存分别存储两台单目相机在T秒内的视频帧;匹配帧集合计算模块,用于分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点,并计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合;