一种基于深度相机的滑动变焦方法、装置以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114359005A(43)申请公布日2022.04.15(21)申请号202111341984.6G06T7/80(2017.01)(22)申请日2021.11.12(71)申请人北京旷视科技有限公司地址100096北京市海淀区西三旗建材城内建中路12幢一层1268号申请人北京迈格威科技有限公司(72)发明人胡刚(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人唐正瑜(51)Int.Cl.G06T1/00(2006.01)G06T3/40(2006.01)G06T7/11(2017.01)G06T7/194(2017.01)权利要求书3页说明书17页附图8页(54)发明名称一种基于深度相机的滑动变焦方法、装置以及存储介质(57)摘要本申请实施例提供一种基于深度相机的滑动变焦方法、装置以及存储介质，该滑动变焦方法包括：获取场景图和深度图；根据标定数据和所述场景图对所述深度图进行标定，得到标定深度图；根据所述标定深度图将所述场景图划分为主体区域和背景区域；获取多组成对的对所述主体区域的放大子图和对所述背景区域的缩小子图，并融合每对所述放大子图和所述缩小子图得到多帧展示图像。通过本申请的技术方案仅需要采集到具有主体的一张场景图和一张深度图，根据深度图分割前后景，前景放大，背景缩小，实现主体向前背景变远的滑动变焦效果。CN114359005ACN114359005A权利要求书1/3页1.一种基于深度相机的滑动变焦方法，其特征在于，所述滑动变焦方法包括：获取场景图和深度图；根据标定数据和所述场景图对所述深度图进行标定，得到标定深度图；根据所述标定深度图将所述场景图划分为主体区域和背景区域；获取多组成对的对所述主体区域的放大子图和对所述背景区域的缩小子图，并融合每对放大子图和缩小子图得到多帧展示图像。2.如权利要求1所述的滑动变焦方法，其特征在于，所述场景图是通过主摄相机拍摄得到的，所述深度图是通过深度相机拍摄得到的；其中，在所述根据所述场景图对所述深度图进行标定之前，所述滑动变焦方法还包括：获取所述深度相机到所述主摄相机之间转换参数标定，得到所述标定数据。3.如权利要求1‑2任一项所述的滑动变焦方法，其特征在于，所述根据所述标定深度图将所述场景图划分为主体区域和背景区域，包括：将所述标定深图转换为视差图；从所述视差图获取目标对焦点的视差值得到参考视差值，并从所述标定深度图获取所述目标对焦点的深度值得到参考深度值；若确定所述参考深度值小于设定距离阈值时，则将比所述参考视差值大第一设定阈值的所有像素点确认为属于主体所在像素区域，并将所述场景图上与所述主体所在像素区域对应位置确认为所述主体区域，所述场景图上除所述主体区域外的区域为所述背景区域；或者，若确认所述参考深度值大于或等于设定距离阈值时，则将比所述参考视差值大第二设定阈值所有像素点确认为属于主体所在像素区域，并将所述场景图上与所述主体所在像素区域对应位置确认为所述主体区域，所述场景图上除所述主体区域外的区域为所述背景区域。4.如权利要求3所述的滑动变焦方法，其特征在于，在将所述标定深图转换为视差图之前，所述滑动变焦方法还包括：从所述标定深度图或者所述深度图获取最大深度值和最小深度值；确认所述最大深度值大于或等于设定距离，并确认所述最大深度值与所述最小深度值的差值大于或等于设定距离差值。5.如权利要求1‑4任一项所述的滑动变焦方法，其特征在于，所述获取多组成对的对所述主体区域的放大子图和对所述背景区域的缩小子图，包括：获取所述主体区域的总放大倍率和所述背景区域的总缩小倍率；根据所述总放大倍率和合成视频的总帧数确定每一帧的目标放大倍率，并根据所述总缩小倍率和所述总帧数确定所述每一帧的目标缩小倍率，其中，所述合成视频的总帧数与所述多帧展示图像的帧数相等；根据所述每一帧的目标放大倍率和所述主体区域得到所述每一帧的放大子图，并根据所述每一帧的目标缩小倍率和所述背景区域得到所述每一帧的缩小子图。6.如权利要求5所述的滑动变焦方法，其特征在于，在所述获取多组成对的对所述主体区域的放大子图和对所述背景区域的缩小子图之前，所述滑动变焦方法还包括：从所述场景图上获取感兴趣像素点；2CN114359005A权利要求书2/3页其中，所述根据每一帧的目标放大倍率和所述主体区域得到所述每一帧的放大子图包括：根据所述每一帧的目标放大倍率和所述感兴趣像素点构造放大转换矩阵；根据所述放大转换矩阵和所述主体区域得到所述每一帧的放大子图；所述根据每一帧的目标缩小倍率和所述背景区域得到所述每一帧的缩小子图，包括：根据所述每一帧的目标缩小倍率和所述感兴趣像素点构造缩小转换矩阵；根据所述缩小转换矩阵和所述背景区域得到所述每