基于深度图的虚拟视点图像生成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106791774A(43)申请公布日2017.05.31(21)申请号201710034878.0(22)申请日2017.01.17(71)申请人湖南优象科技有限公司地址410000湖南省长沙市高新开发区尖山路39号长沙中电软件园总部大楼A658房(72)发明人向北海(74)专利代理机构北京中济纬天专利代理有限公司11429代理人陆薇薇(51)Int.Cl.H04N13/00(2006.01)G06T7/50(2017.01)权利要求书3页说明书6页附图1页(54)发明名称基于深度图的虚拟视点图像生成方法(57)摘要本发明提出了一种基于深度图的虚拟视点图像生成方法，首先采用半像素精度插值法平滑参考图像并调整摄像机内参，利用双向异步映射机制对两个参考视点的图像和对应的深度图像进行处理，分别绘制出虚拟视点图像和和虚拟深度图像；然后基于深度信息对空洞边界区域进行扩展，去除背景上残留的前景虚假轮廓；根据图像间的亮度差异简化模型对绘制图像进行亮度校正，以消除亮度不连续问题；并采用加权合成算法对绘制的图像进行融合，以消除大部分遮挡空洞；最后采用窗口函数搜索空洞边缘，利用背景信息对空洞点插值填充，生成画面清晰的虚拟视点图像。CN106791774ACN106791774A权利要求书1/3页1.一种基于深度图的虚拟视点图像生成方法，其特征在于，包括以下步骤：S1选取相机拍摄过程中的任意两个视点图像作为参考图像，提取参考图像的深度图，采用半像素精度插值的方法对参考图像进行平滑，并调整摄像机内参数，使插值后图像仍能满足图像映射方程；并利用双向异步映射机制对两个参考视点的图像和对应的深度图像进行处理，分别绘制出虚拟视点图像和虚拟深度图像；S2基于深度信息对空洞边界区域进行扩展，去除背景上残留的前景虚假轮廓；并根据图像间的亮度差异简化模型对虚拟视点图像进行亮度校正，以消除亮度不连续问题；S3根据亮度校正后的两幅虚拟视点图像像素点获取方式的不同进行分类判断，采用加权合成算法对亮度校正后的图像进行融合，以消除大部分遮挡空洞；S4采用窗口函数搜索空洞边缘，利用背景信息对空洞点插值填充，生成画面清晰的虚拟视点图像。2.根据权利要求1所述的基于深度图的虚拟视点图像生成方法，其特征在于，S1中，采用基于序列图像匹配的方法提取两幅参考图像即参考图像1和参考图像2的深度图，记为参考深度图1和参考深度图2。3.根据权利要求1或2所述的基于深度图的虚拟视点图像生成方法，其特征在于，S1中，采用半像素精度插值的方法对参考图像进行平滑是指通过求解相邻像素点的平均值得到半像素插值点的值对参考图像进行平滑。4.根据权利要求3所述的基于深度图的虚拟视点图像生成方法，其特征在于，S1中，调整摄像机内参数，使插值后图像仍能满足图像映射方程，其方法为：设W和H分别为参考图像的宽和高，f为摄像机焦距，(μ0,ν0)为参考图像内一点在像素坐标系下的坐标，s为扭曲参数，利用k1、k2作为乘数对原摄像机内参数矩阵进行调整，其中k1＝(2W-1)/W，k2＝(2H-1)/H，按照(1)式将原摄像机内参数调整为新的摄像机内参数，使插值后图像仍能满足图像映射方程：5.根据权利要求4所述的基于深度图的虚拟视点图像生成方法，其特征在于，S1中，虚拟视点图像和虚拟深度图像的绘制方法为：建立3D图像映射方程，根据半像素精度插值处理后的两幅参考图像和对应的深度图，利用(2)式分别得到虚拟视点图像和虚拟深度图像；先将经半像素精度插值处理后的参考图像上的像素点m1(μ1,ν1)投影到三维空间对应点为M，再将三维空间内的点M投影到虚拟视点成像平面，得到虚拟视点图像上对应的点坐标为m2(μ2,ν2)，将两次投影映射合并可以得到3D图像映射方程如(2)式所示：其中，N1,R1,T1分别为参考视点的摄像机参数，N2,R2,T2为虚拟视点的摄像机参数，A1为三维空间点在参考视点摄像机坐标系中的深度值，A2为三维空间点在虚拟视点摄像机坐标系中的深度值。2CN106791774A权利要求书2/3页6.根据权利要求5所述的基于深度图的虚拟视点图像生成方法，其特征在于，S1中，将得到的虚拟视点图像和虚拟深度图像通过逆向图像映射以减少虚拟视点图像的空洞数量，方法为：初始化两个与经半像素精度插值处理后的两幅参考图像同等大小的标志矩阵flag1和flag2，初始值设为0，将绘制的两幅虚拟视点图像上的空洞点映射到各自对应的参考图像上以获取空洞点的像素值，同时设置标志矩阵中对应位置这些点的值为1。7.根据权利要求5或6所述的基于深度图的虚拟视点图像生成方法，其特征在于，S2中基于深度信息对空洞边界区域进行扩展，去除背景上残留的前景虚假轮廓，其方法为：将虚拟视点中