一种基于深度图像的新视点合成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利(10)授权公告号CN106791773B(45)授权公告日2018.06.01(21)申请号201611251733.8CN102307304A,2012.01.04,(22)申请日2016.12.30CN102592275A,2012.07.18,CN104869386A,2015.08.26,(65)同一申请的已公布的文献号CN102625127A,2012.08.01,申请公布号CN106791773ACN102724529A,2012.10.10,(43)申请公布日2017.05.31CN103269438A,2013.08.28,(73)专利权人浙江工业大学CN103581648A,2014.02.12,地址310014浙江省杭州市下城区朝晖六CN104270624A,2015.01.07,区潮王路18号yuchengfan等.vivid-DIBRBASED2D-3Dimageconversionsystemfor3Ddisplay.(72)发明人冯远静黄良鹏李佳镜陈丰《IEEE》.2014,潘善伟杨勇胡键巧孔德平曾耀先.基于DIBR算法的新视点生成及其晨陈宏黄晨图像修复.《CNKI》.2012,(74)专利代理机构杭州斯可睿专利事务所有限王超.多视点视频中视点绘制技术.《cnki》公司33241.2011,代理人王利强LONGJUNLIU.spatio-temporaladaptive(51)Int.Cl.2Dto3Dvideoconversionfor3DTV.H04N13/111(2018.01)《IEEE》.2012,(56)对比文件审查员李乔WO2010037512A1,2010.04.08,权利要求书3页说明书6页(54)发明名称一种基于深度图像的新视点合成方法(57)摘要一种基于深度图像的新视点合成方法，对左右参考视点处的纹理图与深度图进行三维变换；搜索左右参考视点深度图中对象的边缘，将边缘像素进行三维变换到新视点处，然后将新视点处对应的深度像素点抹去；对得到的深度图进行中值滤波，并将经过滤波之后的图像与经三维变换得到的深度图进行对比，标记出变化的像素点；对被标记的像素点进行反向投影，投影到原先的参考视点处，再将初始参考纹理图中的像素值，赋给新视点图像中，与被标记像素点坐标相同的像素；再对得到的新视点图像的遮挡区域进行插值；对残留的空洞进行修复，得到最终的新视点图像。本发明有效消除了新视点图像中的空洞与重影，实验效果良好，生成的新视点图像满足人CN106791773B眼观看效果。CN106791773B权利要求书1/3页1.一种基于深度图像的新视点合成方法，其特征在于，所述的视点合成方法包括以下步骤：(1)对左右参考视点处的纹理图与深度图进行三维变换，变换过程如下：1.1)将图像存储坐标系中的每一个像素点，结合相应的深度信息，投影到世界坐标系中：T-1PWi＝(XWi，YWi，ZWi)＝(KiRi)(λiPi+KiRiCi)，(i＝l，r)T其中PWi＝{PWi＝(XWi，YWi，ZWi)|i＝l，r}表示参考视点图像当前位置处的像素点在世界坐标系中的三维坐标，l和r分别表示左、右，XWi和YWi分别为世界坐标系中的横纵坐标，为深度，di为当前位置处深度图的灰度值，MinZi和MaxZi分别为当前帧对应的深度图像中的最小和最大灰度值，表示摄像机的内参矩阵，fxi＝{fxi∈R|i＝l，r}和fyi＝{fyi∈R|i＝l，r}分别为左右摄像机x方向与y方向上的焦距，R为实数，u0i＝{u0i∈R|i＝l，r}和v0i＝{v0i∈R|i＝l，r}分别为左右摄像3×33×3机的主点在图像存储坐标系中的坐标，Ri＝{Ri∈R|i＝l，r}表示摄像机的旋转矩阵，R表示维度3×3的实数域矩阵空间，λi＝{λi＝Fi31XWi+Fi32YWi+Fi33zWi+Fi34|i＝l，r}为摄像机的3×1齐次比例缩放因子，为投影矩阵，Ti＝{Ti∈R|i＝l，r}T为摄像机的平移矩阵，Pi＝{Pi＝(ui，vi，1)|i＝l，r}为参考视点的齐次图像存储坐标，ui＝{ui∈R|i＝l，r}和vi＝{vi∈R|i＝l，r}分别为当前像素点在图像存储坐标系中的横、纵坐标，Ci为摄像机的中心坐标；对相应的深度图做同样的处理：T-1DWi＝(XWi，YWi，ZWi)＝(KiRi)(λiDi+KiRiCi)，(i＝l，r)T其中DWi＝{DWi＝(XWi，YWi，ZWi)|i＝l，r}表示参考视点深度图当前位置处的像素点在世T界坐标系中的三维坐标，Di＝{Di＝(u0i，v0i，1)|i＝l，r}为参考视点深度图的齐次图像存储坐标；1.2)将经过第一次投影得到的每一个点，结合目标新