VR视频渲染方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108366272A(43)申请公布日2018.08.03(21)申请号201810005787.9H04N21/81(2011.01)(22)申请日2018.01.03H04N21/44(2011.01)(30)优先权数据US62/441,9362017.01.03US(71)申请人黑帆科技有限公司地址美国加利福尼亚州森尼韦尔市北沃乐夫路440号(72)发明人王焯唐泳滔赵若熹张家齐祖浩焱(74)专利代理机构北京成创同维知识产权代理有限公司11449代理人蔡纯范芳茗(51)Int.Cl.H04N21/2343(2011.01)H04N21/41(2011.01)权利要求书2页说明书6页附图3页(54)发明名称VR视频渲染方法及装置(57)摘要公开了一种VR视频渲染方法，包括：分别创建基础视频模型与增强视频模型；初始化基础视频模型和增强视频模型上的UV坐标；根据用户当前的视场角度获得基础视频片段和增强视频片段；解码获得基础视频片段和增强视频片段的像素信息；分别根据基础视频片段的像素信息和基础视频模型的UV坐标生成基础视频贴图，以及根据增强视频片段的像素信息和增强视频模型的UV坐标生成增强视频贴图；确定增强视频贴图的UV对齐坐标；根据UV对齐坐标生成基础视频贴图与增强视频贴图叠加后的像素信息；以及根据叠加后的像素信息绘出图像。通过叠加基础视频和增强视频以播放VR视频，降低了数据下载量，提升了渲染效率。同时公开对应的装置。CN108366272ACN108366272A权利要求书1/2页1.一种VR视频渲染方法，包括：分别创建基础视频模型与增强视频模型；初始化所述基础视频模型和所述增强视频模型上的UV坐标；根据用户当前的视场角度获得基础视频片段和增强视频片段；解码获得所述基础视频片段和所述增强视频片段的像素信息；分别根据所述基础视频片段的像素信息和所述基础视频模型的UV坐标生成基础视频贴图，以及根据所述增强视频片段的像素信息和所述增强视频模型的UV坐标生成增强视频贴图；以及确定所述增强视频贴图的UV对齐坐标；根据所述UV对齐坐标生成所述基础视频贴图与所述增强视频贴图叠加后的像素信息；以及根据叠加后的像素信息绘出图像。2.根据权利要求1所述的VR视频渲染方法，其中，所述基础视频模型和增强视频模型为相同的多边形球面。3.根据权利要求1所述的VR视频渲染方法，其中，通过获取设备陀螺仪的滚转参数获得所述用户当前的视场角度。4.根据权利要求1所述的VR视频渲染方法，其中，根据对齐前的增强视频贴图的UV对齐坐标计算对齐后的增强视频贴图的UV对齐坐标。5.根据权利要求4所述的VR视频渲染方法，其中，所述根据对齐前的增强视频贴图的UV对齐坐标计算对齐后的增强视频贴图的UV对齐坐标包括以下步骤：设定视场角度缩放因子i与fov换算公式为：则对齐前的增强视频贴图的U值和对齐后的增强视频贴图的U值可以通过以下公式进行转换：id为对应的增强视频片段编号，id*Δ∈[0,1]；对齐前的增强视频贴图的V值和对齐后的增强视频贴图的V值通过以下公式进行转换：6.根据权利要求1所述的VR视频渲染方法，其中，所述根据所述UV对齐坐标生成所述基础视频贴图与所述增强视频贴图叠加后的像素信息包括：采用下述公式生成所述叠加后的像素信息，其中，Px,yReconstructed对应于相应坐标(x,y)的叠加后的像素信息，Px,yScaleBase对应于相2CN108366272A权利要求书2/2页应坐标(x,y)的基础视频贴图的像素信息，Px,yNormalizedResidual对应于相应坐标(x,y)的增强视频贴图的像素信息，H,L对应于像素信息的最大和最小值。7.根据权利要求1所述的VR视频渲染方法，其中，调用OpenGL和/或WebGL的相关接口实现相关功能。8.一种VR视频渲染装置，包括：初始化模块，用于分别创建基础视频模型与增强视频模型，并且初始化所述基础视频模型和所述增强视频模型上的UV坐标；下载解码模块，用于根据用户当前的视场角度获得基础视频片段和增强视频片段，并且解码获得所述基础视频片段和所述增强视频片段的像素信息；贴图生成模块，用于分别根据所述基础视频片段的像素信息和所述基础视频模型的UV坐标生成基础视频贴图，以及根据所述增强视频片段的像素信息和所述增强视频模型的UV坐标生成增强视频贴图；对齐坐标确定模块，用于确定所述增强视频贴图的UV对齐坐标；像素计算模块，用于根据所述UV对齐坐标生成所述基础视频贴图与所述增强视频贴图叠加后的像素信息；绘制模块，用于根据叠加后的像素信息绘出图像。9.根据权利要求8所述的VR视频渲染装置，其中，所述基础视频模型和增强视频模型为相同的多边形球面。10.