沉浸式VR视频渲染方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108377381A(43)申请公布日2018.08.07(21)申请号201810005786.4H04N13/106(2018.01)(22)申请日2018.01.03G06T17/00(2006.01)(30)优先权数据US62/441,9362017.01.03US(71)申请人黑帆科技有限公司地址美国加利福尼亚州森尼韦尔市北沃乐夫路440号(72)发明人王焯唐泳滔赵若熹张家齐祖浩焱(74)专利代理机构北京成创同维知识产权代理有限公司11449代理人蔡纯范芳茗(51)Int.Cl.H04N13/344(2018.01)H04N13/275(2018.01)权利要求书3页说明书10页附图5页(54)发明名称沉浸式VR视频渲染方法及装置(57)摘要公开了一种沉浸式VR视频渲染方法，包括：获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；创建三维模型，获得所述三维模型的原始坐标数据；根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据；基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；像素化所述第二坐标数据，获得像素单元；以及根据VR视频数据和所述像素单元绘制图像。根据本发明，在三维模型中进行坐标点的透镜扭曲，可以在一次处理中实现画面渲染和沉浸式渲染效果，从而提高了渲染效率。同时公开一种沉浸式VR视频渲染装置。CN108377381ACN108377381A权利要求书1/3页1.一种沉浸式VR视频渲染方法，包括：获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；创建三维模型，获得所述三维模型的的原始坐标数据；根据所述相关参数和所述三维模型的原始坐标数据获得第一坐标数据；基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；像素化所述第二坐标数据，获得像素单元；以及根据VR视频数据和所述像素单元绘制图像。2.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述获得相关参数包括：根据头显设备的规格和屏幕尺寸获得视场角度参数；根据所述视场角度参数计算所述透镜扭曲圆心位置；以及根据所述视场角度参数计算所述投射矩阵。3.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述获得相关参数包括：所述根据头显设备的规格获得眼距参数；以及根据所述眼距参数计算所述摄像机矩阵。4.根据权利要求1所述的沉浸式VR视频渲染方法，其中，通过调节所述摄像机矩阵和所述投影矩阵达到双目模式的效果。5.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据包括以下步骤：通过方程式(1)–(4)计算双目模式下左右眼的摄像机矩阵：left_view_matrix＝translate(-half_eye_ipd,0,0)*mat4view(3)right_view_matrix＝translate(half_eye_ipd,0,0)*mat4view(4)left_view_matrix和right_view_matrix分别为左右眼的摄像机矩阵，mat4view表示摄像机矩阵，可根据陀螺仪的旋转角度直接生成，eye_ipd表示眼距参数；通过方程式(5)计算双目模式下的投射矩阵mat4projection：2CN108377381A权利要求书2/3页其中，fovleft，fovright，fovup，fovdown，far,near表示双目模式下的视场角度参数；设定模型矩阵mat4model为单位矩阵；通过方程式(6)计算第一坐标数据其中，表示第一坐标数据，表示原始坐标数据，mat4model表示所述模型矩阵，mat4projection表示投射矩阵，将左右眼的摄像机矩阵left_view_matrix和right_view_matrix分别代入到方程式(6)中，获得第一坐标数据6.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据包括以下步骤：根据下方程式(7)和(8)获得扭曲参数：K1,K2(7)根据(9)和(10)和所述扭曲参数得到矫正后的像场坐标(xu,yu)作为第二坐标数据，当不作切向畸变矫正，可去掉所有含p的项，242224xu＝xd+(xd-xc)(K1r+K2r+…)+(P1(r+2(xd-xc))+2P2(xd-xc)(yd-yc))(1+P3r+P4r…)(9)242224yu＝yd+(yd-yc)(K1r+K2r+…)+(2P1(xd-xc)(yd-yc)+P2(r+2(yd-yc)))(1+P3r+P4r…)(10)其中，(xd