基于主视点的全景视频映射方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107622474A(43)申请公布日2018.01.23(21)申请号201710882161.1(22)申请日2017.09.26(71)申请人北京大学深圳研究生院地址518055广东省深圳市南山区西丽镇深圳大学城北大校区(72)发明人王荣刚王悦名王振宇高文(74)专利代理机构北京万象新悦知识产权代理事务所(普通合伙)11360代理人黄凤茹(51)Int.Cl.G06T3/00(2006.01)权利要求书4页说明书11页附图4页(54)发明名称基于主视点的全景视频映射方法(57)摘要本发明公布了一种新的全景视频非对称映射方法及相应的反映射方法，通过映射方法将全景图像或视频A所对应的球面映射到二维图像或视频B上；先将球面投影到底面为方形的等腰四棱锥上，再进一步将四棱锥投影到平面上；投影中对主视点的区域使用等角投影并使用较高的采样密度，保证主视点的区域的视频质量较高，对非主视点区域使用较低的采样密度以节省码率。该全景视频非对称映射技术在保证主视点区域视频质量不变的情况下，大大降低视频其余区域的分辨率，有效地节省了虚拟现实视频编码所需的码率。全景视频非对称反映射技术提供了从平面映射回球面的方法，通过此方法可将平面视频映射回球面进行渲染观看。CN107622474ACN107622474A权利要求书1/4页1.一种基于主视点的全景视频映射方法，将全景图像或视频A所对应的球面映射到二维图像或视频B上；首先将球面投影到底面为方形的等腰四棱锥上，再进一步将等腰四棱锥投影到平面上；投影中对主视点区域使用等角投影并使用较高的采样密度，使得主视点的区域的视频质量较高；对非主视点区域使用较低的采样密度以节省码率。2.如权利要求1所述全景视频映射方法，其特征是，所述全景视频映射方法包括：首先过球心O建立右手坐标系，Z轴指向球面经度和纬度为(0°，0°)的方向，Y轴指向球面北极的方向，X轴指向球面经度和纬度为(90°，0°)的方向；再建立一个四棱锥W，底面中心在Z轴正半轴上，顶点在Z轴负半轴上，底面边分别与X轴和Y轴平行，四棱锥的底面中心D与球心O的连线记作l1，四棱锥的底面边的中心与球心O的连线记作l2，l1和l2所成角的角度为θ，θ表示主视点区域的大小；将四棱锥的底面记为面I″，与X轴正半轴相交的侧面记为面II″，与Y轴正半轴相交的侧面记为面III″，与X轴负半轴相交的侧面记为面IV″，与Y轴负半轴相交的侧面记为面V″；当主视点的俯仰角pitch、航偏角yaw和翻滚角roll分别为(β1，β2，β3)时，对应的四棱锥设为四棱锥Q绕球心O旋转(β1，β2，β3)后对应的四棱锥Q′；过球心O与四棱锥Q′的四条底边作四个扇形平面，四个扇形平面将球面划为两个区域，其中包含主视点的区域称为主视点区域，其对应棱锥的底面，记为区域I，另一区域称为非主视点区域；过球心O与四棱锥Q′的四条侧边作四个扇形平面，四个扇形平面进一步将非主视点区域划分为四个子区域，四个子区域分别对应棱锥的四个侧面II″、III″、IV″、V″，分别记作区域II、III、IV、V；将区域I映射到分辨率为WI′×HI′的矩形平面I′上；将区域II、III、IV、V分别映射到四个等腰三角形平面II′，III′，IV′，V′上，四个等腰三角形平面的底和高分别为再将四个等腰三角形拼接成分辨率为WII′×HII′矩形平面VI′；矩形平面I′和矩形平面VI′即为映射得到的二维图像或视频B；所述参数θ，WI′，HI′，WII′，HII′，β1，β2，β3均可自行设置。3.如权利要求2所述全景视频映射方法，其特征是，所述全景视频映射方法包括如下步骤：第一步：对矩形平面I′中的每个像素点，根据其在平面I′中的坐标(XI′，YI′)，计算其对应到四棱锥Q′底面上的坐标Coordinate′；然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate；最后根据球面坐标Coordinate取球面上对应位置的像素值，附近像素通过插值计算得到相应像素值，作为平面I′中像素点(XI，YI)的像素值；第二步：对四个等腰三角形平面II′，III′，IV′，V′中的每个像素点，根据其坐标(XII′，YII′)，计算其对应到四棱锥Q′侧面上的坐标Coordinate′，然后进一步根据透视投影的方法计算其对应到球面上的坐标Coordinate，最后根据球面坐标Coordinate取球面上对应位置的像素值，或附近像素通过插值计算得到相应像素值，作为像素点(XII′，YII′)的像素值；第三步：将第二步中得到的四个等腰三角形平面II′，III′，IV′，V′拼接成分辨率为WII′×HII′矩形平面VI′。2CN107622474A权利要求书