利用注视点网格渲染沉浸式视频内容的方法、系统和介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114175630A(43)申请公布日2022.03.11(21)申请号201980098968.3(74)专利代理机构中原信达知识产权代理有限(22)申请日2019.12.10责任公司11219代理人李宝泉周亚荣(30)优先权数据62/879,5292019.07.28US(51)Int.Cl.H04N13/344(2006.01)(85)PCT国际申请进入国家阶段日H04N13/117(2006.01)2022.01.28H04N13/279(2006.01)(86)PCT国际申请的申请数据H04N5/232(2006.01)PCT/US2019/0654172019.12.10(87)PCT国际申请的公布数据WO2021/021235EN2021.02.04(71)申请人谷歌有限责任公司地址美国加利福尼亚州(72)发明人万明·吴塞缪尔·克瓦伦伊万·雅娜拉邬昶畅权利要求书3页说明书13页附图4页(54)发明名称利用注视点网格渲染沉浸式视频内容的方法、系统和介质(57)摘要提供了用于利用注视点网格渲染沉浸式视频内容的方法、系统和介质。在一些实施例中，该方法包括：接收视频内容项；使用硬件处理器确定视频内容项是否满足至少一个准则；响应于确定视频内容项满足至少一个准则，使用硬件处理器，根据注视点比率参数生成视频内容项的帧被投影在其上的注视点网格，其中注视点网格具有非均匀位置映射，与视频内容项的每一帧的周边部分相比，非均匀位置映射增加了视频内容项的每一帧的中央部分中的像素密度；以及以包括所生成的注视点网格的文件格式存储视频内容项，其中通过将视频内容项作为纹理应用于所生成的注视点网格来渲染沉浸式视频内容。CN114175630ACN114175630A权利要求书1/3页1.一种用于生成沉浸式视频内容的方法，所述方法包括：接收视频内容项；使用硬件处理器确定所述视频内容项是否满足至少一个准则；响应于确定所述视频内容项满足所述至少一个准则，使用所述硬件处理器根据注视点比率参数生成所述视频内容项的帧被投影在其上的注视点网格，其中所述注视点网格具有非均匀位置映射，与所述视频内容项的每一帧的周边部分相比，所述非均匀位置映射增加了所述视频内容项的每一帧的中央部分中的像素密度；以及以包括所生成的注视点网格的文件格式存储所述视频内容项，其中通过将所述视频内容项作为纹理应用于所生成的注视点网格来渲染所述沉浸式视频内容。2.根据权利要求1所述的方法，其中，所述至少一个准则包括确定所接收的视频内容项是否与特定文件格式相关联。3.根据权利要求2所述的方法，其中，所述特定文件格式包括使用具有180度视场的定向立体投影的VR180文件格式。4.根据权利要求1所述的方法，其中，所述至少一个准则包括确定所接收的视频内容项是包括立体内容还是单视场内容，并且其中，所述方法还包括响应于确定所接收的视频内容项包括立体内容而生成所述注视点网格。5.根据权利要求1所述的方法，其中，所述至少一个准则包括确定所接收的视频内容项是静态视频还是动态视频，其中，所述静态视频包括当捕获所述视频内容时相机基本上没有移动的视频内容，其中，所述动态视频包括相机运动元数据轨道，并且其中，所述方法还包括响应于确定所接收的视频内容项是所述静态视频而生成所述注视点网格。6.根据权利要求1所述的方法，其中，所述至少一个准则包括确定所接收的视频内容项是否与特定类型的输入网格相关联，并且其中，所述方法还包括响应于确定所接收的视频内容项与裁剪的等矩形网格相关联而生成所述注视点网格。7.根据权利要求6所述的方法，其中，通过使用多项式拟合函数使所述裁剪的等矩形网格的二维UV映射变形来生成所述注视点网格。8.根据权利要求1所述的方法，还包括基于第一注视点比率参数生成第一注视点网格，以及基于第二注视点比率参数生成第二注视点网格。9.根据权利要求1所述的方法，其中，响应于确定所接收的视频从第一像素分辨率以下采样比被下采样到第二像素分辨率而生成所述注视点网格，并且其中，在所述视频内容项的每一帧的中央部分处的改善比与所述下采样比相对应。10.根据权利要求1所述的方法，还包括响应于从用户设备接收到对所述视频内容项的请求，将所述视频内容和所生成的注视点网格发送到所述用户设备。11.一种用于生成沉浸式视频内容的系统，所述系统包括：存储器；以及硬件处理器，所述硬件处理器在执行被存储在所述存储器中的计算机可执行指令时被配置成：接收视频内容项；确定所述视频内容项是否满足至少一个准则；响应于确定所述视频内容项满足所述至少一个准则，根据注视点比率参数生成所述视2CN114175630A权利要求书2/3页频内容项的帧被投影在其上的注视点网格，其中，所述注视点网格具有非