用于沉浸式视频格式的方法、装置和流.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109716757A(43)申请公布日2019.05.03(21)申请号201780055984.5(74)专利代理机构中科专利商标代理有限责任公司1(22)申请日2017.09.071021代理人倪斌(30)优先权数据16306155.92016.09.13EP(51)Int.Cl.H04N7/18(2006.01)(85)PCT国际申请进入国家阶段日H04N13/232(2006.01)2019.03.12G06T17/00(2006.01)(86)PCT国际申请的申请数据PCT/EP2017/0724312017.09.07(87)PCT国际申请的公布数据WO2018/050529EN2018.03.22(71)申请人交互数字VC控股公司地址美国特拉华州(72)发明人朱利安·弗勒罗格拉尔德·白里安雷诺·多尔权利要求书2页说明书14页附图10页(54)发明名称用于沉浸式视频格式的方法、装置和流(57)摘要根据对象的图像生成流的方法和设备，包括：获得与表示对象的至少一部分的点云的点相关联的数据；根据与对象的至少一部分相关联的至少一个几何特性和用于获取至少一个图像的获取设备的姿态信息，获得参数表面；获得与参数表面相关联的高度图和一个或多个纹理图；通过将与至少一个参数相关的第一语法元素、与高度图相关的第二语法元素、与至少一个纹理图相关的第三语法元素和与获取设备的位置相关的第四语法元素组合在一起而生成流。本公开还涉及用于根据由此获得的流渲染对象的图像的方法和设备。CN109716757ACN109716757A权利要求书1/2页1.一种根据由多个获取设备捕获的对象的至少一个图像来生成流的方法，所述方法包括：-获得(1201)与表示所述对象的至少一部分的点云的点相关联的数据；-根据所述多个获取设备的光场来获得(1202)表示参数表面(146)的至少一个参数；-根据所述数据获得(1203)与所述参数表面相关联的高度图，所述高度图包括表示所述对象的所述至少一部分与所述参数表面之间的距离的信息；-根据所述数据获得(1204)与所述参数表面相关联的至少一个纹理图；-通过将包括所述至少一个参数的第一语法元素、包括所述高度图的第二语法元素、包括所述至少一个纹理图的第三语法元素和包括所述多个获取设备的位置的第四语法元素组合在一起来生成(1205)所述流。2.根据权利要求1所述的方法，其中，所述参数表面被计算为以所述多个获取设备的每个光学中心为中心的半球的平滑分段组合。3.根据权利要求1至2中任一项所述的方法，其中，与所述数据相关联的所述点仅一次被投影在所述高度图和所述纹理图上。4.一种被配置为根据由多个获取设备捕获的对象的至少一个图像来生成流的设备，所述设备包括与至少一个处理器相关联的存储器，所述至少一个处理器被配置为：-获得与表示所述对象的至少一部分的点云的点相关联的数据；-根据所述多个获取设备的光场来获得表示参数表面的至少一个参数；-根据所述数据获得与所述参数表面相关联的高度图，所述高度图包括表示所述对象的所述至少一部分与所述参数表面之间的距离的信息；-根据所述数据获得与所述参数表面相关联的至少一个纹理图；-通过将包括所述至少一个参数的第一语法元素、包括所述高度图的第二语法元素、包括所述至少一个纹理图的第三语法元素和包括所述多个获取设备的位置的第四语法元素组合在一起来生成所述流。5.根据权利要求4所述的设备，其中，所述参数表面被计算为以所述多个获取设备的每个光学中心为中心的半球的平滑分段组合。6.根据权利要求4或5所述的设备，其中，与所述数据相关联的所述点仅一次被投影在所述高度图和所述纹理图上。7.一种携带表示由多个获取设备捕获的对象的第一数据的流，其中，所述数据包括：-第一语法元素(1102)，包括根据所述多个获取设备的光场获得的表示参数表面的至少一个参数；-第二语法元素(1103)，包括根据与表示所述对象的所述至少一部分的点云的点相关联的第二数据所获得的高度图，所述高度图包括表示所述对象的所述至少一部分与所述参数表面之间的距离的信息；-第三语法元素(1104)，包括根据所述第二数据获得的至少一个纹理图；以及-第四语法元素(1105)，包括所述多个获取设备的位置。8.根据权利要求7所述的流，其中，所述第一语法元素(1102)表示参数表面，所述参数表面被成形为以所述多个获取设备的每个光学中心为中心的半球的平滑分段组合。9.根据权利要求7或8所述的流，其中，所述第二数据包括纹理信息和表示深度的信息。2CN109716757A权利要求书2/2页10.一种根据携带表示对象的数据的流来渲染所述对象的至少一部分的图像的方法，所述方法包括：-根据所述流的第一语法元素获得(130