用于沉浸式视频格式的方法、装置和流.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107426559A(43)申请公布日2017.12.01(21)申请号201710371361.0G06T15/10(2006.01)(22)申请日2017.05.23G06T19/00(2011.01)(30)优先权数据16305600.52016.05.24EP(71)申请人汤姆逊许可公司地址法国伊西莱穆利诺(72)发明人雷诺·多尔朱利安·弗勒罗蒂埃里·塔皮弗兰克·图朵(74)专利代理机构中科专利商标代理有限责任公司11021代理人杨姗(51)Int.Cl.H04N13/00(2006.01)G06T15/00(2011.01)G06T15/04(2011.01)权利要求书2页说明书14页附图9页(54)发明名称用于沉浸式视频格式的方法、装置和流(57)摘要根据对象的图像生成流的方法和设备，包括：获得与表示所述对象的至少一部分的点云的点相关联的数据；根据与所述对象的所述至少一部分相关联的至少一个几何特性和用于获取至少一个图像的获取设备的姿态信息，获得参数表面；获得与参数表面相关联的高度图和一个或多个纹理图；通过将与至少一个参数相关的第一语法元素、与高度图相关的第二语法元素、与至少一个纹理图相关的第三语法元素和与获取设备的位置相关的第四语法元素组合在一起而生成流。本公开还涉及用于根据由此获得的流渲染对象的图像的方法和设备。CN107426559ACN107426559A权利要求书1/2页1.一种根据场景的对象的至少一个图像生成流的方法，所述方法包括：-获得(1201)与表示所述对象的至少一部分的点云的点相关联的数据；-根据与所述对象的所述至少一部分相关联的至少一个几何特性和用于获取所述至少一个图像的获取设备的姿态信息，获得(1202)表示参数表面的参数，所述至少一个几何特性是根据与所述点云的点相关联的所述数据获得的，所述点云的点与所述对象的所述至少一部分相关联；-根据所述数据获得(1203)与所述参数表面相关联的高度图，所述高度图包括表示所述对象的所述至少一部分与所述参数表面之间的距离的信息；-根据与所述点云的点相关联的颜色信息获得(1204)与所述参数表面相关联的至少一个颜色图，所述点云的点与所述对象的所述至少一部分相关联；-通过将与所述参数相关的第一语法元素、与所述高度图相关的第二语法元素、与所述至少一个颜色图相关的第三语法元素和与所述获取设备的位置相关的第四语法元素组合在一起而生成(1205)所述流。2.根据权利要求1所述的方法，其中，所述点云表示从视点范围来看的所述对象。3.根据权利要求1或2所述的方法，其中，所述参数根据所述对象的所述至少一部分的变形而随时间变化。4.一种被配置为根据场景的对象的至少一个图像生成流的设备，所述设备包括与至少一个处理器相关联的存储器，所述至少一个处理器被配置为：-获得与表示所述对象的至少一部分的点云的点相关联的数据；-根据与所述对象的所述至少一部分相关联的至少一个几何特性和用于获取所述至少一个图像的获取设备的姿态信息，获得表示参数表面的参数，所述至少一个几何特性是根据与所述点云的点相关联的所述数据获得的，所述点云的点与所述对象的所述至少一部分相关联；-根据所述数据获得与所述参数表面相关联的高度图，所述高度图包括表示所述对象的所述至少一部分与所述参数表面之间的距离的信息；-根据与所述点云的点相关联的颜色信息获得与所述参数表面相关联的至少一个颜色图，所述点云的点与所述对象的所述至少一部分相关联；-通过将与所述参数相关的第一语法元素、与所述高度图相关的第二语法元素、与所述至少一个颜色图相关的第三语法元素和与所述获取设备的位置相关的第四语法元素组合在一起而生成所述流。5.根据权利要求4所述的方法，其中，所述点云表示从视点范围来看的所述对象。6.根据权利要求4或5所述的设备，其中，所述至少一个参数根据所述对象的所述至少一部分的变形而随时间变化。7.一种携带表示场景的对象的第一数据的流，其中，所述数据包括：-第一语法元素(1102)，与根据与所述对象的至少一部分相关联的至少一个几何特性和用于获取所述至少一个图像的获取设备的姿态信息获得的表示参数表面的参数相关，所述至少一个几何特性是根据与所述点云的点相关联的所述数据获得的，所述点云的点与所述对象的所述至少一部分相关联；-第二语法元素(1103)，与根据与表示所述对象的所述至少一部分的点云的点相关联2CN107426559A权利要求书2/2页的第二数据所获得的高度图相关，所述高度图包括表示所述对象的所述至少一部分与所述参数表面之间的距离的信息；-第三语法元素(1104)，与根据与所述点云的点相关联的所述颜色信息获得至少一个颜色图相关，所述点云的点与所述对象的所述至少一部分