用于生成压缩图像的方法、系统和介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112055213A(43)申请公布日2020.12.08(21)申请号202010959566.2(22)申请日2020.09.14(30)优先权数据16/736,4692020.01.07US(71)申请人谷歌有限责任公司地址美国加利福尼亚州(72)发明人瑞安·奥弗贝克(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人周亚荣邓聪惠(51)Int.Cl.H04N19/182(2014.01)H04N19/184(2014.01)H04N19/62(2014.01)H04N19/85(2014.01)权利要求书3页说明书12页附图6页(54)发明名称用于生成压缩图像的方法、系统和介质(57)摘要提供了用于生成压缩图像的方法、系统和介质。在一些实施例中，该方法包括：识别表示三维图像的多平面图像(MPI)；将MPI划分为多个子体积；针对MPI的每个子体积计算深度图；将每个深度图转换为网格，其中，每个网格对应于与要被渲染的多深度图像(MDI)相关联的多个层中的一层；针对多个层中的每一层，计算指示在层中包括的每个体素的颜色和透射率的图像；将与MDI的多个层相对应的网格以及与MDI的多个层相对应的图像存储为MDI；以及响应于从用户设备接收到对三维图像的请求，将MDI发送到用户设备，其中，用户设备被配置为通过针对MDI的每一层映射与层相对应的图像作为与层相对应的网格上的纹理来渲染MDI。CN112055213ACN112055213A权利要求书1/3页1.一种用于生成压缩图像的方法，所述方法包括：识别表示三维图像的多平面图像(MPI)，其中，所述MPI包括多个正面平行平面，每个正面平行平面均与指示所述多个正面平行平面中的每个像素的颜色和透射率的图像相关联；将所述MPI划分为多个子体积，其中，所述多个子体积中的每个子体积包括所述多个正面平行平面的子集；针对所述MPI的每个子体积计算深度图；将每个深度图转换为网格，其中，每个网格对应于与要被渲染的多深度图像(MDI)相关联的多个层中的一层，其中，每个深度图指示在所述MDI的对应层中包括的所述MDI的每个体素的位置和深度，并且其中，与所述MDI相关联的所述多个层中的层数小于在与所述MPI相关联的所述多个正面平行平面中包括的正面平行平面的数量；针对所述多个层中的每一层，计算指示在所述层中包括的每个体素的颜色和透射率的图像；将与所述MDI的所述多个层相对应的所述网格以及与所述MDI的所述多个层相对应的所述图像存储为所述MDI；以及响应于从用户设备接收到对所述三维图像的请求，将所述MDI发送到所述用户设备，其中，所述用户设备被配置为通过针对所述MDI的每一层映射与所述层相对应的所述图像作为与所述层相对应的所述网格上的纹理来渲染所述MDI。2.根据权利要求1所述的方法，还包括：生成与MPI图像序列相对应的MDI图像序列，其中，所述MPI图像序列与三维视频内容相对应。3.根据权利要求1所述的方法，其中，将所述MPI划分为所述多个子体积包括：通过最小化使用所述多个子体积渲染所述MDI而生成的渲染误差来优化生成所述多个子体积的多个切割。4.根据权利要求3所述的方法，其中，所述渲染误差包括一元项，所述一元项指示由于使用所述多个切割中的一个切割来渲染所述MDI而产生的深度误差。5.根据权利要求3所述的方法，其中，所述渲染误差包括平滑度项，所述平滑度项指示所述多个切割中跨多个体素的一个切割的平滑度，所述多个体素包括在与所述一个切割相对应的子体积中。6.根据权利要求1所述的方法，其中，将所述MPI划分成所述多个子体积包括：使用经训练的神经网络来识别生成所述多个子体积的多个切割。7.根据权利要求1所述的方法，其中，与所述MDI的每一层相对应的每个网格是三角形网格。8.一种用于生成压缩图像的系统，所述系统包括：硬件处理器，所述硬件处理器被配置为：识别表示三维图像的多平面图像(MPI)，其中，所述MPI包括多个正面平行平面，每个正面平行平面均与指示所述多个正面平行平面中的每个像素的颜色和透射率的图像相关联；将所述MPI划分为多个子体积，其中，所述多个子体积中的每个子体积包括所述多个正面平行平面的子集；针对所述MPI的每个子体积计算深度图；将每个深度图转换为网格，其中，每个网格对应于与要被渲染的多深度图像(MDI)相关2CN112055213A权利要求书2/3页联的多个层中的一层，其中，每个深度图指示在所述MDI的对应层中包括的所述MDI的每个体素的位置和深度，并且其中，与所述MDI相关联的所述多个层中的层数小于在与所述MPI相关联的所述多个正面平行平面中包括的正面平行平面的数量；针对所述多个层中的每一层，计算指示在所述层中包括的