用于自适应小透镜光场传输和渲染的系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114375583A(43)申请公布日2022.04.19(21)申请号202080063308.4(74)专利代理机构北京同立钧成知识产权代理(22)申请日2020.07.20有限公司11205代理人黄健臧建明(30)优先权数据62/877,5742019.07.23US(51)Int.Cl.H04N19/597(2014.01)(85)PCT国际申请进入国家阶段日H04N5/225(2006.01)2022.03.08H04N13/307(2018.01)(86)PCT国际申请的申请数据H04N13/366(2018.01)PCT/US2020/0427562020.07.20H04N13/383(2018.01)(87)PCT国际申请的公布数据H04N21/218(2011.01)WO2021/016176EN2021.01.28H04N21/2343(2011.01)H04N21/442(2011.01)(71)申请人PCMS控股公司H04N21/6587(2011.01)地址美国特拉华州威明顿市H04N21/845(2011.01)(72)发明人塔图·V·J·哈尔维艾宁H04N13/117(2018.01)路易斯·克伦斯基权利要求书4页说明书32页附图30页(54)发明名称用于自适应小透镜光场传输和渲染的系统和方法(57)摘要方法的一些实施例可以包括：流式传输光场视频内容的光场小透镜表示；以及改变所述光场小透镜表示的分辨率。方法的一些实施例可以包括：从光场内容的部分的多个小透镜表示中选择一小透镜表示；检索所选择的小透镜表示的子采样小透镜表示；以及从所述子采样小透镜表示内插视图。CN114375583ACN114375583A权利要求书1/4页1.一种方法，包括：从服务器接收描述光场视频内容的部分的多个子采样小透镜表示的媒体清单文件；从所述多个子采样小透镜表示中选择子采样小透镜表示；从所述服务器检索所述选择的子采样小透镜表示；使用所述清单文件中的所选择的子采样小透镜表示的所述描述，从检索到的所选择的子采样小透镜表示内插视图；以及显示所内插的视图。2.根据权利要求1所述的方法，还包括：确定可用于流式传输所述光场视频内容的估计带宽。3.根据权利要求1‑2中任一项所述的方法，其中选择所述子采样小透镜表示基于以下中的至少一个来选择所述子采样小透镜表示：用户的视点、估计带宽或观看客户端的显示能力。4.根据权利要求1‑3中任一项所述的方法，还包括预测所述用户的预测视点，其中，所述用户的所述视点是所述用户的所述预测视点。5.根据权利要求1至4中任一项所述的方法，其中选择所述子采样小透镜表示包括：确定所述多个子采样小透镜表示中至少一个子采样小透镜表示的相应最小支持带宽；以及选择所述子采样小透镜表示，所述子采样小透镜表示具有所述多个相应最小支持带宽中小于所述估计带宽的最大最小支持带宽。6.根据权利要求1至5中任一项所述的方法，还包括：确定由所述估计带宽支持的估计最大内容大小，其中选择所述子采样小透镜表示选择所述多个子采样小透镜表示中具有小于所述估计最大内容大小的一个子采样小透镜表示。7.根据权利要求1至6中任一项所述的方法，还包括：跟踪用户的注视方向，其中所述选择所述子采样小透镜表示使用所述用户的所述注视方向。8.根据权利要求1‑7中任一项所述的方法，其中选择所述子采样小透镜表示包括：选择具有高于位于所述用户的所述注视方向的注视阈值内的所述光场内容的部分的密度阈值的密度的子采样小透镜表示。9.根据权利要求1至8中任一项所述的方法，还包括：预测用户的视点；以及针对所述预测视点，调整所选择的小透镜表示。10.根据权利要求1至9中任一项所述的方法，还包括：选择光场空间分辨率；将所述光场内容划分成与所述光场空间分辨率相对应的部分；以及为所述光场内容的至少一部分的至少一个子采样小透镜表示的至少一帧，选择小透镜图像，其中选择所述子采样小透镜表示为所述光场内容的至少一部分选择相应的子采样小2CN114375583A权利要求书2/4页透镜表示，以及其中，从所述子采样小透镜表示内插视图使用所述相应的小透镜图像。11.根据权利要求1‑10中任一项所述的方法，还包括：调整所述光场空间分辨率以改进所内插的视图的性能度量。12.根据权利要求1‑11中任一项所述的方法，其中从检索到的子采样小透镜表示内插视图包括：将检索到的子采样小透镜表示拆包为清单文件中指示的光场视频内容的部分的原始小透镜位置；以及内插从检索到的子采样小透镜表示中省略的小透镜样本。13.根据权利要求1‑12中任一项所述的方法，其中从检索到的子采样小透镜表示内插视图生成所述光场视频内容的所述部分的完整光场区域图像。14.根