多层视频流传输系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110546960A(43)申请公布日2019.12.06(21)申请号201880027177.7(74)专利代理机构北京英赛嘉华知识产权代理(22)申请日2018.05.01有限责任公司11204代理人王达佐王艳春(30)优先权数据62/492,8582017.05.01US(51)Int.Cl.H04N21/2343(2006.01)(85)PCT国际申请进入国家阶段日H04N21/4402(2006.01)2019.10.24(86)PCT国际申请的申请数据PCT/US2018/0304032018.05.01(87)PCT国际申请的公布数据WO2018/204330EN2018.11.08(71)申请人真实网络公司地址美国华盛顿州(72)发明人雷扎·拉索尔权利要求书5页说明书20页附图24页(54)发明名称多层视频流传输系统和方法(57)摘要用于使得视频捕获/编码设备能够捕获视频序列的帧的系统和方法，包括：从视频解码/渲染设备获得反馈；将每一帧划分成分块阵列；选择每一帧的一个或多个分块以进行补充处理；致使视频序列的帧由视频编码模块编码，并致使选定分块由一个或多个补充处理模块处理；以及组合一个多层视频传输流，其中，对于视频序列的每个帧，传输流的基础层包括与当前帧的编码版本相对应的数据，并且传输流的一个或多个补充层包括与将当前帧划分成分块相对应的元数据以及与当前帧的选定分块的补充处理的输出相对应的数据。CN110546960ACN110546960A权利要求书1/5页1.一种对视频帧序列中的视频帧进行编码以生成表示所述视频帧的多层传输流的方法，所述视频帧包括像素阵列和表示所述视频帧的所述多层传输流，所述方法包括：沿着多个水平轴和垂直轴划分所述视频帧，从而限定多个分块；选择所述多个分块中的一个或多个以进行补充处理；生成与所述视频帧相对应的编码帧数据，所述编码帧数据是以第一分辨率生成的；生成与所述多个分块中的所选择的一个或多个分块相对应的编码分块数据，所述编码分块数据是以高于所述第一分辨率的第二分辨率生成的；生成所述多层传输流的基础层，所述基础层包括所述编码帧数据；以及生成所述多层传输流的补充层，所述补充层包括所述编码分块数据。2.如权利要求1所述的方法，进一步包括：通过通信网络将所述多层传输流提供给视频渲染设备。3.如权利要求1所述的方法，进一步包括：通过通信网络从视频渲染设备接收反馈数据，所述反馈数据与所述视频帧的空间部分相对应，其中选择所述多个分块中的一个或多个分块以进行补充处理包括：至少部分地基于从所述视频渲染设备接收的反馈数据来选择所述多个分块中的一个或多个分块以进行补充处理。4.如权利要求3所述的方法，其中从视频渲染设备接收反馈数据包括：在由所述视频渲染设备渲染所述视频帧序列期间，从所述视频渲染设备接收动态反馈数据。5.如权利要求3所述的方法，其中从视频渲染设备接收反馈数据包括：接收由所述视频渲染设备响应于用户对所述视频渲染设备的移动而生成的反馈数据。6.如权利要求1所述的方法，其中从视频渲染设备接收反馈数据包括：接收由所述视频渲染设备响应于用户与可操作地联接到所述视频渲染设备的用户接口的交互而生成的反馈数据。7.如权利要求1所述的方法，进一步包括：检测所述视频帧中的一个或多个对象，其中选择所述多个分块中的一个或多个分块以进行补充处理包括：至少部分地基于所检测到的一个或多个对象的空间位置选择所述多个分块中的一个或多个分块以进行补充处理。8.如权利要求7所述的方法，其中检测所述视频帧中的一个或多个对象包括：应用面部识别技术来确定是否能在所述视频帧中捕获到一个或多个面部结构。9.如权利要求1所述的方法，其中选择所述多个分块中的一个或多个分块以进行补充处理包括：首先选择所述多个分块中的一个或多个分块作为默认分块以进行补充处理。10.一种视频编码器设备，操作为对视频帧序列中的视频帧进行编码以生成表示所述视频帧的多层传输流，所述视频帧包括像素阵列和表示所述视频帧的所述多层传输流，所述视频编码器设备包括：至少一个非暂时性处理器可读存储介质，存储指令或数据中的至少一者以及所述视频帧序列；以及控制电路，可操作地联接到所述至少一个非暂时性处理器可读存储介质，在操作中，所2CN110546960A权利要求书2/5页述控制电路：沿着多个水平轴和垂直轴划分所述视频帧，从而限定多个分块；选择所述多个分块中的一个或多个以进行补充处理；生成与所述视频帧相对应的编码帧数据，所述编码帧数据是以第一分辨率生成的；生成与所述多个分块中的所选择的一个或多个分块相对应的编码分块数据，所述编码分块数据是以高于所述第一分辨率的第二分辨率生成的；生成所述多层传输流的基础层，所述基础层