全景视频的播放控制方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111200749A(43)申请公布日2020.05.26(21)申请号201811368809.4H04N13/363(2018.01)(22)申请日2018.11.16(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人付宇豪(74)专利代理机构北京新知远方知识产权代理事务所(普通合伙)11397代理人马军芳张艳(51)Int.Cl.H04N21/431(2011.01)H04N21/44(2011.01)H04N21/485(2011.01)G06T19/20(2011.01)G06T15/04(2011.01)权利要求书3页说明书15页附图8页(54)发明名称全景视频的播放控制方法、装置、电子设备及存储介质(57)摘要本公开提供了一种全景视频的播放控制方法、装置、电子设备及存储介质，其中，方法包括：将全景视频中的视频帧映射为三维模型的表面纹理；确定所述视频帧的符合播放策略的播放窗口视场、以及播放窗口的子窗口对应的子窗口视场；当符合播放策略的播放窗口视场的方向，不同于当前播放窗口的视场方向时，转换播放窗口的视场方向，使其与符合播放策略的播放窗口视场的方向一致；将播放窗口视场、以及子窗口视场分别在三维模型的表面纹理中进行投影，对应得到处于播放窗口视场的纹理区域、以及处于子窗口视场的纹理区域；在播放窗口中渲染处于播放窗口视场的纹理区域，并在子窗口中渲染处于子窗口视场的纹理区域。CN111200749ACN111200749A权利要求书1/3页1.一种全景视频的播放控制方法，其特征在于，所述方法包括：将全景视频中的视频帧映射为三维模型的表面纹理；确定所述视频帧的符合播放策略的播放窗口视场、以及播放窗口的子窗口对应的子窗口视场；当所述符合播放策略的播放窗口视场的方向，不同于当前播放窗口的视场方向时，转换所述播放窗口的视场方向，使其与所述符合播放策略的播放窗口视场的方向一致；将所述播放窗口视场、以及所述子窗口视场分别在所述三维模型的表面纹理中进行投影，对应得到处于所述播放窗口视场的纹理区域、以及处于所述子窗口视场的纹理区域；在所述播放窗口中渲染处于所述播放窗口视场的纹理区域，并在所述子窗口中渲染处于所述子窗口视场的纹理区域。2.根据权利要求1所述的方法，其特征在于，所述确定所述视频帧的符合播放策略的播放窗口视场，包括：从全景视频文件中提取所述视频帧对应的解码元数据；解析所述视频帧对应的解码元数据，得到所述视频帧对应的播放参数；基于所得到的所述播放参数，确定所述视频帧的符合播放策略的播放窗口视场的方向、以及所述播放窗口视场对应的放大倍数。3.根据权利要求1所述的方法，其特征在于，所述确定所述视频帧的符合播放策略的播放窗口视场，包括：对所述视频帧进行目标对象检测，得到检测结果；当所述检测结果表征所述视频帧中包含所述目标对象时，确定所述视频帧的对应所述目标对象的视场方向，为所述符合播放策略的播放窗口视场的方向；调整所述播放窗口视场的放大倍数，使得所述播放窗口中呈现的所述目标对象的大小与所述播放窗口相适配。4.根据权利要求1所述的方法，其特征在于，所述确定播放窗口的子窗口对应的子窗口视场，包括：根据所述符合播放策略的播放窗口视场的方向，所述播放窗口视场的方向与所述子窗口视场的方向之间的相对位置关系，确定所述子窗口视场的方向；或者，根据所述全景视频中的目标对象，确定包括所述目标对象的视场方向为所述子窗口视场的方向。5.根据权利要求1所述的方法，其特征在于，所述将全景视频中的视频帧映射为三维模型的表面纹理，包括：将所述视频帧的像素点映射到纹理空间，得到所述像素点的纹理坐标；将所述像素点的纹理坐标映射到所述三维模型表面的顶点坐标，以形成所述三维模型的表面纹理。6.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述播放窗口视场、以及所述子窗口视场分别在所述三维模型的表面纹理中进行投影，对应得到处于所述播放窗口视场的纹理区域、以及处于所述子窗口视场的纹理区域，包括：对于按照渲染时间的先后顺序待渲染的各个视频帧，执行以下操作：将所述播放窗口视场在对应待渲染的视频帧映射形成的表面纹理中进行投影，得到处2CN111200749A权利要求书2/3页于所述播放窗口视场的纹理区域，以及，将与所述子窗口视场在对应待渲染的视频帧映射形成的表面纹理中进行投影，得到处于所述子窗口视场的纹理区域。7.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述播放窗口视场、以及所述子窗口视场分别在所述三维模型的表面纹理中进行投影，对应得到处于所述播放窗口视场的纹理区域、以及处于所述子窗口视场的纹理区域，包括：对于