视频图像帧的生成方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115734005A(43)申请公布日2023.03.03(21)申请号202110988978.3(22)申请日2021.08.26(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人宋美佳魏雪(74)专利代理机构北京励诚知识产权代理有限公司11647专利代理师赵爽(51)Int.Cl.H04N21/234(2011.01)权利要求书2页说明书11页附图3页(54)发明名称视频图像帧的生成方法、装置、设备及存储介质(57)摘要本申请提供了一种视频图像帧的生成方法、装置、设备及存储介质，包括：获取待合成图像帧的深度图、N个已处理图像帧和N个已处理图像帧各自的深度图，N个已处理图像帧是视频中待合成图像帧之前的N个已渲染或者已合成的图像帧，N为正整数；根据待合成图像帧的深度图、N个已处理图像帧和N个已处理图像帧各自的深度图，生成待合成图像帧的特征张量；对待合成图像帧的深度图、N个已处理图像帧和待合成图像帧的特征张量进行合成，以得到待合成图像帧对应的合成图像帧。从而可以准确的合成待合成图像帧对应的合成图像帧。CN115734005ACN115734005A权利要求书1/2页1.一种视频图像帧的生成方法，其特征在于，包括：获取待合成图像帧的深度图、N个已处理图像帧和所述N个已处理图像帧各自的深度图，所述N个已处理图像帧是视频中所述待合成图像帧之前的N个已渲染或者已合成的图像帧，N为正整数；根据所述待合成图像帧的深度图、所述N个已处理图像帧和所述N个已处理图像帧各自的深度图，生成所述待合成图像帧的特征张量；对所述待合成图像帧的深度图、所述N个已处理图像帧和所述待合成图像帧的特征张量进行合成，以得到所述待合成图像帧对应的合成图像帧。2.根据权利要求1所述的方法，其特征在于，所述根据所述待合成图像帧的深度图、所述N个已处理图像帧和所述N个已处理图像帧各自的深度图，生成所述待合成图像帧的特征张量，包括：针对所述N个已处理图像帧中的任一个已处理图像帧，将所述已处理图像帧、所述已处理图像帧的深度图和所述待合成图像帧的深度图，堆叠为一个第一张量；将所述N个已处理图像帧各自对应的第一张量输入至第一神经网络中，以得到所述待合成图像帧的特征张量。3.根据权利要求2所述的方法，其特征在于，所述第一神经网络为以下任一神经网络：3维度D卷积网络、时间递归神经网络RNN、基于注意力机制的变换网络。4.根据权利要求2或3所述的方法，其特征在于，针对所述N个已处理图像帧中的任一个已处理图像帧，所述已处理图像帧的高度为h、宽度为w、通道数为l，所述已处理图像帧的深度图的通道数为1，所述待合成图像帧的深度图的通道数为1；相应的，所述第一张量的高度为h、宽度为w、通道数为l+2。5.根据权利要求1所述的方法，其特征在于，所述根据所述待合成图像帧的深度图、所述N个已处理图像帧和所述N个已处理图像帧各自的深度图，生成所述待合成图像帧的特征张量，包括：将所述待合成图像帧的深度图、所述N个已处理图像帧和所述N个已处理图像帧各自的深度图，堆叠为一个第二张量；将所述第二张量输入至第二神经网络中，以得到所述待合成图像帧的特征张量。6.根据权利要求5所述的方法，其特征在于，所述第二神经网络为2D卷积网络。7.根据权利要求5或6所述的方法，其特征在于，针对所述N个已处理图像帧中的任一个已处理图像帧，所述已处理图像帧的高度为h、宽度为w、通道数为l，所述已处理图像帧的深度图的通道数为1，所述待合成图像帧的深度图的通道数为1；相应的，所述第二张量的高度为h、宽度为w、通道数为N*(l+1)+1。8.根据权利要求1所述的方法，其特征在于，所述对所述待合成图像帧的深度图、所述N个已处理图像帧和所述待合成图像帧的特征张量进行合成，以得到所述待合成图像帧对应的合成图像帧，包括：将所述待合成图像帧的深度图、所述N个已处理图像帧和所述待合成图像帧的特征张量输入至第三神经网络中，以得到所述待合成图像帧对应的合成图像帧。9.一种视频图像帧的处理装置，其特征在于，包括：获取模块，用于获取待合成图像帧的深度图、N个已处理图像帧和所述N个已处理图像2CN115734005A权利要求书2/2页帧各自的深度图，所述N个已处理图像帧是视频中所述待合成图像帧之前的N个已渲染或者已合成的图像帧，N为正整数；生成模块，用于根据所述待合成图像帧的深度图、所述N个已处理图像帧和所述N个已处理图像帧各自的深度图，生成所述待合成图像帧的特征张量；合成模块，用于对所述待合成图像帧的深度图、所述N个已处理图像帧和所述待合成图像帧的特征张量进行合成，以得到所述待合成图像帧对应的合成图像帧。10.一种电子设备，其特征