视频编码方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114765689A(43)申请公布日2022.07.19(21)申请号202110320704.7(22)申请日2021.03.25(66)本国优先权数据202110048292.62021.01.14CN(71)申请人华为云计算技术有限公司地址550025贵州省贵阳市贵安新区黔中大道交兴功路华为云数据中心(72)发明人黄斌彭巧巧蒯多慈(74)专利代理机构北京三高永信知识产权代理有限责任公司11138专利代理师颜晶(51)Int.Cl.H04N19/597(2014.01)H04N19/513(2014.01)权利要求书3页说明书25页附图10页(54)发明名称视频编码方法、装置、设备及存储介质(57)摘要本申请提供了一种视频编码方法、装置、设备及存储介质，属于视频处理技术领域。在对视频帧进行编码时，根据生成该视频帧时的渲染信息，以及生成该视频帧的参考帧时的渲染信息，来确定该视频帧中图像块的运动矢量，并对该视频帧进行编码。采用这种方法进行视频编码，能够大大减少运动估计的计算量，加快视频编码速度，提高视频编码效率，进而有效降低端到端时延。CN114765689ACN114765689A权利要求书1/3页1.一种视频编码方法，其特征在于，所述方法包括：获取视频帧，以及所述视频帧的参考帧，所述视频帧和所述参考帧来自多视角图像中的同一视角或者不同视角；基于第一渲染信息和第二渲染信息确定所述视频帧中图像块的运动矢量；其中，所述第一渲染信息为生成所述视频帧时的渲染信息，所述第二渲染信息为生成所述参考帧时的渲染信息；基于所述运动矢量编码所述视频帧。2.根据权利要求1所述的方法，其特征在于，若所述视频帧与所述参考帧来自同一视角，则所述第一渲染信息包括渲染所述视频帧时虚拟相机的第一位置、姿态信息，以及所述视频帧的深度信息；所述第二渲染信息包括渲染所述参考帧时虚拟相机的第二位置、姿态信息，以及所述参考帧的深度信息。3.根据权利要求1所述的方法，其特征在于，若所述视频帧与所述参考帧来自不同视角，则所述第一渲染信息包括渲染所述视频帧时的焦距、虚拟相机的第一位置，以及所述视频帧的深度信息；所述第二渲染信息包括渲染所述参考帧时虚拟相机的第二位置；所述基于第一渲染信息和第二渲染信息确定所述视频帧与所述参考帧之间的运动矢量，包括：基于所述焦距、所述第一位置与所述第二位置之间的距离值以及所述深度信息，确定所述运动矢量。4.根据权利要求2所述的方法，其特征在于，所述视频帧和所述参考帧是运行虚拟现实VR应用时生成的，所述视频帧编码后的数据用于在终端上解码显示，所述第一位置、姿态信息，和所述第二位置、姿态信息基于所述终端的位置和姿态确定。5.根据权利要求4所述的方法，其特征在于，所述终端为手机、平板、可穿戴设备或分体式设备，所述分体式设备包括显示设备以及对应的控制设备。6.根据权利要求5所述的方法，其特征在于，所述可穿戴设备为头戴式显示器。7.根据权利要求2所述的方法，其特征在于，所述基于第一渲染信息和第二渲染信息确定所述视频帧与所述参考帧之间的运动矢量，包括：基于所述渲染所述视频帧时虚拟相机的第一位置、姿态信息、所述视频帧的深度信息、所述渲染所述参考帧时虚拟相机的第二位置、姿态信息、所述参考帧的深度信息，确定所述视频帧中像素或图像块对应的二维坐标与所述参考帧中像素或图像块对应的二维坐标；基于所述视频帧中像素或图像块对应的二维坐标和所述参考帧中像素或图像块对应的二维坐标，确定所述运动矢量。8.根据权利要求7所述的方法，其特征在于，所述基于所述视频帧中像素或图像块对应的二维坐标和所述参考帧中像素或图像块对应的二维坐标，确定所述运动矢量，包括：获取所述视频帧中像素或图像块对应的二维坐标和所述参考帧中像素或图像块对应的二维坐标之间的坐标差；基于所述坐标差，确定所述运动矢量。9.根据权利要求3所述的方法，其特征在于，所述基于所述焦距、所述第一位置与所述第二位置之间的距离值以及所述深度信息，确定所述运动矢量，包括：基于所述焦距、所述第一位置与所述第二位置之间的距离值以及所述深度信息，确定所述视频帧和所述参考帧之间的视差区间；2CN114765689A权利要求书2/3页基于所述视差区间，确定所述视频帧中图像块对应的目标搜索范围；基于所述目标搜索范围，确定所述运动矢量。10.根据权利要求9所述的方法，其特征在于，所述基于所述焦距、所述第一位置与所述第二位置之间的距离值以及所述深度信息，确定所述视频帧和所述第二参考视频帧之间的视差区间，包括：基于所述深度信息，确定深度区间，所述深度区间用于指示所述视频帧中像素的深度值的取值范围；基于所述焦距、所述第一位置与所述第二位置之间的距离值以及所述深度区间，确定所述视频帧和所述