视频图像处理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113989717A(43)申请公布日2022.01.28(21)申请号202111272959.7(22)申请日2021.10.29(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人张涛(74)专利代理机构北京远智汇知识产权代理有限公司11659代理人范坤坤(51)Int.Cl.G06V20/40(2022.01)G06V10/26(2022.01)权利要求书3页说明书19页附图7页(54)发明名称视频图像处理方法、装置、电子设备及存储介质(57)摘要本公开实施例提供了一种视频图像处理方法、装置、电子设备及存储介质，该方法包括：确定目标视频中各视频帧的目标深度视图，并根据各目标深度视图确定与目标视频相对应的至少一条深度分割线的分割线深度值；针对各目标深度视图，确定当前目标深度视图中当前像素点所对应的目标深度分割线，并根据当前像素点的像素深度值和目标深度分割线的分割线深度值，确定当前像素点的目标像素值；根据各目标深度视图中各像素点的目标像素值，确定目标视频中各视频帧的三维显示视频帧。本技术方案，实现了根据预先确定的至少一条深度分割线对视频帧中的各像素点进行处理，得到相应视频帧的三维显示视频帧，提高了三维显示便捷性以及普适性的技术效果。CN113989717ACN113989717A权利要求书1/3页1.一种视频图像处理方法，其特征在于，包括：确定目标视频中各视频帧的目标深度视图，并根据各目标深度视图确定与所述目标视频相对应的至少一条深度分割线的分割线深度值；针对各目标深度视图，确定当前目标深度视图中当前像素点所对应的目标深度分割线，并根据所述当前像素点的像素深度值和所述目标深度分割线的分割线深度值，确定当前像素点的目标像素值；根据各目标深度视图中各像素点的目标像素值，确定所述目标视频中各视频帧的三维显示视频帧。2.根据权利要求1所述的方法，其特征在于，在所述确定目标视频中各视频帧的目标深度视图之前，还包括：接收所述目标视频；设置与所述目标视频相对应的至少一条深度分割线，并根据所述目标视频的显示参数，确定所述至少一条深度分割线在所述目标视频中的位置和宽度，以根据所述深度分割线的位置和宽度所对应的深度值确定相应像素点的目标像素值；其中，所述显示参数为目标视频显示在显示界面时的显示长度和显示宽度。3.根据权利要求1所述的方法，其特征在于，所述确定目标视频中各视频帧的目标深度视图，包括：确定各视频帧的待处理深度视图以及待处理特征点；依次对相邻两个视频帧的待处理特征点进行处理，得到相邻两个视频帧的3D特征点对集合；其中，所述3D特征点对集合中包括多组3D特征点对；根据所述3D特征点对集合中的多组3D特征点对，确定相邻两个视频帧的相机运动参数，并将所述相机运动参数作为所述相邻两个视频帧中前一视频帧的相机运动参数；其中，所述相机运动参数包括旋转矩阵和位移矩阵；根据各视频帧的待处理深度视图以及相应的相机运动参数，确定各视频帧的目标深度视图。4.根据权利要求3所述的方法，其特征在于，所述确定各视频帧的待处理深度视图待处理特征点，包括：对各视频帧进行深度估计，得到各视频帧的待处理深度视图；基于特征点检测算法对各视频帧进行处理，确定各视频帧的待处理特征点。5.根据权利要求3所述的方法，其特征在于，所述依次对相邻两个视频帧的待处理特征点进行处理，得到相邻两个视频帧的3D特征点对集合，包括：基于特征点匹配算法依次对相邻两个视频帧的待处理特征点匹配处理，得到与相邻两个视频帧相关联的至少一组2D特征点对；通过对所述相邻两个视频帧的待处理深度视图进行3D点云重建，得到与待处理深度视图相对应的原始3D点云，以及与所述至少一组2D特征点对相对应的至少一组3D特征点对；基于所述至少一组3D特征点对确定所述相邻两个视频帧的3D特征点对集合。6.根据权利要求4所述的方法，其特征在于，所述根据各视频帧的待处理深度视图以及相应的相机运动参数，确定各视频帧的目标深度视图，包括：针对各待处理深度视图，根据当前待处理深度视图的原始3D点云、旋转矩阵和平移矩2CN113989717A权利要求书2/3页阵，得到所述当前待处理深度视图的待使用3D点云；基于各待处理深度视图的所述原始3D点云、待使用3D点云以及预设深度调整系数，得到与各视频帧相对应的目标深度视图。7.根据权利要求1所述的方法，其特征在于，在所述根据各目标深度视图确定与所述目标视频相对应的至少一条深度分割线的分割线深度值之前，还包括：确定各视频帧中的显著对象，并基于所述显著对象确定相应视频帧的待处理掩膜图，以基于各视频帧的待处理掩膜图以及目标深度视图，确定所述分割线深