视频帧对齐方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115941939A(43)申请公布日2023.04.07(21)申请号202211373281.6H04N17/00(2006.01)(22)申请日2022.11.03(71)申请人咪咕视讯科技有限公司地址200120上海市浦东新区中国（上海）自由贸易试验区云桥路636号1幢申请人咪咕文化科技有限公司中国移动通信集团有限公司(72)发明人吴怡潘兴浩谢于贵马晓刘诣荣(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287专利代理师王径武(51)Int.Cl.H04N17/02(2006.01)H04N19/139(2014.01)权利要求书2页说明书13页附图2页(54)发明名称视频帧对齐方法、装置、设备及存储介质(57)摘要本申请公开了一种视频帧对齐方法、装置、设备及存储介质，属于视频处理技术领域。该视频帧对齐方法包括：将基准视频中的选定视频帧与目标视频中的各视频帧进行帧信息匹配，得到所述目标视频中与所述选定视频帧帧信息匹配的目标视频帧；基于所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的残差信息，得到所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的帧间特征；若所述选定视频帧与其相邻视频帧的帧间特征与所述目标视频帧与其相邻视频帧的帧间特征相等，以所述选定视频帧和所述目标视频帧为对齐首帧，将所述基准视频和所述目标视频对齐。本申请解决了视频帧对齐准确性低的技术问题。CN115941939ACN115941939A权利要求书1/2页1.一种视频帧对齐方法，其特征在于，所述视频帧对齐方法包括以下步骤：将基准视频中的选定视频帧与目标视频中的各视频帧进行帧信息匹配，得到所述目标视频中与所述选定视频帧帧信息匹配的目标视频帧；基于所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的残差信息，得到所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的帧间特征；若所述选定视频帧与其相邻视频帧的帧间特征与所述目标视频帧与其相邻视频帧的帧间特征相等，以所述选定视频帧和所述目标视频帧为对齐首帧，将所述基准视频和所述目标视频对齐。2.如权利要求1所述的视频帧对齐方法，其特征在于，所述基于所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的残差信息，得到所述选定视频帧和所述目标视频帧与其各自的相邻视频帧的帧间特征的步骤，包括：计算所述选定视频帧/所述目标视频帧与其相邻视频帧之间的运动矢量，得到残差图像；计算所述残差图像的像素总个数以及重心坐标；基于所述残差图像的重心坐标，得到所述残差图像的重心坐标与X轴正方向的夹角；基于所述残差图像的重心坐标，得到所述残差图像的重心坐标与所述当前视频帧的预设顶点坐标的距离；将所述残差图像的像素总个数、所述残差图像的重心坐标与X轴正方向的夹角以及所述残差图像的重心坐标与所述选定视频帧/所述目标视频帧的预设顶点坐标的距离，作为所述选定视频帧/所述目标视频帧与其相邻视频帧的帧间特征。3.如权利要求2所述的视频帧对齐方法，其特征在于，当所述残差图像为不规则形态时，所述计算所述残差图像的重心坐标的步骤，包括：将所述残差图像分割成多个规则图像；获取每一所述规则图像的中心坐标和面积；基于每一所述规则图像的中心坐标中的X坐标，以及每一所述规则图像的面积，得到所述残差图像的重心坐标的X坐标；基于每一所述规则图像的中心坐标中的Y坐标，以及每一所述规则图像的面积，得到所述残差图像的重心坐标的Y坐标。4.如权利要求1所述的视频帧对齐方法，其特征在于，当所述选定视频帧为场景切换帧时，所述选定视频帧采用如下方式确定：通过三维小波变化提取所述基准视频中各视频帧的高频子带系数的变化程度特征；基于所述高频子带系数的变化程度特征，得到所述选定视频帧。5.如权利要求1所述的视频帧对齐方法，其特征在于，所述将基准视频中的选定视频帧与目标视频中的各视频帧进行帧信息匹配，得到所述目标视频中与所述选定视频帧帧信息匹配的目标视频帧的步骤之前，还包括：对所述基准视频和所述目标视频进行相似度匹配，得到基准视频序列和目标视频序列，其中，所述基准视频序列和所述目标视频序列互相包含相同视频帧；所述将基准视频中的选定视频帧与目标视频中的各视频帧进行帧信息匹配，得到所述目标视频中与所述选定视频帧帧信息匹配的目标视频帧的步骤，包括：2CN115941939A权利要求书2/2页将所述基准视频序列中的选定视频帧与所述目标视频序列中的各视频帧进行帧信息匹配，得到所述目标视频序列中与所述选定视频帧帧信息匹配的目标视频帧。6.如权利要求5所述的视频帧对齐方法，其特征在于，所述对所述基准视频和所述目标视频进行相似度匹配，得到基准视频序列和目标视频序列的步骤，包括：计算所述基准视频中各视频帧的帧信息，得到基准视频帧信息数组