视频防抖方法及装置、计算机可读介质和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114257748A(43)申请公布日2022.03.29(21)申请号202210094907.3(22)申请日2022.01.26(71)申请人OPPO广东移动通信有限公司地址523860广东省东莞市长安镇乌沙海滨路18号(72)发明人董晓龙(74)专利代理机构深圳市隆天联鼎知识产权代理有限公司44232代理人刘抗美(51)Int.Cl.H04N5/232(2006.01)权利要求书2页说明书11页附图5页(54)发明名称视频防抖方法及装置、计算机可读介质和电子设备(57)摘要本公开提供一种视频防抖方法及装置、计算机可读介质和电子设备，涉及图像处理技术领域。该方法包括：获取待处理的视频帧；提取视频帧的特征关键点；将连续多帧的特征关键点输入到视频防抖模型中，输出各特征关键点对应的防抖位移数据；根据防抖位移数据对视频帧进行重渲染处理，生成防抖后的视频帧。本公开能够在实现视频防抖效果的同时，避免人脸图像发生形变，提升人像视频的防抖效果；同时通过特征关键点以及视频防抖模型实现防抖，对环境因素不敏感，适用于不同运动场景下的人像视频防抖，适用范围较广。CN114257748ACN114257748A权利要求书1/2页1.一种视频防抖方法，其特征在于，包括：获取待处理的视频帧；提取所述视频帧的特征关键点；将连续多帧的所述特征关键点输入到视频防抖模型中，输出各所述特征关键点对应的防抖位移数据；根据所述防抖位移数据对所述视频帧进行重渲染处理，生成防抖后的视频帧。2.根据权利要求1所述的方法，其特征在于，所述提取所述视频帧的特征关键点，包括：对所述视频帧进行图像分割，确定所述视频帧对应的前景图像区域以及背景图像区域；提取所述前景图像区域中的前景特征关键点，并提取所述背景图像区域中的背景特征关键点；将所述前景特征关键点和所述背景特征关键点作为所述视频帧的特征关键点。3.根据权利要求2所述的方法，其特征在于，所述前景图像区域包括人像区域，所述前景特征关键点包括人脸特征关键点；所述提取所述前景图像区域中的前景特征关键点，包括：构建虚拟三维人脸模型；通过预先训练的卷积神经网络对所述人像区域与所述虚拟三维人脸模型进行拟合，确定所述人像区域中的人脸特征关键点。4.根据权利要求2所述的方法，其特征在于，所述提取所述背景图像区域中的背景特征关键点，包括：遍历相邻视频帧的所述背景图像区域中的亮度值；根据所述亮度值确定运动向量，并将所述运动向量对应的起始点作为所述背景图像区域的背景特征关键点。5.根据权利要求2所述的方法，其特征在于，所述对所述视频帧进行图像分割，确定所述视频帧对应的前景图像区域以及背景图像区域，包括：通过预训练的全卷积神经网络对所述视频帧进行语义分割，确定所述视频帧对应的前景图像区域以及背景图像区域。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：构建初始视频防抖模型，所述初始视频防抖模型包括目标损失函数，所述目标损失函数包括前景损失函数以及背景损失函数；对所述初始视频防抖模型进行无监督学习训练，得到训练完成的视频防抖模型。7.根据权利要求1所述的方法，其特征在于，所述根据所述防抖位移数据对所述视频帧进行重渲染处理，包括：根据所述防抖位移数据确定所述特征关键点周围的图像内容的位移权重数据；通过所述防抖位移数据对所述特征关键点进行重新渲染，以及通过所述位移权重数据对所述特征关键点周围的图像内容进行重新渲染。8.一种视频防抖装置，其特征在于，包括：视频帧获取模块，用于获取待处理的视频帧；特征关键点提取模块，用于提取所述视频帧的特征关键点；2CN114257748A权利要求书2/2页防抖位移数据确定模块，用于将连续多帧的所述特征关键点输入到视频防抖模型中，输出各所述特征关键点对应的防抖位移数据；视频帧防抖处理模块，用于根据所述防抖位移数据对所述视频帧进行重渲染处理，生成防抖后的视频帧。9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。10.一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。3CN114257748A说明书1/11页视频防抖方法及装置、计算机可读介质和电子设备技术领域[0001]本公开涉及图像处理技术领域，具体涉及一种视频防抖方法、视频防抖装置、计算机可读介质和电子设备。背景技术[0002]随着科学技术的飞速发展，录像成为人们记录分享生活的方式之一，录制的视频画面的稳定与否，极大程度上影响视频观感。视频防抖技术可通过对画面进行一定的旋转变形和裁切，获得具有稳定效