视频处理方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299573A(43)申请公布日2022.04.08(21)申请号202111592387.0(22)申请日2021.12.23(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人李庆宇(74)专利代理机构北京律智知识产权代理有限公司11438代理人王辉阚梓瑄(51)Int.Cl.G06V40/16(2022.01)G06N3/08(2006.01)G06T5/00(2006.01)权利要求书3页说明书15页附图5页(54)发明名称视频处理方法、装置、电子设备及存储介质(57)摘要本公开涉及一种视频处理方法、装置、电子设备及计算机可读存储介质，属于深度学习技术领域。该方法包括：识别并截取每一帧原始视频中对应的人脸图像并输入人脸矫正模型；通过第一特征提取网络和建模网络得到人脸图像的三维细节参数；通过第二特征提取网络和追踪网络得到人脸图像的三维全局参数，第一特征提取网络和第二特征提取网络中的神经网络参数的权值共享；将三维细节参数和三维全局参数输入渲染器，得到矫正后的人脸图像，并根据矫正后的人脸图像得到重建视频。本公开通过引入三维先验数据，并将人脸三维信息合理拆分为细节参数和全局参数，可以实现三维实时人脸矫正技术，达到高效且真实自然的人脸矫正效果。CN114299573ACN114299573A权利要求书1/3页1.一种视频处理方法，其特征在于，包括：识别并截取每一帧原始视频中对应的人脸图像，并将每一帧所述原始视频中对应的人脸图像依次输入预先训练的人脸矫正模型；通过所述人脸矫正模型中的第一特征提取网络和建模网络，得到每一帧所述原始视频中对应的人脸图像的三维细节参数；通过所述人脸矫正模型中的第二特征提取网络和追踪网络，得到每一帧所述原始视频中对应的人脸图像的三维全局参数，其中，所述第一特征提取网络和所述第二特征提取网络中的神经网络参数的权值共享；将所述三维细节参数和所述三维全局参数输入渲染器，得到矫正后的所述人脸图像，并根据每一帧矫正后的所述人脸图像得到所述原始视频矫正后的重建视频。2.根据权利要求1所述的视频处理方法，其特征在于，所述通过所述人脸矫正模型中的第一特征提取网络和建模网络，得到每一帧所述原始视频中对应的人脸图像的三维细节参数，包括：将所述原始视频中预设数量的指定帧对应的人脸图像输入所述人脸矫正模型中的第一特征提取网络和建模网络，得到所述预设数量的指定帧对应的人脸图像的三维细节参数；根据所述预设数量的指定帧对应的人脸图像的三维细节参数确定每一帧所述原始视频中对应的人脸图像的三维细节参数。3.根据权利要求1所述的视频处理方法，其特征在于，所述三维细节参数包括所述人脸图像的形状参数和反照率，所述三维全局参数包括所述人脸图像的表情参数、姿态参数和光照参数，所述将所述三维细节参数和所述三维全局参数输入渲染器，得到矫正后的所述人脸图像，包括：将所述三维细节参数中的所述形状参数和所述反照率，以及所述三维全局参数中的所述表情参数输入三维形变模型中，分别得到所述形状参数、所述反照率和所述表情参数对应的三维参数；根据所述形状参数、所述反照率和所述表情参数对应的三维参数，以及所述三维全局参数中的所述姿态参数和所述光照参数，得到所述人脸图像对应的三维信息；将所述人脸图像对应的三维信息输入渲染器，得到矫正后的所述人脸图像。4.根据权利要求1所述的视频处理方法，其特征在于，所述根据每一帧矫正后的所述人脸图像得到所述原始视频矫正后的重建视频，包括：将每一帧矫正后的所述人脸图像与对应的视频背景进行融合处理，得到每一帧对应的重建视频图像，并根据每一帧所述重建视频图像得到所述原始视频矫正后的重建视频。5.根据权利要求1所述的视频处理方法，其特征在于，所述人脸矫正模型的训练方法包括：获取第一训练数据集和第二训练数据集，并根据所述第一训练数据集和所述第二训练数据集得到混合训练数据集，其中，所述第一训练数据集中包括第一类别的人脸图像，所述第二训练数据集中包括第二类别的人脸图像；将所述混合训练数据集中的训练图片分别输入初始人脸矫正模型中的第一特征提取网络和第二特征提取网络，得到对应的第一特征向量和第二特征向量，其中，所述第一特征2CN114299573A权利要求书2/3页提取网络和所述第二特征提取网络中的神经网络参数的权值共享；将所述第一特征向量输入所述初始人脸矫正模型中的建模网络中，得到所述训练图片对应的三维细节样本参数，并将所述第二特征向量输入所述初始人脸矫正模型中的追踪网络中，得到所述训练图片对应的三维全局样本参数，其中，所述三维细节样本参数包括所述人脸图像的样本形状参数和样本反照率，所述三维全局样本参数包括所