一种基于深度学习的视频人物面部替换方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109754364A(43)申请公布日2019.05.14(21)申请号201910050734.3(22)申请日2019.01.20(71)申请人杭州富阳优信科技有限公司地址311400浙江省杭州市富阳区银湖街道富闲路9号银湖科创中心6号楼8层(72)发明人徐建军汪尚华罗志忠王关青楼百宏(51)Int.Cl.G06T3/00(2006.01)G06T11/60(2006.01)G06K9/00(2006.01)G06N3/04(2006.01)权利要求书1页说明书4页附图3页(54)发明名称一种基于深度学习的视频人物面部替换方法(57)摘要本发明公开了一种基于深度学习的视频人物面部替换方法，工选取一定数量的被替换人物以及目标人物的面部影像资料，训练影像输入训练模型，得出被替换人物以及目标人物的特征值，以特征值自主在互联网中检索提取更多影像资料，截取影像资料中的面部部分，将输出层的面部特征组合至面部整体轮廓中，作为面部表情，建立表情深度学习模型，将面部表情作为可见层，将面部表情对应轮廓的变化作为第一隐藏层，将情绪特征作为输出层；将待替换视频每帧画面输入至表情深度学习模型中，分析出对应的情绪特征，将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情；本发明实施中，降低视频角色替换中图像处理的工作时间。CN109754364ACN109754364A权利要求书1/1页1.一种基于深度学习的视频人物面部替换方法，其特征在于：包括以下步骤，步骤S1，采集多组被替换人物以及目标人物的面部影像资料；步骤S2，训练面部特征部位的深度学习模型，包括，步骤S2.1，将面部影像中的输入像素作为模型的可见层，步骤S2.2，将色块的边界作为第一隐藏层，步骤S2.3，将边界组成的轮廓作为第二隐藏层，步骤S2.4，将面部特征部位作为输出层；步骤S3，将输出层的面部特征组合至面部整体轮廓中，作为面部表情，建立并训练表情深度学习模型，包括，步骤S3.1，将面部表情作为可见层，步骤S3.2，将面部表情对应轮廓的变化作为第一隐藏层，步骤S3.2，将情绪特征作为输出层；步骤S4，将待替换视频每帧画面输入至表情深度学习模型中，分析出对应的情绪特征；步骤S5，根据步骤S4中得出的情绪特征，将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情；步骤S6，将步骤S5中替换后画面帧重新组合为视频。2.根据权利要求1所述的一种基于深度学习的视频人物面部替换方法，其特征在于：所述步骤S1中，步骤S1.1，人工选取一定数量的被替换人物以及目标人物的面部影像资料，步骤S1.2，将步骤S1.1中影像输入训练模型，得出被替换人物以及目标人物的特征值，步骤S1.3，以特征值自主在互联网中检索提取更多影像资料，步骤S1.4，截取影像资料中的面部部分。3.根据权利要求1所述的一种基于深度学习的视频人物面部替换方法，其特征在于：所述步骤S2中，选取以下学习参数：动量项因子为0.65、学习率为0.25、初始的权值和阈值为[-0.618，0.618]之间的随机数，隐层和输出层的激活函数分别为tangentsigmoid和log-sigmoid、学习算法为BP算法。4.根据权利要求1所述的一种基于深度学习的视频人物面部替换方法，其特征在于：所述步骤S5中，采用贴图方式，将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情。5.根据权利要求4所述的一种基于深度学习的视频人物面部替换方法，其特征在于：将贴图之后的人物面部图像进行分析，若面部图像贴合之后，面部轮廓不贴合，则采用以下方式进行替换，将目标人物的面部表情分解为面部中边界组成的轮廓，并且将轮廓按照比例替换贴合至被替换人物的面部。2CN109754364A说明书1/4页一种基于深度学习的视频人物面部替换方法技术领域[0001]本发明涉及视频画面处理领域，具体涉及一种基于深度学习的视频人物面部替换方法。背景技术[0002]影视视频的拍摄完成之后，可能因为各种原因需要替换演员，但是重新拍摄耗资巨大，传统的画面剪辑贴图模式需要工作人员逐帧抠图贴图替换，费时费力。[0003]伴随着计算设备算力的提升，如若能借助人工智能的帮助进行图像替换，能够大大缩端工作时间。[0004]在专利号为CN104376589A的专利中公开了一种替换影视剧人物的方法，将影视片中每秒25张照片的每一张照片中的同一人物不同姿态形象进行替换，其特征在于替换过程包括被替换人物信息分析与特征提取、替换人物信息采集与特征提取和比对替换三个步骤:(1)被替换人物信息分析与特征提取:先采用常规的人物跟踪和检测技术方法，将原影视视频中含有的指定被替换人物面部进行定位、检测和分割；然后使用常规的边缘检测和