基于移动平台的视频换脸方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111476710A(43)申请公布日2020.07.31(21)申请号202010287502.2(22)申请日2020.04.13(71)申请人上海艾麒信息科技有限公司地址201100上海市闵行区金都路4299号6幢3楼G59室(72)发明人林立吴航张仁贵周单健(74)专利代理机构上海段和段律师事务所31334代理人李佳俊郭国中(51)Int.Cl.G06T3/00(2006.01)G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书4页附图2页(54)发明名称基于移动平台的视频换脸方法及系统(57)摘要本发明提供了一种基于移动平台的实时视频换脸方法及系统，包括视频帧获取模块、人脸识别与关键点检测模块、人脸轮廓区域提取与替换模块，人脸肤色融合与边缘处理模块。对于用户选择的目标人脸图像和视频中提取的源图像，使用人脸识别算法识别出人脸区域，再对其进行检测，得到关键点信息；将两张图像按照最外围一圈的关键点做分割，得到人脸区域；将人脸区域按照关键点进行三角剖分，得到人脸的三角形面片；将源图像和目标人脸图像的三角形面片进行一一对应的替换；将替换人脸后的图像做进行肤色融合及边缘处理，达到更自然逼真的效果。CN111476710ACN111476710A权利要求书1/1页1.一种基于移动平台的视频换脸方法，其特征在于，包括如下步骤：视频帧获取步骤：从视频帧中获取源图像；人脸识别步骤：从源图像和用户选定的目标图像中识别出人脸；关键点检测步骤：对识别出的人脸进行做关键点检测；提取步骤：根据两张图像的关键点检测的位置，提取人脸轮廓区域，并做三角剖分；替换步骤：对剖分后的每一个三角形做一一对应的反射变换，得到人脸区域替换后的结果图；融合处理步骤：将替换前后的人脸按百分比进行混合，并对混合后的人脸区域融合使该区域更好的与周围区域无缝衔接。2.根据权利要求1所述的基于移动平台的视频换脸方法，其特征在于，采用MTCNN多任务卷积神经网络进行人脸识别和关键点检测。3.根据权利要求1所述的基于移动平台的视频换脸方法，其特征在于，采用Delaunay三角剖分算法对人脸轮廓区域进行三角剖分。4.根据权利要求1所述的基于移动平台的视频换脸方法，其特征在于，采用泊松融合算法对混合后的人脸做融合。5.根据权利要求1所述的基于移动平台的视频换脸方法，其特征在于，还包括帧间平滑步骤：对换脸后的视频选取连续设定帧数的关键点进行加权平均处理。6.一种基于移动平台的视频换脸系统，其特征在于，包括如下模块：视频帧获取模块：从视频帧中获取源图像；人脸识别模块：从源图像和用户选定的目标图像中识别出人脸；关键点检测模块：对识别出的人脸进行做关键点检测；提取模块：根据两张图像的关键点检测的位置，提取人脸轮廓区域，并做三角剖分；替换模块：对剖分后的每一个三角形做一一对应的反射变换，得到人脸区域替换后的结果图；融合处理模块：将替换前后的人脸按百分比进行混合，并对混合后的人脸区域融合使该区域更好的与周围区域无缝衔接。7.根据权利要求6所述的基于移动平台的视频换脸系统，其特征在于，采用MTCNN多任务卷积神经网络进行人脸识别和关键点检测。8.根据权利要求6所述的基于移动平台的视频换脸系统，其特征在于，采用Delaunay三角剖分算法对人脸轮廓区域进行三角剖分。9.根据权利要求6所述的基于移动平台的视频换脸系统，其特征在于，采用泊松融合算法对混合后的人脸做融合。10.根据权利要求6所述的基于移动平台的视频换脸系统，其特征在于，还包括帧间平滑模块：对换脸后的视频选取连续设定帧数的关键点进行加权平均处理。2CN111476710A说明书1/4页基于移动平台的视频换脸方法及系统技术领域[0001]本发明涉及图像处理领域，具体地，涉及一种交互式的图像换脸方法及系统。背景技术[0002]在影视特效和互联网娱乐应用中，将图像和视频中的人物脸部区域替换为其他人物的脸部区域，并实现神态和表情的迁移是一项重要的技术,在照片处理、电影特效和家庭娱乐中,获得了广泛的应用。[0003]现有基于静态图片的换脸技术已经发展到一定程度，如天天P图，可以将一张模板人脸图片和一张用户的人脸图片进行替换，并做融合，取得了实时换脸的效果。但对于视频的实时换脸技术，目前还没有很成熟的方案。视频换脸技术需要有动态实时预览的效果，需要有神态和面部动作的变化。目前有基于对抗神经网络(GAN)技术生成对应的人脸，可以实现神态和表情的变化，但算法实现过程较为复杂，一般需要高性能的GPU进行运算，无法在移动端实现实时的预览和变换。[0004]申请号为201910833438.0的发明专利公开了一种图