一种基于人脸追踪的实时人脸融合方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108197555A(43)申请公布日2018.06.22(21)申请号201711462802.4(22)申请日2017.12.28(71)申请人杭州相芯科技有限公司地址310058浙江省杭州市滨江区滨安路1197号3幢436室(72)发明人秦昊卢奕渲李冬平(74)专利代理机构杭州天勤知识产权代理有限公司33224代理人胡红娟(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书9页附图4页(54)发明名称一种基于人脸追踪的实时人脸融合方法(57)摘要本发明公开了一种基于人脸追踪的实时人脸融合方法，包括以下步骤：预处理阶段：生成基准正脸图像的人脸贴图，拟合所述人脸贴图的三角网格后，确定所述三角网格上顶点与密集轮廓点之间的关系，并基于所述密集轮廓点生成蒙版图和透明通道图；人脸融合阶段：生成待融合正脸图像的人脸贴图，利用所述蒙版图和透明通道图对所述人脸贴图处理后，根据所述顶点与密集轮廓点之间的关系，实时计算视频帧中人脸的融合人脸贴图，再根据所述融合人脸贴图与融合人脸网格模型，实时绘制人脸。该方法可以实时地生成能与视频帧中的人脸相融合的融合人脸贴图，并实时地将人脸贴图绘制到视频帧中，达到人脸融合效果。CN108197555ACN108197555A权利要求书1/2页1.一种基于人脸追踪的实时人脸融合方法，包括以下步骤：预处理阶段：生成基准正脸图像的人脸贴图，拟合所述人脸贴图的三角网格后，确定所述三角网格上顶点与密集轮廓点之间的关系，并基于所述密集轮廓点生成蒙版图和透明通道图，生成待融合正脸图像的人脸贴图，利用所述蒙版图和透明通道图对所述人脸贴图处理；人脸融合阶段：根据所述顶点与密集轮廓点之间的关系和处理后的人脸贴图，实时计算视频帧中人脸的融合人脸贴图，再根据所述融合人脸贴图与融合人脸网格模型，实时绘制人脸。2.如权利要求1所述的基于人脸追踪的实时人脸融合方法，其特征在于，所述生成基准正脸图像的人脸贴图包括：采用人脸追踪与识别方法对基准正脸图像进行识别，获得人脸网格模型、摄像机矩阵、投影矩阵，并根据所述摄像机矩阵和投影矩阵将所述人脸网格模型投影到图像空间；将图像空间上三角形内像素映射到纹理空间上三角形内的像素，生成人脸贴图。3.如权利要求1所述的基于人脸追踪的实时人脸融合方法，其特征在于，所述拟合所述人脸贴图的三角网格包括：输入连线构成凸多边形的稀疏轮廓点；在相邻两个稀疏轮廓点之间按一定距离进行插值，得到密集轮廓点；使用ConstrainedDelaunayTriangulations方法，并加入相邻两个密集的轮廓点之间有边的约束，拟合三角网格。4.如权利要求1所述的基于人脸追踪的实时人脸融合方法，其特征在于，所述确定所述三角网格上顶点与密集轮廓点之间的关系包括：对于三角网格上的每个顶点，在密集轮廓点上进行分层次采样，并根据采样结果，计算顶点与采样结果的连接关系，以确定所述三角网格上顶点与密集轮廓点之间的关系。5.如权利要求1所述的基于人脸追踪的实时人脸融合方法，其特征在于，所述基于所述轮廓点生成蒙版图和透明通道图包括：将密集轮廓点所围成的区域均匀向外扩大到原来的1.01～1.1倍，白色填充扩大后的区域，得到蒙版图；将密集轮廓点所围成的区域均匀向内缩小到原来的0.90～0.99倍，白色填充缩小后的区域后，高斯模糊所述缩小后的区域，得到透明通道图。6.如权利要求1所述的基于人脸追踪的实时人脸融合方法，其特征在于，所述根据所述顶点与密集轮廓点之间的关系和处理后的人脸贴图，实时计算视频帧中人脸的融合人脸贴图包括：(a)采用人脸追踪与识别方法对视频帧进行识别，得到视频帧中人脸的人脸网格模型，将该人脸网格模型投影到图像空间后，计算得到视频帧上的密集轮廓点；(b)准备顶点着色器的顶点缓存，所述顶点缓存还包含纹理贴图上密集轮廓点坐标和视频帧上的密集轮廓点坐标，并绘制所述顶点缓存，得到所述视频帧上和纹理贴图上密集轮廓点像素颜色差的纹理；(c)存储所述三角网格上顶点与密集轮廓点之间的关系至纹理中；(d)准备顶点着色器的顶点缓存，顶点缓存中的数据为预处理阶段拟合的三角网格，每2CN108197555A权利要求书2/2页个顶点包括顶点在空间上的坐标、顶点序号、顶点的轮廓点采样数；(e)绘制所述顶点缓存，得到视频帧中人脸的融合人脸贴图。7.如权利要求6所述的基于人脸追踪的实时人脸融合方法，其特征在于，所述将该人脸网格模型投影到图像空间后，计算得到视频帧上的密集轮廓点包括：根据稀疏轮廓点在人脸网格模型上的顶点索引，得到视频帧中稀疏轮廓点的三维坐标，并将所述三维坐标投影到图像空间，得到视频帧中稀疏轮廓点的二维坐标；根据预处理阶段