视频换脸方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110363170A(43)申请公布日2019.10.22(21)申请号201910660934.0(22)申请日2019.07.22(71)申请人北京华捷艾米科技有限公司地址100193北京市海淀区东北旺西路8号院数字山谷A区1号楼5层(72)发明人赵芳李骊(74)专利代理机构北京集佳知识产权代理有限公司11227代理人李慧引(51)Int.Cl.G06K9/00(2006.01)G06T3/00(2006.01)权利要求书4页说明书16页附图5页(54)发明名称视频换脸方法和装置(57)摘要本发明提供一种视频换脸方法和装置，获取待处理图像帧，确定出用于指示第一人脸图像的轮廓的第一外轮廓点，用于指示第二人脸图像的轮廓的第二外轮廓点，根据外轮廓点在待处理图像帧中划分出第一替换区域和第二替换区域，在复制帧中确定第一目标区域和第二目标区域；其中，第一目标区域与第二替换区域形状相同，第二目标区域与第一替换区域形状相同，最后将待处理图像帧的第一替换区域内的图像替换为复制帧的第二目标区域内的图像，将待处理图像帧的第二替换区域内的图像替换为复制帧的第一目标区域内的图像，得到换脸后的图像帧。本发明只需要截取图像并进行替换就能实现换脸，而不必进行费时的三维建模，从而提高视频换脸的效率。CN110363170ACN110363170A权利要求书1/4页1.一种视频换脸方法，其特征在于，包括：获取待处理视频中的待处理图像帧；其中，所述待处理图像帧包括至少两个人脸图像；确定出所述待处理图像帧的多个第一外轮廓点，和多个第二外轮廓点；其中，所述多个第一外轮廓点用于指示所述待处理图像帧的第一人脸图像的轮廓，所述多个第二外轮廓点用于指示所述待处理图像帧的第二人脸图像的轮廓；在所述待处理图像帧中划分出第一替换区域和第二替换区域；其中，所述第一替换区域根据所述多个第一外轮廓点划分，所述第二替换区域根据所述多个第二外轮廓点划分；在复制帧中确定第一目标区域和第二目标区域；其中，所述第一目标区域根据所述多个第一外轮廓点确定，所述第二目标区域根据所述多个第二外轮廓点确定，所述第一目标区域的形状与所述第二替换区域的形状相同，所述第二目标区域的形状与所述第一替换区域的形状相同，所述复制帧通过复制所述待处理图像帧得到；将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧。2.根据权利要求1所述的方法，其特征在于，所述在复制帧中根据所述多个第一外轮廓点确定所述第一目标区域，包括：对所述复制帧中的第一外轮廓点进行仿射变换，使所述复制帧的第一人脸图像与所述待处理图像帧的第二人脸图像对齐，得到对齐后的第一人脸图像；将所述待处理图像帧的第二替换区域，以垂直于所述待处理图像帧所在的平面的方向投影至所述对齐后的第一人脸图像，得到所述复制帧的第一目标区域；所述在复制帧中根据所述多个第二外轮廓点确定所述第二目标区域，包括：对所述复制帧中的第二外轮廓点进行仿射变换，使所述复制帧的第二人脸图像与所述待处理图像帧的第一人脸图像对齐，得到对齐后的第二人脸图像；将所述待处理图像帧的第一替换区域，以垂直于所述待处理图像帧所在的平面的方向投影至所述对齐后的第二人脸图像，得到所述复制帧的第二目标区域。3.根据权利要求1所述的视频换脸方法，其特征在于，所述获取待处理视频中的待处理图像帧之后，还包括：利用特征点检测算法确定出所述待处理图像帧的多个第一内轮廓点和多个第二内轮廓点；其中，所述多个第一内轮廓点用于指示所述第一人脸图像的面部器官的轮廓，所述多个第二内轮廓点用于指示所述第二人脸图像的面部器官的轮廓；所述将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧之前，还包括：根据所述多个第一内轮廓点和所述多个第二内轮廓点判断所述待处理图像帧的所述第一人脸图像和所述第二人脸图像内是否存在除所述面部器官以外的物体的图像；若所述第一人脸图像和所述第二人脸图像中，至少一个所述人脸图像内存在除所述面部器官以外的物体的图像，根据所述多个第一内轮廓点划分出所述待处理图像帧的多个第一子图像，并且根据所述多个第二内轮廓点划分出所述待处理图像帧的多个第二子图像；其中，所述第一人脸图像的每一个面部器官，均被包括在所述面部器官对应的第一子图像2CN110363170A权利要求书2/4页内，所述第二人脸图像的每一个面部器官，均被包括在所述面部器官对应的第二子图像内，并且，一种面部器官对应的第一子图像和第