人脸图像的融合方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762022A(43)申请公布日2021.12.07(21)申请号202110178117.9G06N3/04(2006.01)(22)申请日2021.02.09G06N3/08(2006.01)(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人刘颖璐石海林向明灿梅涛周伯文(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人许蓓(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书4页说明书11页附图3页(54)发明名称人脸图像的融合方法和装置(57)摘要本公开提出一种人脸图像的融合方法和装置，涉及图像处理领域。该方法包括获取模板人脸图像的属性特征；获取用户人脸图像的身份特征；基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。换脸过程不需要人脸分割模型辅助，提高了换脸效果。CN113762022ACN113762022A权利要求书1/4页1.一种人脸图像的融合方法，其特征在于，包括：获取模板人脸图像的属性特征；获取用户人脸图像的身份特征；基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。2.根据权利要求1所述的方法，其特征在于，根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征，包括：基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移；根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。3.根据权利要求2所述的方法，其特征在于，身份敏感区域的特征表示如下：其中，F[Is‑areas]表示身份敏感区域的特征，Conv表示卷积操作，表示对Conv()进行归一化操作，Fatt表示模板人脸图像在身份敏感区域的属性特征，βid、γid分别表示计算得到的身份特征相关的均值和方差，βatt、γatt分别表示计算得到的属性特征相关的均值和方差，表示哈达玛积，表示哈达玛和。4.根据权利要求1所述的方法，其特征在于，利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像包括：其中，O表示融合人脸图像，M表示注意力图，F[As‑areas]表示属性稳定区域的特征，F[Is‑areas]表示身份敏感区域的特征，表示哈达玛积。5.根据权利要求1所述的方法，其特征在于，利用融合网络执行权利要求1所述的方法，融合网络包括属性网络和换脸网络，属性网络执行获取模板人脸图像的属性特征的步骤，换脸网络执行身份特征获取步骤、注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤，其中，属性网络包括一个或多个依次级联的用来进行卷积的编码器以及在最后一级编码器后面依次级联的一个或多个用来进行反卷积的解码器，最后一级编码器和各个解码器2CN113762022A权利要求书2/4页分别输出各自级别的模板人脸图像的属性特征；其中，换脸网络包括身份特征获取模块以及在身份特征获取模块后面依次级联的一个或多个换脸模块，第一个换脸模块的两个输入端分别连接身份特征获取模块和最后一级编码器，其他换脸模块的三个输入端分别连接相应解码器的输出端、身份特征获取模块的输出端和前一级换脸模块的输出端，身份特征获取模块被配置为基于人脸识别技术获取并输出用户人脸图像的身份特征，每个换脸模块被配置为基于本换脸模块的输入信息执行注意力图确定步骤、属性稳定区域的特征确