基于仿生学的人脸画像合成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110163824A(43)申请公布日2019.08.23(21)申请号201910428928.2(22)申请日2019.05.22(71)申请人西安电子科技大学地址710071陕西省西安市雁塔区太白南路2号(72)发明人张铭津吴芊芊郭杰李云松刘凯(74)专利代理机构陕西电子工业专利中心61205代理人王品华(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)权利要求书2页说明书5页附图1页(54)发明名称基于仿生学的人脸画像合成方法(57)摘要本发明公开了一种基于仿生学的人脸画像合成方法，主要解决现有技术合成的人脸画像无法同时具有清晰轮廓和精致细节的问题。其实现步骤是：根据艺术家绘制人脸画像由粗糙到细致的过程，1)训练生成对抗网络的生成器；2)用训练好的生成对抗网络合成具有人脸轮廓的粗糙人脸画像；3)将测试照片和粗糙人脸画像分解成测试照片候选块集合和粗糙人脸画像候选块集合；4)将这两个候选块集合作为概率图形模型的输入，用基于贝叶斯推理的方法消除粗糙人脸画像中的扭曲或噪声，得到细致的人脸画像。本发明与现有方法相比，在图像质量评估方面具有优越的表现，且合成的人脸画像同时具有精致的细节和清晰的轮廓，满足用户对数字娱乐的需求。CN110163824ACN110163824A权利要求书1/2页1.一种基于仿生学的人脸画像合成方法，其特征在于：(1)在人脸画像和照片集上训练生成对抗网络GAN，得到人脸照片与人脸画像之间的映射关系；(2)将测试照片输入到训练好的生成对抗网络中，合成粗糙人脸画像yc：(2a)用生成对抗网络中的生成器G生成与人脸照片轮廓尽可能相似的粗糙人脸画像yc；(2b)用生成对抗网络中的鉴别器D对合成的粗糙人脸画像yc进行鉴别，并将鉴别结果反馈给生成器G；(2c)用随机梯度的上升下降函数来更新鉴别器D和生成器G：其中x'是训练人脸照片，y'是训练人脸画像；(3)根据贝叶斯公式，将细致人脸画像yf的后验概率表示为：其中，先验概率P(x)是归一化项，P(yf,yc,x)是yf、yc和x的联合概率；(4)最大化联合概率P(yf,yc,x)，得到最大化的后验概率P(yf|yc,x)；fc(5)分别将人脸照片x、细致人脸画像y和粗糙人脸画像y分成N重块{x1,...,xN}、和并用这些块重建得到细致人脸画像块表示其中第i个细致人脸画像块，其中i＝1,2,....,N；(6)将细致人脸画像块进行拼接，并将重叠区域求平均，得到细致人脸画像yf。2.根据权利要求1中方法，其特征在于(5)中重建细致人脸画像块实现步骤如下：(5a)将联合概率P(yf,yc,x)转为似然函数(5b)为每个人脸画像块找到2K个候选人脸画像块其中m＝1,2,...,2K；2K个候选人脸画像块中K个候选人脸画像块来自训练人脸画像块这些训练人脸画像块与粗略人脸画像块相似；其他K个候选人脸画像块对应于K个候选人脸照片块{xi,1,...,xi,K}，这些照片块与测试照片块xi相似；(5c)每个候选人脸画像块对应的权重系数是ωi,m，将最大化似然函数转换为最大化联合分布概率(5d)对粗糙人脸画像块进行分解，得到粗糙人脸画像分解块对测试照片块xi进行分解，得到测试照片分解块xi,n；其中n＝1,2,...K；(5e)将最大化联合分布概率转化为三个变量乘积的形式:2CN110163824A权利要求书2/2页其中:其中(i,j)∈Ξ表示第i个照片块和第j个近邻；和表示与候选照片块对应第i个和第j个块之间的重叠区域，位于第i个块上，位于第j个块上；是对应于的方差，是对应于xi的方差，是对应于ωi的方差；(5f)最大化(5e)中的表达式为：其中使得上式最大化的ωi,m表示为最佳权重系数ω'i,m；(5g)用最佳权重系数ω'i,m对候选人脸画像块加权，得到细致人脸画像块3.根据权利要求1中方法，其特征在于所述(2a)，实现步骤如下：(2a1)将测试照片x放入训练好的生成对抗网络的的生成器G中，得到yc的后验概率为：P(yc|x)＝G(x,z)，其中z是噪声项；(2a2)将yc的后验概率最大化，以使合成的人脸画像尽可能逼真：maxP(yc|x)。4.根据权利要求1中方法，其特征在于所述(2b)，实现步骤如下：(2b1)生成对抗网络中的鉴别器D将人脸照片-合成人脸画像对视为正例，将人脸照片-艺术家绘制人脸画像对视为反例；(2b2)将合成的粗糙人脸画像放入生成对抗网络中的鉴别器D中进行判断：如果鉴别器将合成的人脸画像判断为合成人脸画像，则鉴别结果为正例；如果鉴别器将合成的人脸画像判断为艺术家绘制的人脸画像，则鉴别结果为反例；(2b3)将鉴别结果反馈给生成器G。3CN110