基于深度耦合自编码的人脸画像合成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110175552A(43)申请公布日2019.08.27(21)申请号201910429386.0(22)申请日2019.05.22(71)申请人西安电子科技大学地址710071陕西省西安市雁塔区太白南路2号(72)发明人张铭津吴芊芊郭杰李云松刘凯(74)专利代理机构陕西电子工业专利中心61205代理人王品华(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书7页附图1页(54)发明名称基于深度耦合自编码的人脸画像合成方法(57)摘要本发明公开了一种基于深度耦合自编码的人脸画像合成方法。主要解决现有技术在训练数据不足时合成的人脸画像缺失部分特定身份信息的问题。其实现方案是：分别训练人脸照片耦合自编码器、人脸画像耦合自编码器和由耦合自编码器构成的单层神经网络；用单层神经网络找到人脸照片和人脸画像的非线性映射关系；将人脸照片放入训练好的耦合自编码器中生成具有特定信息的隐藏训练照片块；将测试照片候选块集合用训练照片块和权重矩阵线性组合表示；由相似性假设得到人脸画像候选块集合；将人脸画像候选块集合中人脸组成部分融合形成人脸画像。本发明可使合成的人脸画像具有更多特定信息，且更加干净和逼真，可用于数字娱乐中将人物照片转化为人物画像。CN110175552ACN110175552A权利要求书1/2页1.一种基于深度耦合自编码的人脸画像合成方法，其特征在于，包括如下：(1)建立人脸照片和画像之间建立非线性映射关系网络：(1a)在人脸照片耦合自编码器中，将人脸照片xi作为输入，其输出即为重建的人脸照片其中，W'p、b'p分别表示人脸照片解码层的权重矩阵和偏差项，为人脸照片xi的隐藏表示，Wp、bp分别表示人脸照片编码层的权重矩阵和偏差项；(1b)在人脸画像耦合自编码器中，将人脸画像yi作为输入,其输出即为重建人脸画像其中，W's、b's表示人脸画像编码层的权重矩阵和偏差项，为人脸画像yi的隐藏表示，Ws、bs分别表示人脸画像解码层的权重矩阵和偏差项；(1c)根据(1a)和(1b)的结果，通过由耦合自编码器构成的单层神经网络在人脸照片和画像之间建立非线性映射关系：其中Wm和bm分别表示单层神经网络的权重矩阵和偏差项；(2)根据(1)建立最小二乘形式的误差函数，以减少重建误差：其中||·||2是二范数，l'is是满足和的人脸照片xi隐藏表示，是满足和的人脸画像yi隐藏表示；(3)对人脸照片自编码器和人脸画像自编码器分别初始化：用误差函数中最小初始化人脸照片自编码器，得到初始化参数(Wp,bp,W'p,b'p)，然后基于梯度的方法优化这些参数，得到最佳隐藏表示用误差函数中最小初始化人脸画像自编码器，得到其初始化参数(Ws,bs,W's,b's)，然后基于梯度的方法优化这些参数，得到最佳隐藏表示(4)利用本地消息传递中的误差反向传播方法建立以下函数：其中是输入照片xi对应的重建画像；2CN110175552A权利要求书2/2页(5)用(4)建立的函数对参数(Wp,bp,Wm,bm,Ws,bs)进行调整，得到更加优化的非线性映射网络；(6)将测试照片x'放入(1)-(5)得到的非线性映射网络生成对应的隐藏人脸画像然后将分解成块并组成隐藏人脸画像候选块集合YH，并找到相应的隐藏训练照片候选块集合XH；(7)将测试照片x'分解成块x'j，其中j表示第j个照片块，x'组成测试照片候选块集合jX'，在训练照片中搜索K个与x'相似的训练照片候选块集合XO，并找到相应的K个相似的训练画像候选块集合YO；(8)将XO和XH串联形成照片字典X＝[XO,XH]；(9)根据照片字典X、测试照片候选块集合X'和权重矩阵W的关系：X'＝XW计算W，并将min||W||*作为最优解并表示为其中||W||*表示权重矩阵W的核范数；(10)把(8)的结构代到(9)的关系中，得到：X'＝[XO,XH]W；(11)将沿行方向划分成如下两部分:其中是对应于XO的权重矩阵，是对应于XH的权重矩阵；(12)将人脸照片候选块集合X'由权重矩阵和表示为：(13)根据相似性假设和(12)中人脸照片候选块集合X'的表达式，将人脸画像候选块集合Y'表示为：(14)将人脸画像候选块集合Y'中人脸组成部分进行拼接融合，得到合成的人脸画像。2.根据权利要求1中方法，其特征在于(5)中用(4)建立的函数调整参数(Wp,bp,Wm,bm,Ws,bs)，是先将训练人脸照片输入到建立的人脸照片和画像关系网络中，生成重建的人脸画像再将生成的人脸画像与训练集中训练人脸照片对应的人脸画像作差，最小化差值以实现参数的调整。3.根据权利要求1中方法，其特征在