一种基于生成对抗网络的视线估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108334832A(43)申请公布日2018.07.27(21)申请号201810078939.8(22)申请日2018.01.26(71)申请人深圳市唯特视科技有限公司地址518057广东省深圳市高新技术产业园区高新南一道009号中科研发园新产业孵化中心楼610室(72)发明人夏春秋(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06F3/01(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于生成对抗网络的视线估计方法(57)摘要本发明中提出的一种基于生成对抗网络的视线估计方法，其主要内容包括：生成纹理、生成真实数据和对眼部进行细化，其过程为，先自动将面部图像与3D模型的水平方向和垂直方向的纹理空间对齐，然后不成对的像素级别域适应技术将合成图像映射到真实域，再使用视线方向的注释和合成数据预训练视线方向估计器，最后在整个映射过程中执行细化网络以保持视线方向，使用预训练网络作为从合成到真实再到合成的转换循环约束。本发明使用新颖的对抗训练方法，将渲染的合成图像映射到逼真的域，可以在实际图像上获得更准确的视线估计，而不需要使用任何来自真实用户的额外标记数据；对于极端头部姿态、模糊、远距离等情况，也能产生具有鲁棒性的视线估计。CN108334832ACN108334832A权利要求书1/2页1.一种基于生成对抗网络的视线估计方法，其特征在于，主要包括生成纹理(一)；生成真实数据(二)；对眼部进行细化(三)。2.基于权利要求书1所述的视线估计方法，其特征在于，首先，模拟器根据指定的照明条件、视线方向和皮肤形成眼睛区域的3D场景；为了扩展原始基于主成分的纹理模型的有限多样性，自动将面部图像与3D模型的UV(水平方向和垂直方向)纹理空间对齐，使得能够呈现具有无限量纹理的眼部区域的图像；为了改善真实性，不成对的像素级别域适应技术将合成图像映射到真实域；这一步需要提供未标记的真实眼睛区域图像；由于数据是模拟的，因此可以使用视线方向的注释和合成数据预训练视线方向估计器；最后，为了在整个映射过程中执行细化网络以保持视线方向，使用预训练网络作为从合成到真实再到合成的转换循环约束。3.基于权利要求书1所述的生成纹理(一)，其特征在于，几何三维眼睛区域表面通过UV映射技术而具有纹理；使用从前面拍摄的高分辨率面部图像的大数据集来增加皮肤纹理的多样性；每个图像都会为3D模型生成一个UV纹理。4.基于权利要求书3所述的为3D模型生成一个UV纹理，其特征在于，首先检测面部图像上的标记关键点，通过旋转、平移和缩放，计算原始面部图像上的标记关键点与3D模型的UV空间上的对应点之间的最小欧几里得距离；最后，为了说明非刚性变形，根据源点和目标点之间的差异，应用一个平滑的图像变形；通过此过程可以生成了五百万个不同的皮肤纹理。5.基于权利要求书1所述的生成真实数据(二)，其特征在于，虽然上一步生成的纹理在图像的皮肤区域看起来很逼真，但眼睛本身仍然是合成的；由于虹膜状态可能是检测视线方向最重要的特征，为了提高性能，还需要生成在这个区域看起来真实的数据；为了转换域，需要使用从互联网取得的大量眼睛区域的未标记真实图像；由于在两个域的图像之间没有对应关系，所以需要从不成对的图像到图像的转换方法开始。6.基于权利要求书5所述的从不成对的图像到图像的转换方法，其特征在于，该方法将图像从一个域映射到另一个域，而且不给定训练数据中的像素对齐；细化模型将渲染的图像作为输入并生成具有真实性的图像；将合成的眼部区域图像的空间表示为S，将真实的眼部区域图像的空间表示为R；不成对的图像到图像的平移过程涉及四个不同的网络G、F、DS和DR。7.基于权利要求书6所述的四个不同的网络，其特征在于，G表示一个学习S到R映射图像的映射器网络；F表示一个学习R到S映射图像的映射器网络；DS表示从合成域S学习检测图像的鉴别器网络；DR表示从真实域R学习检测图像的鉴别器网络；为了训练G从合成域S映射到真实域R，使用最小二乘生成对抗损失：其中，使用0.9来稳定训练过程，使用等价的损失函数来训练网络F和DR；优化上述损失函数训练网络G和F，目的是将图像从一个域映射到另一个域。8.基于权利要求书7所述的映射，其特征在于，在整个映射过程中并没有强制保留图像特征，理论上，网络可以产生记忆并从目标域产生单个图像，并使损失最小化；为了产生所需的映射，需要额外的约束；在该方法的原始公式中，提出了以下损失函数，称为循环一致性损失：2CN108334832A权利要求书2/2页这种损失强制F和G对由另一个网络产生的图像进行编码和解码；因此，该体系结构可以认为是两个交错的自动编码器；该框架将合