实现用户隐私保护的人脸图像生成方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111414856A(43)申请公布日2020.07.14(21)申请号202010198211.6(22)申请日2020.03.19(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人赵凯(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈婧玥周良玉(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06T11/00(2006.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书4页说明书14页附图5页(54)发明名称实现用户隐私保护的人脸图像生成方法及装置(57)摘要本说明书实施例提供一种实现用户隐私保护的人脸图像生成方法，该方法包括：首先，获取与目标用户的真实人脸图像对应的真实特征向量，该真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；接着，将该真实特征向量输入图像生成网络，得到可以识别为该目标用户的虚拟人脸图像。如此，使得无需对刷脸业务中产生的原始人脸图像进行存储，而只需存储识别该原始人脸图像对应的特征向量，就可以实现对刷脸业务的历史回溯，从而大大节省存储空间，降低因直接存储原始人脸图像而带来的用户隐私泄露风险，并带给用户良好的隐私保护体验。CN111414856ACN111414856A权利要求书1/4页1.一种实现用户隐私保护的人脸图像生成方法，包括：获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，再利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；其中输出层根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N；将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量；基于所述真实特征向量和虚拟特征向量，确定第一损失；将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失；确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关；利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。2.根据权利要求1所述的方法，其中，所述N个处理单元中的第1个处理单元将所述真实特征向量从向量空间映射到特征图空间，得到映射特征图，并利用其对应包括的卷积层对所述映射特征图进行卷积处理，得到转化特征图，作为第1个处理单元的输出。3.根据权利要求1所述的方法，其中，所述图像生成网络还包括调制单元，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：第i+1个处理单元利用所述升维特征向量和所述随机噪声向量，将所述第一特征图转化为所述第二特征图。4.根据权利要求3所述的方法，其中，所述调制单元包括第一全连接层；其中，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量，包括：将所述真实特征向量输入所述第一全连接层中，输出所述升维特征向量。5.根据权利要求1所述的方法，其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：对所述真实特征向量和随机噪声向量进行融合处理，得到融合向量；利用所述融合向量，将所述第一特征图转化为所述第二特征图。6.根据权利要求5所述的方法，其中，所述第一特征图中包括任意的第一特征元素，对应于所述第二特征图中的第二特征元素；所述第i+1个处理单元中还包括对应的第二全连接层和第三全连接层；其中，利用所述融合向量，将所述第一特征图转化为所述第二特征图，包括：将所述融合向量输入第二全连接层中，得到对应的均值向量，其中包括用于对所述第一特征元素进行标准化处理的均值；将所述融合向量输入第三全连接层中，得到对应的方差向量，其中包括用于对所述第2CN111414856A权利要求书2/4页一特征元素进行标准化处理的方差；利用所述方差和均值，对所述第一特征元素进行标准化处理，得到标准化特征元素；利用所述第i+1个处理单元中对应包括的缩放学习参数和偏移学习参数，对所述标准化特征元素进行缩放和偏移处