基于人脸深度信息的人脸识别系统对抗防御方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909460A(43)申请公布日2023.04.04(21)申请号202211514864.6(22)申请日2022.11.30(71)申请人上海交通大学地址200240上海市闵行区东川路800号(72)发明人龚致君易冉马利庄(74)专利代理机构上海交达专利事务所31201专利代理师王毓理王锡麟(51)Int.Cl.G06V40/16(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)G06N3/08(2023.01)权利要求书2页说明书4页附图1页(54)发明名称基于人脸深度信息的人脸识别系统对抗防御方法(57)摘要一种基于人脸深度信息的人脸识别系统对抗防御方法，通过在离线阶段构建并训练基于UNet的编解码器结构的深度估计神经网络，用于生成待测图像的深度图；再通过构建并训练四通道人脸识别网络，在在线阶段对输入的彩色图像生成深度图后，通过四通道人脸识别网络得到识别认证结果。本发明通过在人脸识别系统中引入人脸深度信息的方法，在很大程度上提升人脸识别系统对攻击样本的鲁棒性。CN115909460ACN115909460A权利要求书1/2页1.一种基于人脸深度信息的人脸识别系统对抗防御方法，其特征在于，通过在离线阶段构建并训练基于UNet的编解码器结构的深度估计神经网络，用于生成待测图像的深度图；再通过构建并训练四通道人脸识别网络，在在线阶段对输入的彩色图像生成深度图后，通过四通道人脸识别网络得到识别认证结果。2.根据权利要求1所述的基于人脸深度信息的人脸识别系统对抗防御方法，其特征是，所述的深度估计神经网络，基于UNet的结构，包括：全卷积网络，分为编码器与解码器部分，其中：编码器部分经过一个接收输入模块将输入转化维32维的特征图之后，再经过四个降采样系数为2的降采样模块在通道上进行升维，得到512维的特征图；解码器部分由上采样系数为2的上采样模块组成；所述的上采样部分为解决棋盘格效应，采用先做双线性插值再做卷积的方式，通过双线性插值将特征图大小转化为原来的两倍，再利用3x3的卷积转化特征图；经过编码‑解码结构之后，得到与输入同分辨率的单通道深度图，以真实深度图为标签进行约束，训练深度估计神经网络。3.根据权利要求1所述的基于人脸深度信息的人脸识别系统对抗防御方法，其特征是，所述的四通道人脸识别网络包括：主体结构和分类头结构，其中：主体结构中接收输入的卷积层的输入通道数调整为四通道；分类头结构采用人脸任务上常用的Arcface分类头以接收512维的向量，输出与类别相同维数的结果向量。4.根据权利要求1‑3中任一所述的基于人脸深度信息的人脸识别系统对抗防御方法，其特征是，所述的离线阶段包括：1)构建数据集：准备人脸真实点云数据P，将P投影至X‑Y平面得到彩色图I与深度图D；准备rgb人脸数据集，按人脸身份信息均匀地选取人脸彩色图I′，利用人脸3D形变统计模型(3DMM)拟合出虚拟的人脸深度图D′，作为该部分数据在深度估计模块中的真实标签；2)构建并预训练基于UNet的encoder‑decoder结构的深度估计模块：该深度估计模块的解码器的上采样层采用最近邻上采样与卷积层的组合，取代反卷积层，有效地避免人脸生成任务中非常容易出现的棋盘格现象；3)构建四通道人脸数据集用于训练四通道人脸识别网络：利用步骤2)中预训练后的深度估计模型在大规模人脸rgb数据集上生成对应的人脸深度数据，之后在通道上将rgb模态与depth模态进行拼接，得到四通道人脸数据集后，通过端到端训练方式训练由作为主体部分的IR50网络和作为头部的arcfacehead网络组成的人脸识别网络，损失函数采用交叉熵损失函数进行训练。5.根据权利要求4所述的基于人脸深度信息的人脸识别系统对抗防御方法，其特征是，所述的预训练是指：将Igt输入深度估计网络，输出预测的同分辨率深度图Dpred；所述的预训练的损失函数L＝αL1+βL2，其中：第一项损失项为Dgt与Dpred的MSE损失L1＝22(Dpred‑Dgt)，第二项损失项为法向图Ngt与Npred之间的MSE损失L2＝(Npred‑Ngt)，α与β为两种损失的权重。6.根据权利要求1‑3中任一所述的基于人脸深度信息的人脸识别系统对抗防御方法，其特征是，所述的在线阶段包括：将待识别的人的特征通过训练后的人脸识别网络的主体部分提取后存储于特征库，经与特征底库中的特征进行相似度比较且相似度大于阈值θ时认为人脸比对成功。2CN115909460A权利要求书2/2页7.根据权利要求6所述的基于人脸深度信息的人脸识别系统对抗防御方法，其特征是，所述的提取是指：采用具有深度摄像头的系统直接捕获人脸彩色图I与深度图D，或将捕获的人