一种基于生成对抗网络的手指静脉模糊图像去模糊的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112488936A(43)申请公布日2021.03.12(21)申请号202011350846.XG06K9/46(2006.01)(22)申请日2020.11.26(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街(72)发明人李琦沈雷何晶(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240代理人朱月芬(51)Int.Cl.G06T5/00(2006.01)G06N3/04(2006.01)G06T7/11(2017.01)G06T7/40(2017.01)G06K9/62(2006.01)权利要求书3页说明书8页附图5页(54)发明名称一种基于生成对抗网络的手指静脉模糊图像去模糊的方法(57)摘要本发明公开了一种基于生成对抗网络的手指静脉模糊图像去模糊的方法。本发明利用近邻二值汉明损失约束的26层深度网络生成器还原出清晰图像。首先提出多尺度窗口交替迭代卷积散焦、均值模糊核的方式来制作多态模糊训练集。然后提出用NBP汉明损失作为局部纹理损失，利用提取的局部纹理特征来指导生成器生成高保真度手指静脉图像。再提出步长为1的卷积模式保留更多静脉纹理特征信息量，同时利用26层深度网络结构来增强生成器的学习能力，充分学习纹理信息还原静脉纹理清晰的静脉图像。最后在26层深度网络生成器的残差模块两侧添加残差跳跃连接以防止训练模型退化和过拟合。本发明具有更好的效果，还原图像的静脉纹理更清晰，质量更高。CN112488936ACN112488936A权利要求书1/3页1.一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于包括如下步骤：S1、构建基于NB‑GAN的手指静脉模糊图像的去模糊网络模型；去模糊网络模型包含生成器和判别器两个子网络；S2、设计基于NB‑GAN的去模糊网络模型的损失函数，包含一个判别器损失函数和一个生成器损失函数。2.根据权利要求1所述的一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于步骤S1具体实现如下：S1‑1.将手指静脉模糊图像转化为手指静脉清晰图像；手指静脉模糊图像的公式如下：S1‑2、基于NB‑GAN的去模糊网络模型包括：(1)生成器，生成器的网络结包括4个卷积块、1个残差模块和4个反卷积块构成，每个卷积块大小为4*4；残差模块由9个残差块组成，且每个残差块由2个3*3的卷积层构成；残差模块的输入和输出构成跳跃残差连接，生成器的输入输出构成全局残差连接；(2)判别器，选用马尔可夫判别器作为NB‑GAN的判别网络，网络结构由5个4*4的卷积块构成；马尔可夫判别器将输入图像随机拆分成多个H*W的图像块，每个图像块都通过PatchGAN输出一个数值，然后对所有输出数值取平均作为最终判别结果。3.根据权利要求2所述的一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于步骤S2具体实现如下：S2‑1.判别器损失：使用最小二乘损失函数作为判别器损失，基于NB‑GAN的去模糊网络模型的判别器损失函数定义如下：S2‑2、生成器损失：提出融合局部纹理特征损失、平均绝对误差损失和最小二乘损失作为生成器损失，表达式为：式(3)中LossG‑NBP、LossG‑MAE、LossG‑LS分别代表局部纹理损失、平均绝对误差损失、最小二乘损失，为防止平均绝对误差损失权重过大导致图像过度锐化，影响静脉纹理特征提取，文中λ1，λ2，λ3分别取0.4，0.2，0.4。4.根据权利要求3所述的一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于局部纹理特征损失具体实现如下：用指静脉模糊图像的局部NBP特征来描述整体静脉纹理特征，并将生成清晰图像与清晰图像的NBP特征之间的汉明距离作为生成器损失函数的一部分；采用3*3窗口的NBP算子，设(x,y)为图像上的像素点，从窗口的左上开始，顺时针对(x,y)周围的八个像素点编号，依次为p7,p6,…,p0；NBP特征提取函数NBP(*)如式(4)所示：2CN112488936A权利要求书2/3页则NBP汉明距离损失函数如式(6)所示：式(6)中T表示图像的通道数，R表示图像的高，C表示图像的宽，M表示图像数量，hanm(*)表示汉明距离计算函数。5.根据权利要求4所述的一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于平均绝对误差损失和最小二乘损失具体实现如下：平均绝对误差损失的函数表达式如下：最小二乘损失的函数定义如下：6.根据权利要求4所述的一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于手指静脉模糊图像数据集的制作如下：使用多尺度窗口交替迭代卷积散焦、均值模糊核的方式制作手指静脉多态模糊图像训练集，提出的模糊退化