一种基于深度学习的图像生成方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030320A(43)申请公布日2023.04.28(21)申请号202310064623.4(22)申请日2023.01.16(71)申请人浙江师范大学地址321004浙江省金华市迎宾大道688号(72)发明人郑忠龙万畅施桂才陈灏王志刚(74)专利代理机构浙江千克知识产权代理有限公司33246专利代理师王丰毅(51)Int.Cl.G06V10/774(2022.01)G06N3/082(2023.01)G06N3/04(2023.01)权利要求书2页说明书7页附图3页(54)发明名称一种基于深度学习的图像生成方法(57)摘要本发明为解决现有GANs模型训练和生成图像的过程容易崩溃的问题，提供一种基于深度学习的图像生成方法，包括如下步骤：步骤1、获取数据集；步骤2、丰富数据集；步骤3、构建基于CompositeFunctionalGradientLearning方法的GenerativeAdversarialNets；步骤4、为模型增加新的Lipschitz正则化方法，称该模型为Li‑CFG模型；步骤5；使用深度学习框架PyTorch搭建Li‑CFG模型；步骤6、模型训练，在真实的图像训练集上训练Li‑CFG模型，更新该网络的参数，使Li‑CFG模型生成逼近真实图像的合成图像；步骤7、当Li‑CFG模型训练收敛后，将随机采样的高斯噪声数据输入训练好的模型进行图像生成任务，计算图像生成指标并保存生成后的图像；使GANs模型在训练以及合成图像的过程中更为稳定。CN116030320ACN116030320A权利要求书1/2页1.一种基于深度学习的图像生成方法，其特征在于，包括如下步骤：步骤1：获取训练用的真实图像数据集；步骤2：丰富真实图像数据集；步骤3：基于FunctionalGradientLearning方法构建生成对抗网络；在FunctionalGradientLearning方法中选择回归损失作为对抗网络中的判别器损失，同时选择真实图像和合成图像的KL散度作为FunctionalGradientLearning方法逼近的目标；步骤4：在生成对抗网络中设置Lipschitz正则化方法作为约束；步骤5：使用深度学习框架PyTorch搭建深度学习模型；在深度学习模型中的生成器和判别器会根据生成图像的分辨率，堆叠不同数量的残差卷积层，每个残差卷积层均使用ReLU作为激活函数，选择BatchNormal方法作为归一化方法；步骤6：根据步骤2中丰富后的数据集以及步骤5中搭建的深度学习模型，训练模型，并根据反向传播原理迭代更新该模型中的参数；步骤7：将随机采样的高斯噪声输入步骤6训练好的模型中进行图像生成任务，获得并保存合成图像。2.根据权利要求1所述的一种基于深度学习的图像生成方法，其特征在于，所述步骤1中的真实图像数据集包括输入的设定图像集以及公开的图像数据集，其中公开的图像数据集包括MNIST、CIFAR10、LSUNBedroom、LSUNBridge、LSUNChurch、LSUNTower、LSUNBedroom/Livingroom和LSUNBridge/Tower数据集。3.根据权利要求1所述的一种基于深度学习的图像生成方法，其特征在于，所述步骤2中丰富真实图像数据集的方法包括对步骤1获取的真实图像数据集中的图像进行裁剪、填充操作。4.根据权利要求1所述的一种基于深度学习的图像生成方法，其特征在于，所述步骤3中构建生成对抗网络，包括选择真实图像和合成图像的KL散度作为FunctionalGradienLearning方法逼近的目标，引导生成器生成逼真的合成图像；其中真实图像和合成图像的KL散度表示为：其中，表示真实图像和合成图像的KL散度；表示真实图像样本的分布；表示散度函数；表示与的比值，其中表示合成图像样本的分布；表示样本，包括真实图像样本和合成图像样本；FunctionalGradienLearning方法表示为：其中，表示第t步生成器输出的图像，表示第t‑1步生成器输出的图像；表示第t步的时间步长；表示梯度累加的时间步数；表示梯度累加的总时间步数；表示高斯噪声。5.根据权利要求4所述的一种基于深度学习的图像生成方法，其特征在于，所述步骤4中，Lipschitz正则化方法表示为：2CN116030320A权利要求书2/2页其中，表示Lipschitz正则化；表示设定的正则化系数；表示Lipschitz参数；表示真实图像样本和合成图像样本插值后的样本；表示梯度的数学符号，表示2‑范数的数学符号；表示判别器，表示判别器对真实图像样本和合成图像样本插值后的样本的输出；表示数学期望。6.根据权利要求1所述的一种基于深度学习的图像生成方法，其特征在于，所