一种基于条件胶囊生成对抗网络的图像生成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109584337A(43)申请公布日2019.04.05(21)申请号201811328478.1(22)申请日2018.11.09(71)申请人暨南大学地址510632广东省广州市天河区黄埔大道西601号(72)发明人孔锐黄钢(74)专利代理机构广州市华学知识产权代理有限公司44245代理人陈燕娴(51)Int.Cl.G06T11/60(2006.01)G06N3/04(2006.01)权利要求书3页说明书6页附图9页(54)发明名称一种基于条件胶囊生成对抗网络的图像生成方法(57)摘要本发明公开了一种基于条件胶囊生成对抗网络的图像生成方法，包括下述步骤：图像数据采集并对图像进行预处理；提取出条件向量；获取随机噪声；设计一个神经网络作为生成器将随机噪声和条件向量映射为生成图片；设计另外一个神经网络作为判别器接收生成图片、真实图片和条件向量得到损失值；在训练对抗网络时，根据损失值最小化目标函数来调节生成器网络权值；训练完成后，生成器网络权值调整到最佳，此时舍弃判别器，保留生成器模型作为生成图像的最佳神经网络。本发明通过利用胶囊神经网络来设计判别器结构，结合现有的WGAN和CGAN的优点，网络能够有效避免梯度消失问题，同时生成的样本质量高，相比于现有技术算法，具有一定优势。CN109584337ACN109584337A权利要求书1/3页1.一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的图像生成方法包括：S1、图像采集步骤，根据生成目标在互联网上获取真实图像或者使用公开数据集；S2、图像预处理步骤，裁剪采集图像中的关键区域；S3、条件向量生成步骤，对预处理后的图像进行分类标记并将标记设计为条件向量；S4、随机噪声生成步骤，生成随机噪声用作生成器的输入；S5、模型构建步骤，基于条件胶囊生成对抗网络结构来构建图像生成网络，所述的图像生成网络结构分为生成器和判别器，其中，所述的生成器接收随机噪声和条件向量作为输入数据，输出生成图像；然后所述的判别器接收生成图像、真实图像和条件向量作为输入数据，输出生成图像和真实图像之间的相似度；所述的生成器包括两个全连接层和至少两个反卷积层，从输入端开始各层的连接顺序依次为第一全连接层、第二全连接层、第一反卷积层和第N反卷积层，其中第一全连接层、第二全连接层、第一反卷积层之后均连接一个BN层和ReLU层，第N反卷积层之后连接激活层；所述的判别器包括卷积层、PrimaryCaps层、DiscriCaps层和全连接层，从输入端开始各层的连接顺序依次为卷积层、PrimaryCaps层、DiscriCaps层和全连接层，其中卷积层、PrimaryCaps层、DiscriCaps层之后均连接LReLU层，全连接层的后面连接激活层；S6、模型训练步骤，将步骤S4中生成的随机噪声和步骤S3中生成的条件向量输入到生成器中输出为一张生成图像，将该生成图像和条件向量输入到判别器中得出生成图像在判别器中被判定为真样本的概率；再将步骤S2中截取的真实图像和条件向量一起输入到判别器中得出真实图像在判别器中被判定为真样本的概率；根据上述得出的两个概率分别训练判别器和生成器，同时在判别器内部根据动态路由算法负责更新判别器的DiscriCaps层的参数；最终完成指定训练轮数之后结束训练，舍弃判别器，保留生成器作为图像的生成网络。2.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S1、图像采集步骤中收集的图像是二维矩阵或者三维矩阵；所述的S2、图像预处理步骤中对原始图片进行关键区域裁剪，所有图像的裁剪尺寸保持相同，关键区域根据所述的生成目标而确定。3.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S3、条件向量生成步骤中条件向量设置过程如下：将收集到的并且经过图像预处理步骤之后的图像分为n类标记，同时根据类别数将条件向量设置为n维，其中条件向量采用One-Hot编码，同一类的图像有相同的条件向量，该条件向量是一个维数为n的向量。4.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S4、随机噪声生成步骤中随机噪声向量生成方式为：在一个区间为-1到1之间的均匀分布中随机采样100次，随机噪声设置为一个100维数的向量，该随机噪声向量是一个(1,1,100)的向量。5.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的生成器从输入层到输出层依次连接为：第一全连接层、BN层、ReLU层、第二全连接层、BN层、ReLU层、第一反卷积层、BN层、ReLU层、第N反卷积层、激活层，在第一反卷积层和第2CN1095843