一种基于WGAN-GP模型的网格形变数据增强方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937038A(43)申请公布日2023.04.07(21)申请号202211682574.2G06N3/08(2023.01)(22)申请日2022.12.27(71)申请人上海大学地址200444上海市宝山区上大路99号(72)发明人李静胡鹏沈南燕(74)专利代理机构北京睿智保诚专利代理事务所(普通合伙)11732专利代理师周新楣(51)Int.Cl.G06T5/00(2006.01)G06T17/20(2006.01)G16H30/20(2018.01)G16H30/40(2018.01)G06N3/0464(2023.01)G06N3/048(2023.01)权利要求书2页说明书8页附图6页(54)发明名称一种基于WGAN-GP模型的网格形变数据增强方法(57)摘要本发明公开了一种基于WGAN‑GP模型的网格形变数据增强方法，涉及图像处理、数据增强技术领域，包括：构建训练数据集和测试数据集；构建WGAN‑GP模型；基于训练数据集训练WGAN‑GP模型；使用测试数据集评估模型性能，确定网格形变数据增强模型；将随机噪声分别与医疗内窥镜图像作为输入，输出对应的形变网格，将医疗内窥镜图像分别和形变网格进行warp操作得到数据增强后的医疗内窥镜图像。本发明构建WGAN‑GP模型自动生成形变网格，通过形变网格对医疗内窥镜图像进行形变增强，增强后的医疗内窥镜图像真实且具有一定多样性，有效解决数据样本稀缺和数据样本不均衡的问题，进而提高基于医疗内窥镜图像的人工智能算法模型精度及泛化性。CN115937038ACN115937038A权利要求书1/2页1.一种基于WGAN‑GP模型的网格形变数据增强方法，其特征在于，包括以下步骤：S1：构建训练数据集和测试数据集，将归一化后的医疗内窥镜图像数据按照7:3的比例划分为训练集Xtrain和测试集Xtest，将训练集图像及其相对应的病变区域LA标注打包成训练数据集；S2：构建WGAN‑GP模型，所述WGAN‑GP模型包括基于残差结构的生成器网络NetG和基于残差结构的判别器网络NetD；S3：基于训练数据集迭代训练WGAN‑GP模型，设置WGAN‑GP模型中判别器网络NetD和生成器网络NetG的损失函数，分别通过损失函数交替迭代优化判别器网络NetD和生成器网络NetG，直至模型收敛，保存模型参数；S4：使用医疗内窥镜图像测试集Xtest评估训练完成后的生成器网络NetG，评估性能符合需求的生成器网络NetG即为网格形变数据增强模型modelaug；S5：采样满足标准正态分布的随机噪声{z1,z2,…,zk}，分别将随机噪声{z1,z2,…,zk}与医疗内窥镜图像X作为网格形变数据增强模型modelaug的模型输入，输出对应的形变网格{g1,g2,…,gk}，将医疗内窥镜图像X分别和形变网格{g1,g2,…,gk}进行warp操作后得到数据增强后的医疗内窥镜图像Xaug_1,Xaug_2,…,Xaug_k}。2.根据权利要求1所述的一种基于WGAN‑GP模型的网格形变数据增强方法，其特征在于，步骤S2中所述生成器网络NetG为基于残差结构的卷积神经网络，包含第一残差结构块、第二残差结构块、上采样块、卷积层、批归一化层、最大值池化层、线性层、reshape层以及Tanh激活函数，其中第一残差结构块和第二残差结构块由卷积层、批归一化层、LeakyReLU激活函数交替串联组成，并通过残差连接将低层输出与高层输出进行连接；上采样块由卷积层、批归一化层、LeakyReLU激活函数、上采样层交替串联组成。3.根据权利要求2所述的一种基于WGAN‑GP模型的网格形变数据增强方法，其特征在于，所述生成器网络NetG的输入为医疗内窥镜图像训练集Xtrain和随机噪声z，生成器网络NetG的输出为形变网格g。4.根据权利要求1所述的一种基于WGAN‑GP模型的网格形变数据增强方法，其特征在于，步骤S2中所述判别器网络NetD为基于残差结构的卷积神经网络，包含第三残差结构块、第四残差结构块、卷积层、层归一化层、最大值池化层、自适应平均池化层、reshape层以及线性层，其中第三残差结构块和第四残差结构块由卷积层、层归一化层、ReLU激活函数交替串联组成，并通过残差连接将低层输出与高层输出进行连接。5.根据权利要求4所述的一种基于WGAN‑GP模型的网格形变数据增强方法，其特征在于，所述判别器网络NetD的输入为医疗内窥镜图像训练集Xtrain和形变图像Xtrain_aug，判别器网络NetD的输出为对应的值NetD(Xtrain)和NetD(Xtrain_aug)。6.根据权利要求1所述的一种基于WGAN‑GP模型的网格形变数据增强方法，其特征