基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115758096A(43)申请公布日2023.03.07(21)申请号202211293606.XG06V10/774(2023.01)(22)申请日2022.10.21G06V10/82(2022.01)G06N3/0475(2022.01)(71)申请人道普信息技术有限公司G06N3/094(2023.01)地址250000山东省济南市高新区银荷大厦B座406室(72)发明人陈曦耿涛韩庆良韩明军(74)专利代理机构山东国诚精信专利代理事务所(特殊普通合伙)37312专利代理师孙宏远(51)Int.Cl.G06F18/21(2023.01)G06F18/241(2023.01)G06F18/214(2023.01)G06V10/776(2022.01)G06V10/764(2022.01)权利要求书1页说明书4页附图2页(54)发明名称基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法(57)摘要本发明公开了基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法，测试方法步骤如下：S1：使用训练被测模型数据用于训练生成对抗网络；S2：经过调参训练生成对抗网络完成后，提取其中的生成器，并根据生成器输入类别信息，生成该类别图像和文本数据；S3：根据测试方案设置原数据集以及生成数据集数据量权重，再根据类别所占比例重构测试数据集；S4：将测试集输入到被测模型得到分类结果，分类结果与真实分类信息构造出混淆矩阵，计算评估指标，准确率、精准率、召回率以及F1值。本发明可将所有的数据都可以当作训练集对模型进行训练，生成对抗网络生成的部分数据中掺杂噪音，可以测试出模型鲁棒性以及抗干扰性。CN115758096ACN115758096A权利要求书1/1页1.基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法，其特征在于：测试方法步骤如下：S1：使用训练被测模型数据用于训练生成对抗网络；S2：经过调参训练生成对抗网络完成后，提取其中的生成器，并根据生成器输入类别信息，生成该类别图像和文本数据；S3：根据测试方案设置原数据集以及生成数据集数据量权重，再根据类别所占比例重构测试数据集，用于被测模型评估指标计算；S4：将测试集输入到被测模型得到分类结果，分类结果与真实分类信息构造出混淆矩阵，计算评估指标，准确率、精准率、召回率以及F1值。2.根据权利要求1所述的基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法，其特征在于：基于测试方法的S1中：图像和文本数据构成原始数据集，经过数据训练后，生成对抗网络，其中对抗网络，通过生成对抗网络，生成指定类别的数据，可以确保在数据层面覆盖所有的测试情形。3.根据权利要求1所述的基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法，其特征在于：基于测试方法的S2中：经过调参训练生成对抗网络完成后，将图像、文本数据类别信息以及随机生成噪音同步导入生成器；生成器生成数据导入判别器，并将真实数据同步导入判别器，判断其将生成数据与生成数据进行比对，得到像素损失和类别损失数据；生成对抗网络生成的部分数据中掺杂噪音，使用噪音数据对模型进行测试，用于测试出模型鲁棒性以及抗干扰性。4.根据权利要求1所述的基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法，其特征在于：基于测试方法的S3中：原数据集以及生成数据集数据量权重，再根据类别所占比例重构测试数据集，所有的数据都可以当作训练集对模型进行训练，测试数据可以使用生成对抗网络生成的数据加上原数据集中部分数据。5.根据权利要求1所述的基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法，其特征在于：基于测试方法的S4中：分类结果与真实分类信息构造出混淆矩阵，计算评估指标，准确率、精准率、召回率以及F1值，用于生成指定类别的数据，能够针对单类别对模型进行指标评估，同时也能针对不同的数据分布测试模型准确率评估指标。6.根据权利要求1所述的基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法，其特征在于：生成分类AI模型进行测试时，生成带标签的数据，生成对抗网络输入噪音加分类信息进行训练，推理过程中输入分类信息生成对应类别的数据。2CN115758096A说明书1/4页基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法技术领域[0001]本发明涉及人工智能模型评估技术领域，具体为基于生成对抗网络图像、文本数据生成应用分类模型评估的测试方法。背景技术[0002]针对AI分类模型评估的测试方法是通过测试集输入到模型中，输出结果计算准确率、精准率、召回率、F1值，因此测试集的选择尤为重要，通过测试集进行模型推理：输入与训练一样的数据、与训练时完全不同的