数据生成方法、模型性能评估方法、装置、设备和介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115511046A(43)申请公布日2022.12.23(21)申请号202210792651.3(22)申请日2022.07.05(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人何凤翔胡郅昊(74)专利代理机构北京品源专利代理有限公司11332专利代理师苏舒音(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06K9/62(2022.01)权利要求书3页说明书16页附图5页(54)发明名称数据生成方法、模型性能评估方法、装置、设备和介质(57)摘要本发明实施例公开了一种数据生成方法、模型性能评估方法、装置、设备和介质，数据生成方法包括：获取随机噪声样本数据；将随机噪声样本数据输入至目标生成对抗网络中的目标数据生成模型中，目标数据生成模型是预先基于预设敏感属性对应的预设偏见程度、目标生成对抗网络中的数据判别模型和数据处理模型进行训练获得的；根据目标生成模型的输出，确定对预设敏感属性具有预设偏见程度的目标合成样本数据。通过本发明实施例的技术方案，可以快速生成对任意受保护的敏感属性具有任意偏见程度的样本数据，进而可以准确全面地评估模型性能。CN115511046ACN115511046A权利要求书1/3页1.一种数据生成方法，其特征在于，包括：获取随机噪声样本数据；将所述随机噪声样本数据输入至目标生成对抗网络中的目标数据生成模型中，所述目标数据生成模型是预先基于预设敏感属性对应的预设偏见程度、所述目标生成对抗网络中的数据判别模型和数据处理模型进行训练获得的；根据所述目标生成模型的输出，确定对所述预设敏感属性具有所述预设偏见程度的目标合成样本数据。2.根据权利要求1所述的方法，其特征在于，基于预设敏感属性对应的预设偏见程度、所述目标生成对抗网络中的数据判别模型和数据处理模型进行训练获得所述目标数据生成模型，包括：构建待训练的生成对抗网络，所述生成对抗网络包括数据生成模型、数据判别模型和数据处理模型；根据预设敏感属性对应的预设偏见程度，对所述数据生成模型、所述数据判别模型和所述数据处理模型进行轮流训练；当达到预设收敛条件时，确定所述数据生成模型训练结束，获得目标数据生成模型。3.根据权利要求2所述的方法，其特征在于，所述数据生成模型的训练过程，包括：将随机噪声样本数据输入至当次待训练的数据生成模型中，获得数据生成模型输出的第一合成样本数据；将所述第一合成样本数据输入至上次训练后的数据判别模型中，获得判别模型输出的第一判别结果；将所述第一合成样本数据中的特征信息输入至上次训练后的数据处理模型中，获得数据处理模型输出的第一处理结果；根据所述第一判别结果、预设敏感属性对应的预设偏见程度、所述第一处理结果、以及所述第一合成样本数据中的标签信息和所述预设敏感属性对应的敏感属性值，确定生成训练误差；将所述生成训练误差反向传播至当次待训练的数据生成模型中，调整数据生成模型中的模型参数，完成数据生成模型的当次训练。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一判别结果、预设敏感属性对应的预设偏见程度、所述第一处理结果、以及所述第一合成样本数据中的标签信息和所述预设敏感属性对应的敏感属性值，确定生成训练误差，包括：基于预设公平性损失函数，根据所述第一处理结果、以及所述第一合成样本数据中的标签信息和预设敏感属性对应的敏感属性值，确定所述第一处理结果对应的公平性损失程度；基于所述数据生成模型对应的生成误差函数，根据所述公平性损失程度、所述第一判别结果和预设敏感属性对应的预设偏见程度，确定生成训练误差。5.根据权利要求4所述的方法，其特征在于，所述数据生成模型对应的生成误差函数IG为：2CN115511046A权利要求书2/3页其中，λ是预设敏感属性对应的预设偏见程度；lfairness是所述公平性损失程度；D(G(zi))是第i个随机噪声样本数据zi对应的第一判别结果；n是随机噪声样本数据zi对应的样本数量。6.根据权利要求2所述的方法，其特征在于，所述数据处理模型的训练过程，包括：将随机噪声样本数据输入至上次训练后的数据生成模型中，获得数据生成模型输出的第二合成样本数据；将所述第二合成样本数据中的特征信息输入至当次待训练的数据处理模型中，获得数据处理模型输出的第二处理结果；根据所述第二处理结果和所述第二合成样本数据中的标签信息，确定处理训练误差；将所述处理训练误差反向传播至当次待训练的数据处理模型中，调整数据处理模型中的模型参数，完成数据处理模型的当次训练。7.一种模型性能评估方法，其特征在于，包括：获取随机噪声样本