异常样本的检测方法及装置、电子设备、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114077859A(43)申请公布日2022.02.22(21)申请号202010827028.8(22)申请日2020.08.17(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人王睿(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人周嗣勇(51)Int.Cl.G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书12页附图4页(54)发明名称异常样本的检测方法及装置、电子设备、存储介质(57)摘要本说明书一个或多个实施例提供一种异常样本的检测方法及装置、电子设备、存储介质；该方法可以包括：获取待检测样本库和对应于所述待检测样本库的验证集，所述待检测样本库中的样本数据被标注有数据类别，所述验证集中的样本数据被标注有标准类别；使用所述待检测样本库训练机器学习模型，并使用所述机器学习模型对所述验证集中的样本数据进行预测；确定所述验证集中预测结果与标准类别不一致的目标样本数据作为异常样本。CN114077859ACN114077859A权利要求书1/2页1.一种异常样本的检测方法，其特征在于，包括：获取待检测样本库和对应于所述待检测样本库的验证集，所述待检测样本库中的样本数据被标注有数据类别，所述验证集中的样本数据被标注有标准类别；使用所述待检测样本库训练机器学习模型，并使用所述机器学习模型对所述验证集中的样本数据进行预测；确定所述验证集中预测结果与标准类别不一致的目标样本数据作为异常样本。2.根据权利要求1所述的方法，其特征在于，还包括：在所述待检测样本库中获得预测结果为目标类别的第一样本数据，所述目标类别为所述目标样本数据中的第二样本数据的预测结果；计算所述第一样本数据与第二样本数据的相似度；根据所述相似度确定所述第一样本数据是否为异常样本。3.根据权利要求1或2所述的方法，其特征在于，还包括：将所述待检测样本库中的样本数据分为N份，N为大于等于2的整数；将其中的M份作为训练集训练所述机器学习模型，并使用所述机器学习模型对N-M份的样本数据进行预测；如果在所述待检测样本库中的第三样本数据的预测结果与所述第三样本数据被标注的数据类别不一致，将所述第三样本数据作为异常样本。4.根据权利要求1所述的方法，其特征在于，所述使用所述待检测样本库训练机器学习模型，包括：采用神经网络算法对所述待检测样本库进行训练以得到神经网络模型；其中，将迭代过程中针对所述验证集中样本数据的预测结果与相应标准类别之间的误差满足预设误差条件时的模型参数，作为所述神经网络模型的模型参数。5.根据权利要求4所述的方法，其特征在于，所述计算所述第一样本数据与第二样本数据的相似度，包括：确定所述第一样本数据在所述神经网络模型的预设中间层中计算出的第一向量数据；确定所述第二样本数据在所述预设中间层中计算出的第二向量数据；计算所述第一向量数据与所述第二向量数据之间的相似度。6.根据权利要求5所述的方法，其特征在于，所述预设中间层至少包括所述神经网络模型的输出层的前一层。7.根据权利要求2所述的方法，其特征在于，所述根据所述相似度确定所述第一样本数据是否为异常样本，包括：根据所述相似度的大小对多个第一样本数据进行排序；按照排名依次选取至少一个第一样本数据，以获取针对选取出的第一样本数据中异常样本的检测结果，直到获取到的检测结果满足预设检测条件为止。8.根据权利要求7所述的方法，其特征在于，每次选取出的第一样本数据的数量与选取次数呈正相关。9.一种异常样本的检测装置，其特征在于，包括：第一获取单元，获取待检测样本库和对应于所述待检测样本库的验证集，所述待检测样本库中的样本数据被标注有数据类别，所述验证集中的样本数据被标注有标准类别；2CN114077859A权利要求书2/2页第一训练单元，使用所述待检测样本库训练机器学习模型，并使用所述机器学习模型对所述验证集中的样本数据进行预测；第一检测单元，确定所述验证集中预测结果与标准类别不一致的目标样本数据作为异常样本。10.根据权利要求9所述的装置，其特征在于，还包括：第二获取单元，在所述待检测样本库中获得预测结果为目标类别的第一样本数据，所述目标类别为所述目标样本数据中的第二样本数据的预测结果；计算单元，计算所述第一样本数据与第二样本数据的相似度；第二检测单元，根据所述相似度确定所述第一样本数据是否为异常样本。11.根据权利要求9或10所述的装置，其特征在于，还包括：划分单元，将所述待检测样本库中的样本数据分为N份，N为大于等于2的整数；第二训练单元，将其中的M份作为训练集训练所述机器学习模型，并使用所述机器学习模型