后门样本的检测方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111291902A(43)申请公布日2020.06.16(21)申请号202010334289.6(22)申请日2020.04.24(71)申请人支付宝（杭州）信息技术有限公司地址310007浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人任彦昆(74)专利代理机构北京汇思诚业知识产权代理有限公司11444代理人冯伟(51)Int.Cl.G06N20/00(2019.01)G06K9/62(2006.01)权利要求书2页说明书10页附图6页(54)发明名称后门样本的检测方法、装置和电子设备(57)摘要本说明书实施例提出了一种后门样本的检测方法、装置和电子设备，其中，上述后门样本的检测方法中，获取训练样本中目标类别的样本数据之后，通过预先训练的模型对上述目标类别中的每个样本数据进行分类，获得上述样本数据所属类别最高的概率，然后获取上述概率相对上述样本数据的梯度图，将上述梯度图转化为概率分布，以及计算上述样本数据对应上述概率分布的信息熵，接下来，根据上述信息熵对目标类别中的样本数据进行聚类，根据聚类结果对上述目标类别中的后门样本进行检测。CN111291902ACN111291902A权利要求书1/2页1.一种后门样本的检测方法，包括：获取训练样本中目标类别的样本数据；通过预先训练的模型对所述目标类别中的每个样本数据进行分类，获得所述样本数据所属类别最高的概率；其中，所述模型是利用所述训练样本训练的；获取所述概率相对所述样本数据的梯度图，将所述梯度图转化为概率分布，以及计算所述样本数据对应所述概率分布的信息熵；根据所述信息熵对所述目标类别中的样本数据进行聚类；根据聚类结果对所述目标类别中的后门样本进行检测。2.根据权利要求1所述的方法，其中，所述根据所述信息熵对所述目标类别中的样本数据进行聚类包括：根据所述信息熵将所述目标类别中的样本数据聚为两类，分别为第一类别和第二类别。3.根据权利要求2所述的方法，其中，所述根据聚类结果对所述目标类别中的后门样本进行检测包括：根据所述第一类别和所述第二类别分别包括的样本数据的数量，对所述目标类别中的后门样本进行检测。4.根据权利要求3所述的方法，其中，所述根据所述第一类别和所述第二类别分别包括的样本数据的数量，对所述目标类别中的后门样本进行检测包括：将所述第一类别中包括的样本数据的第一数量与所述第二类别中包括的样本数据的第二数量进行比较，获取所述第一数量与所述第二数量中的较小值；如果所述较小值小于预定阈值，则确定所述目标类别的样本数据中包括后门样本，并且所述较小值对应类别中的样本数据为后门样本。5.根据权利要求4所述的方法，还包括：如果所述训练样本的每个类别中均未检测到后门样本，则确定所述预先训练的模型未被植入后门。6.根据权利要求1-5任意一项所述的方法，所述通过预先训练的模型对每个样本数据进行分类之前，还包括：利用训练样本进行训练，获得训练好的模型。7.一种后门样本的检测装置，包括：获取模块，用于获取训练样本中目标类别的样本数据；分类模块，用于通过预先训练的模型对所述目标类别中的每个样本数据进行分类，获得所述样本数据所属类别最高的概率；其中，所述模型是利用所述训练样本训练的；计算模块，用于获取所述分类模块获得的概率相对所述样本数据的梯度图，将所述梯度图转化为概率分布，以及计算所述样本数据对应所述概率分布的信息熵；聚类模块，用于根据所述计算模块计算的信息熵对所述目标类别中的样本数据进行聚类；检测模块，用于根据所述聚类模块的聚类结果对所述目标类别中的后门样本进行检测。8.根据权利要求7所述的装置，所述聚类模块，具体用于根据所述信息熵将所述目标类2CN111291902A权利要求书2/2页别中的样本数据聚为两类，分别为第一类别和第二类别。9.根据权利要求8所述的装置，所述检测模块，具体用于根据所述第一类别和所述第二类别分别包括的样本数据的数量，对所述目标类别中的后门样本进行检测。10.根据权利要求9所述的装置，其中，所述检测模块包括：比较子模块，用于将所述第一类别中包括的样本数据的第一数量与所述第二类别中包括的样本数据的第二数量进行比较，获取所述第一数量与所述第二数量中的较小值；后门样本检测子模块，用于当所述比较子模块获取的较小值小于预定阈值时，确定所述目标类别的样本数据中包括后门样本，并且所述较小值对应类别中的样本数据为后门样本。11.根据权利要求10所述的装置，其中，所述后门样本检测子模块，还用于当所述训练样本的每个类别中均未检测到后门样本时，确定所述预先训练的模型未被植入后门。12.根据权利要求7-11任意一项所述的装置，还包括：训练模块，用于在所述分类模块对每个样本数据进行分类之前，利用训练