神经网络后门攻击的检测方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111242291A(43)申请公布日2020.06.05(21)申请号202010334293.2(22)申请日2020.04.24(71)申请人支付宝（杭州）信息技术有限公司地址310007浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人林建滨(74)专利代理机构北京汇思诚业知识产权代理有限公司11444代理人冯伟(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06K9/62(2006.01)权利要求书2页说明书9页附图6页(54)发明名称神经网络后门攻击的检测方法、装置和电子设备(57)摘要本说明书实施例提出了一种神经网络后门攻击的检测方法、装置和电子设备，其中，上述神经网络后门攻击的检测方法中，在获取训练数据之后，利用上述训练数据对神经网络进行训练，获得训练好的神经网络模型，然后获取上述训练数据中第一标签类别对应的训练数据，将第一标签类别对应的训练数据输入到训练好的神经网络模型中，获得上述神经网络模型的隐层数据；然后，将上述隐层数据进行聚类，根据聚类结果对神经网络后门攻击进行检测。CN111242291ACN111242291A权利要求书1/2页1.一种神经网络后门攻击的检测方法，包括：获取训练数据；利用所述训练数据对神经网络进行训练，获得训练好的神经网络模型；获取所述训练数据中第一标签类别对应的训练数据；将所述第一标签类别对应的训练数据输入到所述训练好的神经网络模型中，获得所述神经网络模型的隐层数据；将所述隐层数据进行聚类，根据聚类结果对神经网络后门攻击进行检测。2.根据权利要求1所述的方法，其中，所述将所述隐层数据进行聚类包括：将所述隐层数据聚为两类，分别为第一类别和第二类别。3.根据权利要求2所述的方法，其中，所述根据聚类结果对神经网络后门攻击进行检测包括：根据所述第一类别和所述第二类别分别包括的隐层数据的数量，对神经网络后门攻击进行检测。4.根据权利要求3所述的方法，其中，所述根据所述第一类别和所述第二类别分别包括的隐层数据的数量，对神经网络后门攻击进行检测包括：将所述第一类别中包括的隐层数据的第一数量与所述第二类别中包括的隐层数据的第二数量进行比较；计算所述第一数量与所述第二数量中的较小值与较大值的比值；如果所述比值小于预定阈值，则获取所述较小值对应类别中的隐层数据；判断所述隐层数据对应的训练数据与所述训练数据的标签类别是否相符；如果不相符，则确定所述神经网络模型存在后门攻击。5.根据权利要求1-4任意一项所述的方法，其中，所述将所述隐层数据进行聚类包括：通过K均值聚类算法，将所述隐层数据进行聚类。6.一种神经网络后门攻击的检测装置，包括：获取模块，用于获取训练数据；训练模块，用于利用所述获取模块获取的训练数据对神经网络进行训练，获得训练好的神经网络模型；所述获取模块，还用于获取所述训练数据中第一标签类别对应的训练数据；以及将所述第一标签类别对应的训练数据输入到所述训练好的神经网络模型中，获得所述神经网络模型的隐层数据；聚类模块，用于将所述获取模块获取的隐层数据进行聚类；检测模块，用于根据所述聚类模块的聚类结果对神经网络后门攻击进行检测。7.根据权利要求6所述的装置，其中，所述聚类模块，具体用于将所述隐层数据聚为两类，分别为第一类别和第二类别。8.根据权利要求7所述的装置，其中，所述检测模块，具体用于根据所述第一类别和所述第二类别分别包括的隐层数据的数量，对神经网络后门攻击进行检测。9.根据权利要求8所述的装置，其中，所述检测模块包括：比较子模块，用于将所述第一类别中包括的隐层数据的第一数量与所述第二类别中包2CN111242291A权利要求书2/2页括的隐层数据的第二数量进行比较；计算子模块，用于计算所述第一数量与所述第二数量中的较小值与较大值的比值；数据获取子模块，用于当所述计算子模块获得的比值小于预定阈值时，获取所述较小值对应类别中的隐层数据；判断子模块，用于判断所述数据获取子模块获取的隐层数据对应的训练数据与所述训练数据的标签类别是否相符；确定子模块，用于当训练数据与所述训练数据的标签类别不相符时，确定所述神经网络模型存在后门攻击。10.根据权利要求6-9任意一项所述的装置，其中，所述聚类模块，具体用于通过K均值聚类算法，将所述隐层数据进行聚类。11.一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。12.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1