分类器优化方法、后门检测方法、装置和电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112380974A(43)申请公布日2021.02.19(21)申请号202011262238.3(22)申请日2020.11.12(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人刘文鑫宗志远(74)专利代理机构北京三友知识产权代理有限公司11127代理人周达阚传猛(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图4页(54)发明名称分类器优化方法、后门检测方法、装置和电子设备(57)摘要本说明书实施例公开了一种分类器优化方法、后门检测方法、装置和电子设备。所述分类器优化方法包括：将后门探针输入至携带标签的模型，所述标签用于表示模型中是否植入有后门；将所述模型的输出输入至元分类器；根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针。本说明书实施例可以将携带标签的模型作为训练数据，可以利用携带标签的模型对元分类器和后门探针进行优化。优化后的元分类器和优化后的后门探针可以用于检测模型中是否植入有后门，从而提高了安全性。CN112380974ACN112380974A权利要求书1/2页1.一种分类器优化方法，包括：将后门探针输入至携带标签的模型，所述标签用于表示模型中是否植入有后门；将所述模型的输出输入至元分类器；根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针。2.如权利要求1所述的方法，所述将后门探针输入至携带标签的模型，包括：将多个后门探针分别输入至携带标签的模型；所述将所述模型的输出输入至元分类器，包括：将所述模型的多个输出输入至元分类器。3.如权利要求2所述的方法，所述将所述模型的多个输出输入至元分类器，包括：对所述模型的多个输出进行聚合处理，将聚合结果输入至元分类器。4.如权利要求3所述的方法，所述对所述模型的多个输出进行聚合处理，将聚合结果输入至元分类器，包括：对所述模型的多个输出进行池化处理，将池化处理结果输入至元分类器；或者，对所述模型的多个输出进行级联处理，将级联处理结果输入至元分类器。5.如权利要求1所述的方法，所述优化所述元分类器和所述后门探针，包括：根据分类器的输出和所述标签，计算损失函数的取值；根据损失函数的取值，利用误差反向传播机制，优化所述元分类器和所述后门探针。6.如权利要求1所述的方法，还包括：根据优化后的元分类器和后门探针，迭代执行以上步骤，直至满足预设条件。7.一种后门检测方法，包括：将后门探针输入至待检测模型；将待检测模型的输出输入至元分类器，得到检测结果，所述检测结果用于表示待检测模型中是否植入有后门，所述后门探针和所述元分类器基于权利要求1-6任一项方法优化得到。8.如权利要求7所述的方法，所述将后门探针输入至待检测模型，包括：将多个后门探针分别输入至待检测模型；所述将待检测模型的输出输入至元分类器，包括：将待检测模型的多个输出输入至元分类器。9.如权利要求8所述的方法，所述将待检测模型的多个输出输入至元分类器，包括：对待检测模型的多个输出进行聚合处理，将聚合结果输入至元分类器。10.如权利要求9所述的方法，所述对待检测模型的多个输出进行聚合处理，将聚合结果输入至元分类器，包括：对待检测模型的多个输出进行池化处理，将池化处理结果输入至元分类器；或者，对待检测模型的多个输出进行级联处理，将级联处理结果输入至元分类器。11.一种分类器优化装置，包括：第一输入单元，用于将后门探针输入至携带标签的模型，所述标签用于表示模型中是否植入有后门；第二输入单元，用于将所述模型的输出输入至元分类器；优化单元，用于根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针。2CN112380974A权利要求书2/2页12.一种后门检测装置，包括：第一输入单元，用于将后门探针输入至待检测模型；第二输入单元，用于将待检测模型的输出输入至元分类器，得到检测结果，所述检测结果用于表示待检测模型中是否植入有后门，所述后门探针和所述元分类器基于权利要求1-6中任一项方法优化得到。13.一种电子设备，包括：至少一个处理器；存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-10中任一项所述方法的指令。3CN112380974A说明书1/8页分类器优化方法、后门检测方法、装置和电子设备技术领域[0001]本说明书实施例涉及计算机技术领域，特别涉及一种分类器优化方法、后门检测方法、装置和电子设备。背景技术[0002]机器学习模型由于其出色的性能表现