基于自监督与自蒸馏的补充标签学习方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113869512A(43)申请公布日2021.12.31(21)申请号202111177718.4(22)申请日2021.10.09(71)申请人北京中科智眼科技有限公司地址100089北京市海淀区紫竹院路81号院3号楼2层207-25(72)发明人齐志泉刘佳斌(74)专利代理机构深圳国联专利代理事务所(特殊普通合伙)44465代理人王天兴(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)G06K9/62(2006.01)权利要求书2页说明书4页(54)发明名称基于自监督与自蒸馏的补充标签学习方法(57)摘要本发明公开了基于自监督与自蒸馏的补充标签学习方法，包括以下步骤：构建自监督方式、构建分类网络、网络训练和构建知识蒸馏机制。本发明通过利用自监督的方式来获取一个更好的特征表达，从而让网络学习的模型更好，最终让分类器的性能更好，同时采用自蒸馏的方式发掘出模型本身包含的信息，利用这部分信息构建一个教师学生网络，从而可以进一步提升模型的性能，大大提高了模型的准确率，而且基于深度学习的损失函数在一定程度上也获得了不错的性能，并且可以达到端对端训练的目的。CN113869512ACN113869512A权利要求书1/2页1.基于自监督与自蒸馏的补充标签学习方法，其特征在于：包括以下步骤：S1、构建自监督方式，首先使用数据挖掘方法在数据集中进行计算，对此过程中用于训练数据挖掘模型的数据进行收集，即为训练数据，然后基于已有的训练数据特性来构建相应的自监督方式，对于图像数据来说，采用图像旋转的方式，然后将旋转不同角度的图像数据作为不同的类别来构建一个监督学习的任务；S2、构建分类网络，然后基于S1中构建的自监督数据和原有的基于补充标签的数据，构建一个多任务的分类网络，其中第一个任务是基于传统的补充标签，而第二个任务是构建的基于自监督的任务，基于自监督的任务采用传统的交叉熵损失函数，而基于补充标签的数据将采用如下的损失函数：S3、网络训练，然后基于S2中的数据和损失函数对网络进行训练，基于多任务的形式对网络以端对端的方式进行训练，其中训练的损失函数为两个任务损失函数之和，具体自监督损失和补充标签损失的形式如下所示：S4、构建知识蒸馏机制，最后在基于自监督和补充标签的数据训练完成后，基于训练好的网络构建知识蒸馏机制，将训练好的模型作为教师网络，而选取一个相同结构的网络作为学生网络，然后基于教师网络的输出给学生提供信息，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度，自监督蒸馏相比于传统的离线蒸馏的方式是不需要提前训练一个教师网络模型，而是学生网络本身的训练完成一个蒸馏过程，蒸馏机制如下：。2.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S1中对于普通的数据来说，采用旋转矩阵的方式来构建不同类别的数据，具体方式如下所示：T(x)＝Wx+b，3.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S2中的交叉熵损失函数不仅可以衡量模型的效果，还可以使得补充标签的输出结果最小，另外，交叉熵能够用来判定实际的输出与期望的输出的接近程度。4.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S3中损失函数是训练神经网络必不可少的一项配置，损失函数用数值度量了模型的性能，并通过对网络参数求取梯度产生更新网络。5.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S4中在蒸馏过程中，除了要学习教师网络的知识外，还需要满足原有的补充标签信息，同时要满足自监督的蒸馏信息。6.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述2CN113869512A权利要求书2/2页S1中分别将图像旋转0°、90°、180°和270°来构建相应的数据。7.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S2中多任务的分类网络在构建时需要将种子网络的网络权重载入多任务分类网络的共享特征提取网络中，并冻结所述共享特征提取网络中的网络权重。8.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S4中教师网络的作用为基于已训练的网络信息构建教师学生网络，让学生网络学习出教师网络的隐藏信息，最终获得一个更好的分类性能。3CN113869512A说明书1/4页基于自监督与自蒸馏的补充标签学习方法技术领域[0001]本发明属于人工智能技术领域，更具体地说，尤其涉及基于自监督与自蒸馏的补充标签学习方法。背景技术[0002]补充标签学习是一种