一种基于实例依赖互补标签学习的图像分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115995019A(43)申请公布日2023.04.21(21)申请号202211669312.2G06V10/82(2022.01)(22)申请日2022.12.24G06N3/045(2023.01)G06N3/0464(2023.01)(71)申请人西安交通大学G06N3/084(2023.01)地址710049陕西省西安市碑林区咸宁西G06N3/0895(2023.01)路28号(72)发明人董博吴雨萱曹书植王余蓝阮建飞赵锐师斌(74)专利代理机构西安通大专利代理有限责任公司61200专利代理师闵岳峰(51)Int.Cl.G06V10/764(2022.01)G06V10/74(2022.01)G06V10/762(2022.01)G06V10/774(2022.01)权利要求书5页说明书12页附图4页(54)发明名称一种基于实例依赖互补标签学习的图像分类方法(57)摘要本发明公开了一种基于实例依赖互补标签学习的图像分类方法，包括：在骨干网络之上构建转移矩阵网络和分类器网络，用于估计实例的互补标签转移矩阵和预测实例的真实类别；将实例特征嵌入为指定维度的特征向量，并以特征向量的欧式距离为度量挖掘实例的近邻；结合互补标注分类和语义聚类训练分类器网络，估计实例的真实类后验概率，选取概率前1％大的实例作为近似锚点对转移矩阵网络进行初始化；引入约束——“特征空间上邻近的实例具有更相似的互补标签转移矩阵”——来限制转移矩阵的自由度，并构建端到端的联合训练框架协同优化转移矩阵网络和分类器网络的参数，将优化后的分类器网络作为最终的预测网络，实现基于实例依赖互补标签学习的图像分类。CN115995019ACN115995019A权利要求书1/5页1.一种基于实例依赖互补标签学习的图像分类方法，其特征在于，包括：首先，在骨干网络之上构建转移矩阵网络和分类器网络，用于估计实例的互补标签转移矩阵和预测实例的真实类别；其次，将实例特征嵌入为指定维度的特征向量，并以特征向量的欧式距离为度量挖掘实例的K近邻；再次，结合互补标注分类和语义聚类训练分类器网络，估计实例的真实类后验概率，选取概率前1％大的实例作为近似锚点对转移矩阵网络进行初始化；最后，引入约束——“特征空间上邻近的实例具有更相似的互补标签转移矩阵”——来限制转移矩阵的自由度，并构建端到端的联合训练框架协同优化转移矩阵网络和分类器网络的参数，将优化后的分类器网络作为最终的预测网络，实现基于实例依赖互补标签学习的图像分类。2.根据权利要求1所述的一种基于实例依赖互补标签学习的图像分类方法，其特征在于，该方法具体包括以下步骤：1)转移矩阵网络和分类器网络的构建根据训练集中图像实例的特征维度构建卷积神经网络作为骨干网络，用于提取不同图像实例的特征，之后根据分类任务的目标类别数，在骨干网络之上构建转移矩阵网络和分类器网络，分别用于估计实例的互补标签转移矩阵和预测实例的真实类别标签；2)图像实例的特征向量提取与最近邻挖掘基于骨干网络提取图像实例的特征，并将实例特征嵌入为指定维度的特征向量，之后以不同实例特征向量的欧式距离为度量挖掘实例的K近邻；3)基于互补标注分类和语义聚类的近似锚点估计与转移矩阵网络初始化基于图像实例在特征空间上的距离进行最近邻语义聚类，利用互补标签改进交叉熵损失函数来进行分类，结合互补标注分类和语义聚类对分类器网络进行训练，输出实例的真实类后验概率，并提取各类别概率前1％大的实例作为近似锚点；之后，将骨干网络输出的近似锚点实例的特征向量作为转移矩阵网络的输入，输出对应的实例依赖互补标签转移矩阵，结合分类器预测的近似锚点的贝叶斯最优标签对实例的互补标签进行推导，根据推导的互补标签和真实的互补标签构建损失函数来初始化转移矩阵网络参数；4)端到端的联合训练框架构建与图像实例真实类别预测通过引入约束——“特征空间上邻近的实例具有更相似的互补标签转移矩阵”——来限制转移矩阵的可行解空间，并通过构建端到端的联合训练框架协同优化转移矩阵网络和分类器网络的参数；将图像实例的特征向量分别输入转移矩阵网络和分类器网络，并将输出的实例依赖互补标签转移矩阵和实例真实类后验概率与实例的互补标签相结合来构建交叉熵损失函数，通过减小损失函数值对网络的参数进行优化，将优化后的分类器网络作为最终的预测网络，实现对图像实例真实类别标签的预测。3.根据权利要求2所述的一种基于实例依赖互补标签学习的图像分类方法，其特征在于，步骤1)中，转移矩阵网络和分类器网络的构建，具体包括以下步骤：Step1：构建骨干网络构建卷积神经网络作为骨干网络，其共有输入层、卷积层、池化层和全连接层四层网络结构；第一层输入层进行图像实例特征映射，第二层卷积层进行特征挖掘和提取，