一种跨域图像分类方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113688867A(43)申请公布日2021.11.23(21)申请号202110821649.X(22)申请日2021.07.20(71)申请人广东工业大学地址510090广东省广州市越秀区东风东路729号(72)发明人吴壮辉孟敏武继刚(74)专利代理机构广州粤高专利商标代理有限公司44102代理人林丽明(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书8页附图2页(54)发明名称一种跨域图像分类方法(57)摘要本发明公开一种跨域图像分类方法，该方法用视觉特征提取器提取待分类目标域图像的初始视觉特征，并利用初始视觉特征构建领域对齐损失函数、类别对齐损失函数和结构对齐损失函数，再构建分类器，最后利用视觉特征提取器和分类器获得待分类的目标域图像的分类结果。该方案利用领域对齐损失函数、类别对齐损失函数和结构对齐损失函数来减小待分类目标域图像各个领域之间的差异，提高对跨域图像的分类精度。CN113688867ACN113688867A权利要求书1/3页1.一种跨域图像分类方法，其特征在于，包括以下步骤：S1：根据待分类的目标域图像设定具有真实标签的源域图像；S2：构建视觉特征提取器和分类器，并提取源域图像的初始视觉特征和目标域图像的初始视觉特征；S3：基于源域图像的初始视觉特征和目标域图像的初始视觉特征，构建领域对齐损失函数、类别对齐损失函数和结构对齐损失函数；S4：基于源域图像，构建源域分类损失函数；S5：联合领域对齐损失函数、类别对齐损失函数、结构对齐损失函数和源域分类损失函数，对视觉特征提取器和分类器进行训练；S6：利用训练好的视觉特征提取器和分类器获得待分类的目标域图像的分类结果，完成目标域图像的跨域分类。2.根据权利要求1所述的一种跨域图像分类方法，其特征在于，步骤S2的具体操作为：以深度卷积神经网络Resnet为基础网络构建视觉特征提取器；以包含三个全连接层的神经网络来构建分类器；将所有源域图像和目标域图像输入到视觉特征提取器中，获得源域图像的初始视觉特征集合和目标域图像的初始视觉特征集合。3.根据权利要求2所述的一种跨域图像分类方法，其特征在于，步骤S3中构建领域对齐损失函数的具体方法为：构建N*K个辨别器D，把源域图像和目标域图像输入到辨别器中；其中，是用来判断辨别器D中的图像来源于源域还是目标域是用来判断辨别器D中的图像来源于目标域还是目标域判断完成后由辨别器D输出领域标签；基于辨别器D、源域图像和目标域图像，领域对齐损失函数定义为：其中，为目标域的领域损失函数，计算公式为：为目标域和源域领域差异最小化函数，计算公式为：其中，x为目标域和源域图像的视觉特征，d为领域标签；为目标域和源域领域差异最小化函数，计算公式为：2CN113688867A权利要求书2/3页其中，x为目标域和图像的视觉特征，d为领域标签。4.根据权利要求2所述的一种跨域图像分类方法，其特征在于，步骤S3中构建类别对齐损失函数的具体方法为：类别对齐损失函数包括三个部分，分别为全局类别对齐损失函数，局部类别对齐损失函数和梯度差异最小化损失函数，计算公式为：其中，全局类别对齐损失函数的计算公式为：其中，表示欧氏距离，为源域类别z的中心点，为所有目标域类别z的中心点；局部类别对齐损失函数的计算公式为：其中，为源域类别z的中心点；梯度差异最小化损失函数的计算公式为：其中，表示欧氏距离。5.根据权利要求2所述的一种跨域图像分类方法，其特征在于，步骤S3中构建结构对齐损失函数的具体方法为：结构对齐损失函数包括三个部分，分别为全局结构对齐损失函数，局部结构对齐损失函数和梯度差异最小化损失函数：其中，全局结构对齐损失函数的计算公式为：为源域所有视觉特征构建的图，为目标域DT所有视觉特征构建的图，其中，图G＝{Gn，Ge}，Gn为图的点集合，Ge为图的边集合；ls为结构差异计算公式：ls(GS，GT)＝δ(GnS，GnT)+δ(GeS，GeT)，其中，δ为Gromov‑Wasserstein距离；局部结构对齐损失函数的计算公式为：3CN113688867A权利要求书3/3页其中，为源域类别z的中心点；梯度差异最小化损失函数：其中，表示欧氏距离。6.根据权利要求1所述的一种跨域图像分类方法，其特征在于，步骤S4的具体操作为：构建源域分类损失函数LC，公式为：其中，J为交叉熵损失函数，PS表示源域图像的分类概率，YS表示源域图像的真实标签。7.根据权利要求1‑6任一项所述的一种跨域图像分类方法，其特征在于，步骤S5的具体步骤为：S51：初始化视觉特征提取器和分类器的网络参数；S52：在初始化网络参数后的视觉特征提取器输入所有源域图像