一种基于原型对比学习的半监督遥感图像检索方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115994239A(43)申请公布日2023.04.21(21)申请号202310080390.7(22)申请日2023.01.31(71)申请人秦风出塞（西安）科技有限公司地址710000陕西省西安市高新区科技六路保利爱尚里18号楼2716室(72)发明人胡恒超史晓峰仵可(74)专利代理机构西安通大专利代理有限责任公司61200专利代理师钱宇婧(51)Int.Cl.G06F16/583(2019.01)G06F16/56(2019.01)G06F16/55(2019.01)G06V10/74(2022.01)权利要求书3页说明书11页附图2页(54)发明名称一种基于原型对比学习的半监督遥感图像检索方法及系统(57)摘要本发明公开了一种基于原型对比学习的半监督遥感图像检索方法及系统，在不额外引入margin超参数的前提下，在学习过程中最大化类间方差同时最小化类内方差。接着，提出基于原型的无监督对比学习损失利用未标记数据优化半监督模型，将双分支改进为单分支，不依赖于数据增强构造正样本对，而是根据标记数据的原型为未标记数据分配伪标签，然后利用伪标签构建正负对来进行对比学习，从而充分挖掘未标记数据中隐藏的语义信息来增强模型的特征提取能力。最后，提出了多分支注意力模块，在不同尺度的图像信息上提取注意力权重，可以有效捕获遥感图像的多尺度信息并突出与场景相关的特征，同时可以捕获主干网络无法提取到的遥感图像长距离依赖关系。CN115994239ACN115994239A权利要求书1/3页1.一种基于原型对比学习的半监督遥感图像检索方法，其特征在于，包括如下步骤：获取标记图像的特征向量和无标记图像的特征向量；将标记图像的特征向量和无标记图像的特征向量均输入至多分支注意力模块，分别获取第一判别特征图和第二判别特征图；将第一判别特征图依次输入至两个全连接层后输出有监督特征向量；将第二判别特征图输入至全连接层后输出无监督特征向量；根据有监督特征向量获取有监督损失值，根据无监督特征向量获取无监督分支损失值；根据有监督损失值获取有监督分支损失值，根据有监督分支损失值和无监督分支损失值获取半监督目标函数；根据有监督特征向量、无监督特征向量、有监督分支损失值和半监督目标函数获取模型权值，利用权值进行检索，实现图像检索。2.根据权利要求1所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，获取标记图像的有监督特征向量fij；根据标记图像的有监督特征向量fij获取minibatch内每个类的原型pi方法如下：根据标记图像的有监督特征向量fij和每个类的原型pi获取有监督损失值Lss方法如下：其中，fij为标记图像的第i类的第j个有监督特征向量；k为类别个数；τ为一个温度参数；Ik≠j∈{0,1}是一个指示函数，当k≠j时值为1，否则为0；exp()函数表示点积操作。3.根据权利要求1所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，获取无标记图像的无监督特征向量fi；其中，Lun为无监督分支损失值，psei表示第i个无标记图片的伪标签，表示求特征空间中离第i个无标记图片的无监督特征向量fi最近的类原型，index()函数表示根据得到的类原型求所对应的类标签。4.根据权利要求1所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，所述多分支注意力模块如下：对输入特征图并行使用三个空洞卷积提取不同尺度下的图像信息，三个空洞卷积的核大小都是3×3，空洞率分别为1、2、3；2CN115994239A权利要求书2/3页三个空洞卷积的感受大小为3×3、5×5和7×7，三个空洞卷积提取到输入特征图的多尺度信息，每一个空洞卷积后接一个1×1卷积，即为一个注意力分支；三个注意力分支提取到遥感图像不同尺度的注意力权重，通过沿通道方向级联得到包含多个尺度的注意力权重，再通过一个1×1卷积自适应地融合多个尺度的注意力权重得到注意力图M。5.根据权利要求4所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，将标记图像的特征向量输入至多分支注意力模块，获取第一判别特征图F1的方法如下：F1＝(M+1)×fl将无标记图像的特征向量输入至多分支注意力模块，获取第二判别特征图F2的方法如下：F2＝(M+1)×fu。6.根据权利要求1所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，获取有监督分支损失值Lsu的方法如下：Lsu＝Lss+LCE其中，是第i个图像的类别预测概率，yi是第i个图像的真实场景标签，Lss为有监督损失值。7.根据权利要求6所述的基于原型对比学习的半监督遥感图像检索方法，其特征在于，获取半监督目标函数L的方法如下：L＝Lsu+λLun其中，λ是用于平衡有监督分支上的损