基于无监督转换器平衡哈希的遥感图像检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113836341A(43)申请公布日2021.12.24(21)申请号202111070838.4(22)申请日2021.09.13(71)申请人武汉理工大学地址430070湖北省武汉市洪山区珞狮路122号(72)发明人陈亚雄王凡李小玉汤一博熊盛武(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222代理人王琪(51)Int.Cl.G06F16/583(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)G06N5/04(2006.01)权利要求书3页说明书7页附图4页(54)发明名称基于无监督转换器平衡哈希的遥感图像检索方法(57)摘要本发明涉及一种无监督转换器平衡哈希的遥感图像检索方法。首先将数据集划分为训练数据集和测试数据集，接着构建整体网络模型，使用训练数据集对整体网络进行训练，最后使用训练好的整体网络模型计算测试数据集中样本的哈希码，将查询样本和训练数据集各样本的哈希码之间的汉明距离从大到小排序，并计算排名列表的前K个精度，得出平均精度指标MAP和前K名检索结果。本发明将卷积变分自编码器架构与转换器主干相结合，可以指导遥感图像的多通道信息之间的交互，并结合重构代价、KL散度和平衡项设计了目标函数，可以在哈希学习过程中保留哈希码的区分度，减少实值输出空间和汉明输出空间之间的差异，进一步提高检索性能。CN113836341ACN113836341A权利要求书1/3页1.一种基于无监督转换器平衡哈希的遥感图像检索方法，其特征在于，包括如下步骤：步骤1，划分训练数据集和测试数据集；步骤2，构建整体网络模型，利用变分自编码器作为主干网络，主干网络包括推理网络和生成网络两部分；步骤3，初始化整体网络模型参数，计算整体网络模型的目标函数，训练整体网络模型并更新模型参数；步骤4，使用训练好的网络得到检索结果。2.如权利要求1所述的一种基于无监督转换器平衡哈希的遥感图像检索方法，其特征在于：步骤2中推理网络L(hn|xn)将原始数据xn投影到变分概率分布中，然后从变分概率分布中采样特征向量hn，由遥感转换器、两个并行的全连接层和一个哈希编码层组成；并行全连接层包含k个结点，哈希编码层利用再参数化技巧来连接两个并行的全连接层；遥感转换器由卷积层、碎片重塑算子、位置嵌入、RGB自注意模块和NIF自注意模块组成。3.如权利要求2所述的一种基于无监督转换器平衡哈希的遥感图像检索方法，其特征在于：遥感转换器中的卷积层采用128个滤波器，大小为8×8，卷积层步长为8像素；碎片重塑算子将映射得到的特征向量hn重塑为128维的16个碎片嵌入；位置嵌入添加到补丁嵌入中，具体来说利用17个标准科学系的一维嵌入和128维来保留位置信息，并将第0个位置嵌入的站点添加到标准令牌中，该令牌包含128维可学习参数，得到的嵌入向量序列作为RGB自注意模块和NIF自注意模块的输入；NIF自注意模块采用包含8个多头自注意层和MLP层的6个交替堆栈，每个交替堆栈包含两个子层，在每个子层前应用层范式，每个子层后应用剩余连接，因此每个子层的输出可表示为：SubLayerOut＝LayerNorm(In+SubLayer(In))(1)式中，SubLayerOut表示每个子层的输出，LayerNorm(·)表示范式层，In表示子层输入，SubLayer(·)表示子层本身实现的函数；NIF自注意模块中为栈i的输入碎片嵌入，为栈i+1的输入，利用参数权重将转变为矩阵则NIF注意力子层的公式如下：式中，是堆栈i的输入碎片嵌入；softmax(·)为归一化指数函数；考虑到速度和空间效率，的点积通过进行缩放，dk是矩阵的维度；RGB自注意模块也由6个相同层的堆栈组成，与NIF自注意力子层不同，RGB自注意力子层插入了第二个掩码函数，该函数对相应编码器堆栈的输出执行多头注意力，RGB注意力子层的公式如下：2CN113836341A权利要求书2/3页式中，表示RGB自注意模块的查询矩阵，表示RGB自注意模块的配对键值矩阵，是堆栈i的输入碎片嵌入。4.如权利要求1所述的一种基于无监督转换器平衡哈希的遥感图像检索方法，其特征在于：步骤3中生成网络gΦ(xn|hn)通过投影特征向量hn来重构遥感影像xn，它由一个全连接层、一个重塑算子、四个带有BN的转置卷积层和一个卷积层组成；四个带有BN的转置卷积层分别采用256、126、64、32个大小为3×3的滤波器，每个转置卷积层的步幅为2个像素，利用LeakyReLU函数作为激活函数；卷积层采用3个大小为3×3的滤波器，每个卷积层的步幅为1个像素，利用tanh函数作为激活函数。5.如权利要求4所述的一种基于无监督转换器平衡哈希