基于精细对齐判别哈希的海洋遥感图像音频检索方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115878832A(43)申请公布日2023.03.31(21)申请号202310116406.5G06V10/44(2022.01)(22)申请日2023.02.15G06V10/80(2022.01)G06F18/22(2023.01)(71)申请人武汉理工大学三亚科教创新园G06N3/048(2023.01)地址572025海南省三亚市崖州区崖州湾G06N3/084(2023.01)科技城用友产业园9号楼G06N3/0464(2023.01)(72)发明人熊盛武赵怡晨黄景灏潘晟凯陈亚雄(74)专利代理机构武汉开元知识产权代理有限公司42104专利代理师刘琳(51)Int.Cl.G06F16/583(2019.01)G06F16/51(2019.01)G06F16/683(2019.01)G06F16/61(2019.01)权利要求书2页说明书6页附图2页(54)发明名称基于精细对齐判别哈希的海洋遥感图像音频检索方法(57)摘要本发明公开了一种基于精细对齐判别哈希的海洋遥感图像音频检索方法，包括步骤：收集海洋遥感图像和遥感相关音频数据，构建海洋遥感图像音频检索数据集；构建基于精细对齐判别哈希的海洋遥感图像音频检索模型；训练模型，计算模型损失函数，进行反向传播和模型优化，训练多轮后得到最终海洋遥感图像音频检索模型；基于训练好的海洋遥感图像音频检索模型，输入待检索的音频或者图像，输出与其相关的海洋遥感图像或者音频数据。本发明学习哈希码以捕获海洋遥感图像的判别信息，学习遥感图像和音频间对应细节信息，通过相似性保留损失函数保持哈希码相似性，保留图像和音频特征的语义信息，消除跨模态差异，提高海洋遥感图像音频检索的效率和准确率。CN115878832ACN115878832A权利要求书1/2页1.一种基于精细对齐判别哈希的海洋遥感图像音频检索方法，其特征在于：所述方法包括如下步骤：S1）收集海洋遥感图像和遥感相关音频数据，构建海洋遥感图像音频检索数据集；S2）构建基于精细对齐判别哈希的海洋遥感图像音频检索模型，所述模型包括：遥感图像表示模块、音频表示模块、特征精细对齐模块、两个并行的哈希层与全连接层；S3）训练模型，将所述检索数据集中的样本数据输入模型，计算总的损失函数值，进行反向传播，通过选定的优化器和相应参数对连接权重进行优化，训练多轮后得到最终的海洋遥感图像音频检索模型；S4）基于训练好的海洋遥感图像音频检索模型，输入待检索的音频，输出与其相关的海洋遥感图像数据；或者输入待检索的图像，输出与其相关的海洋遥感音频数据。2.根据权利要求1所述的一种基于精细对齐判别哈希的海洋遥感图像音频检索方法，其特征在于：步骤S2）中，所述遥感图像表示模块包括多尺度特征融合模块、判别信息学习模块和平均池化层三部分：所述多尺度特征融合模块，对输入的海洋遥感图像进行采样，将采样得到的具有相同中心和不同比例的图像特征以Concat方式拼接，作为图像的多尺度特征，并进一步通过由PatchMerging层连接的两个Transformer层，得到提取图像特征表示FT；所述判别信息学习模块，将所述多尺度特征融合模块提取到的图像特征表示FT输入到判别信息学习模块中，选择有效信息以形成新的序列特征FD；所述平均池化层，将序列特征FD进行平均池化以生成最后的图像表示FI。3.根据权利要求2所述的一种基于精细对齐判别哈希的海洋遥感图像音频检索方法，其特征在于：所述判别信息学习模块由两个自注意力机制和序列判别选择单元串联实现。4.根据权利要求3所述的一种基于精细对齐判别哈希的海洋遥感图像音频检索方法，其特征在于：所述判别信息学习模块将图像特征表示FT依次通过两个自注意力机制生成图012像序列信息，同时保留自注意力机制中间生成的特征关联矩阵Uj=[Ul,Uj,Uj,…,MUj]，其中j=1,2，M与图像特征表示图像特征表示FT的维度相同，接着递归地乘以两个自注意力机制中注意力权值来获得最终权重Uf；提取最终权重Uf每个头部的第一个token向量，得到占比权重最大的token向量的索引，根据该索引，过滤图像特征表示FT依次通过两个自注意力机制以生成图像序列，得到最终序列特征FD。5.根据权利要求2所述的一种基于精细对齐判别哈希的海洋遥感图像音频检索方法，其特征在于：步骤S2）中所述音频表示模块，将原始音频转化为梅尔倒谱系数MFCC特征，接着将得到的MFCC特征输入到用AudioSet预训练的ResNet18网络以模拟声音内容，从而得到音频特征FA'。6.根据权利要求5所述的一种基于精细对齐判别哈希的海洋遥感图像音频检索方法，其特征在于：所述MFCC特征的提取过程如下：Sa1）依次对原始音频进行预加重、分帧和加窗