一种基于专用及共享架构的多模态数据的融合方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984656A(43)申请公布日2023.04.18(21)申请号202211635621.8(22)申请日2022.12.19(71)申请人中国科学院空天信息创新研究院地址100080北京市海淀区北四环西路19号(72)发明人付琨孙显王佩瑾何琪彬卢宛萱刁文辉闫志远冯瑛超(74)专利代理机构北京锺维联合知识产权代理有限公司11579专利代理师周利星(51)Int.Cl.G06V10/80(2022.01)G06T5/00(2006.01)G06T3/40(2006.01)权利要求书4页说明书20页附图14页(54)发明名称一种基于专用及共享架构的多模态数据的融合方法(57)摘要本发明涉及遥感数据处理领域，尤其涉及一种基于专用及共享架构的多模态数据的融合方法，包括获取目标区域的多个初始遥感数据。使用专用网络进行数据校正处理，生成中间遥感数据。使用共享的特征关联网络获取置信度。根据置信度进行替换处理，生成子融合遥感数据。根据每一子融合遥感数据及模态权重，生成目标区域的融合遥感数据。本申请中对每一模态遥感数据的单独校正处理以及配合对多模态遥感数据的融合处理，可以通过任意模态组合的遥感数据，生成对地物信息的表示的丰富度及准确度更高的融合遥感数据，进而提高了融合遥感数据的可用性，以便于融合遥感数据适配于更多的遥感解译任务，也对应提高了对地观测的效率。CN115984656ACN115984656A权利要求书1/4页1.一种基于专用及共享架构的多模态遥感数据的融合方法，其特征在于，所述方法包括如下步骤：获取目标区域的多个初始遥感数据，每一所述初始遥感数据的模态类型互不相同；根据每一所述初始遥感数据对应的模态类型，对每一所述初始遥感数据使用专用网络进行数据校正处理，生成对应的中间遥感数据；每一所述中间遥感数据具有相同的空间维度及通道维度；使用共享的特征关联网络获取每一所述中间遥感数据对应的置信度；每一所述中间遥感数据具有多个特征参数；每一所述特征参数对应一个置信度；所述置信度根据中间遥感数据中每一特征参数对所述目标区域中对应地物信息的表征强度确定；根据所述置信度对每一所述中间遥感数据中目标特征参数进行替换处理，生成每一所述初始遥感数据对应的子融合遥感数据；所述目标特征参数为对应置信度小于置信度阈值的特征参数；所述子融合遥感数据中的每一特征参数对应的置信度均大于或等于置信度阈值；根据每一所述子融合遥感数据及对应的模态权重，生成所述目标区域的融合遥感数据；所述模态权重根据每一模态的子融合遥感数据对应的融合比例确定。2.根据权利要求1所述的方法，其特征在于，所述数据校正处理包括：对所述初始遥感数据进行数据归一化处理，生成第一初始数据；所述第一初始数据中的每一参数处于预设数值范围；对所述第一初始数据进行数据去噪处理，生成对应的第二初始数据；所述数据去噪处理用于根据参数的大小对该参数进行削减；所述参数的大小与削减幅度正相关；所述数据归一化处理及所述数据去噪处理均根据当前的初始遥感数据对应的模态类型确定。3.根据权利要求2所述的方法，其特征在于，所述数据校正处理还包括：使用所述初始遥感数据对所述第二初始数据进行数据补偿处理，生成所述中间遥感数据；所述数据补偿处理用于将初始遥感数据中的地物信息补偿至第二初始数据中；所述数据补偿处理包括：使用所述初始遥感数据对所述第二初始数据进行空间维度的补偿处理，生成第一补偿数据；对所述第一补偿数据进行通道维度的补偿处理，生成所述中间遥感数据。4.根据权利要求3所述的方法，其特征在于，使用所述初始遥感数据对所述第二初始数据进行空间维度的补偿处理，生成第一补偿数据，包括：对所述初始遥感数据进行第一特征提取处理，生成第三初始数据；所述第一特征提取处理用于提取所述初始遥感数据中包括的目标区域中的地物信息；将所述第二初始数据及所述第三初始数据进行拼接，生成第一拼接遥感数据；对所述第一拼接遥感数据进行补偿去噪处理，生成第一空间融合特征；对所述第一拼接遥感数据进行第二特征提取处理，生成第二空间融合特征；所述第二特征提取处理用于提取所述第一拼接遥感数据中包括的目标区域中的地物信息；根据所述第一空间融合特征对所述第二初始数据进行空间维度的数据补偿，生成第四初始数据；根据所述第二空间融合特征对所述第三初始数据进行空间维度的数据补偿，生成第五2CN115984656A权利要求书2/4页初始数据；根据所述第四初始数据及所述第五初始数据，生成所述第一补偿数据。5.根据权利要求4所述的方法，其特征在于，对所述第一补偿数据进行通道维度的补偿处理，生成所述中间遥感数据，包括：将所述第四初始数据及所述第五初始数据进行拼接，得到第二拼接遥感数据；对所述第二拼接遥感数据进行全卷积操作，生