一种基于多尺度CNN-Transformer的遥感图像变化检测方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115861703A(43)申请公布日2023.03.28(21)申请号202211633117.4G06N3/0455(2023.01)(22)申请日2022.12.19G06N3/0464(2023.01)G06N3/08(2023.01)(71)申请人清华大学地址100084北京市海淀区清华园1号(72)发明人李刚李伟明王学谦薛黎晖(74)专利代理机构北京润泽恒知识产权代理有限公司11319专利代理师苟冬梅(51)Int.Cl.G06V10/764(2022.01)G06V10/82(2022.01)G06V10/44(2022.01)G06V10/42(2022.01)G06V10/80(2022.01)G06V10/774(2022.01)权利要求书3页说明书14页附图3页(54)发明名称一种基于多尺度CNN-Transformer的遥感图像变化检测方法和装置(57)摘要本发明实施例提供了一种基于多尺度CNN‑Transformer的遥感图像变化检测方法和装置，所述方法包括：将双时态遥感图像输入多尺度CNN‑Transformer编码器；利用所述多尺度CNN‑Transformer编码器对所述双时态遥感图像进行特征提取，得到双时态遥感图像的多尺度全局‑局部特征；利用级联解码器将所述双时态遥感图像的多尺度全局‑局部特征进行逐层融合重构，得到变化特征图；通过分类器对所述变化特征图进行逐像素分类，得到变化检测结果图。本发明实施例实现将CNN和Transformer在多个尺度上进行有效结合，充分提取并融合遥感图像中多尺度的全局‑局部特征，融合得到变化特征图中包含了多个尺度的全局‑局部特征，进而增强了对不同大小变化区域检测的鲁棒性。CN115861703ACN115861703A权利要求书1/3页1.一种基于多尺度CNN‑Transformer的遥感图像变化检测方法，其特征在于，所述方法包括：将双时态遥感图像输入多尺度CNN‑Transformer编码器；利用所述多尺度CNN‑Transformer编码器对所述双时态遥感图像进行特征提取，得到双时态遥感图像的多尺度全局‑局部特征；利用级联解码器将所述双时态遥感图像的多尺度全局‑局部特征进行逐层融合重构，得到变化特征图；通过分类器对所述变化特征图进行逐像素分类，得到变化检测结果图，所述变化检测结果图表征所述双时态遥感图像中第一时态遥感图像和第二时态遥感图像的变化区域。2.根据权利要求1所述的方法，其特征在于，所述多尺度CNN‑Transformer编码器包括两个子网络，所述两个子网络结构相同、参数共享，每个子网络分别对所述双时态遥感图像中的一个时态图像进行处理，所述每个子网络包括1个卷积块和N个CovTrans块，所述1个卷积块和N个CovTrans块对应一个子网络的N+1个处理阶段，所述每个处理阶段对应一个尺度；所述利用所述多尺度CNN‑Transformer编码器对所述双时态遥感图像进行特征提取，得到双时态遥感图像的多尺度全局‑局部特征，包括：在第1阶段，利用所述两个子网络中的卷积块对所述双时态遥感图像进行处理，得到双时态遥感图像的初始特征；在第2至第N+1阶段，依次利用所述两个子网络中的第1个CovTrans块至第N个CovTrans块对上一阶段的输出特征进行处理，得到每个阶段对应尺度的双时态遥感图像的全局‑局部特征。3.根据权利要求2所述的方法，其特征在于，所述CovTrans块包括局部支路、全局支路和自适应融合模块；所述在第2至第N+1阶段，依次利用所述两个子网络中的第1个CovTrans块至第N个CovTrans块对上一阶段的输出特征进行处理，得到每个阶段对应尺度的双时态遥感图像的全局‑局部特征，包括：利用所述局部支路中的两个串联的局部特征块对上一阶段的输出特征进行局部特征提取，得到该阶段对应尺度的局部特征；利用所述全局支路中的语义编码块和Transformer编码器对上一阶段的输出特征进行全局特征提取，得到该阶段对应尺度的全局特征；利用所述自适应融合模块将所述局部特征和所述全局特征进行自适应特征融合，得到该阶段对应尺度的全局‑局部特征。4.根据权利要求3所述的方法，其特征在于，所述利用所述局部支路中的两个串联的局部特征块对上一阶段的输出特征进行局部特征提取，得到该阶段对应尺度的局部特征，包括：利用所述两个局部特征块中的第一个局部特征块，对所述上一阶段的输出特征进行局部处理，得到第一个局部特征块处理特征；将所述第一个局部特征块处理特征输入到所述两个局部特征块中的第二个局部特征块进行局部处理，得到该阶段对应尺度的局部特征；其中，所述局部处理包括：对输入特征依次进行卷积、批归一化处理、线性激活、卷积、批归一化