一种基于双分支结构的实时遥感图像云检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115861833A(43)申请公布日2023.03.28(21)申请号202211435047.1G06N3/08(2023.01)(22)申请日2022.11.16G06N3/045(2023.01)(71)申请人西北大学地址710000陕西省西安市太白北路229号(72)发明人郭慧兰罗迒哉赵超陈晓璇孟娜(74)专利代理机构西安嘉思特知识产权代理事务所(普通合伙)61230专利代理师王海栋(51)Int.Cl.G06V20/13(2022.01)G06V10/52(2022.01)G06V10/764(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)权利要求书2页说明书8页附图3页(54)发明名称一种基于双分支结构的实时遥感图像云检测方法(57)摘要本发明提供了一种基于双分支结构的实时遥感图像云检测方法，提出了以PyTorch组件基于编码器‑解码器的遥感图像云检测网络，在编码器中采用细节分支以及语义分支的双分支网络结构，同时提取细节和语义信息。在细节分支中使用了卷积因子分解和边缘损失，设计出了轻量化的云检测网络。之后对构建好的遥感图像云检测网络按照边缘损失和主要损失组成的总损失下降的方向进行训练，将训练好的遥感图像云检测网络从PyTorch组件格式转化为通用模型交换格式再转化为TensorRT引擎格式；将最优的遥感图像云检测网络进行加速部署，可以保证在部署环境中有足够的速度处理数据，达到任务的轻量化要求。CN115861833ACN115861833A权利要求书1/2页1.一种基于双分支结构的实时遥感图像云检测方法，其特征在于，包括：步骤1：从样本数据库中获取遥感四通道图像，并将所述遥感四通道图像处理为与计算机相匹配的数据格式，获得处理后的训练样本图像集；步骤2：以PyTorch组件构建基于轻量化的遥感图像云检测网络；其中，所述遥感云检测网络包括编码器以及解码器，所述编码器基于双分支结构构建的，所述编码器用于以分离卷积形式提取输入图像的细节信息，以双层金字塔按照不同的扩张率提取多尺度语义信息，并将细节信息以及多尺度语义信息按照多层融合，之后输入至解码器中；所述解码器用于执行每层融合结果进行上采样，以输出输入图像的云检测图像；步骤3：利用所述训练样本图像集迭代训练所述遥感图像云检测网络，在训练过程中以边缘损失函数与真实损失组成的交叉熵损失作为总损失函数，以总损失函数下降的方向训练所述遥感图像云检测网络直至准确率达到条件，获得训练好的遥感图像云检测网络；步骤4：将训练好的遥感图像云检测网络从PyTorch组件格式转化为通用模型交换格式，并将所述通用模型交换格式模型转化为TensorRT引擎格式；步骤5：将TensorRT引擎格式的遥感图像检测网络部署到硬件上，并启动检测程序以实现对实时遥感图像云的检测。2.根据权利要求1所述的一种基于双分支结构的实时遥感图像云检测方法，其特征在于，所述编码器包括细节分支结构、语义分支结构以及三个特征聚合模块；所述细节分支结构包括依次连接的3个可分离卷积层，每个可分离卷积层包括依次连接的一个n×1的卷积层以及一个1×n的卷积层，所述语义分支结构包括依次连接的下采样模块、第一金字塔模块以及第二金字塔模块；所述解码器包括三个上采样模块；其中，输入图像分别输入细节分支结构以及语义分支结构，第1个1×n的卷积层的输出连接至第1个特征聚合模块，第2个1×n的卷积层的输出连接至第2个特征聚合模块，第3个1×n的卷积层的输出连接至第3个特征聚合模块和Canny处理模块，Canny处理模块用于输出边缘图像，并计算边缘图像与真实标注图像的边缘损失，下采样模块的输出分别连接至第1个特征聚合模块的输入以及第一金字塔模块的输入，第一金字塔模块的输出分别连接至第2个特征聚合模块的输入以及第二金字塔模块的输入，第二金字塔的输出连接至第3个特征聚合模块的输入，第i个特征聚合模块的输出连接至第i个上采样模块的输入，第i个上采样模块的输入还连接至第i+1个上采样模块的输出，第1个上采样模块输出检测输入图像的检测结果；其中，i的取值从1至3。3.根据权利要求2所述的一种基于双分支结构的实时遥感图像云检测方法，其特征在于，所述细节分支结构，用于通过三个可分离卷积层，以可分离卷积的形式提取输入图像的细节特征，之后再通过Canny处理模块从细节特征中提取云的边缘，获得细节信息；其中，第一个1×n的卷积层的输出为256×256×32大小的特征图，第二个1×n的卷积层的输出为128×128×64大小的特征图，第三个1×n的卷积层的输出为64×64×128大小的特征图；所述Canny处理模块用于利用高斯滤波器对输入的特征图进行平滑滤波，再