基于边缘感知注意力机制的空间目标分割网络及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984293A(43)申请公布日2023.04.18(21)申请号202310086865.3G06N3/0464(2023.01)(22)申请日2023.02.09G06N3/0455(2023.01)G06N3/048(2023.01)(71)申请人中国科学院空天信息创新研究院G06N3/08(2023.01)地址100190北京市海淀区北四环西路19号(72)发明人李磊胡玉新丁昊高斌闫国刚喻小东崔婷婷梅寒(74)专利代理机构中科专利商标代理有限责任公司11021专利代理师周天宇(51)Int.Cl.G06T7/10(2017.01)G06T7/12(2017.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书3页说明书9页附图3页(54)发明名称基于边缘感知注意力机制的空间目标分割网络及方法(57)摘要本发明提供一种基于边缘感知注意力机制的空间目标分割网络及方法，空间目标分割网络包括：编码网络层，包括n层串联的第一卷积层；译码网络层，包括n‑1个边缘感知注意力机制结构、n‑1个特征选择融合结构和一层第二卷积层，边缘感知注意力机制结构与特征选择融合结构交替串联且与第二卷积层连接特征选择融合结构，第二卷积层连接与第n层第一卷积层；每一层级的第一卷积层的输出通过一个边缘预测器连接至相同层级的边缘感知注意力机制结构的输入，且每一层级的第一卷积层的输出直接连接至相同层级的特征选择融合结构的输入；边缘感知注意力机制结构对目标边缘区域特征感知及相关性特征重构，特征选择融合结构对浅层边缘细节特征的选择性特征融合。CN115984293ACN115984293A权利要求书1/3页1.一种基于边缘感知注意力机制的空间目标分割网络，其特征在于，所述空间目标分割网络以UNet网络为基础，包括编码网络层、译码网络层和n‑1个边缘预测器，n为大于等于2的整数；所述编码网络层包括n层第一卷积层，n层第一卷积层之间串联；所述译码网络层包括n‑1个边缘感知注意力机制结构、n‑1个特征选择融合结构和一层第二卷积层，沿图像传输方向，n‑1个边缘感知注意力机制结构与n‑1个特征选择融合结构交替串联且与所述第二卷积层连接的是特征选择融合结构，所述第二卷积层连接与第n层第一卷积层；每一层级的第一卷积层的输出通过一个边缘预测器连接至相同层级的边缘感知注意力机制结构的输入，且每一层级的第一卷积层的输出直接连接至相同层级的特征选择融合结构的输入；其中，所述第一卷积层用于对空间目标图像进行卷积处理，以提取所述空间目标图像的第一特征图；所述边缘预测器用于根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息；所述特征选择融合结构用于选择性融合所述第一特征图中的边缘细节信息，得到第二特征图；所述边缘感知注意力机制结构用于基于所述边缘先验信息对所述第二特征图中的边缘特征进行相关性特征重构。2.根据权利要求1所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，所述特征选择融合结构用于选择性融合所述第一特征图中的边缘细节信息包括：以所述第二卷积层或所述边缘感知注意力机制结构输出的第三特征图的高级语义特征为先验指导，经过卷积和激活处理生成特征权重图；将所述特征权重图与所述第一特征图进行点乘运算以对所述第一特征图中的边缘特征进行特征选择，将特征选择后的第一特征图与所述第三特征图融合，得到包含所述边缘细节信息的第二特征图。3.根据权利要求1所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，所述边缘感知注意力机制结构用于基于所述边缘先验信息对所述第二特征图中的边缘特征进行相关性特征重构包括：根据所述边缘预测图确定目标边缘轮廓区域；根据所述目标边缘轮廓区域对所述第二特征图进行边缘特征采样，得到边缘特征；对所述边缘特征进行相关性计算，得到重构边缘特征；将所述重构边缘特征与所述边缘特征进行融合，得到融合边缘特征。4.根据权利要求3所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，所述根据所述边缘预测图确定目标边缘轮廓区域包括：计算所述边缘预测图中各个像素点的置信概率；对各个像素点的置信概率按大小进行排序，根据置信概率偏大的前K个像素点确定目标边缘轮廓区域。5.根据权利要求3所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，根据所述目标边缘轮廓区域对所述第二特征图进行边缘特征采样，得到边缘特征包括：2CN115984293A权利要求书2/3页根据对第二特征图进行边缘特征采样，其中，F表示所述第二特征图，FE表示所述边缘特征，SK(·)表示边缘特征采样过程，H，W，C分别表示所述第二特征图的长度、宽度以及通道数