一种多模态图像分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937227A(43)申请公布日2023.04.07(21)申请号202211631748.2G06N3/0464(2023.01)(22)申请日2022.12.19G06N3/082(2023.01)(71)申请人中国科学院深圳先进技术研究院地址518055广东省深圳市南山区深圳大学城学苑大道1068号(72)发明人王如心肖福安李烨(74)专利代理机构北京市诚辉律师事务所11430专利代理师成丹耿慧敏(51)Int.Cl.G06T7/11(2017.01)G06T7/00(2017.01)G06V10/44(2022.01)G06V20/70(2022.01)G06N3/0455(2023.01)权利要求书3页说明书10页附图1页(54)发明名称一种多模态图像分割方法(57)摘要本申请提供一种多模态图像分割方法，该方法包括：提取多模态图像的初始特征图；采用解剖诱导的区域解耦器对初始特征图的不同区域解耦，得到解耦边界特征图和解耦语义特征图；在每个解剖子区域结构内，采用边界辅助的区域内耦合器分别耦合解耦边界特征图和解耦语义特征图，得到具有互补信息的更新的边界特征图和更新的语义特征图；基于每个解剖子区域结构中的更新的语义特征图，在不同解剖子区域结构之间使用跨区域耦合器，以使不同子区域之间的特征互补学习，得到最终特征图；最终特征图作为解码器的输入，并通过多个反卷积块生成最终分割结果。该方案结合多模态之间信息互补的优势，建立有效的分割模型，可降低计算成本和提升模型分割能力。CN115937227ACN115937227A权利要求书1/3页1.一种多模态图像分割方法，其特征在于，所述方法包括：提取多模态图像的初始特征图；采用解剖诱导的区域解耦器对所述初始特征图的不同区域解耦，得到解耦边界特征图和解耦语义特征图；在每个解剖子区域结构内，采用边界辅助的区域内耦合器分别耦合所述解耦边界特征图和所述解耦语义特征图，得到具有互补信息的更新的边界特征图和更新的语义特征图；基于每个解剖子区域结构中的所述更新的语义特征图，在不同解剖子区域结构之间使用跨区域耦合器，以使不同子区域之间的特征互补学习，得到最终特征图；所述最终特征图作为解码器的输入，并通过多个反卷积块生成最终分割结果。2.根据权利要求1所述的方法，其特征在于，所述采用解剖诱导的区域解耦器对所述初始特征图的不同区域解耦，得到解耦边界特征图和解耦语义特征图，包括：使用所述初始特征图中高级语义特征图学习所述多模态图像整个区域的初始语义特征图；使用所述初始特征图中低级特征图学习所述多模态图像的初始边界特征图；所述初始语义特征图利用第一卷积层生成所述解耦语义特征图；所述初始边界特征图利用第二卷积层生成所述解耦边界特征图。3.根据权利要求1所述的方法，其特征在于，所述边界辅助的区域内耦合器采用多个并行耦合信息响应的Transformer层；所述在每个解剖子区域结构内，采用边界辅助的区域内耦合器分别耦合所述解耦边界特征图和所述解耦语义特征图，得到具有互补信息的更新的边界特征图和更新的语义特征图，包括：在每个解剖子区域结构内，将所述解耦边界特征图、所述解耦语义特征图及分别对应的边界类别相关表征和语义类别相关表征输入所述耦合信息响应的Transformer层，得到所述更新的边界特征图和所述更新的语义特征图。4.根据权利要求1所述的方法，其特征在于，所述解剖子区域结构包括第一解剖子区域和第二解剖子区域；所述基于每个解剖子区域结构中的所述更新的语义特征图，在不同解剖子区域结构之间使用跨区域耦合器，以使不同子区域之间的特征互补学习，得到最终特征图，包括：对所述第一解剖子区域的第一更新的语义特征图及对应的第一更新语义类别相关表征、所述第二解剖子区域的第二更新的语义特征图及对应的第二更新语义类别相关表征，使用耦合信息响应的Transformer层进行耦合，得到所述第一解剖子区域的第一耦合语义特征图及第一耦合语义类别相关表征和所述第二解剖子区域的第二耦合语义特征图及第二耦合语义类别相关表征；所述第一耦合语义特征图和所述第一耦合语义类别相关表征的乘积与所述第二耦合语义特征图和所述第二耦合语义类别相关表征的乘积进行拼接，得到子区域间拼接结果；任意两个解剖子区域的子区域间拼接结果进行拼接，得到拼接结果；基于所述拼接结果，确定所述最终特征图。5.根据权利要求4所述的方法，其特征在于，所述基于所述拼接结果，确定所述最终特征图，包括：2CN115937227A权利要求书2/3页对所述拼接结果进行卷积操作，得到所述最终特征图。6.根据权利要求3或4所述的方法，其特征在于，所述耦合信息响应的Transformer层包括层规范化、耦合信息响应的注意力和前馈层。7.根据权