一种面向多模态图像的脑部病灶区域定位系统和方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115294029A(43)申请公布日2022.11.04(21)申请号202210807480.7G06V10/80(2022.01)(22)申请日2022.07.11G06V10/82(2022.01)G06N3/04(2006.01)(71)申请人华南农业大学G06N3/08(2006.01)地址510642广东省广州市天河区五山路483号(72)发明人王金凤龚浩强黄帅辉郑志燊姜发健(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师杨望仙(51)Int.Cl.G06T7/00(2017.01)G06T7/30(2017.01)G06V10/764(2022.01)G06V10/774(2022.01)权利要求书3页说明书11页附图2页(54)发明名称一种面向多模态图像的脑部病灶区域定位系统和方法(57)摘要本发明涉及医学图像处理领域和深度学习领域，为一种面向多模态图像的脑部病灶区域定位系统和方法，该系统包括自适应多模态patch生长与剪枝模块、基于双注意力机制的多模态patch多层次融合模块和全局卷积网络分类器模块，通过自适应多模态patch生长与剪枝模块在多模态图像中自适应地选择和修建patch，来识别具有高鉴别性的patch位置；通过一种基于双注意力机制的多模态patch融合模块，来获取多模态patch的潜在表示形式，结合patch多层次的表示形式，基于数据驱动的方式将其进行融合和共同学习；通过全局卷积网络分类器模块作为最终分类模型，进一步获取数据的更深层表示，提取更多的潜在信息。本发明提出的系统能有效地识别与疾病高度相关的病灶区域，可以辅助诊断。CN115294029ACN115294029A权利要求书1/3页1.一种面向多模态图像的脑部病灶区域定位系统，其特征在于，所述系统包括:自适应多模态patch生长与剪枝模块，用于构建每个受试者不同模态图像的对应关系，将不同模态图像划分解剖区域，在每个解剖区域内随机生成一个固定大小的patch，每个patch选择子网络进行训练，生成n个与疾病相关的patch；自适应多模态patch生长与剪枝模块包括patch选择子网络，patch选择子网络用于多模态patch的训练；基于双注意力机制的多模态patch多层次融合模块，包括注意力网络和注意力池化层，用于通过双注意力机制获取多模态patch的潜在特征表示，结合每个patch的影响评分特征构建多模态patch的多层次融合特征；注意力网络用于学习每个patch的深层次的潜在特征表示，对每个patch中可用于区分部分的特征进行增强操作，注意力池化层用于学习来自不同模态图像的所有patch融合的潜在特征；全局卷积网络分类器模块，用于学习多模态patch的多层次融合全局特征的深层特征表示，将对多模态patch的多层次融合全局特征进行扁平化，生成多模态patch的多层次融合全局特征的评分。2.根据权利要求1所述的一种面向多模态图像的脑部病灶区域定位系统，其特征在于，所述自适应多模态patch生长与剪枝模块工作步骤包括：构建每个受试者的不同模态图像的对应关系；将不同模态图像划分解剖区域，在每个分解剖区域的最小立体子图内随机生成路径点；构建patch选择子网络，通过patch选择子网络获取每个patch影响评分特征和诊断损失；使用patch选择子网络对每个patch进行训练，根据诊断损失对生成的patch进行剪枝和更新。3.根据权利要求2所述的一种面向多模态图像的脑部病灶区域定位系统，其特征在于，所述构建每个受试者的不同模态图像的对应关系包括：对每个受试者的PET图像和MRI图像进行预处理，将MRI图像与预设标准模板配准，将受试者的PET图像配准到对应的MRI图像上，使PET图像和MRI图像拥有一致的空间分布。4.根据权利要求3所述的一种面向多模态图像的脑部病灶区域定位系统，其特征在于，所述patch选择子网络包括4个卷积层、2个最大池化层、1个全连接层和最后的sigmoid函数层，其中，4个卷积层的第一个卷积核大小为4×4×4层，其他三个卷积核大小均为3×3×3层，4个卷积层的通道数分别为32、64、128和128，所有的卷积层都是0padding且stride＝1；最大池化层为2×2×2且stride＝2。5.根据权利要求4所述的一种面向多模态图像的脑部病灶区域定位系统，其特征在于，所述使用patch选择子网络对每个patch进行训练，根据诊断损失对生成的patch进行剪枝和更新，包括：每个patch分别进入patch选择子网络进行训练，获取各自的诊断损失，保留诊断损失较小的前n个patch，各区域重新生成离本区域内所有已存在的点特定距离外的路径点，重新构造