一种基于多模态特征融合的抗NMDAR脑炎预后分类方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937604A(43)申请公布日2023.04.07(21)申请号202211706817.1G06T7/00(2017.01)(22)申请日2022.12.27G06N3/0442(2023.01)G06N3/0464(2023.01)(71)申请人西南大学G06N3/08(2023.01)地址400715重庆市北碚区天生路2号(72)发明人董霄轩陈善雄向雅芸冯佳丽李川彭喜化蒲汛(74)专利代理机构济南鼎信专利商标代理事务所(普通合伙)37245专利代理师贾国浩(51)Int.Cl.G06V10/764(2022.01)G06V10/80(2022.01)G06V10/40(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于多模态特征融合的抗NMDAR脑炎预后分类方法(57)摘要本发明公开了一种基于多模态特征融合的抗NMDAR脑炎预后分类方法，主要涉及医学图像处理技术领域；包括步骤：S1、获取对应的患者MRI图像和临床特征；S2、构建MRI特征提取器，提取患者的影像特征；S3、构建多模态特征融合模型，将影像特征和临床特征跨模态融合，生成信息更加丰富的融合特征；S4、基于融合特征构建抗NMDAR脑炎预后分类器，并通过多模态数据集对其进行训练；S5、将待分类的抗NMDAR脑炎患者的MRI图像与临床特征输入到训练好的分类器中，获得预后分类结果；本发明大大减少了抗NMDAR患者预后诊断对领域专家的依赖，能够为医生提供客观、准确、一致和可解释的诊断参考。CN115937604ACN115937604A权利要求书1/2页1.一种基于多模态特征融合的抗NMDAR脑炎预后分类方法，其特征是，包括步骤：S1、基于确诊为抗NMDAR脑炎的病例，获取对应的患者MRI图像和临床特征；S2、构建MRI特征提取器，提取患者的影像特征；S3、构建多模态特征融合模型，将影像特征和临床特征跨模态融合，生成信息更加丰富的融合特征，并通过通道信息引导模块提升融合性能；S4、基于融合特征构建抗NMDAR脑炎预后分类器，并通过多模态数据集对其进行训练；S5、将待分类的抗NMDAR脑炎患者的MRI图像与临床特征输入到训练好的分类器中，获得预后分类结果。2.根据权利要求1所述的一种基于多模态特征融合的抗NMDAR脑炎预后分类方法，其特征是，步骤S2中，对一名患者对应的MRI进行影像特征提取的方法包括步骤：S21、将三维的MRI投影到二维空间，得到的二维图像序列作为图像输入；S22、将不同尺寸的图像序列通过双线性插值法统一为512×512；S23、构建用于二维图像序列特征提取的卷积神经网络，该神经网络基于具有残差结构，并通过通道信息引导模块增强特征提取性能；S24、将二维图像序列输入到卷积神经网络，进行MRI特征提取。3.根据权利要求2所述的一种基于多模态特征融合的抗NMDAR脑炎预后分类方法，其特征是，步骤S3、S23中，通道信息引导模块包括步骤：S311、通过全局平均池化和全局最大池化提取输入特征的两个独立的上下文信息；S312、使用多层感知机处理上下文信息，并将两者逐元素相加；S313、通过Sigmoid函数获得注意力权重；S314、将注意力权重赋予经过多层感知机处理的输入特征，得到输出特征。4.根据权利要求1所述的一种基于多模态特征融合的抗NMDAR脑炎预后分类方法，其特征是，步骤S3中，构建的多模态特征融合模型包括步骤：S321、将卷积神经网络提取的MRI影像特征通过1×1卷积缩减通道数；S322、多序列MRI影像特征通过动态归一化权重层被赋予权重，并在通道维度上拼接；S323、拼接后的多序列MRI融合特征通过通道信息引导模块赋予注意力权重，并经过1×1卷积恢复通道数；S324、临床特征被划分为连续变量和分类变量，并分别提取语义信息，最终将所有语义信息在通道维度上拼接，得到完整的临床特征；S325、多序列MRI特征和临床特征经过多层感知机调整尺寸后，两者经过动态归一化权重层进行拼接，拼接后的特征经过通道信息引导模块赋予注意力全中，得到最终的融合特征。5.根据权利要求4所述的一种基于多模态特征融合的抗NMDAR脑炎预后分类方法，其特征是，步骤S324中，临床特征的提取方式具体为：临床特征被分为连续变量和分类变量，其中，连续变量通过BatchNorm层提取语义信息；分类变量首先由特定维度的Embadding层提取词向量，再经过Bi‑LSTM层提取分类变量语义信息；这些语义信息随后在通道维度上拼接，形成最终的临床语义特征。6.根据权利要求1所述的一种基于多模态特征融合的抗NMDAR脑炎预后分类方法，其特征