一种基于多尺度transformer的多模态医学图像融合方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984257A(43)申请公布日2023.04.18(21)申请号202310144532.1G06V10/774(2022.01)(22)申请日2023.02.21G06V10/80(2022.01)G06V10/82(2022.01)(71)申请人合肥综合性国家科学中心人工智能G06V40/70(2022.01)研究院（安徽省人工智能实验室）地址230088安徽省合肥市高新区望江西路5089号申请人安徽理工大学(72)发明人方贤进程颖杨高明张海永赵婉婉华楷文李想薛明均(74)专利代理机构合肥昊晟德专利代理事务所(普通合伙)34153专利代理师何梓秋(51)Int.Cl.G06T7/00(2017.01)G06T5/50(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于多尺度transformer的多模态医学图像融合方法(57)摘要本发明公开了一种基于多尺度transformer的多模态医学图像融合方法，属于医学图像融合技术领域。本发明提出了一种新型高效的融合模型，设计多尺度transformer模型引入特征提取网络，使得特征提取网络可以有效地提取多尺度深度特征，并为融合任务保留更多有意义的信息；在网络训练的过程中自适应感受野和patch大小，并构建基于结构相似性优化目标函数来约束图像生成质量；利用卷积计算结合Transformer，为医学影像融合结果提供了更好的视觉效果和量化结果。CN115984257ACN115984257A权利要求书1/2页1.一种基于多尺度transformer的多模态医学图像融合方法，其特征在于，包括以下步骤：步骤S1：将脑部胶质瘤医学影像的数据集切片处理，去除没有病灶的区域；步骤S2：对脑部胶质瘤切片进行数据预处理；步骤S3：构建多尺度transformer模块；步骤S4：构建融合网络机制，得到多尺度transformer融合网络，利用预处理后训练集中的数据优化训练多尺度transformer融合网络；步骤S5：基于结构相似性度量，构建损失函数，约束图像的生成方向；步骤S6：经过步骤S1‑S5的处理后，得到基于多尺度transformer融合网络的医学图像融合模型，将待融合的脑部胶质瘤医学影像输入医学图像融合模型中进行融合处理，得到融合结果。2.根据权利要求1所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：在所述步骤S1中，脑部胶质瘤医学影像的数据集中包括4个图像序列，分别为flair序列、T1加权序列、对比增强T1加权序列与T2加权序列；4个图像序列同步进行处理，将数据集随机打乱，抽取其中的30％作为验证集，其余70％作为训练集；在70％的训练集中按照设定的比例随机分为训练时的训练集xtraining和验证集xtest，其中xtraining,xtest∈X。3.根据权利要求2所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：在所述步骤S2中，数据预处理公式如下：xi_input＝normailze(corp(xi)),xi∈xtraining其中，xi_input作为步骤S4中构建完成的多尺度transform融合网络的输入，corp(·)为采样函数，normailze(·)表示对采样后的数据进行归一化操作。4.根据权利要求3所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：在所述步骤S3中，所述多尺度transformer模块包括4个依次连接的block，每个block由不同感受野大小的卷积计算和不同patch的transformer层次连接实现。5.根据权利要求4所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：每个block的感受野和patch大小由该模块输入决定，根据输入大小的不同自适应调整感受野和patch的大小，xi作第i个block的输入，先经过感受野为p×p大小的卷积计算，再将特征分为h/p个patch，随后对每一个patch进行注意力机制变换，以此类推，经过4个block的计算后提取到featuremap，再进行下一个步骤，其中，每个block的计算公式如下：Vi＝conv2(wi,xi)+biFFZ(Z)＝max(0,ZW1,+b1)W2+b2其中，conv2(·)表示卷积计算，wi和bi分别为迭代过程中产生的权重和偏置，softmax(·)为softmax激活函数，max(·)表示取其中的最大值。6.根据权利要求5所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：所述多尺度transformer融合网络包括特征提取网络，融合模块