一种多模态医学图像分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030043A(43)申请公布日2023.04.28(21)申请号202310163065.7G06N3/08(2023.01)(22)申请日2023.02.24G06T7/194(2017.01)G06N3/0464(2023.01)(71)申请人安徽理工大学地址232000安徽省淮南市泰丰大街168号申请人合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）(72)发明人李想方贤进杨高明赵婉婉张海永程颖华楷文薛明均(74)专利代理机构合肥昊晟德专利代理事务所(普通合伙)34153专利代理师何梓秋(51)Int.Cl.G06T7/00(2017.01)G06T5/50(2006.01)G06T7/11(2017.01)权利要求书2页说明书6页附图5页(54)发明名称一种多模态医学图像分割方法(57)摘要本发明公开了一种多模态医学图像分割方法，属于医学图像分割技术领域，包括以下步骤：S1：图像预处理；S2：构建2D、3D分割网络；S3：图像融合；S4：切片拼接。本发明通过使用多模态信息，使得医学图像可以得到更充分的利用；通过2D、3D分割网络结合通道注意力机制，使得各个模态的信息实现互通互补；基于2D、3D分割结果进行融合，使得分割结果精度更高，分割结果边缘更清晰；提供了不同维度、不同模型的分割结果，为医疗诊断提供更为精准多维的图像依据。CN116030043ACN116030043A权利要求书1/2页1.一种多模态医学图像分割方法，其特征在于，包括以下步骤：S1：图像预处理读取原始图像，对原始图像进行预处理；S2：构建2D、3D分割网络构建2D、3D分割网络，利用构建的2D、3D分割网络对预处理后的图像进行分割，得到2D、3D分割结果；S3：图像融合对3D分割结果进行切片处理，进行图像融合；S4：切片拼接对融合结果进行切片拼接，得到最终分割结果。2.根据权利要求1所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S1中，包括以下过程：S11：读取到原始图像后，将图像通过Z‑Score的方法进行正则化得到图像M1：M1＝Z_score(M)其中，M为输入图像，Z_score为标准分数法；S12：通过以下操作得到进行中心化的图像M2：其中，M1_depth、M1_width、M1_height分别为图像M1的深度、宽度、高度；S13：对于2D分割网络根据标签位置对图像M2进行切片处理，对于3D分割网络根据深度对图像M2进行切块处理，得到M2D和M3D：M2D＝sectiondepth(M2)M3D＝Choppingsize(M2)其中，sectiondepth表示使用深度数进行切片处理，Choppingsize表示根据size的尺寸进行切块处理；S14：对于多模态数据，通过将各个模态的切片或者切片合并组合为多通道，最后保存为数组的形式传入对应的分割网络，数组形式具体如下：Numpy2D＝(Width,Height,Modality)Numpy3D＝(Width,Height,Size,Modality)其中，Width、Height、Size、Modality分别对应输入网络的长、高、尺寸大小、模态数量。3.根据权利要求2所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S2中，2D分割网络包括第一编码器、第一解码器；所述第一编码器包括第一卷积块和第一下采样层，张量通过第一卷积块后进行下采样获得不同尺寸的特征图；所述第一解码器包括第二卷积块和第一反卷积层，通过第一反卷积层进行尺寸还原再进入第二卷积块；在第一编码器和第一解码器中间通过CE通道注意力机制获取不同通道间信息，并在对应层之间通过跳跃连接获取不同层次的特征。4.根据权利要求3所述的一种多模态医学图像分割方法，其特征在于：第一卷积块与第二卷积块相同，每个卷积块包括两个2D卷积层，每一个2D卷积层后通过批次归一化和ReLU函数进行激活处理，如下所示：2CN116030043A权利要求书2/2页其中，x2Dinput，为通过2D卷积层的输入和输出，ReLU为ReLU激活函数，BatchNormalization2D为批次归一化操作，Conv2D表示2D卷积操作，kernel为卷积核大小，padding为卷积填充长度。5.根据权利要求3所述的一种多模态医学图像分割方法，其特征在于：在所述步骤S2中，3D分割网络包括第二编码器、第二解码器；所述第二编码器包括第三卷积块和第二下采样层，张量通过第三卷积块后进行下采样获得不同尺寸的特征图；所述第二解码器包括第四卷积块和第二反卷积层，通过第二反卷积层进行尺寸还原再进入第四卷积块，在第二编码器和第二解码器中间通过CBAM空间注意力机制获取不同特征图更多