一种基于多模态融合的MR图像3D语义分割方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114399519A(43)申请公布日2022.04.26(21)申请号202111453026.8(22)申请日2021.11.30(71)申请人西安交通大学地址710049陕西省西安市咸宁西路28号(72)发明人田智强李皓冰宋婧祎杜少毅(74)专利代理机构西安通大专利代理有限责任公司61200代理人张宇鸽(51)Int.Cl.G06T7/12(2017.01)G06T7/30(2017.01)G16H30/20(2018.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图4页(54)发明名称一种基于多模态融合的MR图像3D语义分割方法及系统(57)摘要本发明公开了一种基于多模态融合的MR图像3D语义分割方法及系统，通过对配准后的训练集的所有模态的最大前景区计算一个最大邻接矩形框，进行重采样获取特征数据，将训练集数据输入至设置好网络参数的自适应网络模块中进行卷积处理；利用解码后的分割结果及对应的训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割，根据获取的特征数据计算自适应网络模块的网络参数，加深网络层数来提升模型的表示能力，针对多模态数据，采用双分支卷积共享编码器，捕捉模态之间更加通用鲁棒的共有信息，对于每个分支使用专属归一化层区别统计各分支的数据分布，保留模态私有信息，减小了数据处理量，提高了图像处理精度。CN114399519ACN114399519A权利要求书1/2页1.一种基于多模态融合的MR图像3D语义分割方法，其特征在于，包括以下步骤：S1，采集待训练图像作为训练集，将训练集进行配准，然后对配准后的训练集的所有模态的最大前景区计算一个最大邻接矩形框，然后进行重采样获取特征数据；S2，根据获取的特征数据计算自适应网络模块的网络参数；S3，将训练集数据输入至设置好网络参数的自适应网络模块中进行卷积处理，将卷积处理后的数据进行解码，同时将卷积处理的低级语义用跨层连接与同一下采样倍率下解码阶段的高级语义连接起来，最终解码得到分割结果；S4，利用解码后的分割结果及对应的训练集训练网络分割模型，利用训练后的网络分割模型进行MR图像的分割。2.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，具体的，步骤S4中，使用反向传播策略优化网络的参数，根据损失函数的值更新网络参数，使得损失函数不断下降直到收敛至设定值，完成网络分割模型的训练。3.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，采用开源工具包SimpleITK中刚体配准的VersorRigid3DTransform函数，以T1C为主模态，将T2模态配准至T1C模态，使训练集中图片的物理空间进行互相匹配配准。4.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，对互相匹配配准后的所有模态的最大前景区域计算一个最大邻接矩形框，并对配准后的整个训练集，统一每个样本的空间大小到一致的水平，使卷积核以相同的感受野遍历数据提取特征，从而进行重采样获取特征数据。5.根据权利要求4所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，对整个数据集进行平均处理得到重采样的目标空间。6.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，采用随机裁切、高斯模糊、对比度增强或镜像翻转方式对数据集进行扩充。7.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，在重采样过程中，下采样从空间小的轴开始采样，对于一个样本，先找到样本中具有最小空间的轴，然后找到所有与最小空间轴的空间相近的其他轴，作为一个待下采样集合；所有在下采样集合中的轴均使用大小为3的卷积核，不在下采样集合中的使用大小为1的卷积核。8.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，采用双分支卷积共享方式，通过在不同模态上共享卷积参数进行卷积处理，将特征映射至同一隐空间中，捕捉各模态的共有特征。9.根据权利要求1所述的一种基于多模态融合的MR图像3D语义分割方法，其特征在于，对于模态私有信息，在卷积之后，对多模态进行分离式的归一化和非线性激活，单独统计其模态私有特征。10.一种基于权利要求1所述方法的多模态融合的MR图像3D语义分割系统，其特征在于，包括数据预处理模块，自适应模块和分割模块；数据预处理模块用于将训练集进行配准，然后对配准后的训练集的所有模态的最大前景区计算一个最大邻接矩形框，然后进行重采样获取特征数据；自适应模块用于根据获取的特征数据计算自适应网络模块的网络参数；分割模块用于通过设置好网络参数