一种基于深度神经网络的脑部肿瘤图像生成和分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114240950A(43)申请公布日2022.03.25(21)申请号202111390503.0(22)申请日2021.11.23(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人王国泰郭栋王璐张少霆(74)专利代理机构电子科技大学专利中心51203代理人陈一鑫(51)Int.Cl.G06T7/10(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图2页(54)发明名称一种基于深度神经网络的脑部肿瘤图像生成和分割方法(57)摘要本发明涉及的是一种基于图像生成的肿瘤图像分割方法，属于医学图像分析技术领域。本发明针对多模态医学图像存在模态缺失的场景，采用一个两阶段多任务框架实现缺失模态的生成并完成目标区域的分割，是通过以下技术方案实现的：首先，使用一个多任务生成器同时获得伪目标模态图像和初步分割结果，通过全局判别器和局部判别器提高生成图像的质量，同时提出一种感知损失函数，以减少生成的和真实的目标域图像之间的语义差距。其次，本发明提出了一个多任务精细分割网络，在生成的目标域图像和初步分割结果的基础上，同时预测精细分割结果和初步分割中的错误，并引入这两个预测之间的一致性约束提升分割性能。本发明与从原始的部分模态图像中直接分割相比，大大提高了分割精度，并且优于现有的图像生成与分割的方法。CN114240950ACN114240950A权利要求书1/3页1.一种基于深度神经网络的脑部肿瘤图像生成和分割方法，该方法包括：步骤1：收集一批完整成像模态的扫描图像作为训练集；对多模态图像完成像素归一化、空间裁剪的预处理操作；针对实际应用场景中某个模态可能缺失的情况，以其他模态作为源模态，这个缺失的模态作为目标模态；此外，在训练集中肿瘤的边缘人工勾画出来，以建立分割的金标准；步骤2：设计与训练生成器；设xl、xh、y分别表示训练图像中输入的源模态图像、对应的目标模态、分割金标准，使用一个多任务生成器G，该生成器以xl为输入，同时得到生成的伪目标域图像xh′和初步分割结果yc；所述多任务生成器G由一个编码器和两个解码器组成，所述编码器依次包括：第一二维卷积单元、第一二维下采样层、第二二维卷积单元、第二二维下采样层、第一三维卷积单元、第一三维下采样层、第二三维卷积单元、第二三维下采样层、第三三维卷积单元，第三三维卷积单元的输出为编码器的输出；编码器的输出后连接一个三维上采样层，该三维上采样层的输出作为两个解码器的输入；所述两个解码器结构完全相同，都依次包括：第一拼接模块、第一三维卷积单元、第一三维上采样层、第二拼接模块、第二三维上采样层、第一二维上采样层、第三拼接模块、第一二维卷积单元、第二二维上采样层、第四拼接模块、第二二维卷积单元，第二二维卷积单元的输出作为解码器的输出；所述第一拼接模块是将解码器的输入与编码器中第二三维卷积单元的输出进行拼接，第二拼接模块是将解码器中第一三维上采样层的输出与编码器中第一三维上采样层的输出进行拼接，所述第三拼接模块是将解码器中的第一二维上采样层的输出与编码器中第二二维卷积单元的输出拼接，所述第四拼接模块是将解码器中第二二维上采样层的输出与编码器中第一二维卷积单元的输出拼接；设编码器的输入是源模态图像xl，两个解码器的输出分别是xh′和yc；生成器G训练的损失函数为：其中是图像生成的损失函数，是初步分割的损失函数；λc是的权重，xh表示真实的目标域图像，y表示分割金标准；由以下部分组成：定义1：全局生成损失函数E其中||xh′‑xh||1表示向量的L1范数，αg是其权重，D是一个全局判别器，用于判断其输入图像是真实的目标域图像还是伪目标域图像，是一个全局生成对抗损失函数，其定义为：其中，表示概率分布为Pdata(xl，xh′)的变量xl，xh′所定义的函数值的期望，xl◇xh′表示xl和xh′在通道方向上进行拼接的结果；2CN114240950A权利要求书2/3页定义2：局部生成损失函数根据训练图像中分割金标准y中肿瘤的的边界框，得到一个肿瘤边框区域的二进制掩码M，分别将xl、xh和xh′乘以M，相应的掩码结果分别表示为和局部生成损失函数定义为：其中和分别为生成的伪目标域图像和真实的目标域图像中肿瘤附近的局部区域，Tαt是L1范数项的权重，D是一个局部判别器，用于判断其输入的肿瘤区域附近的子图像是来自真实的目标域图像还是伪目标域图像，是一个局部对抗损失函数，其定义为：其中表示和在通道方向上进行拼接的结果。在真实的目标域图像上预先训练一个分割模型Sp，然后将其固定，用以指导xh′的生成，以便Sp在xh′上表现良好，分割模型Sp的结