一种基于生成式对抗网络的多模态医学图像合成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114140368A(43)申请公布日2022.03.04(21)申请号202111465819.1G06K9/62(2022.01)(22)申请日2021.12.03G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人天津大学地址300350天津市津南区海河教育园区雅观路135号(72)发明人朱鹏飞刘家旭曹兵胡清华(74)专利代理机构北京方圆嘉禾知识产权代理有限公司11385代理人王月松(51)Int.Cl.G06T5/50(2006.01)G06T7/00(2017.01)G06T3/40(2006.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书2页说明书12页附图3页(54)发明名称一种基于生成式对抗网络的多模态医学图像合成方法(57)摘要本发明涉及一种基于生成式对抗网络的多模态医学图像合成方法。所述方法包括：构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。本发明方法用于合成缺失的医学模态图像，能够提高多模态医学图像合成的质量，完整的多模态医学图像有益于医生做出更准确的决策。CN114140368ACN114140368A权利要求书1/2页1.一种基于生成式对抗网络的多模态医学图像合成方法，其特征在于，包括：构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。2.根据权利要求1所述的方法，其特征在于，所述构造模态注意力生成式对抗网络，具体包括：构造自表示网络；所述自表示网络包括编码器和解码器；构造图像转换网络；所述图像转换网络包括生成器和判别器；所述生成器包括多编码器、模态注意力模块和解码器。3.根据权利要求2所述的方法，其特征在于，所述模态注意力模块中植入的方法具体包括：获取除目标模态以外的其他模态的医学图像对应的多个特征图；根据所述多个特征图计算跨模态的通道权重；根据所述跨模态的通道权重将所述其他模态的信息补充到每个输入模态中，以得到多个模态补充信息后的新特征图；将所述多个模态补充信息后的新特征图进行拼接，生成拼接后的特征图。4.根据权利要求3所述的方法，其特征在于，所述采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络，具体包括：将所述多模态医学图像数据集输入至所述自表示网络的编码器中，使用随机梯度下降算法训练所述自表示网络，生成预训练的自表示网络；将目标模态的医学图像输入至所述预训练的自表示网络中，将除目标模态以外的其他模态的医学图像和目标模态对应的掩码输入至所述图像转换网络的多编码器中，使用随机梯度下降算法训练所述图像转换网络，在训练过程中所述自表示网络监督所述图像转换网络的训练，生成训练完成的图像转换网络；所述预训练的自表示网络和所述训练完成的图像转换网络共同构成所述训练完成的模态注意力生成式对抗网络。5.根据权利要求4所述的方法，其特征在于，所述将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像，具体包括：将所述已有的多模态医学图像和所述目标模态对应的掩码输入至所述训练完成的图像转换网络的多编码器中，由所述训练完成的图像转换网络的生成器输出目标模态的合成图像。6.一种基于生成式对抗网络的多模态医学图像合成系统，其特征在于，包括：模态注意力生成式对抗网络构造模块，用于构造模态注意力生成式对抗网络；所述模态注意力生成式对抗网络包括自表示网络和由生成式对抗网络实现的图像转换网络；模态注意力生成式对抗网络训练模块，用于采用多模态医学图像数据集对所述模态注意力生成式对抗网络进行训练与测试，生成训练完成的模态注意力生成式对抗网络；2CN114140368A权利要求书2/2页多模态图像合成模块，用于将已有的多模态医学图像输入至所述训练完成的模态注意力生成式对抗网络，输出目标模态的合成图像。7.根据权利要求6所述的系统，其特征在于，所述模态注意力生成式对抗网络构造模块具体包括：自表示网络构造单元，用于构造自表示网络；所述自表示网络包括编码器和解码器；图像转换网络构