一种基于合成超声图像的多模态图像配准方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110163897A(43)申请公布日2019.08.23(21)申请号201910335812.4(22)申请日2019.04.24(71)申请人艾瑞迈迪科技石家庄有限公司地址050000河北省石家庄市高新区长江大道319号润江总部国际7号楼1单元3层(72)发明人杨峰武潺董佳慧(74)专利代理机构深圳市科进知识产权代理事务所(普通合伙)44316代理人曹卫良(51)Int.Cl.G06T7/30(2017.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于合成超声图像的多模态图像配准方法(57)摘要本发明提供一种基于合成超声图像的多模态图像配准方法，根据磁共振图像和真实超声图像，通过构建包括生成器和判别器的生成对抗网络，生成拟真的合成超声图像，并将拟真的合成超声图像和真实超声图像进行配准得到配准参数，将配准参数应用于磁共振图像，完成最终的磁共振图像和超声图像的配准融合。本方法能够实时从磁共振图像中合成超声图像，满足实时影像引导手术的要求；合成的拟真超声图像更接近于真实超声图像，图像质量更高，更好的保存了重要的细节信息；当磁共振图像包含肿瘤时，依然可以准确的合成拟真超声图像；最终的配准技术不需要很复杂的配准算法，只需要传统的简单的配准算法就可以达到很好的配准效果。CN110163897ACN110163897A权利要求书1/2页1.一种基于合成超声图像的多模态图像配准方法，其特征在于，所述多模态图像配准方法包括：S1，采集多个同一部位的三维磁共振图像以及与各三维磁共振图像对应的真实超声图像作为训练样本；S2，构建生成对抗网络，所述生成对抗网络包含生成器和判别器；S3，将采集的三维磁共振图像输入生成器以得到输出结果，并将生成器的所述输出结果与对应的真实超声图像输入至判别器，以对所述生成对抗网络进行训练，利用训练后的生成对抗网络中的生成器生成与三维磁共振图像的对应合成超声图像；S4，将所述合成超声图像与三维磁共振图像对应的真实超声图像进行配准融合，以获取配准参数，根据所述配准参数将所述三维磁共振图像和所述真实超声图像进行配准。2.根据权利要求1所述的基于合成超声图像的多模态图像配准方法，其特征在于，在步骤S3中，“对所述生成对抗网络进行训练”的步骤包括：根据生成器的输出结果及对应的真实超声图像得到所述生成器的L1损失函数；基于所述生成对抗式网络中所述生成器和所述判断器的最小二乘损失函数，根据判别器的输出结果以及真实超声图像的L1损失函数得到生成器的总体损失函数，根据判别器的输出结果得到判别器的总体损失函数；根据所述判别器的总体损失函数以及所述生成器的总体损失函数，分别更新判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。3.根据权利要求2所述的基于合成超声图像的多模态图像配准方法，其特征在于，在步骤S3中，“对所述生成对抗网络进行训练”的步骤还包括：为所述生成器和所述判别器设置不同的学习率。4.根据权利要求3所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述判别器包括局部判别器和全局判别器，所述局部判别器包括第一局部判别器和第二局部判别器。5.根据权利要求4所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述L1损失函数定义为其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为输入的真实超声图像，p(Ius)为真实超声数据分布，p(Imr)为磁共振数据分布；所述生成器的最小二乘损失函数为所述判别器的最小二乘损失函数为其中，IMR表示磁共振图像，G(IMR)表示合成超声图像，IUS为输入的真实超声图像，a和b分别为生成数据和真实数据的标签，c表示生成器和判别器认为的假的数据的标签；我们设置a＝0，b＝c＝1，带入上述公式中，即可得所述生成器的总体损失函数为：2CN110163897A权利要求书2/2页所述判断器的总体损失函数为6.根据权利要求1所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述步骤S4包括：利用金字塔算法，将金字塔设为多层，每层对应一个尺度，分别分层对所述合成超声图像与所述真实超声图像进行采样；从最下一层开始，初始化形变参数，将形变参数叠加于所述真实超声图像上，在所述同一层对应的尺度下来进行所述合成超声图像与所述真实超声图像的相似性测度和形变场的计算；将计算得到的形变场叠加到金字塔上一层，作为该层形变参数，继续进行该层的所述合成超声图像与所述真实超声图像的相似性测度和最优化形变计算，直到金字塔的最后一层，得到配准参数；将所述合成超声图像与所述真实超声图像配准得到的所述配准参数直接应用于所述三维磁共振图像，所述三维磁共振图像经过所述配准参数变换后与所述真实超声图像完成配准融合，其