一种基于多分支特征融合精炼的医学图像分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115880317A(43)申请公布日2023.03.31(21)申请号202211697131.0G06V10/26(2022.01)(22)申请日2022.12.28G06V10/44(2022.01)G06V10/80(2022.01)(71)申请人安徽大学G06V10/764(2022.01)地址230601安徽省合肥市经济技术开发G06V10/82(2022.01)区九龙路111号G06N3/0464(2023.01)申请人合肥综合性国家科学中心人工智能G06N3/048(2023.01)研究院（安徽省人工智能实验室）G06N3/08(2023.01)(72)发明人汪粼波曹险峰方贤勇刘政怡褚海涛(74)专利代理机构合肥市泽信专利代理事务所(普通合伙)34144专利代理师潘飞(51)Int.Cl.G06T7/11(2017.01)G06T7/00(2017.01)权利要求书4页说明书11页附图8页(54)发明名称一种基于多分支特征融合精炼的医学图像分割方法(57)摘要本发明属于医学影像处理领域，具体涉及一种基于多分支特征融合精炼的医学图像分割方法、系统、装置。该医学图像分割方法包括如下步骤：S1：通过PVT和ResNext101模型对医学图像进行特征提取；S2：将每一个对应层的两个特征进行融合得到融合特征；S3：充分挖掘各层融合特征中的全局上下文信息，输出各层融合特征对应的精炼特征；S4：构建各个精炼特征间的长距离相关性，对四个不同层次的精炼特征进行跨层精炼操作；S5：将步骤S1‑S4作为编码端的操作；在解码端的上采样过程中，将跨层精炼特征及最深层的精炼特征通过类似跳跃连接的方式与解码层相结合，输出医学图像的分割结果。本发明解决了现有医学图像分割方法精度、可靠性和鲁棒性不足的问题。CN115880317ACN115880317A权利要求书1/4页1.一种基于多分支特征融合精炼的医学图像分割方法，其用于结合多层次的特征信息对医学图像中的目标进行识别，进而分割出更加精准的目标区域的图像；其特征在于，所述基于多分支特征融合精炼的医学图像分割方法包括如下步骤：S1：通过预训练后的PVT模型和ResNext101模型同步对输入的医学图像进行特征提取，分别得到两路原始特征，每路包括四个不同层次的特征图；对两种不同来源的原始特征进行尺寸统一操作；S2：将尺寸统一后的两路特征图中每一个对应层的特征分别进行融合得到对应的融合特征F，融合处理过程如下：S21：将通过PVT模型和ResNext101模型提取的各对应层的两个特征图Fp、Fr相加；S22：通过多尺度通道注意力模块提取相加后的各层特征图的多尺度通道注意矩阵M；S23：将多尺度通道注意矩阵M与各自的输入特征相乘后，并再次将得到的两个特征图相加；S24：将上步骤相加后的特征图经过一个3x3卷积和批归一化操作，最终由ReLU激活得到融合特征Fpr；S3：充分挖掘各层融合特征Fpr中的全局上下文信息，进而输出各层融合特征Fpr对应的精炼特征Fe；所述精炼特征Fe的生成过程如下：S31：将融合特征Fe分别经过3×3卷积和平均池化层处理后，得到特征图Fc和特征图Fa；S32：通过多尺度通道注意力模块提取特征图Fc和特征图Fa的重要性矩阵Mc和Ma；S33：将多尺度注意矩阵Mc和Ma通过逐元素乘法与Fc和Fa融合，得到特征图Fcm和Fam；S34：将Fam的特征图通过上采样恢复到与Fcm同样大小，通过加法直接融合两个分支的特征图得到Fcam；S35：通过残差结构将融合特征Fpr与Fcam融合，得到精炼特征Fe；S4：构建上步骤获取的各个精炼特征间的长距离相关性，对四个不同层次的精炼特征进行跨层精炼操作；并输出三个跨层精炼特征；过程如下：S41：假设获取的四个不同层次的精炼特征分别为：F′1、F′2、F′3、F′4，将他们在空间维度展平，然后变形到相同的通道数；S42：在展平的空间维度上拼接四个精炼特征；S43：将拼接后的特征经过LN层归一化后，再经过自注意力层和前馈神经网络MixFFN处理构建出特征间的长距离相关性；S44：将上步骤网络模型的输出分成三个跨层精炼特征，并将跨层精炼特征分别变形成解码端相应解码层的形状，输出到解码端；S5：将步骤S1‑S4作为编码端的操作；在解码端的上采样过程中，将跨层精炼特征及最深层的精炼特征通过类似跳跃连接的方式与解码层相结合，纠正在池化操作期间丢失的信息，最终得到医学图像的分割结果。2.如权利要求1所述的基于多分支特征融合精炼的医学图像分割方法，其特征在于：步骤S1的尺度统一操作中，以PVT模型输出的特征图形状为准，对ResNext101模型输出的对应层的原始特征图进行尺寸调整，以使二者输出的特