基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115526829A(43)申请公布日2022.12.27(21)申请号202210907330.3G06V10/80(2022.01)(22)申请日2022.07.29G06V10/82(2022.01)G06N3/04(2006.01)(71)申请人太原理工大学G06N3/08(2006.01)地址030024山西省太原市迎泽西大街79号(72)发明人张玲李钢卫建建贺艺斌孙梦霞孙源瑾李智超(74)专利代理机构太原高欣科创专利代理事务所(普通合伙)14109专利代理师孟肖阳冷锦超(51)Int.Cl.G06T7/00(2017.01)G06T7/11(2017.01)G06V10/42(2022.01)G06V10/774(2022.01)权利要求书3页说明书7页附图5页(54)发明名称基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络(57)摘要本发明提供了基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络，属于图像处理技术领域；本发明网络可实现更高精度分割蜂窝肺病灶部位；利用通道混合卷积块增加不同通道之间信息的交互，充分提取病灶部位特征信息；采用Transformer架构作为编码器与解码器的特征连接器，增强全局信息的特征表达，扩大网络的感受野；采用CFB模块融合多阶段的特征，减少高级特征与低级特征之间的语义差距，提高病灶部位与目标边缘的分割精度；本发明应用于蜂窝肺病灶分割。CN115526829ACN115526829A权利要求书1/3页1.基于ViT与上下文特征融合的蜂窝肺病灶分割方法，其特征在于：包括如下步骤：S1：获取蜂窝肺CT影像数据，对原始图像进行数据预处理，并将预处理后的数据集分为训练集与测试集；S2：构建基础UNet网络，包括下采样的编码器、上采样的解码器、跳跃连接与瓶颈层；S3：对构建的基础UNet网络进行改进，改变网络上采样层、下采样层中的卷积操作，利用通道混合卷积块代替传统卷积结构；其中通道混合卷积块对特征图分离后分为两个分支S1、S2，分支S1保持特征图与通道数不变，对分支S2进行卷积，之后，对经过卷积操作的特征图与分支S1的特征图进行融合；最后，采取通道混合操作交换特征图各个通道之间的信息，获得的特征图与上层特征图大小相同，对获取的特征图再次进行通道分离、分支卷积、通道拼接与通道混合操作；S4：在网络的瓶颈层中，利用基于ViT的上下文连接器对图像中各个像素点之间的全局关系进行建模，使用ViT代替高通道的卷积模块；S5：使用上下文感知融合模块改进跳跃连接部分低级与高级特征的特征融合方案，对特征重新学习；S6：定义分割模型的超参数，利用S1处理后的数据集进行训练，得到损失函数的损失值和分割结果；S7：根据结果调整网络参数，生成并保存训练好的病灶分割模型，将测试集数据输入至训练好的病灶分割模型，对蜂窝肺CT图像病灶进行分割，输出分割结果。2.根据权利要求1所述的基于ViT与上下文特征融合的蜂窝肺病灶分割方法，其特征在于：所述基于ViT的上下文连接器采用六个Transformer编码块提取图像中的全局信息，其中，ViT包括四个部分：（1）切片嵌入：通过将原始的二维图像转化为一维的序列数据，根据编码器的输出图像，设置切片的尺寸，图像转化为多个切片，算出切片的维度；（2）位置编码：给每个切片标记其相对应的位置信息以便恢复图像的维度，位置信息与切片嵌入的输出保持一致，保存每个切片正确的位置信息，计算其维度；（3）Transformer编码块中的多头注意力机制：经过图像切片化与位置编码信息的建立阶段后，将图像的切片信息输入Transformer编码块中，学习切片与切片之间、每个切片中的每个像素之间的关系，对全局信息进行上下文建模；该部分的多头注意力层接收切片与位置编码信息，通过使用多个注意力头在不同的子空间学习更多相关的信息，利用不同的权重矩阵对每一个注意力头中的Q、K初始化，对多头注意力层学习的全局特征采取Dropout操作，使用归一化层修改特征维度适应后续输出，加速模型的收敛速度；（4）Transformer编码块中的多层感知机层：这一部分采用MLP块学习特征之间的非线性关系；在每个子层均使用残差连接和层归一化操作。3.根据权利要求1所述的基于ViT与上下文特征融合的蜂窝肺病灶分割方法，其特征在于：所述上下文感知融合模块接收来自编码器的低级特征与解码器的高级特征，第一步，先采用GAP（全局平均池化操作）生成具有全局空间信息的特征图，通过利用共享权重的多层感知机对低级与高级特征图中的上下文信息进行建模生成向量h与l，其中，h、l分别表示高级、低级特征图中的权重向量；第二步，采用残差学习的思想，权重向量与两个特征图相乘生成重分布的特征图，接着按通