基于自注意力机制神经网络的三维医学图像分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112541918A(43)申请公布日2021.03.23(21)申请号202011537174.3(22)申请日2020.12.23(71)申请人山东师范大学地址250014山东省济南市历下区文化东路88号(72)发明人张桂娟代丽吕蕾陆佃杰(74)专利代理机构济南圣达知识产权代理有限公司37221代理人李琳(51)Int.Cl.G06T7/10(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)G06F17/16(2006.01)权利要求书2页说明书5页附图2页(54)发明名称基于自注意力机制神经网络的三维医学图像分割方法(57)摘要本发明公开一种基于自注意力机制神经网络的三维医学图像分割方法，包括：获取医学图像，并提取医学图像的卷积特征图；对卷积特征图进行张量转换得到第一特征图矩阵、第二特征图矩阵和第三特征图矩阵；根据第一特征图矩阵和第二特征图矩阵得到注意力特征图矩阵；根据注意力特征图矩阵与第三特征图矩阵得到自注意力特征图；将自注意力特征图与卷积特征图进行残差连接后得到全局特征图；对全局特征图还原得到分割后的图像。不需要很深的编码器就能有效的聚合全局信息并且能减少大量的训练参数，减少卷积操作，降低空间信息的损失，保留更多的上下文信息。CN112541918ACN112541918A权利要求书1/2页1.一种基于自注意力机制神经网络的三维医学图像分割方法，其特征在于，包括：获取医学图像，并提取医学图像的卷积特征图；对卷积特征图进行张量转换得到第一特征图矩阵、第二特征图矩阵和第三特征图矩阵；根据第一特征图矩阵和第二特征图矩阵得到注意力特征图矩阵；根据注意力特征图矩阵与第三特征图矩阵得到自注意力特征图；将自注意力特征图与卷积特征图进行残差连接后得到全局特征图；对全局特征图还原得到分割后的图像。2.如权利要求1所述的基于自注意力机制神经网络的三维医学图像分割方法，其特征在于，将第一特征图矩阵和第二特征图矩阵进行拼接和权重归一后得到注意力特征图矩阵。3.如权利要求1所述的基于自注意力机制神经网络的三维医学图像分割方法，其特征在于，将注意力特征图矩阵与第三特征图矩阵进行乘法操作和矩阵转换后得到自注意力特征图。4.如权利要求1所述的基于自注意力机制神经网络的三维医学图像分割方法，其特征在于，采用下采样操作提取医学图像的卷积特征图，所述下采样操作包括三层神经网络，具体为：在第一层神经网络中，对医学图像进行两次卷积操作，将得到的输出特征图进行一次步幅为2的最大池化操作；在第二层神经网络中，对第一层神经网络中最大池化操作后的输出特征图进行两次卷积操作，将得到的输出特征图进行一次步幅为2的最大池化操作；在第三层神经网络中，对第二层神经网络中最大池化操作后的输出特征图进行两次卷积操作后，得到卷积特征图。5.如权利要求4所述的基于自注意力机制神经网络的三维医学图像分割方法，其特征在于，采用上采样操作对全局特征图还原得到分割后的图像，所述上采样操作包括三层神经网络，具体为：在第一层神经网络中，对全局特征图进行两次卷积操作和一次反池化操作后，与下采样操作的第二层神经网络的输出特征图进行特征融合；在第二层神经网络中，对第一层神经网络特征融合后的特征图进行两次卷积操作和一次反池化操作后，与下采样操作的第一层神经网络的输出特征图进行特征融合；在第三层神经网络中，对第二层神经网络特征融合后的特征图依次通过大小不同的卷积操作后得到分割后的图像。6.如权利要求4或5所述的基于自注意力机制神经网络的三维医学图像分割方法，其特征在于，每一次卷积操作后使用一次ReLU激活函数。7.如权利要求4或5所述的基于自注意力机制神经网络的三维医学图像分割方法，其特征在于，所述卷积操作为3×3×3的卷积操作；或所述池化操作和反池化操作均是2×2×2的池化操作和反池化操作；或上采样操作中，在第三层神经网络中，对第二层神经网络特征融合后的特征图进行两次3×3×3和1×1×1的卷积操作得到分割后的图像。8.一种基于自注意力机制神经网络的三维医学图像分割系统，其特征在于，包括：2CN112541918A权利要求书2/2页特征提取模块，被配置为获取医学图像，并提取医学图像的卷积特征图；张量转换模块，被配置为对卷积特征图进行张量转换得到第一特征图矩阵、第二特征图矩阵和第三特征图矩阵；注意力模块，被配置为根据第一特征图矩阵和第二特征图矩阵得到注意力特征图矩阵；自注意力模块，被配置为根据注意力特征图矩阵与第三特征图矩阵得到自注意力特征图；全局模块，被配置为将自注意力特征图与卷积特征图进行残差连接后得到全局特征图；还原模块，被配置为对全局特征图还原得到分割后的图像。9.一种电子设备，其特征