基于注意力机制的卷积神经网络医学图像关键点检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113393446A(43)申请公布日2021.09.14(21)申请号202110687012.6G06N3/08(2006.01)(22)申请日2021.06.21(71)申请人湖南大学地址410012湖南省长沙市岳麓区麓山南路麓山门(72)发明人刘敏何文轩张雨强陈伟迅王耀南(74)专利代理机构长沙惟盛赟鼎知识产权代理事务所(普通合伙)43228代理人滕澧阳(51)Int.Cl.G06T7/00(2017.01)G06T5/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书8页附图5页(54)发明名称基于注意力机制的卷积神经网络医学图像关键点检测方法(57)摘要本发明提供一种基于注意力机制的卷积神经网络医学图像关键点检测方法，包括如下步骤：构建基于注意力机制的O型卷积神经网络，其包括注意力模块、关键点检测分支和局部增强分支；局部增强分支用于局部前景增强和结构提取；局部增强分支和关键点检测分支对不同层次的信息编码解码来生成热图；本发明利用注意力模块将局部增强分支的特征图引入关键点检测分支；将训练集数据输入到O型卷积神经网络进行训练，将测试集数据数据输入到学习后的O型卷积神经网络得到关键点热图，对关键点热图进行局部最大值提取，得到关键点的坐标。本发明直接在原始图像上执行，更加稳健和准确，能更加有效地整合局部结构特征和上下文信息，并检测细分支的关键点。CN113393446ACN113393446A权利要求书1/2页1.一种基于注意力机制的卷积神经网络医学图像关键点检测方法，其特征在于，包括如下步骤：步骤1，构建基于注意力机制的O型卷积神经网络，所述O型卷积神经网络包括注意力模块、关键点检测分支(JDB)和局部增强分支(LEB)；所述局部增强分支用于局部组织结构分支前景增强和结构提取，并减少细分支和粗分支之间前景的不平衡；所述局部增强分支和关键点检测分支包括编码器和解码器结构，并对不同层次的信息编码解码来生成热图；所述O型卷积神经网络利用注意力模块将局部增强分支的特征图引入关键点检测分支；步骤2，将训练集数据输入到步骤1中的O型卷积神经网络进行训练，得到学习后的O型卷积神经网络；步骤3，将测试集数据数据输入到步骤2中学习后的O型卷积神经网络得到关键点热图，然后对所述关键点热图进行局部最大值提取，得到关键点的坐标。2.根据权利要求1所述的基于注意力机制的卷积神经网络医学图像关键点检测方法，其特征在于，所述关键点检测分支包括：第一编码网络结构，其包括四个级别的第一编码过程，所述四个级别的第一编码过程依次连接，每个级别的第一编码过程逐次对输入其中的特征图进行下采样以及残差学习；第一解码网络结构，其包括四个级别的第一解码过程，所述第一解码过程与所述第一编码过程一一对应，每个级别的第一解码过程逐次对输入其中的特征图进行上采样和残差学习处理；所述第一编码过程中同一层提取的特征连接到对应的第一解码过程中时，提供局部和全局信息。3.根据权利要求1所述的基于注意力机制的卷积神经网络医学图像关键点检测方法，其特征在于，所述局部增强分支包括：第二编码网络结构，其包括四个级别的第二编码过程，每个级别的第二编码过程逐次对输入的特征图进行下采样以及残差学习处理；第二解码网络结构，其包括四个级别的第二解码过程，所述第二解码过程与所述第二编码过程一一对应，每个级别的第二解码过程逐次对输入的特征图进行上采样和残差学习处理；所述第二编码过程中同一层提取的特征连接到对应的第二解码过程中时，提供局部和全局信息。4.根据权利要求2或3中任一项所述的基于注意力机制的卷积神经网络医学图像关键点检测方法，其特征在于，所述第一编码过程和第二编码过程使用步长为2的3*3卷积核进行下采样处理；所述第一解码过程和第二解码过程使用反卷积层进行上采样处理。5.根据权利要求2或3中任一项所述的基于注意力机制的卷积神经网络医学图像关键点检测方法，其特征在于，执行所述残差学习操作的模块记为残差学习块，所述残差学习块包括：深度可分离卷积、批量归一化、ReLU函数和dropout，所述dropout在训练阶段随机扔掉一些神经网络中的节点和与其相连的边，防止节点同步依赖。6.根据权利要求1所述的基于注意力机制的卷积神经网络医学图像关键点检测方法，其特征在于，所述步骤1还包括：步骤a，在所述局部增强分支和关键点检测分支对特征图进行解码处理时；所述注意力模块将局部增强分支所处理的特征图经过1*1卷积、ReLU函数、1*1卷积和Logistic函数的处理，然后，将其与关键点检测分支相对应的特征图进行逐元素乘法，最终得到新特征图；2CN113393446A权利要求书2/2