基于深度混合学习框架的肺结节CT图像识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030325A(43)申请公布日2023.04.28(21)申请号202310055528.8G06N3/084(2023.01)(22)申请日2023.01.16(71)申请人重庆大学地址400044重庆市沙坪坝区沙正街174号(72)发明人黄鸿吴若愚(74)专利代理机构重庆乾乙律师事务所50235专利代理师侯春乐(51)Int.Cl.G06V10/80(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06N3/0464(2023.01)G06N3/0455(2023.01)G06N3/048(2023.01)G06N3/047(2023.01)权利要求书2页说明书15页附图8页(54)发明名称基于深度混合学习框架的肺结节CT图像识别方法(57)摘要本发明提出了一种基于深度混合学习框架的肺结节CT图像识别方法，该方案利用CNN模型和ViT模型分别对肺结节CT图像的局部结构特征和长距离上下文关系进行学习并输出相应的表示信息和第二特征映射，然后设计基于注意力机制的特征聚合模块，以自适应分配融合权重的方式对所述表示信息和第二特征映射进行聚合，从而避免过渡的参数设置以及增强识别过程的自动化水平；本发明的有益技术效果是：提出了一种基于深度混合学习框架的肺结节CT图像识别方法，该方案能利用CNN和视觉Transformer（Visiontransformer,ViT）联合驱动的深度混合学习框架对胸部CT肺结节的良恶性进行识别，识别准确性较好。CN116030325ACN116030325A权利要求书1/2页1.一种基于深度混合学习框架的肺结节CT图像识别方法，其特征在于：所述肺结节CT图像识别方法包括：1)获取肺部CT图像；采用三次样条插值算法对肺部CT图像进行重采样处理，将肺部CT图像标准化到统一的尺度；然后对重采样处理后的肺部CT图像进行归一化处理，得到归一化图像；2)从归一化图像中提取出肺结节图像；所述肺结节图像是以肺结节组织为中心的立方体区域的图像；从肺结节图像中提取出9个单视野图像；9个单视野图像分别对应立方体区域的冠状面、矢状面、横截面和6个对称面；单个对称面在立方体区域的对角线上切割立方体区域的两个相对面，并包含立方体区域的四个顶点和两个相对边；3)对9个单视野图像进行拼接处理，得到二维的第一拼接图像，对第一拼接图像进行尺度调节和通道扩展处理，得到与预训练的ViT模型的输入尺度匹配的第一3通道图像；将第一3通道图像输入ViT模型，由ViT模型对第一3通道图像所包含的长距离的上下文信息进行学习，并输出相应的第一特征映射；将第一特征映射中的第一个序列作为表示信息，所述表示信息用于预测临床语义类别；同步地，对9个单视野图像进行拼接处理，得到二维的第二拼接图像，对第二拼接图像进行尺度调节和通道扩展处理，得到与预训练的CNN模型的输入尺度匹配的第二3通道图像；将第二3通道图像输入CNN模型，由CNN模型对第二3通道图像所包含的局部结构特征进行学习，并输出相应的第二特征映射；所述ViT模型为K层具有相同网络结构的视觉Transformer，ViT模型已在自然图像集上完成预训练；所述CNN模型采用ResNet‑50网络结构，CNN模型已在自然图像集上完成预训练；4)基于注意力机制以自适应分配融合权重的方式对所述表示信息和第二特征映射进行聚合，得到聚合特征映射；5)将聚合特征映射输入一基于全连接层的分类器，由分类器输出相应肺结节组织属于良性或恶性的临床语义标签。2.根据权利要求1所述的基于深度混合学习框架的肺结节CT图像识别方法，其特征在于：步骤4)包括：a)采用全局平均池化操作将第二特征映射FMcb转换为一池化特征向量该过程表示为：其中Hcb，Wcb和Ccb分别表示FMcb的高度、宽度和通道数；b)采用两个具有相同神经元数量的全连接层将所述池化特征向量和所述表示信息映射到相同的尺度，分别得到和对应对应1×1×Ccv为相应特征向量的尺度；c)采用基于元素求和的挤压操作将和整合为一个集成特征向量Fen，该过程表示2CN116030325A权利要求书2/2页为：其中，表示元素求和操作；d)按下式计算出聚合特征映射Fagg：其中，表示元素乘积操作；和由α和β作Softmax计算得到；α和β按下式计算：其中，分别表示3个全连接层操作和的权重，γ表示减少率。3CN116030325A说明书1/15页基于深度混合学习框架的肺结节CT图像识别方法技术领域[0001]本发明涉及一种医学图像识别技术，尤其涉及一种基于深度混合学习框架的肺结节CT图像识别方法。背景技术[0002]肺癌在全世界范围内具有高的发病率和死亡率，基于CT(Computed