一种基于图卷积神经网络的数字病理组织图像识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012353A(43)申请公布日2023.04.25(21)申请号202310073714.4G06V10/82(2022.01)(22)申请日2023.02.07G06N3/0464(2023.01)G06N3/048(2023.01)(71)申请人中国科学院重庆绿色智能技术研究G06N3/08(2023.01)院地址400714重庆市北碚区方正大道266号(72)发明人何国田马腾云林远长陈琳廖俊(74)专利代理机构北京同恒源知识产权代理有限公司11275专利代理师廖曦(51)Int.Cl.G06T7/00(2017.01)G06V10/44(2022.01)G06V10/80(2022.01)G06V10/764(2022.01)权利要求书3页说明书7页附图1页(54)发明名称一种基于图卷积神经网络的数字病理组织图像识别方法(57)摘要本发明涉及一种基于图卷积神经网络的数字病理组织图像识别方法，属于医学图像处理领域。该方法包括以下步骤：S1：获取病理组织切片图像，并进行预处理；S2：构建包含卷积神经网络模块，图卷积神经网络模块和特征融合模块的数字病理组织图像识别网络模型，采用预处理后的数字病理图像进行模型训练；S3：利用训练后的数字病理图像识别模型对应识别数字病理图像中病理组织的类别属性。对训练集进行扩充，有效避免卷积网络训练过拟合，从而实现更好的鲁棒性和泛化性能。利用图像特征与标签依赖特征融合，增加深度学习模型可学习的特征，从而改善深度学习模型对数字病理图像的分类识别能力。CN116012353ACN116012353A权利要求书1/3页1.一种基于图卷积神经网络的数字病理组织图像识别方法，其特征在于：该方法包括以下步骤：S1：获取病理组织切片图像，并进行预处理；S2：构建包含卷积神经网络模块，图卷积神经网络模块和特征融合模块的数字病理组织图像识别网络模型，采用预处理后的数字病理图像进行模型训练；S3：利用训练后的数字病理图像识别模型对应识别数字病理图像中病理组织的类别属性。2.根据权利要求1所述的一种基于图卷积神经网络的数字病理组织图像识别方法，其特征在于：所述步骤S1具体包括以下步骤：S11：采集病理切片，并利用病理学常用染色方法增强病理组织对比度，利用数字显微镜对玻璃切片进行扫描，得到全视野数字病理图像数据；S12：对全视野数字病理图像数据进行切割得到尺寸适合于计算机的较小图像，对图像内包含的病理组织类型进行人工标注；S13：对标注后的数字病理图像数据进行归一化、尺度放缩、填充、随机裁剪以及水平翻转或垂直翻转的图像预处理。3.根据权利要求2所述的一种基于图卷积神经网络的数字病理组织图像识别方法，其特征在于：所述步骤S2中，采用预处理后的数字病理图像数据进行模型训练具体包括以下步骤：S21：利用卷积神经网络提取预处理后的数字病理图像数据的图像特征；S22：利用图卷积神经网络建模统计数字病理图像数据中各病理组织类别之间的依赖与同时出现关系；S23：利用特征融合模块将卷积神经网络提取的图像特征与图卷积神经网络提取的标签信息进行特征融合及预测分类分数；S24：将经过特征融合的输出通过损失函数对分类预测分数进行训练。4.根据权利要求3所述的一种基于图卷积神经网络的数字病理组织图像识别方法，其特征在于：所述步骤S21具体包括以下步骤：S211：构建卷积神经网络对预处理后的数字病理图像数据提取张量图像特征其中表示特征图在实数空间内，H与W表示特征图的长与宽，C表示特征图通道数；S212：对提取到的图像特征经过卷积层进行全局池化，得到转换后的特征向量5.根据权利要求4所述的一种基于图卷积神经网络的数字病理组织图像识别方法，其特征在于：所述步骤S22具体包括以下步骤：S221：针对数字病理图像的训练集标签，统计标签类别共同出现次数，表示为矩阵其中K代表病理组织总类型数量，矩阵中每个元素Mij表示类别Li出现在样本图像时类别Lj同时出现的次数；S222：根据共现矩阵M构造条件概率矩阵Pij＝P(Lj|Li)＝Mij/Ni，其中Ni表示标签类别Li在训练集中总出现次数，得Pij＝P(Lj|Li)表示当先验标签Li出现时Lj出现在样本图像中的条件概率；2CN116012353A权利要求书2/3页S223：利用超参数阈值τ对条件概率Pij进行二值化，以滤除标签统计信息中的噪声，得到更贴近真实分布的共现矩阵，表示为：其中，Aij表示二值化的共现矩阵；S224、对二值化共现矩阵Aij按周围节点的考虑程度p加权，以解决训练过度平滑导致标签共现信息差异过小问题，表示为其中p为超参数，p→1时，图节点特征更考虑周边节点，p→0时，图节点特征更考虑自身点特征，A'ij即为加权共现矩阵