基于图神经网络的医疗影像分析方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111462052A(43)申请公布日2020.07.28(21)申请号202010180739.0(22)申请日2020.03.16(71)申请人清华大学地址100084北京市海淀区北京市100084信箱82分箱清华大学专利办公室(72)发明人江瑞李皓冉(74)专利代理机构北京鸿元知识产权代理有限公司11327代理人张超艳董永辉(51)Int.Cl.G06T7/00(2017.01)G06T7/136(2017.01)G06T7/194(2017.01)G06K9/62(2006.01)权利要求书2页说明书7页附图2页(54)发明名称基于图神经网络的医疗影像分析方法及系统(57)摘要本发明提供一种基于图神经网络的医疗影像分析方法及系统，包括：对染色的病理组织切片医疗影像切割成多个图像块；采用图像背景分离检测算法保留显示在有效组织区域之中的图像块，有效组织区域为包含病理组织的区域；对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息，特征信息包括细胞的位置、颜色和几何信息；根据细胞的特征信息生成保留的图像块对应的特征图，节点代表细胞及细胞的特征信息，边代表相邻细胞的连接及距离；采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别；根据所有保留的图像块的类别得到切割前的医疗影像的类别。上述方法及系统可解释性强，分类准确。CN111462052ACN111462052A权利要求书1/2页1.一种基于图神经网络的医疗影像分析方法，其特征在于，包括：对染色的病理组织切片的医疗影像进行切割，切割成多个图像块；采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留，其余的则被舍弃，所述有效组织区域为包含病理组织的区域；对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息，所述特征信息包括：细胞的位置、颜色和几何信息；根据细胞的特征信息生成保留的图像块对应的特征图，其中，所述特征图的节点代表细胞及细胞的特征信息，所述特征图的边代表相邻细胞的连接及距离；采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别，所述类别包括癌症特征图像块和非癌症特征图像块；根据所有保留的图像块的类别得到切割前的医疗影像的类别。2.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述图神经网络包括卷积层，全局平均池化层和softmax层，所述卷积层将特征图中节点的特征信息传播到相邻节点，所述全局平均池化层将所有节点的特征信息取平均数，而得到图像块的全局信息，所述softmax层根据全局信息对图像块分类。3.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述图神经网络通过Adam优化方法进行优化，学习率设置为0.005，以训练集：测试集比例为8：2进行测试。4.根据权利要求3所述的基于图神经网络的医疗影像分析方法，其特征在于，所述图神经网络训练的步骤包括：获得多幅已知分类的医疗影像图像构成图像集，将图像集按照设定的比例进行划分，一部分所述医疗影像作为训练集，另一部分所述医疗影像作为测试集；通过训练集对图神经网络进行训练，通过测试集评估训练得到的图神经网络的分类的准确性，其中，在图神经网络训练过程中，采用Adam优化方法动态调整学习率。5.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述根据细胞的特征信息生成保留的图像块对应的特征图的步骤包括：将图像块中每个细胞的标识以及其特征信息作为节点；采用kNN算法获得每一个节点的临近节点，将节点与临近节点之间的距离作为节点与临近节点之间的边。6.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息的步骤包括：利用阈值方法和分水岭分割算法，对图像块进行细胞切割；利用特征提取方法提取切割后的各细胞或细胞团的特征信息。7.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留的步骤包括：采用Otsu阈值算法得到医疗影像的背景与病理组织的灰度阈值，并得到有效组织区域；对有效组织区域运用开闭运算，对生成的有效组织区域的空洞和孤立点进行填充和移除，生成有效组织区域的掩模；2CN111462052A权利要求书2/2页使用掩模对有效组织区域的医疗图像进行切割，得到含有病理组织的图像块。8.根据权利要求1-7中任一权利要求所述的基于图神经网络的医疗影像分析方法，其特征在于，所述根据所有保留的图像块的分类得到切割前的医疗影像的分类的步骤包括：按图像块的类别，在原医疗影像的对应位置进行标记；获得原医疗影像中最多的图像块的类别，