用于组织图像分类的多实例学习器.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114730463A(43)申请公布日2022.07.08(21)申请号202080078832.9(74)专利代理机构北京市中咨律师事务所(22)申请日2020.11.2011247专利代理师魏子翔于静(30)优先权数据19210814.02019.11.22EP(51)Int.Cl.G06T7/00(2017.01)(85)PCT国际申请进入国家阶段日2022.05.12(86)PCT国际申请的申请数据PCT/EP2020/0829172020.11.20(87)PCT国际申请的公布数据WO2021/099584EN2021.05.27(71)申请人豪夫迈·罗氏有限公司地址瑞士巴塞尔(72)发明人E·克莱曼J·吉尔登布拉特I·B·肖尔权利要求书5页说明书47页附图14页(54)发明名称用于组织图像分类的多实例学习器(57)摘要本发明涉及一种对组织图像进行分类方法。所述方法包括：‑接收(102)多个数字组织图像；‑将每个所接收的图像拆分(104)成一组图像块；‑针对所述块中的每个块，从所述块中提取(106)特征向量；‑提供(108)多实例学习(MIL)程序，所述多实例学习程序被配置为使用模型来基于从任何图像的所有块中提取的特征向量将所述输入图像分类为至少两个不同类别中的一个类别的成员；‑针对所述块中的每个块，计算(110)确定性值，所述确定性值指示所述模型关于所述块的特征向量对所述图像的分类的贡献的确定性；‑针对所述图像中的每个图像，通过所述MIL程序使用(114)基于确定性值的池化函数以作为所述图像的所述块的确定性值的函数来将所述图像的特征向量或从所述图像的所述特征向量计算出的预测值聚合成聚合的预测值；以及‑将所述图像中的每个图像基于所述聚合的预测值CN114730463A分类(116)为所述类别中的一个类别的成员。CN114730463A权利要求书1/5页1.一种用于对组织图像(212、712‑718、822‑282)进行分类的方法(100)，所述方法包括：‑通过图像分析系统(200)接收(102)多个数字图像(212、712‑718、822‑282)，所述数字图像中的每个数字图像描绘患者的组织样品；‑通过所述图像分析系统将每个所接收的图像拆分(104)成一组图像块(216、902‑906、940、942)；‑针对所述块中的每个块，通过所述图像分析系统，计算(106)特征向量(220)，所述特征向量(220)包含从所述块中选择性地提取的图像特征；‑提供(108)多实例学习(MIL)程序(226)，所述多实例学习程序(226)被配置为使用模型来基于从任何输入图像的所有块中提取的特征向量将所述输入图像分类为至少两个不同类别中的一个类别的成员；‑针对所述块中的每个块，计算(110)确定性值(221)，所述确定性值指示所述模型关于所述块的特征向量对从中导出所述块的图像的分类的贡献的确定性；‑针对所述图像中的每个图像：·通过所述MIL程序(226)使用基于确定性值的池化函数(996)以作为所述图像的所述块的确定性值(221)的函数来将从所述图像中提取的特征向量聚合(111)成全局特征向量(995)，并且从所述全局特征向量计算(112)聚合的预测值(997)；或·通过所述MIL程序从所述图像的所述特征向量(220)中的每个特征向量计算(113)预测值(998)，并且通过所述MIL程序(226)使用(114)基于确定性值的池化函数(996)以作为所述图像的所述块的确性值的函数来将所述图像的所述预测值聚合成聚合的预测值(997)；以及‑通过所述MIL程序将所述图像中的每个图像基于所述聚合的预测值分类(116)为所述至少两个不同类别中的一个类别的成员。2.根据权利要求1所述的方法，其进一步包括：‑经由GUI将分类结果输出至用户；和/或‑将所述分类结果输出到另一应用程序。3.根据前述权利要求中任一项所述的方法，‑其中所述MIL程序为二进制MIL程序，‑其中至少两个类别包括称为“正类别”的第一类别和称为“负类别”的第二类别，‑其中如果MIL模型针对所述图像中的任何一个图像的所述块中的至少一个块预测这个块的特征向量包括针对所述“正类别”的证据，则这个图像分类为所述“正类别”，‑其中如果所述MIL模型针对所述图像中的任何一个图像的所有的所述块预测其各自的特征向量均不包括针对所述“正类别”的证据，则这个图像分类为所述“负类别”。4.根据前述权利要求中任一项所述的方法，所述基于确定性值的池化函数在测试时使用，所述MIL程序的提供(108)包括：‑在从一组训练图像生成的一组训练块中提取特征向量；‑对所述MIL程序进行关于所述特征向量的训练，从而在训练时使用与在测试时使用的基于确定性值的池化