用于生成医学图像中的异常的描述的系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111696642A(43)申请公布日2020.09.22(21)申请号202010057678.9(22)申请日2020.01.19(30)优先权数据16/354,0032019.03.14US(71)申请人富士施乐株式会社地址日本东京都(72)发明人P·D·哈齐希Y·Y·陈弗朗辛·陈(74)专利代理机构北京三友知识产权代理有限公司11127代理人赵彤刘久亮(51)Int.Cl.G16H15/00(2018.01)G06N3/08(2006.01)G06F40/169(2020.01)权利要求书4页说明书8页附图7页(54)发明名称用于生成医学图像中的异常的描述的系统和方法(57)摘要一种用于生成医学图像中的异常的描述的系统和方法。该方法包括：由经训练的神经网络从多个成像记录中的每一个中提取图像特征；由经训练的神经网络基于提取的图像特征来生成与多个成像记录中的每一个相关联的书面报告，其中经训练的神经网络基于句子注释模型来生成书面报告，句子注释模型基于独立句子来提供异常注释；由经训练的神经网络确定与每个书面报告相关联的异常分数；以及基于与每个书面报告相关联的异常分数，以排序后的顺序将书面报告提供给主治医师。CN111696642ACN111696642A权利要求书1/4页1.一种生成医学图像中的异常的描述的方法，该方法包括以下步骤：由经训练的神经网络从多个成像记录中的每一个中提取图像特征；由经训练的所述神经网络基于所提取的图像特征来生成与所述多个成像记录中的每一个相关联的书面报告，其中经训练的所述神经网络基于句子注释模型来生成所述书面报告，所述句子注释模型基于独立句子来提供异常注释；由经训练的所述神经网络确定与每个书面报告相关联的异常分数；以及基于与每个书面报告相关联的异常分数，以排序后的顺序将所述书面报告提供给主治医师。2.根据权利要求1所述的方法，其中，通过使用具有相关联的文字报告的多个患者成像记录的训练过程来训练所述神经网络，该训练过程包括以下步骤：所述神经网络基于所述句子注释模型分析每个文字报告，以生成与所述文字报告中的独立句子相关联的逐句异常注释；所述神经网络从所述患者成像记录中的每一个中提取图像特征；以及所述神经网络通过将所提取的图像特征与具有逐句异常注释的所述文字报告相关联来生成成像报告生成模型。3.根据权利要求2所述的方法，其中，生成与所述多个成像记录中的每一个相关联的所述书面报告还包括以下步骤：基于所述神经网络所提取的图像特征来确定所述书面报告的多个主题；生成与所确定的多个主题中的每一个相关联的书面句子；以及合并所生成的书面句子以生成书面报告。4.根据权利要求3所述的方法，其中，生成与所确定的多个主题中的每一个相关联的所述书面句子包括以下步骤：基于所述成像报告生成模型、与所述句子相关联的所确定的主题以及与所确定的主题相关联的所提取的图像特征来确定所述句子中的第一个词语；以及基于所述成像报告生成模型、与所述句子相关联的所确定的主题、与所确定的主题相关联的所提取的图像特征以及基于所述句子中确定的第一个词语和根据多个后续词语事先确定的词语中的一者或更多者来顺序地确定所述句子中的所述多个后续词语。5.根据权利要求4所述的方法，其中，生成与所述多个成像记录中的每一个相关联的所述书面报告中的每个句子还包括基于与所生成的句子中的每个词语相关联的可能性概率来确定句子置信度分数，并且生成所述书面报告还包括基于所确定的与所述书面报告中的每个句子相关联的句子置信度分数来生成书面报告置信度分数。6.根据权利要求2所述的方法，其中，所述句子注释模型通过以下步骤自动地注释异常句子：收集指示正常成像特征的多个书面报告；从指示正常成像特征的所述多个书面报告中提取正常句子模式；将待注释的书面报告中的每个句子与所提取的正常句子模式进行比较；以及将所述书面报告中与所提取的正常句子模式相比较指示低于阈值的相似度的每个句子注释为异常。2CN111696642A权利要求书2/4页7.根据权利要求2所述的方法，其中，所述句子注释模型通过以下步骤自动地注释异常句子：对于待注释的书面报告中的每个句子，确定多个预定义医学主题术语中的一个与所述句子之间的语义相似度；以及将所述书面报告中被确定为在语义上与所述多个预定义医学主题术语中的一个或更多个相似的任何句子注释为异常。8.根据权利要求2所述的方法，其中，所述句子注释模型通过以下步骤自动地注释异常句子：使用多个训练句子来训练所述神经网络以在文字特征和指示异常句子的标记数据之间建立关联，所述多个训练句子中的每一个事先被标记为正常或异常；以及使用经训练的所述神经网络来确定主题句子正常还是异常。9.一种非暂时性计算机可读介质，该非暂时性计算机