一种基于类型推理与语义约束的医学视觉问答方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115862837A(43)申请公布日2023.03.28(21)申请号202111114091.8G06N3/08(2023.01)(22)申请日2021.09.23(71)申请人四川大学地址610065四川省成都市武侯区一环路南一段24号(72)发明人何小海王美玲刘露平卿粼波陈洪刚任超吴小强(51)Int.Cl.G16H50/20(2018.01)G16H30/20(2018.01)G06V10/44(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06N3/0442(2023.01)G06N3/047(2023.01)G06N3/048(2023.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于类型推理与语义约束的医学视觉问答方法(57)摘要本发明公开一种基于类型推理和语义约束的医学视觉问答方法研究。医学视觉问答模型可大致分为图片特征提取、问题特征提取、多模态特征融合和损失函数设计四个模块，各个模块之间相互关联，紧密结合。在已有的医学视觉问答模型的基础上，本发明提出了基于类型推理和答案语义约束的新型医学视觉问答模型，以问题类型推理为基础，构建联合语义空间为核心，设计一个新的损失函数来约束模型进行训练，最终完成答案的预测。本发明基于先进的人工智能技术，结合医学背景的特点和实际应用的需求，设计了一个先进的医学视觉问答模型。本发明的方法在医学智能问诊，辅助临床决策及影像培训等方面均有广阔的应用前景。CN115862837ACN115862837A权利要求书1/2页1.一种基于类型推理和语义约束的医学视觉问答方法研究，其特征在于包括以下步骤：步骤一：将图片通过多任务预训练模型MTPT进行图片形态的分类，然后将图片输入到对应的ResNet‑34网络进行图片特征提取，得到图片特征向量Vi；步骤二：使用BioWordVec预训练模型获取问题词嵌Qemb，然后将问题词嵌输入1024维的LSTM，得到问题特征向量Vq；步骤三：将问题特征向量Vq和答案类型标签输入一个二分类网络，训练一个问题类型分类网络，将问题分为开放式问题和封闭式问题；步骤四：为了更好的理解与问题相关的图片区域，引入一个8维的空间特征Vs，通过问题类型的二分类网络将图片特征、问题特征和空间特征分为二类，然后针对不同的类型分别进行图片特征、问题特征和空间特征的多模态特征融合，最后进行答案分类；步骤五：构建一个答案语义空间，将候选答案集A中的所有答案通过BioWordVec预训练模型将候选答案映射到同一个语义空间，计算答案之间的语义相似性来设计语义损失函数；步骤六：将分类损失函数和语义损失函数联合设计为一个组合损失函数，来约束模型完成训练。2.根据权利要求1所述的基于类型推理和语义约束的医学视觉问答方法，其特征在于步骤二中，提出了基于问题类型的推理方法，将问题通过医学预料预训练的模型BioWordVec进行编码，计算方式如下：Qemb＝BioWordVec(q)(1)得到后输入到1024维的LSTM中获取问题的特征向量N为问题的长度，本发明将问题的长度统一裁剪为12，长度不够12的问题，用字典的大小来补齐；然后引入注意力机制来给问题中的不同单词分配不同的权重，具体计算方式如下：Tα＝softmax((WaG))(6)式中W1，W2，Wa是训练权重值，然后通过二元分类网络，得到问题的分类。3.根据权利要求1所述的一种基于类型推理和语义约束的医学视觉问答方法，其特征在于步骤六中，构建了一个联合语义空间，通过计算答案之间的语义相似性，并设计一个语义损失函数来约束模型进行训练，具体过程如下：首先将候选答案ai输入到预训练模型BioWordVec中获取答案的词嵌B(i)，然后将医学视觉问答模型的Top‑K个预测值和数据集中的参考答案映射到同一个语义空间，计算公式如下式所示：2CN115862837A权利要求书2/2页*F(g)＝PiB(i)(8)式中Pi为模型的预测概率，然后计算答案之间的余弦相似性，计算公式如下式所示：然后模型的语义损失函数可以表示如下：*Ls＝1‑S(F(P),F(g))(10)得到语义损失函数，为下一步设计模型的损失函数奠定基础。4.根据权利要求1所述的一种基于类型推理和语义约束的医学视觉问答方法，其特征在于步骤七中，通过设计损失函数来约束模型进行训练，损失计算方式如下：Loss＝LCE/BCE+λLS(11)为了保证问题类型推理模块和语义约束模块对模型的有相同的作用，本发明将式中λ的默认值设置为0.5。3CN115862837A说明书1/5页一种基于类型推理与语义约束的医学视觉问答方法技术领域[0001]本发明设计了一种基于类型推理与语义约束