基于多模态的深度学习预测方法、系统、介质及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111275130A(43)申请公布日2020.06.12(21)申请号202010098684.9(22)申请日2020.02.18(71)申请人上海交通大学地址200240上海市闵行区东川路800号(72)发明人钱晓华陈夏晗(74)专利代理机构上海光华专利事务所(普通合伙)31219代理人徐秋平(51)Int.Cl.G06K9/62(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书16页附图6页(54)发明名称基于多模态的深度学习预测方法、系统、介质及设备(57)摘要本发明提供一种基于多模态的深度学习预测方法、系统、介质及设备，所述基于多模态的深度学习预测方法包括：获取图像数据集，所述图像数据集包括至少两个模态的图像数据；将所述图像数据进行特征提取，以生成与每个模态对应的特征提取结果；结合预设的约束项对所述特征提取结果进行融合并分类预测。本发明设计了多模态的网络结构，对于每一个模态的图像，分别使用卷积神经网络进行特征提取，然后结合约束项在全连接层将这些特征进行融合，综合不同模态的特征信息，得到最终的分类结果。这样既保留了单个模态的信息特点又可以综合利用多模态的信息，提高了最终决策的可靠性。CN111275130ACN111275130A权利要求书1/1页1.一种基于多模态的深度学习预测方法，其特征在于，所述基于多模态的深度学习预测方法包括：获取图像数据集，所述图像数据集包括至少两个模态的图像数据；将所述图像数据进行特征提取，以生成与每个模态对应的特征提取结果；结合预设的约束项对所述特征提取结果进行融合并分类预测。2.根据权利要求1所述的基于多模态的深度学习预测方法，其特征在于，所述图像数据集为螺旋变换与数据扩增后的二维图像数据集。3.根据权利要求1所述的基于多模态的深度学习预测方法，其特征在于，通过卷积神经网络对所述图像数据进行特征提取，所述卷积神经网络包括残差结构和双线性池化结构。4.根据权利要求3所述的基于多模态的深度学习预测方法，其特征在于，所述结合预设的约束项对所述特征提取结果进行融合并分类预测的步骤包括：将所述特征提取结果连接到全连接层进行特征融合，生成预测输出结果；结合预设的约束项，对预测模型进行参数优化，以使所述预测输出结果更准确。5.根据权利要求4所述的基于多模态的深度学习预测方法，其特征在于，所述预设的约束项包括第一约束项、第二约束项和第三约束项；所述结合预设的约束项，对预测模型进行参数优化的步骤包括：通过所述第一约束项对预测输出过程进行监督；通过所述第二约束项对所述特征提取结果进行特征选择；通过所述第三约束项进行各模态之间的约束，保持所述特征提取结果的多样性；将所述第一约束项、第二约束项和第三约束项按照预设权重相加，确定损失函数；利用梯度下降法对所述预测模型进行参数优化，以使所述损失函数最小化。6.根据权利要求5所述的基于多模态的深度学习预测方法，其特征在于，在所述预测模型中通过梯度下降法的迭代原理进行参数优化。7.根据权利要求5所述的基于多模态的深度学习预测方法，其特征在于，所述基于多模态的深度学习预测方法还包括：在所述损失函数最小化时，确定最终预测模型；通过预设的评估指标对所述最终预测模型进行评估。8.一种基于多模态的深度学习预测系统，其特征在于，所述基于多模态的深度学习预测系统包括：数据获取模块，用于获取图像数据集，所述图像数据集包括至少两个模态的图像数据；特征提取模块，用于将所述图像数据进行特征提取，以生成与每个模态对应的特征提取结果；预测模块，用于结合预设的约束项对所述特征提取结果进行融合并分类预测。9.一种介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于多模态的深度学习预测方法。10.一种设备，其特征在于，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行如权利要求1至7中任一项所述的基于多模态的深度学习预测方法。2CN111275130A说明书1/16页基于多模态的深度学习预测方法、系统、介质及设备技术领域[0001]本发明属于深度学习技术领域，涉及一种学习预测方法，特别是涉及一种基于多模态的深度学习预测方法、系统、介质及设备。背景技术[0002]现有技术中，三维影像的组学方法和深度学习方式已经取得了一定的成就，例如在使用CT(ComputedTomography，电子计算机断层扫描)、MRI(MagneticResonanceImaging，磁共振成像)等影像无创评估基因变化领域。但是在深度学习中仍存在诸多