多模态医学数据融合的评估方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113870259A(43)申请公布日2021.12.31(21)申请号202111454543.7G06N3/04(2006.01)(22)申请日2021.12.02G16H50/20(2018.01)(71)申请人天津御锦人工智能医疗科技有限公司地址300457天津市滨海新区经济技术开发区洞庭路220号天津国际生物医药联合研究院实验楼十四S1405、S1404、S1414、S1415、S1424(72)发明人王玉峰(74)专利代理机构北京东岩跃扬知识产权代理事务所(普通合伙)11559代理人叶平谷岳(51)Int.Cl.G06T7/00(2017.01)G06K9/62(2006.01)权利要求书3页说明书9页附图2页(54)发明名称多模态医学数据融合的评估方法、装置、设备及存储介质(57)摘要本申请涉医疗技术领域，公开了一种多模态医学数据融合的评估方法、装置、设备及存储介质，该方法包括：获取目标对象的多种模态的待评估医学数据；分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量并进行融合得到融合特征向量；将融合特征向量输入至训练好的多模态融合评估模型，以获取该模型输出的评估结果。本申请基于人工智能对多模态医学数据进行特征提取和特征融合、得到融合特征向量，并基于融合特征向量利用多模态融合评估模型对目标对象的病情缓解程度进行预测和评估，可辅助对病理级别下的病情缓解程度进行精准评估，从而提升判断准确率，减少医疗风险。本申请还公开了一种多模态医学数据融合的评估。CN113870259ACN113870259A权利要求书1/3页1.一种多模态医学数据融合的评估方法，其特征在于，包括：获取目标对象的多种模态的待评估医学数据；分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；对所述多个特征向量进行融合，得到融合特征向量；将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果。2.根据权利要求1所述的方法，其特征在于，所述将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果，包括：将所述融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵W(In)，通过第一函数对特征向量第一矩阵W(In)进行位置编码，得到特征向量第二矩阵W(P)，采用的公式如下：其中，t表示特征向量第一矩阵W(In)中的某一个子向量；p(t)表示t值对应的编码结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵W(In)中的序号位；d表示特征向量第一矩阵W(In)的矩阵水平方向维度数量；将所述特征向量第二矩阵W(P)输入至第二函数，计算得到在子空间上的高维特征表示矩阵W(M)，采用的公式如下：其中，CONCAT函数表示第二函数，F(1)、F(2)……F(i)表示对特征向量第二矩阵W(P)中的第i个特征子向量进行公式F计算；表示特征向量第一矩阵W(In)的转置；F（i）中的x表示输入的特征向量第二矩阵W(P)中的第i个特征子向量；Q、K、V表示多模态融合评估模型的隐含层的参数n的线性感知层；Q(x)表示对x进行线性回归；通过多模态融合评估模型的编码器对各个图像的所述特征向量进行编码，将所述编码器的输出W(Out)输入至线性回归层，通过线性回归层将W(Out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。3.根据权利要求1或2所述的方法，其特征在于，所述获取目标对象的多种模态的待评估医学数据，包括以下方式中的至少三种：获取所述目标对象的直肠癌图像数据集作为第一模态数据，其中，所述直肠癌图像数据集至少包括根据肿瘤区域或已退缩肿瘤区域确定的宏观视角图像、近视角图像和微观视2CN113870259A权利要求书2/3页角图像；获取所述目标对象的直肠癌磁共振影像数据集作为第二模态数据，其中，所述直肠癌磁共振影像数据集包括初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据；分别对所述初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据中的肿瘤区域或已退缩肿瘤区域进行标注，得到若干张包含肿瘤区域或已退缩肿瘤区域的切片图像；获取所述目标对象的初始临床数据集和目标临床数据集作为第三模态数据，其中，所述初始临床数据集和目标临床数据集至少包括目标对象的个人信息和病例信息；获取所述目标对象的初始肿瘤标志物信息、目标肿瘤标志物信息、初始血液信息以及目标血液信息作为第四模态数据。4.根据权利要求3所述的方法，其特征在于，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包