基于多模态深度学习模型的信息推送方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113656706A(43)申请公布日2021.11.16(21)申请号202111015803.0G16H50/70(2018.01)(22)申请日2021.08.31(71)申请人平安医疗健康管理股份有限公司地址200001上海市黄浦区北京东路666号H区(东座)12G室(72)发明人张俊杰(74)专利代理机构北京中强智尚知识产权代理有限公司11448代理人黄耀威(51)Int.Cl.G06F16/9535(2019.01)G06F16/36(2019.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书11页附图2页(54)发明名称基于多模态深度学习模型的信息推送方法及装置(57)摘要本申请涉及人工智能及数字医疗领域，提供了一种基于多模态深度学习模型的信息推送方法及装置，主要目的在于改善现有单模态的图像数据处理方式，导致识别结果精度低下，从而影响信息推送的精准性及有效性的技术问题。包括：获取目标对象的流体数据、以及图像数据；基于已完成模型训练的多模态深度学习模型对流体数据、图像数据进行分类标记处理，得到不同标签标记识别区域的图像信息；从医学知识图谱中查找与图像信息中各识别区域的区域大小、区域位置以及标签匹配的区域描述信息、医疗信息，并进行输出；当检测到存在区域描述信息和/或医疗信息的操作行为时，调取与区域描述信息和/或医疗信息存在关联关系的历史就诊信息，并进行推送。CN113656706ACN113656706A权利要求书1/2页1.一种基于多模态深度学习模型的信息推送方法，其特征在于，包括：获取目标对象的流体数据、以及图像数据；基于已完成模型训练的多模态深度学习模型对所述流体数据、所述图像数据进行分类标记处理，得到不同标签标记识别区域的图像信息，所述多模态深度学习模型为基于至少一个二分类支持向量机以及分割网络进行组合得到的；从医学知识图谱中查找与所述图像信息中各识别区域的区域大小、区域位置以及所述标签匹配的区域描述信息、医疗信息，并进行输出；当检测到存在所述区域描述信息和/或所述医疗信息的操作行为时，调取与所述区域描述信息和/或所述医疗信息存在关联关系的历史就诊信息，并进行推送。2.根据权利要求1所述的方法，其特征在于，所述获取目标对象的流体数据、以及图像数据之前，所述方法还包括：获取包含流体数据以及图像数据的多模态训练样本数据集；构建至少一个二分类支持向量机与分割网络之间的组合式深度学习网络模型，其中，所述二分类支持向量机中的权值概率为基于就诊信息中的风险概率值配置的，所述分割网络为基于上下采样对各层级网络进行替换得到的；基于所述多模态训练样本数据集对所述组合式深度学习网络模型进行训练，得到多模态深度学习模型，其中，将所述流体数据以及所述图像数据进行交叉后分别作为所述二分类支持向量机以及分割网络的输出参数，进行模型训练。3.根据权利要求2所述的方法，其特征在于，所述构建至少一个二分类支持向量机与分割网络之间的组合式深度学习网络模型之前，所述方法还包括：获取目标对象的就诊信息，所述就诊信息包括检查信息、基础疾病信息、历史病症信息；计算已建立的预设识别区域用户画像中各用户对象的就诊信息与所述目标对象的就诊信息之间的相似度，并将所述相似度大于预设相似度阈值的用户对象确定为相似对象；根据所述相似对象记录有所述识别区域的确诊数量与所述相似对象的人数之比确定为风险概率值。4.根据权利要求1所述的方法，其特征在于，所述获取目标对象的流体数据、以及图像数据之后，所述方法还包括：通过预设指标标准化数据库分别对所述流体数据进行文本词语的规范化处理，并将规范化处理后的所述流体数据进行归一化处理，以将所述流体数据转换为所述多模态深度学习模型进行分类标记处理的数据对象；和/或，通过双线性差值对所述图像数据进行重切片处理，并将重切片处理后的所述图像数据进行归一化处理，以将所述图像数据转换为所述多模态深度学习模型进行分类标记处理的数据对象。5.根据权利要求1所述的方法，其特征在于，所述调取与所述区域描述信息和/或所述医疗信息存在关联关系的历史就诊信息，并进行推送包括：解析所述区域描述信息和/或所述医疗信息中的医疗关键词；根据预置医疗文本库查找与所述医疗关键词相同的目标关键词，并通过路径追踪查找到具有关联关系的关联用户；2CN113656706A权利要求书2/2页提取所述关联用户的历史就诊信息，并进行输出。6.根据权利要求1所述的方法，其特征在于，所述从医学知识图谱中查找与所述图像信息中各识别区域的区域大小、区域位置以及所述标签匹配的区域描述信息、医疗信息之前，所述方法还包括：获取不同人体器官的区