基于多模态混合模型的业务数据处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113723288A(43)申请公布日2021.11.30(21)申请号202111007560.6(22)申请日2021.08.30(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田街道福安社区益田路5033号平安金融中心23楼(72)发明人谯轶轩陈浩(74)专利代理机构北京中强智尚知识产权代理有限公司11448代理人黄耀威(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06Q40/08(2012.01)权利要求书2页说明书11页附图3页(54)发明名称基于多模态混合模型的业务数据处理方法及装置(57)摘要本申请提供一种基于多模态混合模型的业务数据处理方法及装置，涉及人工智能技术领域，主要目的在于改善现有利用针对单一模态数据的单独模型进行多模态的数据处理导致的各个模态之间的处理无关联性，从而降低了保单数据处理的整体性准确率和业务数据处理效率的问题。包括：解析保单业务信息中的图像数据、以及文本数据；基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果；根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。CN113723288ACN113723288A权利要求书1/2页1.一种基于多模态混合模型的业务数据处理方法，其特征在于，包括：解析保单业务信息中的图像数据、以及文本数据；基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。2.根据权利要求1所述的方法，其特征在于，所述基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果之前，所述方法还包括：获取多模态训练样本集，所述多模态训练样本集中包含至少两个单模态训练样本组；构建多模态混合网络结构，并获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象，所述单模态输入参数的个数之和小于或等于多模态输入参数个数；基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型，所述多模态混合模型的损失函数为基于混合模态方式确定的。3.根据权利要求2所述的方法，其特征在于，所述基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型之前，所述方法还包括：对所述多模态训练样本集进行单模态训练样本组类别个数划分；根据划分的类别个数之间的比值配置各模态替换对象的替换权重值；所述获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象包括：确定与所述单模态输入参数匹配的至少一个模态替换对象，按照所述替换权重值从所述模态替换对象中筛选唯一匹配所述单模态输入参数的模态替换对象。4.根据权利要求3所述的方法，其特征在于，所述对所述多模态训练样本集进行单模态训练样本组类别个数划分之前，所述方法还包括：按照预设时间间隔、保单业务更新状态对所述多模态训练样本集中单模态训练样本组进行更新，以更新各模态替换对象的替换权重值。5.根据权利要求1所述的方法，其特征在于，所述所述标签分类用于表征标记不同保单业务信息所对应的保单产品、时间、主体对象，所述根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件包括：将对所述多模态混合处理结果标记的保单产品标识、时间标识、主体对象标识与所述保单业务需求中的核保需求、状态追踪需求、抽样评估需求进行匹配；若匹配，则将承保启动触发事件配置于所述保单业务信息执行核保操作、状态追踪操作、抽样评估操作完成后，以执行所述承保启动触发事件的触发操作。6.根据权利要求5所述的方法，其特征在于，所述启动对所述保单业务信息的承保操作2CN113723288A权利要求书2/2页包括：调取承保线程，并解析所述保单业务信息中的承保参数，所述承保参数用于标识不同承保时间段、不同承保业务阶段的承保状态；将所述承保参数引入所述承保线程中的承保操作执行指令中，以使按照所述承保操作执行指令执行承保业务。7.根据权利要求1‑6任一项所述的