基于多模态关键信息匹配的食品安全风险识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113837554A(43)申请公布日2021.12.24(21)申请号202111008264.8G06N20/00(2019.01)(22)申请日2021.08.30(71)申请人中华人民共和国青岛海关地址266000山东省青岛市中山路2号(72)发明人宋海红葛岚胥洪张晓谢亮王炳军(74)专利代理机构武汉蓝宝石专利代理事务所(特殊普通合伙)42242代理人万畅(51)Int.Cl.G06Q10/06(2012.01)G06Q50/26(2012.01)G06F16/951(2019.01)G06F40/58(2020.01)G06K9/20(2006.01)权利要求书3页说明书9页附图4页(54)发明名称基于多模态关键信息匹配的食品安全风险识别方法及系统(57)摘要本发明涉及一种基于多模态关键信息匹配的食品安全风险识别方法及系统，该方法包括：建立风险信息数据库，形成食品关键信息溯源图谱，将风险信息数据库与食品关键信息溯源图谱进行匹配；预训练风险信息数据库和食品关键信息溯源图谱中的单模态编码器和多模态交互编码器，得到风险信息交互表示向量和食品关键信息表示向量；通过计算风险信息交互表示向量和食品关键信息表示向量的匹配概率，利用标签信息微调模型；将风险信息交互表示向量按风险发生频率和重要性分级存储，建立风险信息交互表示分级库，通过风险信息交互表示分级库查询待识别食品是否存在风险；可缓解目前技术无法对食品全过程监管和多模态风险动态更新的问题。CN113837554ACN113837554A权利要求书1/3页1.一种基于多模态关键信息匹配的食品安全风险识别方法，其特征在于，所述方法包括：步骤1，采集多种数据模态的食品风险信息，建立包含多种数据模态组合的风险信息数据库；步骤2，收集食品溯源链条中各个环节的食品关键过程信息，形成带标签的食品关键信息溯源图谱，将所述风险信息数据库与所述食品关键信息溯源图谱进行匹配；所述标签由人工根据风险信息数据库中的公告和/或舆情信息添加，表示该食品关键信息溯源图谱是否与任意一条风险信息匹配；步骤3，通过表示学习技术，预训练风险信息数据库和食品关键信息溯源图谱中的单模态编码器和多模态交互编码器，得到风险信息交互表示向量和食品关键信息表示向量；步骤4，通过计算风险信息交互表示向量和食品关键信息表示向量的匹配概率，利用标签信息微调模型；步骤5，将风险信息交互表示向量按风险发生频率和重要性分级存储，建立风险信息交互表示分级库，通过所述风险信息交互表示分级库查询待识别食品是否存在风险。2.根据权利要求1所述的食品安全风险识别方法，其特征在于，所述步骤1包括：步骤101，通过文字识别技术采集公开的多种数据模态的食品风险信息；所述多种数据模态包括文本和表格；步骤102，将采集的食品风险信息通过机器翻译为同一语言种类；步骤103，将采集的所述食品风险信息与本地自有的食品风险信息进行汇总，建立所述风险信息数据库。3.根据权利要求1所述的食品安全风险识别方法，其特征在于，所述步骤2包括：步骤201，收集所述食品溯源链条上种养殖、生产加工以及运输各个环节的所述食品关键过程信息，所述食品关键过程信息包括：温度、湿度、批次号以及原材料；步骤202，汇总并提取所述关键过程信息，以图谱的形式储存所述食品溯源链条上各环节上的实体与关系，得到所述食品溯源图谱；步骤203，标注出所述风险信息数据库中与食品溯源图谱匹配的食品安全风险信息。4.根据权利要求1所述的食品安全风险识别方法，其特征在于，所述步骤3包括：步骤301，对于任意一个模态k的单模态编码器fk，分别随机隐藏对应单模态数据中的部分元素，利用数据内部的上下文关联，进行第一阶段训练，预测出隐藏的元素，损失函数为：其中，S为输入单模态编码器的样本中被隐藏元素的集合，fk(·)是单模态编码器输出的隐藏元素预测值，yx为隐藏元素对应的真实值，φ为根据相应模态预测选定的衡量预测值与真实值差异的函数；步骤302，对于多模态交互编码器fm，随机隐藏共现模态数据中的部分元素，利用模态间的语义关联，进行第二阶段训练，预测出隐藏的元素，损失函数为：2CN113837554A权利要求书2/3页其中，T为输入多模态交互编码器的样本中被隐藏元素的集合，fm(·)是多模态交互编码器输出的隐藏元素预测值；步骤303，分别利用池化操作，将所述多模态交互编码器fm和所述食品关键信息溯源图谱的图编码器的输出压缩为一维的表示向量：风险信息交互表示向量hR和食品关键信息表示向量hG。5.根据权利要求4所述的食品安全风险识别方法，其特征在于，所述步骤4包括：步骤401，通过预先选定的距离函数或多层感知机，计算所述风险信息交互表示向量hR和食品关