一种基于知识图谱的图像场景图生成方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114329010A(43)申请公布日2022.04.12(21)申请号202111638030.1(22)申请日2021.12.29(71)申请人杭州电子科技大学地址310018浙江省杭州市下沙高教园区2号大街(72)发明人汤景凡吴志威张旻李鹏飞姜明(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240代理人朱月芬(51)Int.Cl.G06F16/51(2019.01)G06F16/28(2019.01)权利要求书3页说明书5页附图4页(54)发明名称一种基于知识图谱的图像场景图生成方法(57)摘要本发明公开了一种基于知识图谱的图像场景图生成方法，本发明首先使用OPENIE模型将图像描述转化成三元组,并转化成实体和实体对应关系，导入NEO4J中，构建COCO和VisualGenome数据集的知识图谱；其次模型结合知识图谱，对输入的图像进行目标检测，识别出对应的对象类别和对象属性，以及两两候选框之间有交集的关系。将得到的对象属性放入知识图谱中，作为检索关键点，并调用NEO4J数据库得到标记权重的关系节点以及对应的另一个实体节点；同理，将关系属性特征放入到知识图谱中，得到节点属性组；将通过知识图谱得到的指定数量的三元组放入排列模块；放入到场景图生成的网络中，最终生成基于知识图谱的场景图。本发明针对图像目标识别和关系检测的问题，提出了优化方案。CN114329010ACN114329010A权利要求书1/3页1.一种基于知识图谱的图像场景图生成方法，其特征在于包括以下步骤：步骤(1)使用0PENIE模型将图像描述转化成三元组，并转化成实体和实体对应关系，导入NEO4J中，构建COCO和VisualGenome数据集的知识图谱；步骤(2)对输入的图像使用FasterR‑CNN目标检测得到候选框，得到每一个候选框中的目标特征Obj_feature，并预测对象属性Obj_attr以及两两候选框之间的关系特征Rel_fearure，并预测关系属性Rel_attr；步骤(3)将得到的对象属性Obj_attr放入知识图谱中，作为检索关键点，并调用NEO4J数据库得到标记权重的关系节点以及对应的另一个实体节点；步骤(4)将得到的关系属性Rel_attr放入到知识图谱中，作为检索关键点，同理调用NE04J数据库，通过关系属性来找到相关的节点属性组；步骤(5)将通过知识图谱得到的指定数量的三元组放入排列模块；步骤(6)将经过排列模块的三元组信息，放入到场景图生成的网络中，最终生成基于知识图谱的场景图。2.根据权利要求1所述的一种基于知识图谱的图像场景图生成方法，其特征在于步骤(1)所述具体实现过程如下：2‑1将COCO数据集和VisualGenome数据集中的数据以txt格式保存下来，并使用0PENIE模型将对应文件转化成triplets三元组；2‑2并使用python代码，转化成entity.csv文件包含(entity：ID，name：，LABEL)，并根据三元组信息和entity：ID，得到role.csv文件，包含(：START_ID，：END_ID，：TYPE)；2‑3将两份csv文件，导入到NEO4J数据库中，得到可视化的知识图谱信息库。3.根据权利要求2所述的一种基于知识图谱的图像场景图生成方法，其特征在于步骤(2)具体实现如下：3‑1将任意大小的P*Q输入图像缩放至大小固定M*N，使用已经在COCO数据集上预训练的FasterR‑CNN对目标进行检测，FasterR‑CNN会在图像上进行3*3卷积得到候选区域，包括候选框集合B＝{bi|i＝1，…，n}以及正锚PA，如公式(1)(2)所示：(M，N)＝Re(P，Q，Scale)(1)(B，PA)＝FasterRCNN(M，N)(2)其中，Scale是缩放的倍数；3‑2得到候选框集合B＝{bi|i＝1，…，n}，提取特征F，并经过双向LSTM得到候选框对应属性Obj_attr，如公式(3)所示：Obj_attr＝DoubleLSTM(F)(3)其中F是通过卷积神经网络方法得到的对应候选框的特征；3‑3得到对象属性Obj_attr和主宾语的区域特征U一起输入到谓词上下文predicatecontext中得到关系属性Rel_attr，如公式(4)(5)所示：U＝Union(bi，bj)(1≤i，j≤n)(4)Rel_attr＝Context(U，Obj_attr)(5)其中，bi，bj为候选框集合B＝{bi|i＝1，…，n}中的第i，j个候选区域框，n为候选框的总数，U是通过两个候选区域框得到区域特征。4.根据权利要求3所述的一种基于知识图谱的图像场景图生成方法，其特征在于步骤2CN1143290