一种基于最优传输的知识图谱处理方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115934960A(43)申请公布日2023.04.07(21)申请号202211584446.4G06N20/00(2019.01)(22)申请日2022.12.09(71)申请人中国科学院计算技术研究所地址100190北京市海淀区中关村科学院南路6号(72)发明人许倩倩曹宗胜杨智勇操晓春黄庆明(74)专利代理机构北京泛华伟业知识产权代理有限公司11280专利代理师王勇(51)Int.Cl.G06F16/36(2019.01)G06F16/28(2019.01)G06F17/16(2006.01)G06F17/18(2006.01)权利要求书4页说明书13页附图1页(54)发明名称一种基于最优传输的知识图谱处理方法(57)摘要本发明提出一种基于最优传输的知识图谱处理方法，该方法包括如下步骤：S1、获取知识图谱中所有实体对应的多模态信息向量以及结构信息向量；S2、基于所有实体的多模态信息向量和结构信息向量计算每个实体的多模态信息与结构信息之间的最优传输矩阵；S3、以每个实体的结构信息向量所在空间为基准空间，基于其最优传输矩阵将每个实体的多模态信息进行特征对齐以形成统一的特征表示；S4、基于步骤S3得到所有的实体的统一特征表示对每一个缺失头实体或者尾实体的三元组进行预测补全，其中，以所有实体为备选实体，按照预设的规则计算每一个备选实体作为预测实体的得分，并将得分最高的预测实体作为最终的实体补入三元组。CN115934960ACN115934960A权利要求书1/4页1.一种基于最优传输的知识图谱处理方法，所述知识图谱中包括多个三元组，每个所述三元组包括头实体、关系和尾实体，且头实体与尾实体通过关系相互联结，部分三元组缺失头实体或者尾实体，其特征在于，所述方法包括如下步骤：S1、获取知识图谱中所有实体对应的多模态信息向量以及结构信息向量；S2、基于步骤S1得到的所有实体的多模态信息向量和结构信息向量计算每个实体的多模态信息与结构信息之间的最优传输矩阵；S3、以每个实体的结构信息向量所在空间为基准空间，基于其最优传输矩阵将每个实体的多模态信息进行特征对齐以形成统一的特征表示；S4、基于步骤S3得到所有的实体的统一特征表示对每一个缺失头实体或者尾实体的三元组进行预测补全，其中，以所有实体为备选实体，按照预设的规则计算每一个备选实体作为预测实体的得分，并将得分最高的预测实体作为最终的实体补入三元组。2.根据权利要求1所述的方法，其特征在于，所述多模态信息包括文本信息和图片信息。3.根据权利要求2所述的方法，其特征在于，在所述步骤S1中，采用不同的预训练模型处理知识图谱以获取所有实体对应的多模态信息向量以及结构信息向量。4.根据权利要求3所述的方法，其特征在于，所述步骤S1包括：S11、采用预训练知识表示模型对所述知识图谱进行处理以获取每个实体的结构信息向量；S12、采用预训练文本处理模型对所述知识图谱进行处理以获取每个实体的文本信息向量；S13、采用预训练图像处理模型对所述知识图谱进行处理以获取每个实体的图片信息向量。5.根据权利要求4所述的方法，其特征在于，所述预训练知识表示模型为TransE模型或TransH模型。6.根据权利要求5所述的方法，其特征在于，所述预训练文本处理模型为word2vec模型、GloVe模型或fastText模型。7.根据权利要求6所述的方法，其特征在于，所述预训练图像处理模型为VGG模型或者ResNet模型。8.根据权利要求7所述的方法，其特征在于，所述每个实体的多模态信息与结构信息之间的最优传输矩阵包括该实体文本信息与该实体结构信息之间的第一最优传输矩阵，以及该实体图片信息与该实体结构信息之间的第二最优传输矩阵，其中：采用如下方式计算该实体文本信息与该实体结构信息之间的第一最优传输矩阵：其中，T1表示实体文本信息与实体结构信息之间能够进行传输的第一传输矩阵的集合，TIS表示T1中传输成本最小的第一最优传输矩阵，Π(α，β)表示实体文本信息与结构信息的联合概率矩阵，n表示实体的文本信息向量所在空间维度、m表示实体的结构信息向量所在空间维度，T1ij表示实体文本信息向量的第i维度转移到实体结构信息向量第j维度的概率，2CN115934960A权利要求书2/4页Cij表示实体文本信息向量的第i维度转移到实体结构信息向量第j维度的代价；采用如下方式计算该实体图片信息与该实体结构信息之间的第二最优传输矩阵：其中，T2表示实体图片信息与实体结构信息之间能够进行传输的第二传输矩阵的集合，TQS表示T2中传输成本最小的第二最优传输矩阵，Π(μ，β)表示实体图片信息与结构信息的联合概率矩阵，k表示实体图片信息向量所在空间维度，表示实体图片信息向量的第z维度转