一种基于知识图谱的词嵌入深度学习方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107729497A(43)申请公布日2018.02.23(21)申请号201710982103.6(22)申请日2017.10.20(71)申请人同济大学地址200092上海市杨浦区四平路1239号(72)发明人黄震华(74)专利代理机构上海科律专利代理事务所(特殊普通合伙)31290代理人叶凤(51)Int.Cl.G06F17/30(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于知识图谱的词嵌入深度学习方法(57)摘要本发明公开一种基于知识图谱的词嵌入深度学习方法。训练样本集构造阶段，首先依据语义强度对知识图谱中的实体关系进行划分，然后基于划分后的各实体关系组来产生不同路径长度的训练样本。词嵌入深度学习阶段，通过构造由word2vec编码器、卷积神经网络、门控循环单元网络、softmax分类器以及逻辑回归器等部件组成的三任务深度神经网络结构，然后以前一阶段所产生的训练样本集为输入来迭代优化深度神经网络结构的参数。训练完成后，保留word2vec编码器和卷积神经网络两个部件构成词嵌套编码器。与现有技术相比，本发明具有词嵌入准确度高、泛化能力强以及简单易实现等优点，能够有效应用于大数据分析、电子商务、智能交通、医疗健康以及智能制造等领域。CN107729497ACN107729497A权利要求书1/2页1.一种基于知识图谱的词嵌入深度学习方法，其特征在于，该方法主要由训练样本集构造和词嵌入深度学习两个阶段组成；第一阶段(训练样本集构造)主要包含两个步骤，即知识图谱实体关系划分和训练样本集生成；在步骤1中，首先以知识图谱为输入，计算其中所有实体的信息度，并将实体按其信息度从大到小或者从小到大排序，进而把排序后的实体平均划分成h个组，每个组为一个信息度类别，其中h的取值由用户指定，并且不小于20；同时，计算知识图谱中所有实体关系的语义强度，并将实体关系按其语义强度从大到小或者从小到大排序，进而把排序后的实体关系平均划分成k个组，每个组为一个语义强度类别，其中k的取值由用户指定，并且不小于10；在步骤2中，针对实体关系的每个分组，通过无放回的方式从中随机选取m个实体关系，其中m的取值由用户指定，并且不小于该分组实体关系数的1/10；接着，对于每个被选取的实体关系，路径长度设定最小值为2而最大值为s，其中s的取值由用户指定，并且在[4,7]之间；然后，对于每个路径长度值l，产生n个正训练样本和a×n个负训练样本，其中n和a的取值由用户指定，并且分别不小于50和4；正负训练样本的产生过程为：通过无放回的方式随机选取与当前实体关系相连的实体关系，直到达到该路径长度值，如果此时第一实体关系的左实体与最后一个实体关系的右实体之间存在直接实体关系，那么就产生1个新的正训练样本<(d,z),(1,f(z),g(d))>，其中d是实体关系组成的路径，包括路径上的所有实体关系和实体，即d＝<实体1,实体关系1,实体2,实体关系2,…,实体l+1>，而z为路径第一个实体和最后一个实体间的直接实体关系，f(z)为z的语义强度类别，g(d)为d第一个实体的信息度类别；在该正训练样本的基础上，用a个与z不同的实体关系r1,r2,…,ra，去替换z，从而得到a个新的负训练样本<(d,r1),(0,f(z),g(d))>,<(d,r2),(0,f(z),g(d))>,…,<(d,ra),(0,f(z),g(d))>；第二阶段(词嵌入深度学习)首先构造用于词嵌入学习的深度神经网络模型，主要由word2vec编码器、卷积神经网络(CNN：ConvolutionalNeuralNetwork)、门控循环单元网络(GRU：GatedRecurrentUnits)、softmax分类器以及逻辑回归器部件组成；在词嵌入学习训练过程中，对于路径长度为l的正训练样本<(d,z),(1,f(z),g(d))>或负训练样本<(d,z),(-1,f(z),g(d))>，该训练样本含有l+1个实体和l个实体关系，因此需要l+1个GRU部件、2l+2个word2vec编码器部件、2l+2个CNN部件、1个逻辑回归器部件以及2个softmax多分类器部件，其中，第i个实体和第i个实体关系(1≤i≤l)分别通过各自的word2vec编码器部件生成一维输入向量，并分别经过各自的CNN部件来生成一维卷积向量，然后，第i个GRU部件接收这两个一维卷积向量以及前一个GRU生成的一维循环向量，并输出其相应的一维循环向量，而第l+1个实体由于后面没有再连接实体关系，将经由word2vec编码器部件和CNN部件生成的一维卷积向量和一个一