词义消歧模型的训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111310475A(43)申请公布日2020.06.19(21)申请号202010079725.X(22)申请日2020.02.04(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人钱隽夫(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人张明周良玉(51)Int.Cl.G06F40/30(2020.01)G06F40/284(2020.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书6页说明书15页附图7页(54)发明名称词义消歧模型的训练方法及装置(57)摘要本说明书实施例提供一种词义消歧模型的训练方法及装置，在训练方法中，获取词语共现图和语义关联图。从训练文本中选取第一词语。获取对应于第一词语的正例样本和负例样本。计算训练文本中各词语与各语义关联图中各节点所代表词语的相似度，并基于相似度，选取目标关联图。基于目标关联图，确定第一词语的语义向量，并基于词语共现图，确定其它词语的词向量。基于确定的语义向量和词向量，利用编码器编码。基于词语共现图，确定两个样本中各词语的词向量。根据确定的词向量，利用编码器编码。基于编码结果，计算训练文本与正例样本的第一文本距离，以及计算训练文本与负例样本的第二文本距离。以第一文本距离小于第二文本距离为目标，训练编码器。CN111310475ACN111310475A权利要求书1/6页1.一种词义消歧模型的训练方法，所述词义消歧模型包括编码器；所述方法包括：获取词语共现图和若干语义关联图；其中，所述词语共现图基于文本语料中各词语之间的共现关系构建，其中的每个节点代表一个词语并对应于一个词向量，所述词向量用于表征对应词语的平均词义；所述语义关联图通过对所述词语共现图采用图分割算法分割得到，其中的每个节点代表一个词语的单个词义并对应于一个第一语义向量；从训练文本中选取具有一词多义的第一词语；获取所述第一词语的第一解释文本和第二解释文本；其中，所述第一解释文本用于解释所述第一词语对应于所述训练文本的词义，所述第二解释文本用于解释所述第一词语的其它词义；对于所述训练文本，计算所述训练文本中各词语与各语义关联图中各节点所代表词语的相似度，并基于所述相似度，从所述若干语义关联图中选取目标关联图；至少基于所述目标关联图中各节点对应的第一语义向量，确定所述第一词语的语义向量，并基于所述词语共现图中各节点对应的词向量，确定其它词语的词向量；根据所述第一词语的语义向量和其它词语的词向量，利用所述编码器对所述训练文本进行编码；基于所述词语共现图中各节点对应的词向量，分别确定所述第一解释文本和所述第二解释文本中各词语的词向量；根据所述第一解释文本和所述第二解释文本中各词语的词向量，利用所述编码器分别对所述第一解释文本和所述第二解释文本进行编码；基于编码结果，计算所述训练文本与所述第一解释文本之间的第一文本距离，以及计算所述训练文本与所述第二解释文本之间的第二文本距离；以所述第一文本距离小于所述第二文本距离为目标，训练所述编码器。2.根据权利要求1所述的方法，所述词语共现图通过以下步骤获得：针对所述文本语料中的每个词语，将该词语作为当前节点，从所述文本语料中确定出在该词语上下文窗口内出现的词语，将确定出的词语作为关联词语；将该关联词语作为当前节点的关联节点，并构建两者的连接边；至少根据该词语与关联词语之间的距离，确定该两者之间连接边的权重；在针对每个词语，建立与关联节点之间的连接边以及确定连接边的权重之后，得到所述词语共现图。3.根据权利要求1所述的方法，所述若干语义关联图通过以下步骤得到：对所述词语共现图中的每个节点，以其为中心，进行广度优先搜索，得到与所述节点关联的初始分割图；对所述初始分割图进行最大连通子图分割，得到至少一个连通分量；若所述连通分量的个数多于1个，则对所述节点进行拆分，以使拆分后的各节点与各连通分量一一对应；基于拆分前所述节点的连接边，构建各节点与对应连通分量之间的连接边，以形成所述若干语义关联图中与该节点相关的语义关联图。4.根据权利要求1所述的方法，所述词语共现图中各节点的词向量基于图节点向量化方法或者词向量化方法确定；所述图节点向量化方法包括以下任一种：node2vec、Deepwalk以及LINE；所述词向量化方法包括以下任一种：Word2Vec以及Glove。5.根据权利要求1所述的方法，所述语义关联图中各节点的第一语义向量通过以下步2CN111310475A权利要求书2/6页骤得到：对于所述语义关联图中的每个节点，采样对应的节点序列；将所述节点