依存分析模型及基于依存分析的中文联合事件抽取方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114841140A(43)申请公布日2022.08.02(21)申请号202210452892.3G06N3/08(2006.01)(22)申请日2022.04.27(71)申请人迈容智能科技（上海）有限公司地址200433上海市杨浦区邯郸路10号8号楼309室(72)发明人吴昆丁国栋(74)专利代理机构上海诺衣知识产权代理事务所(普通合伙)31298专利代理师刘艳芝(51)Int.Cl.G06F40/211(2020.01)G06F40/289(2020.01)G06F40/30(2020.01)G06F16/35(2019.01)G06N3/04(2006.01)权利要求书2页说明书8页附图2页(54)发明名称依存分析模型及基于依存分析的中文联合事件抽取方法(57)摘要本发明公开了一种基于依存分析的中文联合事件抽取方法，首先引入了依存分析构建句法结构加强了信息的深度交互；其次为弥合字词的不一致性设计了三种类型的边表示以计算图卷积特征；最终通过对事件触发词分类任务以及事件论元分类任务联合学习，缓解了传统管道式方法的级联误差传播问题，提升了从文档中抽取事件触发词以及论元的效果。基于依存分析的中文联合事件抽取模型，在对语义进行编码的同时融入了句法结构信息，增强了字之间的信息流动，并且针对中文分词的特性为构建无向图设计了不同类型的边表示。本发明通过融入中文文本中包含的句法结构知识丰富了语义特征表示，并且使用联合学习的方法有效的提高了句子级事件抽取的效果。CN114841140ACN114841140A权利要求书1/2页1.一种基于文本表征的依存分析模型构建方法，其特征在于：首先，将文本进行分词，并且使用依存句法分析得到词与词之间的主从关系，建立词与词之间的依存关系；其次，构建三种类型的边，并对应三种类型的边分别生成三个二维邻接矩阵构建图表示，使用无向图表示该依存关系；然后，将初始文本表征输入图卷积神经网络，使用无向图聚合邻居节点信息，将卷积神经网络的输出与初始文本表征进行融合；最后，将融合后得到的分类向量作为该模型的输出。2.根据权利要求1所述的基于文本表征的依存分析模型构建方法，其特征在于：使用无向图表示依存关系的具体过程如下：将词之间的依存关系简化为词首字间的依存关系，构建三种类型的边表示，分别为ealong，eloop，erev；依照预先建立的依存关系为三种边构建二维邻接矩阵，将依存关系抽象为无向图表示；所述邻接矩阵均以单字为节点，若两个节点之间存在关系，则将邻接矩阵对应位置的值置为1，反之置为0。3.根据权利要求2所述的基于文本表征的依存分析模型构建方法，其特征在于：所述融合获取分类向量的具体过程如下：将获取的词嵌入文本表征，作为图卷积神经网络的初始输入，结合无向图对邻居节点信息进行聚合，计算图卷积向量；将三种边类型的图卷积向量进行拼接，并使用激活函数更新第k+1层的节点向量，将最后一层图卷积网络的输出和词嵌入文本表征结合，获取最终的分类向量，其中，k表示图卷积的层数。4.根据权利要求3所述的基于文本表征的依存分析模型构建方法，其特征在于：根据如下公式计算图卷积向量其中，v表示当前更新节点，K(v,u)指示当前边的类型，对应于ealong，eloop，erev三种，N(v,K(v,u))是当前节点在当前边的邻居节点集合，即二维邻接矩阵中值为1的部分，和是节点和边类型约束的权重矩阵和偏移量参数。5.根据权利要求1所述的基于文本表征的依存分析模型构建方法，其特征在于：所述依存句法分析中，使用官方工具包StanfordCoreNLP进行中文文本依存关系分析，首先将中文文本进行分词，经过依存分析得到以词为单位的支配词与从属词之间的中文句法依存关系。6.一种基于依存分析的中文联合事件抽取方法，其特征在于：包括如下步骤：步骤1、预处理包含事件类型以及描述该事件的输入文本，使用预训练语言模型对数据集中的文本进行编码，得到模型的初始文本表征；步骤2、将原始输入文本进行分词，并将分词结果和步骤1得到的文本表征输入权利要求1至5中任一项所述依存分析模型，获取融合分类向量；步骤3、将步骤2中得到的分类向量输入事件触发词分类器，使用0/1标注格式对每个事件类型的候选触发词的首尾索引进行预测，计算当前字是触发词开始和结束的分类概率向量pts/te；步骤4、将步骤2得到的分类向量输入事件论元分类器，使用0/1标注格式对每个角色类2CN114841140A权利要求书2/2页型的候选论元的首尾索引进行预测，计算当前字是该论元开始和结束字的分类概率向量pas/ae；步骤5、使用步骤3得到的向量pts/te和步骤4得到的向量pas/ae分别进行触发词和论元的抽取，通过参数共享和联合学习进行训练