一种中文领域事件抽取方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116011442A(43)申请公布日2023.04.25(21)申请号202310169613.7G06N3/08(2023.01)(22)申请日2023.02.27G06N3/0464(2023.01)(71)申请人中国电子科技集团公司第五十二研究所地址311121浙江省杭州市余杭区爱橙街198号B楼(72)发明人郎彬雷达瞿崇晓张永晋余华峰金磊范长军陈久红丁尧胡天祥余丽仙杨志杰(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240专利代理师杨天娇(51)Int.Cl.G06F40/279(2020.01)G06F40/216(2020.01)权利要求书3页说明书6页附图3页(54)发明名称一种中文领域事件抽取方法(57)摘要本发明公开了一种中文领域事件抽取方法，包括从领域数据库中选择原始领域语料，构造领域数据集和专业词表，训练militaryBERT模型；对事件抽取数据集的输入语料采用militaryBERT模型、依存句法分析工具DDParser和词性分析工具Jieba进行数据预处理，得到最终的原始特征表示。本中文领域事件抽取方法采用militaryBERT模型、句法依存分析和词性分析对事件抽取数据集的输入语料进行数据预处理，得到原始特征表示，增强了事件抽取模型上下文语义表示能力；本中文领域事件抽取方法通过构建包括第一特征提取网络和第二特征提取网络的事件抽取模型，并通过对各特征提取网络提取后的特征进行融合，有效提高事件抽取的准确性。CN116011442ACN116011442A权利要求书1/3页1.一种中文领域事件抽取方法，其特征在于：所述中文领域事件抽取方法，包括：从领域数据库中选择原始领域语料，构造领域数据集和专业词表，训练militaryBERT模型；对事件抽取数据集的输入语料采用militaryBERT模型、依存句法分析工具DDParser和词性分析工具Jieba进行数据预处理，得到最终的原始特征表示；构建包括两个不同的特征提取网络的事件抽取模型，将原始特征表示和输入语料依次输入至第一特征提取网络和第二特征提取网络，根据各事件类别数量调整对应的损失权重，利用梯度误差反向传播算法训练事件抽取模型；设置新的分类阈值，将输入语料输入至训练好的事件抽取模型中，并基于条件概率预测事件类型。2.如权利要求1所述的中文领域事件抽取方法，其特征在于：所述对事件抽取数据集的输入语料采用militaryBERT模型进行数据预处理，得到最终的原始特征表示，包括：利用militaryBERT模型对事件抽取数据集的输入语料进行实体识别，根据识别结果在输入语料对应实体的前后位置添加标志符号，且添加的标志符号和识别出的实体类型一一对应，利用militaryBERT模型对当前字符序列进行编码，得到字符级的字符编码向量；利用依存句法分析工具DDParser构造句法单位之间的依存句法分析树，将当前从属词的每一个字指向支配词的字符串序列id，对得到的依存标签信息进行编码，得到字符级的依存标签编码向量；利用词性分析工具Jieba对输入语料进行词性分析，将当前词的词性标签赋给构成当前词的每一个字符，对得到的词性标签信息进行编码，得到字符级的词性标签编码向量；将字符级的字符编码向量、字符级的依存标签编码向量和字符级的词性标签编码向量按照字符序列进行拼接得到最终的原始特征表示。3.如权利要求1所述的中文领域事件抽取方法，其特征在于：所述构建包括两个不同的特征提取网络的事件抽取模型，将原始特征表示和输入语料依次输入至第一特征提取网络和第二特征提取网络，包括：第一特征提取网络的设计如下：第一层为双向的LSTM层，将原始特征表示输入，捕获目标词上下文的时序信息；第二层为第一全连接层，用来整合提取到的文本深度特征，并将深度特征转换为规则矩阵；第三层为多层图神经网络，通过更新依存句法分析树中各字符之间的权重矩阵更新图神经网络的边，通过以下公式调整当前层使用的图神经网络的个数：l其中，A表示邻接矩阵；Aij表示节点i到节点j之前有一条单向边，W表示第l层图神经网络的权重矩阵，bl表示第l层图神经网络的偏置矩阵，表示第(l‑1)层图神经网络关于j节点的隐层状态，表示第l层图神经网络关于j节点的隐层状态，σ表示ReLU激活函数，pooling表示池化操作；第四层为第二全连接层，用于将多层图神经网络的输出维度压缩为类型个数加一的大2CN116011442A权利要求书2/3页小；第二特征提取网络的设计如下：第一层为militaryBERT模型，将事件抽取数据集的输入语料输入，利用多头自注意力机制捕捉字级别的语义特征，并转换成高维动态字向量；第二层为CRF层，学习标签间的关系，提高预测精度；将第一特征提