基于深度学习模型的信访要素抽取方法及抽取系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113806548A(43)申请公布日2021.12.17(21)申请号202111372528.8(22)申请日2021.11.19(71)申请人北京北大软件工程股份有限公司地址100080北京市海淀区北四环西路67号中关村国际创新大厦11层(72)发明人郜成胜王宇温立强江永涛靳新磊(74)专利代理机构北京华创智道知识产权代理事务所(普通合伙)11888代理人周倩(51)Int.Cl.G06F16/35(2019.01)G06F40/205(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书9页附图2页(54)发明名称基于深度学习模型的信访要素抽取方法及抽取系统(57)摘要本发明公开了一种基于深度学习模型的信访要素抽取方法、抽取系统、电子设备及计算机可读存储介质，包括：提取信访件的文本内容中目标文本数据；对目标文本数据进行预处理，生成针对多种深度学习模型的对应的数据；将预处理后的多种文本数据中的关于信访人的相关信息、受信人相关信息以及信访诉求的文本数据输入到要素抽取模型中进行要素抽取；将关于信访内容以及信访目的的文本数据输入到文本分类模型中进行分类，分别得到要素抽取的结果以及文本分类的结果；将得到的要素抽取的结果以及文本分类的结果推送到终端设备。该方法采用多种模型，能适应不同类型信访件，具有普遍性，并且无需人工进行繁琐要素抽取工作，提高信访人员工作效率。CN113806548ACN113806548A权利要求书1/3页1.基于深度学习模型的信访要素抽取方法，其特征在于，包括：提取信访件的文本内容中目标文本数据；对所述目标文本数据进行预处理，生成针对多种深度学习模型的对应的数据；将预处理后的多种所述文本数据中的关于信访人的相关信息、受信人相关信息以及信访诉求的文本数据输入到要素抽取模型中进行要素抽取；将关于信访内容以及信访目的的文本数据输入到文本分类模型中进行分类，分别得到要素抽取的结果以及文本分类的结果；将得到的所述要素抽取的结果以及所述文本分类的结果推送到终端设备。2.根据权利要求1所述的基于深度学习模型的信访要素抽取方法，其特征在于，多种所述深度学习模型包括实体关系抽取模型、分层文本分类模型、文本分类模型、规则匹配模型、摘要生成模型；针对实体关系抽取模型，生成包含原始文本、实体列表、关系列表在内的数据；针对文本分类模型，生成包含原始文本、类别标签在内的数据；针对规则匹配模型，根据专家经验构建受信人库与行政区划库，并在此之上创建规则列表；针对摘要生成模型，生成包含原始文本、摘要文本在内的数据。3.根据权利要求2所述的基于深度学习模型的信访要素抽取方法，其特征在于，所述实体关系抽取模型采用Tplinker实体关系抽取模型获取所述信访人的相关信息，包括：对输入数据进行预处理，生成一个用于所述Tplinker实体关系抽取模型训练的数据加载器；将所述输入数据输入所述Tplinker实体关系抽取模型中的BERT编码层中，得到一个握手过程的过程变量；将所述过程变量经过解码器解码后得到关系预测值；将所述输入数据一部分分成用以训练所述Tplinker实体关系抽取模型的训练集，一部分分成用以测试所述Tplinker实体关系抽取模型有效性的测试集；将所述Tplinker实体关系抽取模型置于训练集上训练，训练所使用的数据通过所述数据加载器产生；将所述Tplinker实体关系抽取模型置于测试集上测试，得到实体预测值与关系预测值；计算所述关系预测值与所述实体预测值的评价指标。4.根据权利要求2所述的基于深度学习模型的信访要素抽取方法，其特征在于，所述分层文本分类模型具体包括三层，每层所述文本分类模型均先经过BERT编码层进行编码再经过MLP多分类器对所述文本内容进行分类，包括：将所述信访内容输入第一层文本分类模型，得到第一级标签；在所述第一级标签的约束下，将文本输入特定的第二层文本分类模型，得到第二级标签；在前两级标签的约束下，将文本输入特定的第三层文本分类模型，得到第三级标签；组合三级标签，得到最终的内容分类结果。5.根据权利要求2所述的基于深度学习模型的信访要素抽取方法，其特征在于，所述文本分类模型采用BERT编码层和RCNN层结合的两阶段模型获取所述信访目的、是否涉诉以及2CN113806548A权利要求书2/3页是否扬言，包括：将文本输入BERT编码层，得到编码序列；将所述编码序列输入RCNN层上，得到内容分类结果；所述信访目的包括五类，所述是否涉诉和所述是否扬言包括两类。6.根据权利要求2所述的基于深度学习模型的信访要素抽取方法，其特征在于，所述规则匹配模型在应用jieba分词后，通过匹配所述受信人库、行政区