融合关键主题信息的文本摘要生成方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115906811A(43)申请公布日2023.04.04(21)申请号202211672729.4(22)申请日2022.12.26(71)申请人北京数字天堂信息科技有限责任公司地址100086北京市海淀区中关村南大街2号1号楼19层A座2210(72)发明人段志丽郭中华许鹏解观海(74)专利代理机构北京嘉科知识产权代理事务所(特殊普通合伙)11687专利代理师陈美君(51)Int.Cl.G06F40/216(2020.01)G06F40/284(2020.01)G06F18/25(2023.01)G06N20/00(2019.01)权利要求书2页说明书16页附图2页(54)发明名称融合关键主题信息的文本摘要生成方法及装置(57)摘要本申请提供一种融合关键主题信息的文本摘要生成方法及装置。该方法包括：获取待生成文本摘要的原始文本，利用预设的主题模型抽取原始文本中的关键主题信息；利用注意力机制将关键主题信息与原始文本进行融合，得到融合关键主题信息的上下文向量；将融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，得到用于构建预设词表的输入特征；基于输入特征对预设词表中每个词对应的输出概率进行计算，依据每个词对应的输出概率选择摘要词，依据摘要词生成文本摘要。本申请能够有效的保留文本的主题信息，提升文本摘要对原文主题的覆盖度和文本摘要的流畅性。CN115906811ACN115906811A权利要求书1/2页1.一种融合关键主题信息的文本摘要生成方法，其特征在于，包括：获取待生成文本摘要的原始文本，利用预设的主题模型抽取所述原始文本中的关键主题信息；利用注意力机制将所述关键主题信息与所述原始文本进行融合，得到融合关键主题信息的上下文向量；将所述融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，得到用于构建预设词表的输入特征；基于所述输入特征对预设词表中每个词对应的输出概率进行计算，依据所述每个词对应的输出概率选择摘要词，依据所述摘要词生成文本摘要。2.根据权利要求1所述的方法，其特征在于，在所述利用预设的主题模型抽取所述原始文本中的关键主题信息之前，所述方法还包括：将所述原始文本的词嵌入序列输入到双向长短期记忆网络中，得到所述原始文本中每个词对应的编码端隐藏层向量。3.根据权利要求1所述的方法，其特征在于，所述利用预设的主题模型抽取所述原始文本中的关键主题信息，包括：利用LDA主题模型获取所述原始文本的主题概率分布和词概率分布，并选择概率最大的主题对应的概率最大的词项作为所述关键主题信息；利用BERT预训练模型对所述关键主题信息进行编码，得到关键主题词向量。4.根据权利要求1所述的方法，其特征在于，所述利用注意力机制将所述关键主题信息与所述原始文本进行融合，得到融合关键主题信息的上下文向量，包括：计算关键主题词向量与所述原始文本中每个词语的点积注意力，利用归一化函数对所述每个词语的点积注意力进行处理，得到所述每个词语的注意力分布；将所述每个词语的注意力分布与所述关键主题词向量进行点积运算，将点积运算的结果与所述原始文本中的词语相加，得到所述融合关键主题信息的上下文向量。5.根据权利要求2所述的方法，其特征在于，在所述将所述融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算之前，所述方法还包括：计算所述编码端隐藏层向量与解码端隐藏层向量的注意力，利用归一化函数对所述注意力进行处理得到注意力分布；将所述注意力分布作为权重对所述编码端隐藏层向量进行加权求和，得到原始文本的上下文向量。6.根据权利要求1所述的方法，其特征在于，所述将所述融合关键主题信息的上下文向量与原始文本的上下文向量进行权重融合计算，得到用于构建预设词表的输入特征，包括：基于所述融合关键主题信息的上下文向量、解码端隐藏层向量、以及解码端的输入进行计算，得到用于表示选择所述融合关键主题信息的上下文向量的概率；依据所述概率为所述融合关键主题信息的上下文向量和所述原始文本的上下文向量分配权重，并进行权重的融合计算，得到用于构建预设词表的输入特征；其中，所述解码端的输入为目标摘要词序列的向量表示。7.根据权利要求1所述的方法，其特征在于，所述基于所述输入特征对预设词表中每个词对应的输出概率进行计算，依据所述每个词对应的输出概率选择摘要词，依据所述摘要2CN115906811A权利要求书2/2页词生成文本摘要，包括：依据所述输入特征以及解码端隐藏层向量对所述预设词表中每个词对应的输出概率进行计算，并对所述输出概率进行归一化处理；依据所述预设词表中每个词对应的输出概率，对所述预设词表中的词进行排序，将输出概率最高的词作为所述摘要词，将所述摘要词按顺序放入到所述文本摘要中