生成文本摘要的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113407707A(43)申请公布日2021.09.17(21)申请号202010182475.2(22)申请日2020.03.16(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人李浩然徐松袁鹏(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人李阳郭晗(51)Int.Cl.G06F16/34(2019.01)G06F40/284(2020.01)权利要求书2页说明书8页附图3页(54)发明名称生成文本摘要的方法和装置(57)摘要本发明公开了一种生成文本摘要的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对待生成摘要的文本数据进行编码以得到隐层序列；根据预设要素词典和基于要素的覆盖度机制对隐层序列进行解码以生成文本摘要。该实施方式避免了对同一要素施加重复的注意力，进而减少摘要中对同一个要素的重复描述，降低了生成的摘要的冗余度，使得生成的文本摘要更为精简，准确，可以涵盖更多的信息。CN113407707ACN113407707A权利要求书1/2页1.一种生成文本摘要的方法，其特征在于，包括：对待生成摘要的文本数据进行编码以得到隐层序列；根据预设要素词典和基于要素的覆盖度机制对所述隐层序列进行解码以生成文本摘要。2.根据权利要求1所述的方法，其特征在于，所述要素词典通过以下方式构建：根据文本数据的内容特点对文本数据进行分类；通过对每一类文本数据进行标注和学习以构建文本数据对应的要素词典。3.根据权利要求1所述的方法，其特征在于，所述要素词典通过以下方式构建：根据物品的类别对文本数据进行分类；通过对每一类文本数据进行标注和学习以构建文本数据对应的要素词典。4.根据权利要求1所述的方法，其特征在于，根据预设要素词典和基于要素的覆盖度机制对所述隐层序列进行解码以生成文本摘要包括：根据预设要素词典对所述隐层序列进行解码以得到要素集合；根据所述要素集合和基于要素的覆盖度机制，记录对所述要素集合中每个要素的注意力历史，并在损失函数中对重复的要素的注意力进行惩罚以生成文本摘要。5.根据权利要求4所述的方法，其特征在于，根据预设要素词典对所述隐层序列进行解码以得到要素集合包括：以预设要素词典中的要素为基本单位，对所述隐层序列进行解码，以逐个要素地生成要素集合。6.根据权利要求1或4所述的方法，其特征在于，所述基于要素的覆盖度机制包括如下公式：αt,i＝softmax(et,i)；ct＝∑iαt,ihi；其中，et,i是中间变量，hi是文本数据中第i个词的隐层状态，st是解码器第t时刻的隐层状态，ua、Ua、Wa和Va为模型参数矩阵；xk∈aj表示属于要素aj的词xk，表示t时刻对要素aj的注意力；αt,i表示t时刻对文本数据中第i个词的注意力；表示t时刻之前对要素aj的注意力累积。7.根据权利要求4所述的方法，其特征在于，对重复的要素的注意力进行惩罚的方式如下：β其中，L是对解码器重复的注意力的损失函数；αt,i表示t时刻对文本数据中第i个词的2CN113407707A权利要求书2/2页注意力；表示t时刻之前对要素aj的注意力累积。8.一种生成文本摘要的装置，其特征在于，包括：编码模块，用于对待生成摘要的文本数据进行编码以得到隐层序列；解码模块，用于根据预设要素词典和要素的覆盖度机制对所述隐层序列进行解码以生成文本摘要。9.一种生成文本摘要的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。3CN113407707A说明书1/8页生成文本摘要的方法和装置技术领域[0001]本发明涉及计算机技术领域，尤其涉及一种生成文本摘要的方法和装置。背景技术[0002]文本摘要自动生成是基于自然语言生成技术，根据详细的文本描述，自动生成短摘要的技术。通常，文本摘要自动生成模型包括一个编码器和一个解码器。输入一段文本的详细描述，编码器将其编码，生成一个隐层序列；解码器利用该隐层序列，通过注意力机制，逐词生成目标摘要。[0003]为了满足摘要的精简度，需要对摘要的冗余度进行控制，减少重复内容的生成，从而以较短的文本摘要描述更多的信息。通常的做法是利用覆盖度机制，减少解码器对源端词汇施加重复的注意力，进而减少重复词的生成。[0004]在实现本发明过程中，发明人发现现有技术中至少存在如下问题