文本问答对生成及语言模型训练方法、装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114297356A(43)申请公布日2022.04.08(21)申请号202111528648.2G06N3/08(2006.01)(22)申请日2021.12.14(71)申请人云从科技集团股份有限公司地址511458广东省广州市南沙区南沙街金隆路37号501房(72)发明人吴蓉蓉(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人李兴迪(51)Int.Cl.G06F16/332(2019.01)G06F16/31(2019.01)G06F16/33(2019.01)G06F40/253(2020.01)G06N3/04(2006.01)权利要求书2页说明书5页附图2页(54)发明名称文本问答对生成及语言模型训练方法、装置及存储介质(57)摘要本申请提供一种文本问答对生成及语言模型训练方法、装置及计算机存储介质，包括：根据从目标文本中识别出的关键字信息，预测目标文本的初始答案；根据目标文本、目标文本的初始答案，预测目标文本的问题；根据目标文本、目标文本的问题，调整初始答案，获得目标文本的修正答案；根据问题、修正答案，生成目标文本的问答对。本申请可提高文本问答对的预测准确率，并可提高语言模型的训练效果。CN114297356ACN114297356A权利要求书1/2页1.一种文本问答对生成方法，其特征在于，包括：根据从目标文本中识别出的关键字信息，预测所述目标文本的初始答案；根据所述目标文本、所述目标文本的所述初始答案，预测所述目标文本的问题；根据所述目标文本、所述目标文本的所述问题，调整所述初始答案，获得所述目标文本的修正答案；根据所述问题、所述修正答案，生成所述目标文本的问答对。2.根据权利要求1所述的文本问答对生成方法，其特征在于，所述根据从目标文本中识别出的关键字信息，预测所述目标文本的初始答案包括：针对所述目标文本中的各字符执行序列标注处理，获得各所述字符对应的各字符标注结果；根据各所述字符对应的各所述字符标注结果，预测所述目标文本的所述关键字信息。3.根据权利要求2所述的文本问答对生成方法，其特征在于，所述方法还包括：采用中文RoBERTa‑wwm‑ext预训练模型与CRF模型，执行所述目标文本的所述序列标注处理。4.根据权利要求1所述的文本问答对生成方法，其特征在于，所述根据所述目标文本、所述目标文本的所述初始答案，预测所述目标文本的问题包括：利用问题预测模型的编码端，根据所述目标文本、所述目标文本的所述初始答案执行编码处理，以输出编码结果；利用所述问题预测模型的解码端，根据所述编码端输出的所述编码结果执行解码处理，以预测所述目标文本的所述问题；其中，所述编码端可包括中文RoBERTa‑wwm‑ext预训练子模型；且其中，所述解码端可基于cross注意力机制和masked注意力机制执行所述解码处理。5.根据权利要求1所述的文本问答对生成方法，其特征在于，所述根据所述目标文本、所述目标文本的所述问题，调整所述初始答案，获得所述目标文本的修正答案包括：针对所述目标文本的所述问题执行序列标注处理，以生成所述问题的问题描述；根据所述目标文本、所述目标文本的所述问题、所述问题的所述问题描述，调整所述初始答案，获得所述目标文本的修正答案。6.一种语言模型训练方法，包括：获取各训练文本；利用如权利要求1至5中任一项所述的文本问答对生成方法，生成各所述训练文本对应的各问答对；利用各所述训练文本、各所述训练文本对应的各所述问答对，训练语言模型。7.根据权利要求6所述的语言模型训练方法，其特征在于，所述方法还包括：识别所述训练样本中的各字符，并按序排列的各所述字符，以生成所述训练样本的字符序列；以及利用具有预设长度的滑动窗口，以基于预设步长，针对所述字符序列执行滑动处理，获取满足所述预设长度的各所述训练文本，直至所述字符序列中的每一个所述字符均被至少一个所述训练文本覆盖为止。8.根据权利要求7所述的语言模型训练方法，其特征在于，所述训练样本包括文本文2CN114297356A权利要求书2/2页件、图像文件中的一个。9.根据权利要求7所述的语言模型训练方法，其特征在于，所述滑动窗口的所述预设长度介于128至512个字符之间，所述滑动窗口的所述预设步长介于10至100个字符之间。10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行上述权利要求1至5中任一项所述的文本问答对生成方法中各步骤的各指令，或执行上述权利要求6至9中任一项所述的语言模型训练方法中各步骤的各指令。11.一种文本问答对生成装置，其特征在于，包括：答案生成模块，用于根据从目标文本中识别出的关键字信息，预测所述目标文本的初始答案；问题生成模块，用于根据所述目标