一种知识对话生成方法、装置、存储介质及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115878769A(43)申请公布日2023.03.31(21)申请号202211581115.5G06N3/0455(2023.01)(22)申请日2022.12.09G06N3/08(2023.01)G06N3/047(2023.01)(71)申请人河北省讯飞人工智能研究院地址065001河北省廊坊市经济技术开发区1号路106号新亚研发大厦608-609申请人科大讯飞（北京）有限公司科大讯飞股份有限公司(72)发明人王宇航王栋刘权刘聪(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师何方(51)Int.Cl.G06F16/332(2019.01)G06F40/35(2020.01)G06N3/0499(2023.01)权利要求书3页说明书17页附图2页(54)发明名称一种知识对话生成方法、装置、存储介质及设备(57)摘要本申请公开了一种知识对话生成方法、装置、存储介质及设备，该方法包括：首先获取目标对话的L轮历史对话句子；并根据其主题，获取M个与主题相关的知识句子；然后将L轮历史对话句子和M个知识句子输入至预先构建的对话生成模型，预测得到目标对话对应的回复语句；其中，对话生成模型是利用多轮历史对话语料和知识语料，根据历史对话和知识之间的相互作用，对知识进行动态选择后训练得到的。由于本申请在利用对话生成模型生成目标对话回复时，充分考虑了对话历史和知识之间的复杂交互关系，并对知识进行了动态选择，从而能够生成具备丰富知识信息的高质量回复，提高了用户体验。CN115878769ACN115878769A权利要求书1/3页1.一种知识对话生成方法，其特征在于，包括：获取当前目标对话的L轮历史对话句子；并根据所述目标对话的主题，获取M个与所述主题相关的知识句子；所述L和M均为大于0的正整数；将所述L轮历史对话句子和所述M个知识句子输入至预先构建的对话生成模型，预测得到所述目标对话对应的回复语句；所述对话生成模型是利用多轮历史对话语料和知识语料，根据历史对话和知识之间的相互作用，对知识进行动态选择后训练得到的。2.根据权利要求1所述的方法，其特征在于，所述对话生成模型的构建方式如下：获取训练对话的L轮训练历史对话句子，并根据所述训练对话的训练主题，获取M个与所述训练主题相关的训练知识句子；将所述L轮训练历史对话句子和所述M个训练知识句子输入至初始对话生成模型，训练得到所述对话生成模型；其中，所述初始对话生成模型包括输入层、编码层、对话历史编码层、知识交互编码层。3.根据权利要求2所述的方法，其特征在于，所述将所述L轮训练历史对话句子和所述M个训练知识句子输入至初始对话生成模型，训练得到所述对话生成模型，包括：将所述L轮训练历史对话句子的字向量或词向量，以及所述M个训练知识句子的向量表征输入所述输入层，得到所述L轮训练历史对话句子的样本输入向量和所述M个训练知识句子的样本输入向量；将所述L轮训练历史对话句子的样本输入向量和所述M个训练知识句子的样本输入向量输入所述编码层，得到所述L轮训练历史对话句子的编码向量和所述M个训练知识句子的编码向量；将所述L轮训练历史对话句子的编码向量输入所述对话历史编码层，进行特征增强，得到增强后的所述L轮训练历史对话句子的特征向量；将所述增强后的所述L轮训练历史对话句子的特征向量和所述M个训练知识句子的编码向量输入所述知识交互编码层，进行交互编码，得到所述训练对话对应的训练回复语句；利用得到的所述训练对话对应的训练回复语句、所述训练对话对应的真实回复结果以及预设损失函数对所述初始对话生成模型进行训练，得到所述对话生成模型。4.根据权利要求3所述的方法，其特征在于，所述将所述L轮训练历史对话句子的编码向量输入所述对话历史编码层，进行特征增强，得到增强后的所述L轮训练历史对话句子的特征向量，包括：将所述L轮训练历史对话句子的编码向量输入所述对话历史编码层，采用大小为L‑t的动态窗口在所述L轮训练历史对话句子中，按照由近至远的顺序采样得到t个历史对话片段；所述t为大于0且不小于L‑1的正整数；构建所述t个历史对话片段各自对应的语义依存树，并根据所述语义依存树，计算所述t个历史对话片段对应的历史对话矩阵；计算所述t个历史对话片段对应的历史对话矩阵与第L轮训练历史对话句子的编码向量之间的互注意力，并根据得到的互注意力，对所述t个历史对话片段的隐层状态进行加权求和，得到融合后的所述L轮训练历史对话句子的特征向量。5.根据权利要求3所述的方法，其特征在于，所述知识交互编码层包括多头注意力层、知识交互融合注意力层和前馈神经网络层；所述将所述增强后的所述L轮训练历史对话句2CN115878769A权利要求书2/3页子的特征向量和所述M个训练知识