基于Transformer指针抽取的人机多轮对话改写方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116028606A(43)申请公布日2023.04.28(21)申请号202310007932.8(22)申请日2023.01.04(71)申请人西安电子科技大学地址710071陕西省西安市太白南路2号(72)发明人宋建锋孙章杰苗启广刘如意谢琨刘向增权义宁(74)专利代理机构陕西电子工业专利中心61205专利代理师田文英王品华(51)Int.Cl.G06F16/332(2019.01)G06F40/35(2020.01)G06N3/08(2023.01)G06N3/0455(2023.01)权利要求书2页说明书7页附图3页(54)发明名称基于Transformer指针抽取的人机多轮对话改写方法(57)摘要本发明公开了一种基于Transformer指针抽取的人机多轮对话改写方法，其实现步骤为：构造文本语义相关性识别网络和语义缺失文本改写网络；生成训练集；训练文本语义相关性识别网络和语义缺失文本改写网络；判断用户输入文本间语义是否相关；改写语义缺失文本。本发明利用Transformer的预训练模型进行特征提取并编码，利用通过指针地址抽取文本关键信息内容的技术思路对用户文本进行改写。使得本发明具有可以判断是否需要对用户当前输入文本进行改写、改写用户语义缺失文本质量高、耗时短的优点，可用于人机多轮对话领域中对语义缺失文本的改写任务。CN116028606ACN116028606A权利要求书1/2页1.一种基于Transformer指针抽取的人机多轮对话改写方法，其特征在于，基于Transformer的预训练模型进行特征提取并编码，分别构建并训练文本语义相关性识别网络和语义缺失文本改写网络；该对话改写方法的步骤包括如下：步骤1，构建文本语义相关性识别网络：搭建一个四层的文本语义相关性识别网络，其结构依次串联为：数据处理层，语义编码层，分类处理层，输出层；其中，语义编码层是由Bert预训练模型实现；将字嵌入向量维度设置为768，文本允许的最大长度设置为10；分类处理层由两个结构相同的第一分类单元和第二分类单元串联组成，每个分类单元由Dropout模块和全连接模块串联组成，将Dropout的比例设置为0.2，第一分类单元中的全连接模块输出维度设置为8，第二分类单元中的全连接模块输出维度设置为2；输出层由Softmax单元组成，输出值均设置为0或1；步骤2，构建语义缺失文本改写网络：搭建一个四层的语义缺失文本改写网络，其结构依次串联为：数据处理层，语义编码层，指针预测层，输出层；其中，语义编码层是由Transformer的rbt3预训练模型实现，将字嵌入向量维度设置为768，文本允许的最大长度设置为50；指针预测层是由指针抽取方法实现，通过抽取文本关键信息的指针地址，用指针地址提取的关键词替换待改写文本的指代词或插入缺省位置，得到改写后的完整语义文本，将训练样本批次大小设置为16，训练总轮次大小设置为20；输出层是由解码器实现，将网络对于样本数据的改写评估指标设置为Rouge‑1值；步骤3，生成训练集：步骤3.1，将两段文本及对应的语义相关性标签组成(label，q1，q2)格式的一组文本语义相关性识别数据，其中，q1和q2分别表示用于语义相关性识别的两个文本，label表示标签，值为0或1，分别对应两个文本语义不相关或相关；采用相同方式，选取至少80000组文本语义相关性识别数据组成文本语义相关性识别训练集；步骤3.2，将四段文本组成(a，b，current，right)格式的一组数据，其中，a表示用户上一轮输入文本，b表示系统上一轮的回复文本，current表示当前待改写的文本，right表示理论正确改写后的文本；采用相同方式，选取至少17000组数据组成语义缺失文本改写训练集；步骤4，训练文本语义相关性识别网络：将文本语义相关性识别训练集输入到文本语义相关识别网络中，输出训练样本的预测标签，利用交叉熵损失函数计算训练样本的预测标签与真实标签之间的损失值，通过梯度下降法，迭代更新文本语义相关识别网络中的所有参数，直至损失值不再变化为止，得到训练好的文本语义相关识别网络；步骤5，训练语义缺失文本改写网络：将语义缺失文本改写训练集输入到语义缺失文本改写网络中，输出改写后的完整语义文本，并计算网络改写后的文本和理论正确改写的文本间的Rouge‑1值，通过梯度下降法，迭代更新语义缺失文本改写网络中的所有参数，直至Rouge‑1值不再变化为止，记录最高的Rouge‑1值训练轮次的所有参数，得到训练好的语义缺失文本改写网络；步骤6，判断用户输入文本间语义是否相关：将用户上一轮输入文本与用户当前输入文本，输入到训练好的文本语义相关性识别网2CN116028606A权利要求书2/2页络中，