任务型对话系统的对话状态跟踪、训练方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111611347A(43)申请公布日2020.09.01(21)申请号202010443243.8(22)申请日2020.05.22(71)申请人上海乐言信息科技有限公司地址200050上海市长宁区长宁路1033号联通大厦16楼/18楼/19楼申请人南京大学(72)发明人沈李斌戴新宇陈陌信欧阳亚文赵迎功吴海华(74)专利代理机构上海专利商标事务所有限公司31100代理人施浩(51)Int.Cl.G06F16/33(2019.01)G06F16/332(2019.01)G06F40/284(2020.01)权利要求书3页说明书8页附图4页(54)发明名称任务型对话系统的对话状态跟踪、训练方法及系统(57)摘要本发明公开了一种任务型对话系统的对话状态跟踪、训练方法及系统，提高了多领域复杂场景中的对话状态跟踪准确率。其技术方案为：对话历史进行预处理，获得以词为单位的对话历史文本的向量化表示；对向量化的对话历史文本，使用双向长短期记忆网络作为编码器进行编码；初始化解码器，解码出目标槽位信息；关注对话历史中的目标槽位信息，通过注意力机制计算对话历史中每个词对于目标槽位的重要程度；判断输入的对话历史中是否提及目标槽位，若提及目标槽位则进行下一步的处理，否则方法结束；从对话历史的向量化表示、对话历史的原始输入以及历史对话状态中分别寻找目标槽位取值，最后据此得到目标槽位的最终取值。CN111611347ACN111611347A权利要求书1/3页1.一种任务型对话系统的对话状态跟踪方法，其特征在于，方法包括：步骤1：对话历史进行预处理，获得以词为单位的对话历史文本的向量化表示；步骤2：对向量化的对话历史文本进行编码；步骤3：初始化解码器，解码出目标槽位信息；步骤4：关注对话历史中的目标槽位信息，通过注意力机制计算对话历史中每个词对于目标槽位的重要程度；步骤5：判断输入的对话历史中是否提及目标槽位，若提及目标槽位则进行下一步的处理，否则方法结束；步骤6：从对话历史的向量化表示、对话历史的原始输入以及历史对话状态中分别寻找目标槽位取值，分别记为Pgen、Pwc、Pvc；步骤7：根据步骤6通过三种途径寻找到的目标槽位取值Pgen、Pwc、Pvc，得到目标槽位的最终取值。2.根据权利要求1所述的任务型对话系统的对话状态跟踪方法，其特征在于，步骤1进一步包括：首先对对话历史文本进行分词处理，然后使用预训练的词嵌入以便将分词处理后的每个词映射为对应的词向量，得到一连串以词为单位的对话历史文本的向量化表示。3.根据权利要求1所述的任务型对话系统的对话状态跟踪方法，其特征在于，步骤2中是使用双向长短期记忆网络作为编码器或者使用Transformer模型来编码文本输入。4.根据权利要求1所述的任务型对话系统的对话状态跟踪方法，其特征在于，步骤3中的解码器采用双向长短期记忆网络的结构，使用编码器的最后时刻的隐层状态对解码器进行初始化；步骤3中的解码出目标槽位信息进一步包括解码器接收目标槽位名称作为初始输入，与解码器内部状态进行交互，解码出目标槽位的信息。5.根据权利要求1所述的任务型对话系统的对话状态跟踪方法，其特征在于，步骤5中对是否提及目标槽位的判断进一步包括：将对话历史的向量化表示输入到多层感知机后判断是否提及目标槽位。6.根据权利要求1所述的任务型对话系统的对话状态跟踪方法，其特征在于，步骤6进一步包括以下并行处理的三个步骤：将对话历史的向量化表示输入到多层感知机中，映射生成预定义输出词表的概率分布Pgen；从对话历史的原始输入中拷贝目标槽位取值，采用步骤3中注意力机制计算得到的权重作为拷贝目标槽位取值的输出概率分布Pwc；使用注意力机制建模目标槽位与历史对话状态中槽位的关联，获取关联槽位取值的输出概率分布Pvc，其中历史对话状态为上一时刻的对话状态预测结果。7.根据权利要求1所述的任务型对话系统的对话状态跟踪方法，其特征在于，步骤7进一步包括：首先使用多层感知机作为门控，分别计算出映射生成的概率并记为g1、和关联概率并记为g2；采用分层融合的方法，先使用生成概率g1融合生成信息和拷贝信息，再使用关联概率g2融合关联槽位的信息，融合后的目标槽位取值概率分布为g2*Pvc+(1-g2)*[g1*Pgen+(1-g1)*Pwc]；2CN111611347A权利要求书2/3页最后通过argmax操作得到最大输出概率对应的下标，从词表中取出下标对应的词作为输出。8.一种任务型对话系统的对话状态跟踪系统，其特征在于，系统包括：对话历史预处理模块，对话历史进行预处理，获得以词为单位的对话历史文本的向量化表示；编码模块，对向量化的对话历史文本进行编码；解码模块，初始化解码器，解码出目标槽位