在面向目标的对话系统中用于跟踪对话状态的方法和设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114127711A(43)申请公布日2022.03.01(21)申请号202080051265.8(74)专利代理机构北京三友知识产权代理有限(22)申请日2020.07.07公司11127代理人叶朝君孙东喜(30)优先权数据10-2019-00863802019.07.17KR(51)Int.Cl.G06F16/332(2019.01)(85)PCT国际申请进入国家阶段日G06F16/33(2019.01)2022.01.14G06F16/338(2019.01)(86)PCT国际申请的申请数据G06F40/30(2020.01)PCT/KR2020/0088322020.07.07G06N3/04(2006.01)(87)PCT国际申请的公布数据G06N3/08(2006.01)WO2021/010636KO2021.01.21(71)申请人SK电信有限公司地址韩国首尔(72)发明人李譁躝金兑润李振湜权利要求书3页说明书10页附图6页(54)发明名称在面向目标的对话系统中用于跟踪对话状态的方法和设备(57)摘要本实施方式提供了用于跟踪对话状态的方法和设备，其使得能够容易地在面向目标的对话系统中通过以下操作将服务扩展至对话系统中的多域场景：通过在跟踪对话状态时基于使用距离度量的非参数方法以及话语与对应于域和空档类型的上下文语义向量之间的注意力机制进行训练来跟踪对话状态。CN114127711ACN114127711A权利要求书1/3页1.一种训练对话系统的方法，所述方法包括以下步骤：获得用于学习的话语、域‑空档类型和与所述话语相关的目标空档值；经由通过对所述用于学习的话语进行编码生成第一上下文语义矩阵、通过对所述域‑空档类型进行编码生成第二上下文语义向量以及通过对所述目标空档值进行编码生成第三上下文语义向量来执行语义生成；通过基于构成所述第一上下文语义矩阵的向量与所述第二上下文语义向量的相关性处理所述向量来计算上下文向量；将所述上下文向量输入到学习模型中；以及向所述学习模型提供旨在减少所述学习模型的输出与所述第三上下文语义向量之间的距离的更新。2.根据权利要求1所述的方法，其中，执行所述语义生成的步骤包括以下步骤：利用句子编码器模型来推导所述第一上下文语义矩阵、所述第二上下文语义向量和所述第三上下文语义向量，其中，所述句子编码器模型具有经预训练的参数。3.根据权利要求2所述的方法，所述方法还包括以下步骤：通过使用与应用于向所述学习模型提供所述更新的损失函数相同的损失函数来微调所述句子编码器模型的所述参数。4.根据权利要求2所述的方法，其中，执行所述语义生成的步骤包括以下步骤：通过利用所述句子编码器模型对构成所述用于学习的话语的词嵌入进行逐一编码，以计算分别与所述词嵌入相对应的向量，然后将所计算的向量以列向量的形式组合，以推导所述第一上下文语义矩阵。5.根据权利要求1所述的方法，其中，计算所述上下文向量的步骤包括以下步骤：利用多头注意力并通过获得和使用所述第二上下文语义向量与构成所述第一上下文语义矩阵的列向量之间的缩放点积来计算权重，并将所述权重应用于构成所述第一上下文语义矩阵的所述列向量，以计算所述列向量的加权和。6.根据权利要求5所述的方法，所述方法还包括以下步骤：通过使用与应用于向所述学习模型提供所述更新的损失函数相同的损失函数来更新用于所述多头注意力的参数。7.根据权利要求1所述的方法，其中，所述学习模型包括：循环神经网络RNN类型的模型，所述RNN类型的模型基于过去的对话历史和当前对话来确定当前信念状态。8.根据权利要求1所述的方法，其中，向所述学习模型提供所述更新的步骤包括以下步骤：通过使用损失函数来更新所述学习模型的参数，所述损失函数通过组合基于所述域‑空档类型的所有概率分布而获得以独立于所述域‑空档类型执行提供所述更新的步骤。9.一种在对话系统中跟踪对话状态的方法，所述方法包括以下步骤：获得所述对话系统与用户之间的目标话语；通过对包括在所述目标话语中的各个词进行编码来生成第一上下文语义矩阵；通过基于构成所述第一上下文语义矩阵的向量与预存储的并分别与多个域‑空档类型相对应的多个第二上下文语义向量的相关性处理所述向量来针对每个第二上下文语义向2CN114127711A权利要求书2/3页量计算上下文向量；将每个上下文向量输入到经预训练的学习模型中；以及从预存储的并分别与多个候选空档值相对应的多个第三上下文语义向量中针对每个上下文向量推导与距所述学习模型的输出的距离最小的单独的第三上下文语义向量相对应的空档值。10.根据权利要求9所述的方法，其中，生成所述第一上下文语义矩阵的步骤包括以下步骤：利用具有经过微调训练的参数的句子编码器来生成所述