一种基于层次化注意力机制的多轮对话模型构建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107766506A(43)申请公布日2018.03.06(21)申请号201710986813.6(22)申请日2017.10.20(71)申请人哈尔滨工业大学地址150001黑龙江省哈尔滨市南岗区西大直街92号(72)发明人张伟男汪意发朱庆福刘挺(74)专利代理机构哈尔滨市松花江专利商标事务所23109代理人杨立超(51)Int.Cl.G06F17/30(2006.01)权利要求书1页说明书8页附图2页(54)发明名称一种基于层次化注意力机制的多轮对话模型构建方法(57)摘要本发明涉及一种基于层次化注意力机制的多轮对话模型构建方法，是为了解决现有的人机对话系统依赖于大规模语料，训练速度受到语料规模的影响，并且由于对话生成的回复不唯一性，Seq2Seq模型总是倾向于生成通用，无意义的回复的缺点，而提出一种基于层次化注意力机制的多轮对话模型构建方法，包括：接收句子输入，针对每一个句子，从第一个单词开始计算加密隐函数，计算第每个句子的Attention权重，并计算话题语境表示向量，最后计算解密隐函数，同时将结果进行输出。本发明适用于开放域的聊天机器人系统。CN107766506ACN107766506A权利要求书1/1页1.一种基于层次化注意力机制的多轮对话模型构建方法，包括：步骤一、接收n+1个句子输入co，c1，...cn；步骤二、针对每一个句子ci，从第一个单词开始计算加密隐函数hi，t＝f(xi，t，hi，t-1)，其中其中xi，t代表ci第t个单词；其中hi，0为预设参数；并将最后一个计算完毕的hi，t作为句子ci的加密隐函数hi；T步骤三、计算第i个句子的Attention权重其中ei＝vtanh(Whi+Uhn)；v、W、U均为Attention机制中的预设参数；tanh为激活函数；步骤四、计算话题语境表示向量T＝∑αihi；步骤五、计算解密隐函数st＝f(yt-1，st-1，T)，yt-1表示t-1时刻的迭代输入量，y0为预设值；s0＝hn；步骤六、将s1，s2，…sn的值作为结果进行输出。2.根据权利要求1所述的基于层次化注意力机制的多轮对话模型构建方法，其特征在于，当步骤一中接收的句子输入为训练数据时，步骤五中yt-1为预设的标准答案单词，当步骤一中接收的句子输入为实测数据时，步骤五中yt-1的值等同于st-1。3.一种基于层次化注意力机制的多轮对话模型构建方法，包括：步骤一、接收n+1个句子输入co，c1，...cn；步骤二、针对每一个句子ci，从第一个单词开始计算加密隐函数hi，t＝f(xi，t，hi，t-1)，其中其中xi，t代表ci第t个单词；其中hi，0为预设参数；并将最后一个计算完毕的hi，t作为句子ci的加密隐函数hi；步骤三、计算第i个句子中第t个单词的Attention权重其中eit＝Tvtanh(Whi+Ust-1)；v、W、U均为Attention机制中的预设参数；st-1为t-1时刻的隐层状态；tanh为激活函数；步骤四、计算动态表示向量Dt＝αithi；步骤五、计算解密隐函数st＝f(yt-1，st-1，Dt)，yt-1表示t-1时刻的迭代输入量，y0为预设值；s0＝hn；步骤六、将s1，s2，…sn的值作为结果进行输出。4.根据权利要求3所述的基于层次化注意力机制的多轮对话模型构建方法，其特征在于，当步骤一中接收的句子输入为训练数据时，步骤五中yt-1为预设的标准答案单词，当步骤一中接收的句子输入为实测数据时，步骤五中yt-1的值等同于st-1。2CN107766506A说明书1/8页一种基于层次化注意力机制的多轮对话模型构建方法技术领域[0001]本发明涉及人机对话系统，具体涉及一种基于层次化注意力机制的多轮对话模型构建方法。背景技术[0002]1、国外技术现状[0003](1)基于人工模板的对话系统[0004]基于人工模板的技术通过人工设定对话场景，并对每个场景写一些针对性的对话模板，模板描述了用户可能的问题以及对应的答案模板。[0005]Weizenbaum等人(1966)开发出最早的聊天机器人ELIZA，ELIZA根据对话中可能出现的语言情况，去预先设计对应的语言模板，文本生成器会根据用户的输入将输入中的重要信息嵌入到模板中，最终得到回复。[0006]他们都将聊天限制到特定场景或者特定的话题，并且使用一组模板规则来生成响应。[0007](2)基于检索的对话系统[0008]基于检索技术的聊天机器人则使用是类似搜索引擎的方法，事先存储好对话库并建立索引，根据用户问句，在对话库中进行模糊匹配找到最合适的应答内容。[0009]Shaikh等人(2010)构建了一个虚拟聊天机器人(VCA)，可以在聊天室中与