多轮对话模型的生成方法、测试方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111488436A(43)申请公布日2020.08.04(21)申请号201910088049.X(22)申请日2019.01.29(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人李庆功(74)专利代理机构北京市惠诚律师事务所11353代理人杨娟杨雪婷(51)Int.Cl.G06F16/332(2019.01)G06F11/36(2006.01)权利要求书3页说明书13页附图6页(54)发明名称多轮对话模型的生成方法、测试方法、装置及电子设备(57)摘要本发明实施例提供了一种多轮对话模型的生成方法、测试方法、装置及电子设备，其中方法包括：获取与多轮对话模型对应的测试语料集，测试语料集包含多个测试语料子集，各个测试语料子集分别与多轮对话模型中的各个测试对话路径对应，测试子集包括与各个对话节点对应的作为用户答复的测试语料，使用多个测试语料子集，分别对多轮对话模型进行测试，如果多轮对话模型的对话流与对应的测试对话路径出现偏差，则执行报错处理。本发明实施例使用预先构建测试语料集来对各个测试对话路径进行分别测试，并在对话流出现偏差时报错，能够精确定位到出现偏差的对话节点，并且每个测试对话路径单独对应一套测试语料子集，从而能够对多轮对话模型进行全面测试。CN111488436ACN111488436A权利要求书1/3页1.一种多轮对话模型的生成方法，包括：确定待优化的多轮对话模型，该多轮对话模型包括多个对话节点，每个对话节点包括预设的机器人提问以及根据用户答复而执行的处理动作；根据用户配置数据生成用于对多轮对话模型进行优化测试的测试语料集；使用该测试语料集对所述多轮对话模型的各个对话路径进行测试，以对所述多轮对话模型进行优化。2.根据权利要求1所述的方法，其中，所述确定待优化的多轮对话模型包括：响应于用户在模型设计平台上的画布界面的操作，生成所述多轮对话模型的对话节点以及对话节点之间的连接关系。3.根据权利要求1所述的方法，其中，所述使用该测试语料集对所述多轮对话模型的各个对话路径进行测试包括：获取多轮对话模型中的测试对话路径；根据测试对话路径上的各个对话节点中的机器人提问，从测试语料集中获取用户答复并进行回复；判断形成的对话流与所述测试对话路径是否存在偏差，如果存在偏差，则执行报错处理。4.一种多轮对话模型的测试方法，包括：为用户提供语料生成的配置界面；响应于用户在配置界面的配置信息，生成测试语料集；使用该测试语料集，对多轮对话模型进行测试。5.一种多轮对话模型的测试方法，包括：获取多轮对话模型中的测试对话路径；根据测试对话路径上的各个对话节点中的机器人提问，从测试语料集中获取用户答复并进行回复；判断形成的对话流与所述测试对话路径是否存在偏差，如果存在偏差，则执行报错处理。6.一种多轮对话模型的测试方法，包括：获取与多轮对话模型对应的测试语料集，所述测试语料集包含多个测试语料子集，各个测试语料子集分别与所述多轮对话模型中的各个测试对话路径对应，每个测试对话路径包括多个对话节点，每个对话节点包括预设的机器人提问以及根据用户答复而执行的处理动作，所述测试子集包括与各个对话节点对应的作为用户答复的测试语料；使用所述多个测试语料子集，分别对所述多轮对话模型进行测试，如果所述多轮对话模型的对话流与对应的测试对话路径出现偏差，则执行报错处理。7.根据权利要求6所述的方法，其中，获取与多轮对话模型对应的测试语料集包括：根据多轮对话模型的各个对话节点的处理动作，提取出多个测试对话路径；根据各个测试对话路径中每个对话节点的机器人提问和处理动作，分别生成作为用户答复的测试语料，所述测试语料的语义与对应的测试对话路径相匹配；将每个测试对话路径中各个对话节点的测试语料，按照对应的测试对话路径的对话节点顺序，形成测试语料序列并作为所述测试语料子集；2CN111488436A权利要求书2/3页将各个测试对话路径对应的测试语料子集组合后，形成所述测试语料集。8.根据权利要求7所述的方法，其中，所述测试语料包括：根据所述机器人提问生成的标准答复语料，和/或，从用户聊天记录中提取的能够作为用户答复的测试语料，和/或，通过大数据挖掘从网络语料库中获取的作为用户答复的测试语料。9.根据权利要求6所述的方法，其中，所述执行报错处理包括：在与所述多轮对话模型对应的画布界面上，标记出对话流与测试对话路径出现偏差的对话节点和/或测试对话路径。10.根据权利要求9所述的方法，其中，还包括：响应于对多轮对话模型的修改操作，使用所述测试语料集重新对修改后的多轮对话模型进行测试。11.根据权利要求6所述的方法，其中，如果所述多轮对话模型的对话流按照测试对话路