语料生成方法、装置、计算机可读存储介质及终端设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114637820A(43)申请公布日2022.06.17(21)申请号202210175126.7(22)申请日2022.02.24(71)申请人深圳市优必选科技股份有限公司地址518000广东省深圳市南山区学苑大道1001号南山智园C1栋16、22楼(72)发明人熊为星(74)专利代理机构深圳中一联合知识产权代理有限公司44414专利代理师刘永康(51)Int.Cl.G06F16/33(2019.01)G06F16/332(2019.01)G06F16/35(2019.01)G06K9/62(2022.01)G06F40/211(2020.01)权利要求书2页说明书13页附图6页(54)发明名称语料生成方法、装置、计算机可读存储介质及终端设备(57)摘要本申请属于人工智能技术领域，尤其涉及一种语料生成方法、装置、计算机可读存储介质及终端设备。所述方法包括：通过预设的会话机器人生成第一会话语料数据集，所述第一会话语料数据集中包括各条会话语料；对所述第一会话语料数据集中的各条会话语料进行清洗，得到第二会话语料数据集，所述第二会话语料数据集中包括清洗后的各条会话语料。在本申请中，可以通过会话机器人来进行会话语料的生成，而会话机器人自动生成的会话语料是无限的，可以得到数量充足的会话语料，而且通过对会话语料的清洗，可以过滤掉大量低质量的会话语料，只保留其中较高质量的会话语料，从而得到数量充足的高质量会话语料。CN114637820ACN114637820A权利要求书1/2页1.一种语料生成方法，其特征在于，包括：通过预设的会话机器人生成第一会话语料数据集，所述第一会话语料数据集中包括各条会话语料；对所述第一会话语料数据集中的各条会话语料进行清洗，得到第二会话语料数据集，所述第二会话语料数据集中包括清洗后的各条会话语料。2.根据权利要求1所述的语料生成方法，其特征在于，所述会话机器人包括第一会话机器人和第二会话机器人；所述通过预设的会话机器人生成第一会话语料数据集，包括：将所述第一会话机器人作为会话发起机器人，将所述第二会话机器人作为会话回应机器人，控制所述会话发起机器人和所述会话回应机器人之间进行轮流会话，生成第一类会话语料；将所述第二会话机器人作为所述会话发起机器人，将所述第一会话机器人作为所述会话回应机器人，控制所述会话发起机器人和所述会话回应机器人之间进行轮流会话，生成第二类会话语料；将所述第一类会话语料和所述第二类会话语料组成所述第一会话语料数据集。3.根据权利要求2所述的语料生成方法，其特征在于，所述控制所述会话发起机器人和所述会话回应机器人之间进行轮流会话，包括：从预设的起始会话语句库中选取一条语句作为第一会话输入；将所述第一会话输入发送至所述会话回应机器人中，并获取所述会话回应机器人生成的第一回应语句；将所述第一会话输入和所述第一回应语句组合为第二会话输入；将所述第二会话输入发送至所述会话发起机器人中，并获取所述会话发起机器人生成的第二回应语句；将所述第二会话输入和所述第二回应语句组合为新的所述第一会话输入，并进行下一轮会话，直至生成预设数目的会话语句为止。4.根据权利要求1所述的语料生成方法，其特征在于，所述对所述第一会话语料数据集中的各条会话语料进行清洗，得到第二会话语料数据集，包括：从所述第一会话语料数据集中清洗掉满足预设清洗规则的会话语料，得到第一清洗会话语料数据集；从所述第一清洗会话语料数据集中清洗掉不符合下句预测的会话语料，得到第二清洗会话语料数据集；从所述第二清洗会话语料数据集中清洗掉语义相似的会话语料，得到第三清洗会话语料数据集；使用预设的分类模型判断所述第三清洗会话语料数据集中的各条会话语料是否为合规会话语料，并将各条合规会话语料组成所述第二会话语料数据集。5.根据权利要求4所述的语料生成方法，其特征在于，在从所述第一清洗会话语料数据集中清洗掉不符合下句预测的会话语料之前，还包括：将第一候选会话语料拆分为各个语料对，所述第一候选会话语料为所述第一清洗会话语料数据集中的任意一条会话语料；2CN114637820A权利要求书2/2页分别判断所述第一候选会话语料中的各个语料对是否为上下文语料对；统计所述上下文语料对在所述第一候选会话语料中的占比；若所述占比小于预设的比例阈值，则将所述第一候选会话语料确定为不符合下句预测的会话语料。6.根据权利要求4所述的语料生成方法，其特征在于，在从所述第二清洗会话语料数据集中清洗掉语义相似的会话语料之前，还包括：将第二候选会话语料拆分为各个语料对，所述第二候选会话语料为所述第二清洗会话语料数据集中的任意一条会话语料；使用预设的语义相似判断模型分别判断所述第二候选会话语料中的各个语料对是否为语义相似语料对；若所