数据处理方法以及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113918712A(43)申请公布日2022.01.11(21)申请号202111028716.9(22)申请日2021.09.02(71)申请人阿里巴巴达摩院（杭州）科技有限公司地址310023浙江省杭州市余杭区五常街道文一西路969号3幢5层516室(72)发明人武玉川黎航宇李永彬孙健(74)专利代理机构北京智信禾专利代理有限公司11637代理人吴肖肖(51)Int.Cl.G06F16/35(2019.01)G06F16/332(2019.01)权利要求书3页说明书15页附图6页(54)发明名称数据处理方法以及装置(57)摘要本说明书实施例提供数据处理方法以及装置，其中所述数据处理方法包括：获取包含至少两个对话角色的历史对话数据，将所述历史对话数据划分为至少两个对话集，其中，每个对话集包含至少一个对话片段，确定每个对话集中包含目标对话轮次的第一对话片段，并对所述第一对话片段中目标对话角色的对话数据进行聚类，生成对应的第一聚类结果，根据所述第一聚类结果确定所述目标对话角色的对话意图信息，确定每个对话集中与所述第一对话片段关联的第二对话片段，并根据所述第二对话片段，确定与所述对话意图信息对应的目标对话数据。CN113918712ACN113918712A权利要求书1/3页1.一种数据处理方法，包括：获取包含至少两个对话角色的历史对话数据，将所述历史对话数据划分为至少两个对话集，其中，每个对话集包含至少一个对话片段；确定每个对话集中包含目标对话轮次的第一对话片段，并对所述第一对话片段中目标对话角色的对话数据进行聚类，生成对应的第一聚类结果；根据所述第一聚类结果确定所述目标对话角色的对话意图信息；确定每个对话集中与所述第一对话片段关联的第二对话片段，并根据所述第二对话片段，确定与所述对话意图信息对应的目标对话数据。2.根据权利要求1所述的数据处理方法，所述根据所述第二对话片段，确定与所述对话意图信息对应的目标对话数据，包括：对每个对话集中的第二对话片段进行语义分析，并根据分析结果对所述第二对话片段进行标注；根据生成的标注结果确定与对话意图信息对应的目标对话路径；根据所述目标对话路径对应的第二对话片段，生成与所述对话意图信息对应的目标对话数据。3.根据权利要求2所述的数据处理方法，所述根据生成的标注结果确定与对话意图信息对应的目标对话路径，包括：根据生成的标注结果建立每个对话集对应的对话路径；确定目标聚类结果中包含的对话数据，并确定所述对话数据所属的目标对话集，其中，所述目标聚类结果为所述第一聚类结果之一；对所述目标对话集对应的对话路径进行整合，生成与对话意图信息对应的目标对话路径。4.根据权利要求2所述的数据处理方法，所述根据生成的标注结果建立每个对话集对应的对话路径，包括：根据每个对话集中与标注结果对应的第二对话片段间的跳转关系，计算不同标注结果间的转移概率；根据所述转移概率构建所述标注结果对应的转移矩阵；根据所述转移矩阵确定每个对话集对应的对话路径。5.根据权利要求1所述的数据处理方法，还包括：根据所述历史对话数据中第一对话轮次的对话数据，确定所述历史对话数据的对话类型；根据所述对话类型确定所述目标对话轮次。6.根据权利要求5所述的数据处理方法，在所述历史对话数据为第一对话类型的情况下，所述确定每个对话集中包含目标对话轮次的第一对话片段，并对所述第一对话片段中目标对话角色的对话数据进行聚类，生成对应的第一聚类结果，包括：确定每个对话集中包含目标对话轮次的第一对话片段；提取所述第一对话片段中目标对话角色的对话数据，并利用基于密度的第一聚类算法对所述对话数据进行聚类，生成对应的第一聚类结果。7.根据权利要求5或6所述的数据处理方法，在所述历史对话数据为第二对话类型的情2CN113918712A权利要求书2/3页况下，所述将所述历史对话数据划分为至少两个对话集之后，还包括：确定每个对话集中的第三对话片段；提取所述第三对话片段中第一对话角色的对话数据，并利用均值聚类算法对所述第一对话角色的对话数据进行聚类，生成对应的第二聚类结果；根据所述第二聚类结果确定与所述对话意图信息对应的起始对话数据；根据所述起始对话数据从所述历史对话数据中筛选部分历史对话数据，并将所述部分历史对话数据划分为至少两个对话集；和/或，将所述起始对话数据添加至所述目标对话数据中。8.根据权利要求1所述的数据处理方法，所述将所述历史对话数据划分为至少两个对话集，包括：对所述历史对话数据进行清洗，生成对应的清洗结果；对所述清洗结果中包含的历史对话数据进行向量化处理，生成对应的向量化数据；根据所述向量化数据对所述清洗结果中包含的历史对话数据进行语义识别，并根据语义识别结果，将所述清洗结果中包含