一种舆情聚类方法、装置以及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113032566A(43)申请公布日2021.06.25(21)申请号202110318186.5(22)申请日2021.03.25(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人康光梁都金涛祝慧佳应亦丰(74)专利代理机构北京君慧知识产权代理事务所(普通合伙)11716代理人吴绍群(51)Int.Cl.G06F16/35(2019.01)G06F16/33(2019.01)G06F40/205(2020.01)权利要求书3页说明书13页附图5页(54)发明名称一种舆情聚类方法、装置以及设备(57)摘要本说明书实施例公开了一种舆情聚类方法、装置以及设备。方案包括：对待聚类舆情文本进行分句，得到多个分句片段，并确定分句片段的分句指纹；根据分句指纹，在历史舆情分句指纹库中进行匹配；根据匹配的结果，在历史舆情库中进行模糊搜索，得到与待识别舆情文本具有相同分句片段的候选历史舆情集合；通过将待聚类舆情文本在候选历史舆情集合中进行相似性比较，从候选历史舆情集合中筛选出相似的历史舆情；根据相似的历史舆情所属的聚类组，对待聚类舆情文本进行中心漂移校验；若中心漂移校验通过，则将待聚类舆情文本加入聚类组中。CN113032566ACN113032566A权利要求书1/3页1.一种舆情聚类方法，包括：对待聚类舆情文本进行分句，得到多个分句片段，并确定所述分句片段的分句指纹；根据所述分句指纹，在历史舆情分句指纹库中进行匹配；根据所述匹配的结果，在历史舆情库中进行模糊搜索，得到与所述待识别舆情文本具有相同分句片段的候选历史舆情集合；通过将所述待聚类舆情文本在所述候选历史舆情集合中进行相似性比较，从所述候选历史舆情集合中筛选出相似的历史舆情；根据所述相似的历史舆情所属的聚类组，对所述待聚类舆情文本进行中心漂移校验；若所述中心漂移校验通过，则将所述待聚类舆情文本加入所述聚类组中。2.如权利要求1所述的方法，所述根据所述匹配的结果，在历史舆情库中进行模糊搜索，具体包括：若所述匹配的结果达到第一预定指标，则获取根据所述匹配成功的历史舆情分句指纹；根据预先为所述历史舆情分句指纹建立的倒排索引，索引得到历史舆情库中具有对应分句片段的历史舆情；根据第二预定指标，在所述索引得到的历史舆情中划分出候选历史舆情集合。3.如权利要求2所述的方法，所述根据所述匹配的结果，在历史舆情库中进行模糊搜索之后，所述方法还包括：根据所述待聚类舆情文本、所述分句指纹，对所述历史舆情库和所述倒排索引进行相应的更新。4.如权利要求1所述的方法，所述通过将所述待聚类舆情文本在所述候选历史舆情集合中进行相似性比较，从所述候选历史舆情集合中筛选出相似的历史舆情，具体包括：计算所述待聚类舆情文本与所述候选历史舆情集合中各候选历史舆情之间的向量余弦相似度；将所述向量余弦相似度超过设定阈值的候选历史舆情，利用预训练的监督学习模型进行预测，以判定待聚类舆情文本与该候选历史舆情属于同一聚类组的概率；根据所述概率，在所述候选历史舆情中筛选出相似的历史舆情。5.如权利要求1所述的方法，所述根据所述相似的历史舆情所属的聚类组，对所述待聚类舆情文本进行中心漂移校验，具体包括：将所述待聚类舆情文本，与所述相似的历史舆情所属的聚类组中的各历史舆情分别进行相似性比较，若所述相似性均超过设定阈值，则确定中心漂移校验通过。6.如权利要求1所述的方法，所述根据所述分句指纹，在历史舆情分句指纹库中进行匹配之后，所述方法还包括：若所述匹配的结果未达到第一预定指标，或者所述中心漂移校验未通过，则新建聚类组，将所述待聚类舆情文本聚类至所述新建的聚类组中。7.如权利要求1所述的方法，所述对待聚类舆情文本进行分句之前，所述方法还包括：确定历史舆情、所述历史舆情的分句片段、所述历史舆情的分句片段的分句指纹、所述历史舆情所属的聚类组之间的对应关系。8.一种舆情聚类装置，包括：2CN113032566A权利要求书2/3页分句指纹获取模块，对待聚类舆情文本进行分句，得到多个分句片段，并确定所述分句片段的分句指纹；分句指纹匹配模块，根据所述分句指纹，在历史舆情分句指纹库中进行匹配；舆情模糊搜索模块，根据所述匹配的结果，在历史舆情库中进行模糊搜索，得到与所述待识别舆情文本具有相同分句片段的候选历史舆情集合；舆情精细筛选模块，通过将所述待聚类舆情文本在所述候选历史舆情集合中进行相似性比较，从所述候选历史舆情集合中筛选出相似的历史舆情；中心漂移校验模块，根据所述相似的历史舆情所属的聚类组，对所述待聚类舆情文本进行中心漂移校验；聚类结果确定模块，若所述中心漂移校验通过，则将所述待聚类舆情文本加入所述聚