一种用于文本数据聚类的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111723201A(43)申请公布日2020.09.29(21)申请号201910221823.X(22)申请日2019.03.22(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人李飞(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张一军伊明明(51)Int.Cl.G06F16/35(2019.01)G06F16/31(2019.01)权利要求书2页说明书9页附图5页(54)发明名称一种用于文本数据聚类的方法和装置(57)摘要本发明公开了一种用于文本数据聚类的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取批量文本数据，以及确定所述批量文本数据中的每个文本数据的特征词集合；对于每个文本数据的特征词集合，确定该特征词集合中每个特征词的权重；根据所述特征词集合中特征词的权重，对所述批量文本数据进行排序；基于所述排序结果，对所述批量文本数据进行聚类计算。该方法利用特征权重对文本聚类的顺序重新排列，可优先将包含信息量丰富的文本数据聚类形成话题类，后续再根据该已聚成的话题类进行文本聚类，可提高聚类的准确性。CN111723201ACN111723201A权利要求书1/2页1.一种用于文本数据聚类的方法，其特征在于，包括：获取批量文本数据，以及确定所述批量文本数据中的每个文本数据的特征词集合；对于每个文本数据的特征词集合，确定该特征词集合中每个特征词的权重；根据所述特征词集合中特征词的权重，对所述批量文本数据进行排序；基于所述排序结果，对所述批量文本数据进行聚类计算。2.根据权利要求1所述的方法，其特征在于，根据所述特征词集合中特征词的权重，对所述批量文本数据进行排序的步骤包括：确定每个特征词集合中所有特征词的权重和；根据所述权重和，对所述批量文本数据进行排序。3.根据权利要求1所述的方法，其特征在于，基于所述排序结果，对所述批量文本数据进行聚类计算的步骤包括：基于所述排序结果，遍历所述批量文本数据，并依次确定文本数据与已创建话题类的聚类中心的相似度值；判断所述相似度值是否符合预设阈值；如果符合，则将文本数据加入对应的已创建话题类，并更新该已创建话题类的聚类中心；否则，新建话题类。4.根据权利要求3所述的方法，其特征在于，确定每个文本数据与已创建话题类的聚类中心的相似度值的步骤包括：通过哈希算法，确定每个文本数据的特征词的哈希值；根据确定的每个特征词的权重，对其哈希值进行加权处理，以得到该特征词的加权哈希值；对每个文本数据的特征词的加权哈希值进行累加，以得到文本数据的序列串表示；根据文本数据的序列串表示，确定文本数据的sim-hash值；根据所述文本数据的sim-hash值，确定文本数据与已创建话题类的聚类中心的相似度值。5.根据权利要求3所述的方法，其特征在于，所述相似度值包括标题相似性值和内容相似性值；判断所述相似度值是否符合预设阈值的步骤包括：确定所述标题相似性值不符合第一预设阈值的情况下，判断所述内容相似度值是否符合第二预设阈值。6.根据权利要求1所述的方法，其特征在于，对于每个文本数据的特征词集合，确定该特征词集合中每个特征词的权重的步骤包括：通过词频--反转文件频率算法确定每个特征词集合中特征词的TF-IDF权重值。7.一种用于文本数据聚类的装置，其特征在于，包括：特征词确定模块，用于获取批量文本数据，以及确定所述批量文本数据中的每个文本数据的特征词集合；权重确定模块，用于每个文本数据的特征词集合，确定该特征词集合中每个特征词的权重；排序模块，用于根据所述特征词集合中特征词的权重，对所述批量文本数据进行排序；聚类模块，用于基于所述排序结果，对所述批量文本数据进行聚类计算。8.根据权利要求7所述的装置，其特征在于，所述排序模块还用于，确定每个特征词集2CN111723201A权利要求书2/2页合中所有特征词的权重和；根据所述权重和，对所述批量文本数据进行排序。9.根据权利要求7所述的装置，其特征在于，所述聚类模块还用于，基于所述排序结果，遍历所述批量文本数据，并依次确定文本数据与已创建话题类的聚类中心的相似度值；以及，判断所述相似度值是否符合预设阈值；如果符合，则将文本数据加入对应的已创建话题类，并更新该已创建话题类的聚类中心；否则，新建话题类。10.根据权利要求9所述的装置，其特征在于，所述聚类模块还用于，通过哈希算法，确定每个文本数据的特征词的哈希值；根据确定的每个特征词的权重，对其哈希值进行加权处理，以得到该特征词的加权哈希值；对每个文本数据的特征词的加权哈希值进行累加，以得到文本数据的序列串表示；根据文本数据的序列串表示，