一种短文本标签标注方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115687621A(43)申请公布日2023.02.03(21)申请号202211385441.9(22)申请日2022.11.07(71)申请人中国农业银行股份有限公司地址100005北京市东城区建国门内大街69号(72)发明人张璐郑秀敏(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师卫三娟(51)Int.Cl.G06F16/35(2019.01)权利要求书3页说明书10页附图6页(54)发明名称一种短文本标签标注方法及装置(57)摘要本申请公开一种短文本标签标注方法及装置，所述方法包括：根据样本间的相似度对样本进行初步聚类，通过从样本中提取出的词语组成的标签库，对样本进行打标，提高了样本标签的统一性；在对样本进行打标时，从各个聚类中选择多个相似度较低的样本进行打标，提高了对于样本的文本标注效率；根据每轮的打标结果对所述聚类进行更新，动态控制各个聚类的裂变程度，当在第j个聚类中的已标注样本包含L个不同标签时，根据所述第j个聚类中未标注样本与所述L个标签之间的相似度，将所述第j个聚类按照所述L个标签进行聚类更新，其中L≥2；当聚类稳定后获得最终的已标注样本，提高了已标注样本中标签的覆盖率，进而提高了已标注样本的质量。CN115687621ACN115687621A权利要求书1/3页1.一种短文本标签标注方法，其特征在于，所述方法包括：通过计算样本间的相似度将所述样本分为M个聚类；在第i轮打标过程中，对第j个聚类进行打标时，从所述第j个聚类中选择所述相似度低于标注阈值的未标注样本作为待标注样本；其中，在所述第j个聚类中，已标注样本具有相同的标签，j≤M；使用标签库中的标签对所述待标注样本进行打标，并根据所述待标注样本的打标结果更新所述第j个聚类中的所述已标注样本；其中，所述标签库是根据所述样本中的词语生成的；当在所述第j个聚类中的已标注样本包含L个不同标签时，根据所述第j个聚类中所述未标注样本与所述L个标签之间的相似度，将所述第j个聚类按照所述L个标签进行聚类更新，其中L≥2；根据所述第i轮打标结束后的聚类数量更新所述M值，并判断所述第i轮打标结束后的M值与第i‑1轮打标结束后的M值是否相同；如果是，输出所述已标注样本；如果否，进入第i+1轮打标。2.根据权利要求1所述的方法，其特征在于，在所述当在所述第j个聚类中的已标注样本包含L个不同标签时，根据所述第j个聚类中所述未标注样本与所述L个标签之间的相似度，将所述第j个聚类按照所述L个标签进行聚类更新之后，所述根据所述第i轮打标结束后的聚类数量更新所述M值，并判断所述第i轮打标结束后的M值与第i‑1轮打标结束后的M值是否相同之前，进一步包括：在所述第i轮打标结束后得到的聚类中，当存在Q个聚类中所述已标注样本的标签相同时，对所述Q个聚类进行聚合，其中，Q≥2。3.根据权利要求1所述的方法，其特征在于，在所述在第i轮打标过程中，对第j个聚类进行打标时，从所述第j个聚类中选择所述相似度低于标注阈值的未标注样本作为待标注样本之前进一步包括：根据第j个标签优先级，从所述第j个聚类中选择K个未标注样本；其中，在所述第j个聚类中，所述已标注样本的标签为所述第j个标签优先级对应的第j个标签，所述K值与所述第j个标签优先级正相关；所述在第i轮打标过程中，对第j个聚类进行打标时，从所述第j个聚类中选择所述相似度低于标注阈值的未标注样本作为待标注样本包括：在第i轮打标过程中，对第j个聚类进行打标时，根据所述第j个标签优先级，从所述第j个聚类中选择K个所述相似度低于标注阈值的未标注样本作为待标注样本。4.根据权利要求3所述的方法，其特征在于，所述第j个标签优先级是通过如下公式计算的：其中，所述Pj为第i轮打标时的第j个标签优先级；所述Nj为所述第j个聚类中的样本数量；所述N为所有聚类中的样本数量；所述n为所有聚类中已标注样本的数量；所述nj为所述2CN115687621A权利要求书2/3页第j个聚类中已标注样本的数量；所述Min为第j个聚类中样本间相似度的最小值。5.根据权利要求1所述的方法，其特征在于，所述标签库是通过如下方式生成的：根据金融分词词典对所述样本进行分词，获得第一分词样本；根据停用词词典，去除所述第一分词样本中的停用词，获得所述第二分词样本；通过滑动窗口切分所述第二分词样本中的语句，并进行词语组合，获得潜在词库集；根据词频、词长和词语出现的位置计算所述潜在词库集中所有词语的分数，并将所述分数达到标签分数阈值的词语组成所述标签库。6.根据权利要求5所述的方法，其特征在于，所述词语的分数是通过如下方式计算的：其中，所述Scoret为第t个词语的分数，所述at为所述第t个词语在所有样本中出现的次数，所述aal