基于分词的文本处理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110309504A(43)申请公布日2019.10.08(21)申请号201910433622.6(22)申请日2019.05.23(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人郑立颖徐亮阮晓雯(74)专利代理机构深圳众鼎专利商标代理事务所(普通合伙)44325代理人黄章辉(51)Int.Cl.G06F17/27(2006.01)G06F16/35(2019.01)G06N3/04(2006.01)权利要求书2页说明书12页附图3页(54)发明名称基于分词的文本处理方法、装置、设备及存储介质(57)摘要本发明公开了一种基于分词的文本处理方法、装置、设备及存储介质，其中，该基于分词的文本处理方法包括：获取原始文本，采用分词工具的搜索引擎分词模式对原始文本进行文本分词，获取文本分词结果，文本分词结果包括至少n个一级分词；若任意连续k个一级分词中连续k-1个一级分词的叠加等于第k个一级分词，且连续k-1个一级分词中存在至少两个二级分词的结合等于第k个一级分词，则仅保留至少两个二级分词，获取分词优化结果。该方法可删除重复语义或无实际意义的分词，提高分词工具的分词准确性，简化分词结果，利于后续基于正确的分词结果继续对原始文本进行语义分析。CN110309504ACN110309504A权利要求书1/2页1.一种基于分词的文本处理方法，其特征在于，包括：获取原始文本，采用分词工具的搜索引擎分词模式对所述原始文本进行文本分词，获取文本分词结果，所述文本分词结果包括至少n个一级分词；若任意连续k个所述一级分词中连续k-1个所述一级分词的叠加等于所述第k个一级分词，且连续k-1个所述一级分词中存在至少两个二级分词的结合等于第k个一级分词，则仅保留至少两个所述二级分词，获取分词优化结果。2.如权利要求1所述的基于分词的文本处理方法，其特征在于，在所述获取文本分词结果之后，所述基于分词的文本处理方法还包括：若任意连续k个所述一级分词中连续k-1个所述一级分词的叠加等于所述第k个一级分词，且任意连续k个所述一级分词中不存在至少两个二级分词的结合等于第k个一级分词，则保留所述第k个一级分词并删除所述前k-1个所述一级分词，获取分词优化结果。3.如权利要求1所述的基于分词的文本处理方法，其特征在于，在所述获取文本分词结果之后，所述基于分词的文本处理方法还包括：若任意连续k个所述一级分词中连续k-1个一级分词的结合等于所述第k个一级分词，则保留前k-1个所述一级分词并删除所述第k个一级分词，获取分词优化结果。4.如权利要求1至3中任一项所述的基于分词的文本处理方法，其特征在于，在所述获取分词优化结果之后，所述基于分词的文本处理方法还包括：获取所述原始文本对应的标准文本，采用文本对比工具对比所述标准文本和所述分词优化结果，获取文本相似度；若所述文本相似度超过相似度阈值，则所述原始文本和所述标准文本为相同文本。5.如权利要求1至3中任一项所述的基于分词的文本处理方法，其特征在于，在所述输出分词优化结果之后，所述基于分词的文本处理方法还包括：采用意图识别模型对所述分词优化结果进行识别，获取所述原始文本对应的目标意图，所述目标意图包括至少一个目标参数和参数优先级顺序；基于每一所述目标参数查询检索文本数据库，获取与每一所述目标参数相对应的检索文本；依据所述参数优先级顺序向客户端输出至少一个所述检索文本。6.如权利要求5所述的基于分词的文本处理方法，其特征在于，在所述采用意图识别模型对所述分词优化结果进行识别之前，所述基于分词的文本处理方法还包括：对所述分词优化结果进行文本清洗，其中，所述文本清洗包括去标点符号、去停用词、简称替换、英文和数字大小写转换中的至少一种。7.一种基于分词的文本处理装置，其特征在于，所述文本处理装置包括：获取原始文本模块，用于获取原始文本，采用分词工具的搜索引擎分词模式对所述原始文本进行文本分词，获取文本分词结果，所述文本分词结果包括至少n个一级分词；获取优化结果模块，用于若任意连续k个所述一级分词中连续k-1个所述一级分词的叠加等于所述第k个一级分词，且连续k-1个所述一级分词中存在至少两个二级分词的结合等于第k个一级分词，则仅保留至少两个所述二级分词，获取分词优化结果。8.如权利要求7所述的基于分词的文本处理装置，其特征在于，所述文本处理装置还包括：2CN110309504A权利要求书2/2页获取分词结果模块，用于若任意连续k个所述一级分词中连续k-1个所述一级分词的叠加等于所述第k个一级分词，且任意连续k个所述一级分词中不存在至少两个二级分词的结合等于第k个一级分词，则