预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共27页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114186060A(43)申请公布日2022.03.15(21)申请号202111449196.9(22)申请日2021.11.30(71)申请人北京达佳互联信息技术有限公司地址100085北京市海淀区上地西路6号1幢1层101D1-7(72)发明人刘凡高旭宁张皓天温瀚翔张紫钰(74)专利代理机构广州三环专利商标代理有限公司44202代理人贾允方秀琴(51)Int.Cl.G06F16/35(2019.01)G06F16/38(2019.01)G06N20/00(2019.01)G06F40/289(2020.01)权利要求书2页说明书17页附图7页(54)发明名称文本处理方法、文本分类方法、装置、设备及存储介质(57)摘要本公开关于一种文本处理方法、文本分类方法、装置、设备及存储介质,该文本分类方法包括:获取待处理文本;在待处理文本的长度大于预设长度的情况下,从待处理文本中提取出预设长度的第一子文本;在第二子文本包括预设字符的情况下,拼接预设字符和第一子文本中的多个字符,得到预设长度的第一目标拼接文本;其中,第二子文本为待处理文本中除第一子文本之外的文本。本公开既解决了长文本字数不符合语言模型要求的问题,又可以从长文本中截取表示文本核心内容的关键字符和需要监测的主题名称的第一目标拼接文本对模型训练,从而提升了模型的性能,使得训练得到的语言模型在对文本进行分类时具有更高的准确率。CN114186060ACN114186060A权利要求书1/2页1.一种文本处理方法,其特征在于,包括:获取待处理文本;在所述待处理文本的长度大于预设长度的情况下,从所述待处理文本中提取出所述预设长度的第一子文本;在第二子文本包括预设字符的情况下,拼接所述预设字符和所述第一子文本中的多个字符,得到所述预设长度的第一目标拼接文本;其中,所述第二子文本为所述待处理文本中除所述第一子文本之外的文本。2.根据权利要求1所述的文本处理方法,其特征在于,所述拼接所述预设字符和所述第一子文本中的多个字符,得到所述预设长度的第一目标拼接文本,包括:从所述第一子文本中提取出预设数量个字符;所述第一子文本中除所述预设数量个字符之外的字符的数量,与所述预设字符所包括的字符的数量相等;拼接所述预设数量个字符和所述预设字符,得到所述第一目标拼接文本。3.根据权利要求2所述的文本处理方法,其特征在于,所述在所述待处理文本的长度大于预设长度的情况下,从所述待处理文本中提取出所述预设长度的第一子文本,包括:以所述待处理文本的首位字符作为起始位置,向后一个字符的方向提取出第一数量的字符,得到首段文本;以所述待处理文本的末位字符作为终止位置,向前一个字符的方向提取出第二数量的字符,得到末段文本;将所述首段文本和所述末段文本作为所述第一子文本;所述第一数量与所述第二数量之间的差值小于预设数量阈值。4.根据权利要求3所述的文本处理方法,其特征在于,所述预设字符中包括第三数量个字符,所述从所述第一子文本中提取出预设数量个字符,包括:以所述首段文本的首位字符作为起始位置,向后一个字符的方向提取出第四数量的字符;以所述末段文本的末位字符作为终止位置,向前一个字符的方向提取出第五数量的字符;将所述第四数量的字符和所述第五数量的字符作为所述预设数量个字符;其中,所述第四数量小于所述第一数量,所述第五数量小于所述第二数量,第一差值与第二差值的和等于所述第三数量,所述第一差值表征所述第一数量与所述第四数量之间的差值,所述第二差值表征所述第二数量与所述第五数量之间的差值。5.一种文本分类方法,其特征在于,包括:获取待分类文本;在所述待分类文本的长度大于预设长度的情况下,从所述待分类文本中提取出所述预设长度的第一子文本;在第二子文本包括预设字符的情况下,拼接所述预设字符和所述第一子文本中的多个字符,得到所述预设长度的第二目标拼接文本;所述第二子文本为所述待分类文本中除所述第一子文本之外的文本;通过预设语言模型对所述第二目标拼接文本进行分类;所述预设语言模型为基于权利要求1中的第一目标拼接文本进行训练得到。2CN114186060A权利要求书2/2页6.一种文本处理装置,其特征在于,包括:待处理文本获取模块,被配置为执行获取待处理文本;第一提取模块,被配置为执行在所述待处理文本的长度大于预设长度的情况下,从所述待处理文本中提取出所述预设长度的第一子文本;第一拼接模块,被配置为执行在第二子文本包括预设字符的情况下,拼接所述预设字符和所述第一子文本中的多个字符,得到所述预设长度的第一目标拼接文本;其中,所述第二子文本为所述待处理文本中除所述第一子文本之外的文本。7.一种文本分类装置,其特征在于,包括:待分类文本获取模块,被配置为执行获取