一种文本处理方法、装置、计算机设备以及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113705164A(43)申请公布日2021.11.26(21)申请号202110346787.7(22)申请日2021.03.31(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人童丽霞雷植程(74)专利代理机构广州三环专利商标代理有限公司44202代理人熊永强杜维(51)Int.Cl.G06F40/126(2020.01)G06F40/279(2020.01)G06F40/30(2020.01)权利要求书2页说明书14页附图3页(54)发明名称一种文本处理方法、装置、计算机设备以及可读存储介质(57)摘要本申请实施例公开了一种文本处理方法、装置、计算机设备以及可读存储介质，该方法包括：获取待处理文本，确定所述待处理文本中各第一语种的字符占比；若存在字符占比大于或等于第一设定阈值的第一语种，则将所述字符占比大于或等于第一设定阈值的第一语种确定为所述待处理文本所对应的目标语种；若不存在字符占比大于或等于第一设定阈值的第一语种，则确定所述待处理文本中各第二语种的高频词占比；若所述各第二语种的高频词占比中的最大高频词占比大于或等于第二设定阈值，则将所述最大高频词占比对应的第二语种确定为所述待处理文本所对应的目标语种。通过本申请实施例，可以准确确定出待处理文本的主要语种。CN113705164ACN113705164A权利要求书1/2页1.一种文本处理方法，其特征在于，包括：获取待处理文本，确定所述待处理文本中各第一语种的字符占比；若存在字符占比大于或等于第一设定阈值的第一语种，则将所述字符占比大于或等于第一设定阈值的第一语种确定为所述待处理文本所对应的目标语种；若不存在字符占比大于或等于第一设定阈值的第一语种，则确定所述待处理文本中各第二语种的高频词占比；若所述各第二语种的高频词占比中的最大高频词占比大于或等于第二设定阈值，则将所述最大高频词占比对应的第二语种确定为所述待处理文本所对应的目标语种。2.如权利要求1所述的方法，其特征在于，所述确定所述待处理文本中各第一语种的字符占比，包括：获取所述待处理文本中每个字符对应的字符编码；根据各第一语种的字符编码区间、所述待处理文本中每个字符对应的字符编码以及所述待处理文本的字符总数，确定所述待处理文本中各第一语种的字符占比。3.如权利要求1所述的方法，其特征在于，所述确定所述待处理文本中各第二语种的高频词占比，包括：确定各第二语种的目标高频词表，以及获取所述待处理文本的分词信息；根据所述各第二语种的目标高频词表和所述待处理文本的分词信息，确定所述待处理文本中各第二语种的高频词占比。4.如权利要求3所述的方法，其特征在于，所述确定各第二语种的目标高频词表，包括：针对任一第二语种，获取第二语种的候选高频词表，所述候选高频词表包括一个或多个候选高频词；将所述候选高频词表中的单字符候选高频词和共用候选高频词中的一种或者多种进行剔除，得到第二语种的目标高频词表，所述共用候选高频词是指出现在各第二语种的候选高频词表中的次数大于等于设定次数的候选高频词。5.如权利要求4所述的方法，其特征在于，所述方法还包括：确定所述待处理文本所指示的业务类型；获取与所述业务类型相关的高频词；将所述与所述业务类型相关的高频词加入所述目标高频词表。6.如权利要求3所述的方法，其特征在于，所述获取所述待处理文本的分词信息，包括：按照词间隔符对所述待处理文本进行分词处理，将得到的一个或多个词语作为所述待处理文本的分词信息；或者利用分词模型对所述待处理文本进行分词处理，将得到的一个或多个词语作为所述待处理文本的分词信息。7.如权利要求1‑6任一项所述的方法，其特征在于，所述方法还包括：若所述各第二语种的高频词占比中的最大高频词占比小于所述第二设定阈值，则将默认语种确定为所述待处理文本所对应的目标语种。8.一种文本处理装置，其特征在于，包括：获取模块，用于获取待处理文本，确定所述待处理文本中各第一语种的字符占比；确定模块，用于若存在字符占比大于或等于第一设定阈值的第一语种，则将所述字符2CN113705164A权利要求书2/2页占比大于或等于第一设定阈值的第一语种确定为所述待处理文本所对应的目标语种；所述确定模块，还用于若不存在字符占比大于或等于第一设定阈值的第一语种，则确定所述待处理文本中各第二语种的高频词占比；所述确定模块，还用于若所述各第二语种的高频词占比中的最大高频词占比大于或等于第二设定阈值，则将所述最大高频词占比对应的第二语种确定为所述待处理文本所对应的目标语种。9.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；所述处理器与所述存储器、所述网络接口相连，其中