文本处理的方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113743115A(43)申请公布日2021.12.03(21)申请号202111041964.7(22)申请日2021.09.07(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人李薛陈旭涛(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张春晓张效荣(51)Int.Cl.G06F40/289(2020.01)G06F40/216(2020.01)权利要求书2页说明书12页附图5页(54)发明名称文本处理的方法、装置、电子设备和存储介质(57)摘要本发明公开了文本处理的方法、装置、电子设备和存储介质，涉及计算机技术领域。该方法的一具体实施方式包括：获取预设的词库，以对知识库中各文本进行序列标注，计算出词根库；从知识库中筛选包括词根的语句，对每个语句进行分词，以确定每个语句对应的分词组合；基于分词组合对应语句所属业务场景和预设的业务场景关联顺序，拼接包括相同词根的分词组合，得出拼接结果；计算各拼接结果的有效得分，进而从拼接结果中确定业务实体，以得出业务实体库，识别接收的待处理文本中的业务实体。该实施方式能够解决人工标注的方式很难统一标准，不仅需要花费较多的时间，还降低业务识别标注的准确性，从而降低文本中业务实体识别的准确性的问题。CN113743115ACN113743115A权利要求书1/2页1.一种文本处理方法，其特征在于，包括：获取预设的词库，以对知识库中各文本进行序列标注，将标注的文本输入预设的识别模型，计算出词根库；对所述词根库中的每个词根，从所述知识库中筛选包括所述词根的语句，对每个语句进行分词，将分词结果组合，以确定每个语句对应的分词组合，其中，所述分词组合包括所述词根；基于分词组合对应语句所属业务场景和预设的业务场景关联顺序，拼接包括相同词根的分词组合，得出拼接结果；调用预设的计算模型，计算各拼接结果的有效得分，进而基于所述有效得分，从所述拼接结果中确定业务实体，以得出业务实体库；基于所述业务实体库，识别接收的待处理文本中的业务实体。2.根据权利要求1所述的方法，其特征在于，对每个语句进行分词，将分词结果组合，以确定每个语句对应的分词组合，包括：对每个语句，将所述语句分词，以所述词根为起始词，依次以所述语句中顺序位于所述词根之后的分词为结束词，基于所述起始词和所述结束词，从所述语句中确定出分词组合。3.根据权利要求2所述的方法，其特征在于，所述基于分词组合对应语句所属业务场景和预设的业务场景关联顺序，拼接包括相同词根的分词组合，得出拼接结果，包括：对每个语句对应的分词组合，基于分词组合中结束词在对应语句中的顺序进行排序，生成各语句对应的分词数组；基于所述分词数组对应语句所属业务场景，确定所述分词数组对应的业务场景；筛选对应相同词根的目标分词数组，以基于所述业务场景关联顺序，将对应各业务场景的目标分词数组中处于相同位置的分词组合拼接，得出拼接结果。4.根据权利要求1所述的方法，其特征在于，所述调用预设的计算模型，计算各拼接结果的有效得分，包括：对每个拼接结果，计算所述拼接结果的特征向量，调用预设的计算模型，以基于所述特征向量提取所述拼接结果的特征，进而计算所述特征对应的浮点数值，将所述浮点数值确定为所述拼接结果的有效得分。5.根据权利要求1所述的方法，其特征在于，基于所述有效得分，从所述拼接结果中确定业务实体，以更新至业务实体库，包括：判断所述拼接结果的有效得分是否大于预设的得分阈值；若是，则将所述拼接结果中拼接顺序位于最后的分词组合确定为业务实体，更新至业务实体库；若否，则不对所述拼接结果进行处理。6.根据权利要求1所述的方法，其特征在于，在从所述知识库中筛选包括所述词根的语句之前，还包括：获取所述知识库的历史检索词，将所述历史关键词和所述预设的词库添加至所述词根库。7.根据权利要求1所述的方法，其特征在于，所述待处理文本包括用户发送的咨询文本；所述基于所述业务实体库，识别接收的待处理文本中的业务实体，包括：2CN113743115A权利要求书2/2页接收用户发送的咨询信息，确定所述咨询信息对应的咨询文本；将所述业务实体库与所述咨询文本匹配，识别所述咨询文本中包括的业务实体，以基于所述咨询文本中包括的业务实体查询对应的应答文件，进而答复所述咨询信息。8.一种文本处理的装置，其特征在于，包括：计算单元，用于获取预设的词库，以对知识库中各文本进行序列标注，将标注的文本输入预设的识别模型，计算出词根库；确定单元，用于对所述词根库中的每个词根，从所述知识库中筛选包括所述词根的语句，对每个语句进行分词，将分词结果