目标词去除方法、模型训练方法、装置、电子设备和介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761894A(43)申请公布日2021.12.07(21)申请号202110064206.0G06N3/08(2006.01)(22)申请日2021.01.18(71)申请人北京沃东天骏信息技术有限公司地址101116北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人冯明超(74)专利代理机构北京唯智勤实知识产权代理事务所(普通合伙)11557代理人陈佳(51)Int.Cl.G06F40/284(2020.01)G06F40/30(2020.01)G06K9/62(2006.01)权利要求书2页说明书12页附图6页(54)发明名称目标词去除方法、模型训练方法、装置、电子设备和介质(57)摘要本公开的实施例公开了目标词去除方法、模型训练方法、装置、电子设备和介质。该方法的一具体实施方式包括：对预获取的文本进行语义分析，得到语义分析结果；基于上述语义分析结果，对上述文本进行目标词筛选，得到第一目标词集；基于上述第一目标词集，生成重要性评分值集；响应于确定上述重要性评分值集中的重要性评分值满足第一预定条件，将所满足预定条件的重要性评分值对应的目标词从上述文本中去除，得到去除目标词后的文本。该实施方式可以避免构建目标词词库，在一定程度上提高在不同目标词场景中的目标词去除的准确度。CN113761894ACN113761894A权利要求书1/2页1.一种目标词去除方法，包括：对预获取的文本进行语义分析，得到语义分析结果；基于所述语义分析结果，对所述文本进行目标词筛选，得到第一目标词集；基于所述第一目标词集，生成重要性评分值集；响应于确定所述重要性评分值集中的重要性评分值满足第一预定条件，将所满足预定条件的重要性评分值对应的目标词从所述文本中去除，得到去除目标词后的文本。2.根据权利要求1所述的方法，其中，所述对预获取的文本进行语义分析，得到语义分析结果，包括：对所述文本进行分词，得到分词后的词集；对所述词集中的每个词进行词性分析以生成词性分析结果，得到词性分析结果集，作为语义分析结果。3.根据权利要求1所述的方法，其中，所述基于所述第一目标词集，生成重要性评分值集，包括：对所述第一目标词集进行目标词去除处理，得到去除处理后的第一目标词集；将所述去除处理后的第一目标词集中各个第一目标词在所述文本中的频次确定为第一评分参数，得到第一评分参数集；利用预先训练的目标词识别模型，对所述文本进行目标词识别，得到第二目标词集；将所述第二目标词集中各个第二目标词在所述文本中的频次确定为第二评分参数，得到第二评分参数集；响应于确定所述第二评分参数集中第二评分参数对应的第二目标词存在于所述第一评分参数集中各个第一评分参数对应第一目标词中，将所存在的目标词对应的第一评分参数与第二评分参数的差值确定为第三评分参数，得到第三评分参数集。4.根据权利要求2所述的方法，其中，所述基于所述语义分析结果，对所述文本进行目标词筛选，得到第一目标词集，包括：从所述文本中选出语义分析结果满足第二预定条件对应的词作为第一目标词，得到第一目标词集。5.根据权利要求3所述的方法，其中，所述基于所述第一目标词集，生成重要性评分值集，还包括：响应于确定所述第二评分参数集中第二评分参数对应的第二目标词不存在于所述第一评分参数集中各个第一评分参数对应第一目标词中，将所不存在的第二目标对应的第二评分参数添加至所述第三评分参数集中，得到添加后的第三评分参数集，作为重要性评分值集。6.一种目标词识别模型训练方法，包括：获取训练样本集；从所述训练样本集中选出训练样本子集，基于所述训练样本子集，执行如下模型训练步骤：利用所选出的训练样本子集，对初始目标词识别模型进行训练，得到训练后的初始目标词识别模型；利用测试样本集，对训练后的初始目标词识别模型进行测试，得到测试结果；2CN113761894A权利要求书2/2页根据测试结果，生成识别准确率和识别召回率；响应于确定识别准确率和识别召回率满足第三预定条件，将所训练后的初始目标词识别模型确定为目标词识别模型，其中，所述目标词识别模型用于识别文本中的目标词。7.根据权利要求6所述的方法，其中，所述方法还包括：响应于确定所述识别准确率和识别召回率不满足第三预定条件，从训练样本集中选出不同的训练样本子集，添加至所述训练样本子集中，以及将所训练后的初始目标词识别模型作为初始目标词模型再次执行所述模型训练步骤。8.一种目标词去除装置，包括：语义分析单元，被配置成对预获取的文本进行语义分析，得到语义分析结果；筛选单元，被配置成基于所述语义分析结果，对所述文本进行目标词筛选，得到第一目标词集；生成单元，被配置成基于所述第一