文本语料扩增方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111859092A(43)申请公布日2020.10.30(21)申请号202010746765.5(22)申请日2020.07.29(71)申请人苏州思必驰信息科技有限公司地址215123江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋(72)发明人温亚(74)专利代理机构北京商专永信知识产权代理事务所(普通合伙)11400代理人黄谦车江华(51)Int.Cl.G06F16/9532(2019.01)G06F16/9535(2019.01)G06F40/284(2020.01)权利要求书2页说明书8页附图3页(54)发明名称文本语料扩增方法、装置、电子设备及存储介质(57)摘要本发明公开一种文本语料扩增方法、装置、电子设备及存储介质，其中，所述方法包括：对原始语料数据预处理，得到原始语料数据的分词结果，基于所述原始语料数据的分词结果生成原始语料关键词；基于所述原始语料关键词、搜索引擎的语法、搜索引擎爬取数据的处理方式，生成搜索策略；根据搜索策略，采集数据；对采集到的数据分词得到多个文本词条，基于每个文本词条的PPL，过滤所述多个文本词条；将过滤后保留的文本词条输入领域分类系统，获取新的关键词，将所述新的关键词扩充到所述原始语料关键词中。本发明实施例的方法中，动态生成搜索策略，实现语料扩增。能够有效扩增语料、减少噪声、还能够有效地完成数据清洗，扩充场景知识。CN111859092ACN111859092A权利要求书1/2页1.一种文本语料扩增方法，所述方法包括：S11、对原始语料数据预处理，得到原始语料数据的分词结果，基于所述原始语料数据的分词结果生成原始语料关键词；S12、基于所述原始语料关键词、搜索引擎的语法、搜索引擎爬取数据的处理方式，生成搜索策略；S13、根据所述搜索策略，采集数据；S14、对采集到的数据分词得到多个文本词条，基于每个文本词条的PPL，过滤所述多个文本词条；S15、将过滤后保留的文本词条输入领域分类系统，获取新的关键词，将所述新的关键词扩充到所述原始语料关键词中，若未迭代完成，进入S12；否则，方法结束。2.根据权利要求1所述的方法，其中，所述预处理包括格式规范化、文本归一化、分词处理。3.根据权利要求1所述的方法，其中，所述搜索引擎爬取数据的处理方式包括：对搜索引擎查找到的页面，仅提取快照、摘要、相关搜索、标题的信息。4.根据权利要求1所述的方法，所述原始语料关键词包括指定搜索领域的关键词。5.根据权利要求1所述的方法，其中，所述对采集到的数据分词得到多个文本词条，基于每个文本词条的PPL，过滤所述多个文本词条包括：将采集到的数据处理成多个文本词条，通过预设的领域模型为每个文本词条打分，测算每个文本词条的PPL，将每个文本词条的PPL与预设阈值比较，基于比较结果，确定是否过滤相应的文本词条。6.根据权利要求1所述的方法，其中，所述将过滤后保留的文本词条输入领域分类系统，获取新的关键词，将所述新的关键词扩充到所述原始语料关键词中包括：其中，将过滤后保留的文本词条输入领域分类系统，基于领域分类的结果，获取更细粒度的新的关键词，再将所述新的关键词扩充到所述原始语料关键词中。7.一种文本语料扩增装置，包括：分词模块，配置为对原始语料数据预处理，得到原始语料数据的分词结果，基于所述原始语料数据的分词结果生成原始语料关键词；搜索策略生成模块、配置为基于所述原始语料关键词、搜索引擎的语法、搜索引擎爬取数据的处理方式，生成搜索策略；数据采集模块、配置为根据所述搜索策略，采集数据；过滤模块、配置为对采集到的数据分词得到多个文本词条，基于每个文本词条的PPL，过滤所述多个文本词条；关键词扩充模块、配置为将过滤后保留的文本词条输入领域分类系统，获取新的关键词，将所述新的关键词扩充到所述原始语料关键词中。8.根据权利要求7所述的装置，其中，所述预处理包括格式规范化、文本归一化、分词处理。9.根据权利要求7所述的装置，其中，所述搜索引擎爬取数据的处理方式包括：对搜索引擎查找到的页面，仅提取快照、摘要、相关搜索、标题的信息。10.根据权利要求7所述的装置，其中，所述搜索策略生成模块，所述原始语料关键词包括指定搜索领域的关键词。2CN111859092A权利要求书2/2页11.根据权利要求7所述的装置，其中，所述对采集到的数据分词得到多个文本词条，基于每个文本词条的PPL，过滤所述多个文本词条包括：将采集到的数据处理成多个文本词条，通过预设的领域模型为每个文本词条打分，测算每个文本词条的PPL，将每个文本词条的PPL与预设阈值比较，基于比较结果，确定是否过滤相应的文本词条。12.根据权利要求7所述的装置，其中，所述将过滤后保留的文本词条输入领域分类