文本数据增强方法及装置、电子设备、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114298024A(43)申请公布日2022.04.08(21)申请号202111587717.7(22)申请日2021.12.23(71)申请人中国电信股份有限公司地址100033北京市西城区金融大街31号(72)发明人王有元杨旭(74)专利代理机构北京律智知识产权代理有限公司11438代理人王辉阚梓瑄(51)Int.Cl.G06F40/284(2020.01)G06F40/166(2020.01)权利要求书2页说明书16页附图6页(54)发明名称文本数据增强方法及装置、电子设备、存储介质(57)摘要本公开提供了一种文本数据增强方法及装置、电子设备、存储介质，涉及计算机技术领域。该文本数据增强方法包括：生成文本数据泛化后的分词序列和词向量；确定每次从分词序列随机抽选分词生成的目标分词序列、替换目标分词序列的中心词得到的候选分词序列、与每一目标分词序列对应的目标矩阵、与每一候选分词序列对应的候选矩阵；计算每一目标矩阵和候选矩阵中不同词向量之间的相似度平均和，并将与相似度平均和大于相似度阈值对应的候选矩阵的候选分词序列的中心词作为备选词，以从备选词中选取相似度平均和较大的目标备选词作为替换词，并基于替换词生成增强文本数据。本公开实施例的技术方案可以提高文本数据增强的可靠性、有效性、普适性。CN114298024ACN114298024A权利要求书1/2页1.一种文本数据增强方法，其特征在于，包括：获取文本数据，并对所述文本数据进行预处理生成所述文本数据的分词序列；对所述分词序列进行向量化表示得到所述分词序列的词向量，并基于所述分词序列和所述词向量构建所述文本数据的初始矩阵；基于所述初始矩阵，确定每次对所述分词序列执行随机抽选分词操作生成的目标分词序列和与所述目标分词序列对应的目标矩阵，以及与所述目标分词序列对应的候选分词序列，和与所述候选分词序列对应的候选矩阵；计算与所述每次随机抽选分词操作对应的所述目标矩阵和所述候选矩阵的相似度，并基于所述相似度从所述候选分词序列中确定备选词，以从所述备选词中筛选替换词，并基于所述替换词生成所述文本数据的增强文本数据。2.根据权利要求1所述的文本数据增强方法，其特征在于，所述对所述文本数据进行预处理生成所述文本数据的分词序列，包括：对所述文本数据进行泛化处理，确定所述文本数据的泛化字符串；基于所述泛化字符串对所述文本数据进行分词处理，生成所述文本数据的分词序列。3.根据权利要求1所述的文本数据增强方法，其特征在于，所述对所述分词序列进行向量化表示得到所述分词序列的词向量，包括：获取预构建的词嵌入模型，并基于所述词嵌入模型对所述分词序列进行文本向量化处理得到所述分词序列的词向量。4.根据权利要求1所述的文本数据增强方法，其特征在于，所述基于所述初始矩阵，确定每次对所述分词序列执行随机抽选分词操作生成的目标分词序列和与所述目标分词序列对应的目标矩阵，包括：读取随机抽选分词操作的目标次数，并对所述分词序列执行所述目标次数的随机抽选分词操作；在每次对所述分词序列执行所述随机抽选分词操作时，确定当次随机抽选的第一分词，并基于所述第一分词在所述分词序列中的位置计算所述第一分词的窗口文本距离；以及将所述分词序列中以所述第一分词为中心，且满足所述窗口文本距离的子分词序列作为目标分词序列，并基于所述初始矩阵生成与所述目标分词序列对应的目标矩阵。5.根据权利要求4所述的文本数据增强方法，其特征在于，所述方法还包括：在检测到所述第一分词与所述泛化字符串相同时，对所述分词序列重新执行所述随机抽选分词操作。6.根据权利要求1所述的文本数据增强方法，其特征在于，所述确定与所述目标分词序列对应的候选分词序列，和与所述候选分词序列对应的候选矩阵，包括：从所述分词序列中随机选取第二分词，并通过所述第二分词替换所述目标分词序列中的第一分词得到候选分词序列；基于所述初始矩阵生成与所述候选分词序列匹配的候选矩阵。7.根据权利要求1或6所述的文本数据增强方法，其特征在于，所述计算与所述每次随机抽选分词操作对应的所述目标矩阵和所述候选矩阵的相似度，并基于所述相似度从所述候选分词序列中确定备选词，包括：2CN114298024A权利要求书2/2页对与所述每次随机抽选分词操作对应的所述目标矩阵和所述候选矩阵分别进行归一化处理，得到归一化目标矩阵和归一化候选矩阵；计算所述归一化目标矩阵和所述归一化候选矩阵中列向量的相似度的平均和，并将所述平均和作为标准相似度；获取预设相似度阈值，并在检测到所述标准相似度大于所述相似度阈值时，将与所述候选矩阵对应的第二分词作为备选词。8.根据权利要求1所述的文本数据增强方法，其特征在于，所述从所述备选词中筛选替换词，并基于所述替换词