数字文本的嵌入向量生成方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114781394A(43)申请公布日2022.07.22(21)申请号202210423505.3(22)申请日2022.04.21(71)申请人润联软件系统（深圳）有限公司地址518000广东省深圳市福田区梅林街道梅都社区中康路136号深圳新一代产业园2栋801(72)发明人王伟张黔陈焕坤郑毅(74)专利代理机构深圳市世联合知识产权代理有限公司44385专利代理师刘畅(51)Int.Cl.G06F40/30(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书13页附图3页(54)发明名称数字文本的嵌入向量生成方法、装置、设备及存储介质(57)摘要本申请公开了一种数字文本的嵌入向量生成方法、装置、设备及存储介质，本申请属于人工智能技术领域。本申请通过对训练语料中的数字文本的字符串转化，并利用训练语料集构建数值特征样本和算术特征样本，对上述样本进行词向量转化，得到初始嵌入向量，利用初始嵌入向量对联合神经网络模型进行迭代训练，获取模型权重平均值，得到数字文本的嵌入向量。本申请通过将数字文本的转化为中文字符串，再将中文字符串进行词向量转化，保留了数字文本特征，并结合训练语料中的算术特征对神经网络联合训练，使得生成的数字文本的嵌入向量具备比较数字大小和进行算术运算的能力，从而在应对更复杂的下游处理任务，同时提高模型运算的准确度。CN114781394ACN114781394A权利要求书1/2页1.一种数字文本的嵌入向量生成方法，其特征在于，包括：获取训练语料集，并对所述训练语料集进行预处理，其中，所述预处理包括将所述训练语料集中的数字文本转化为中文字符串；利用完成预处理的所述训练语料集构建特征样本集，其中，所述特征样本集包括数值特征样本和算术特征样本；对所述数值特征样本进行词向量转化，得到初始数值特征嵌入向量；对所述算术特征样本进行词向量转化，得到初始算术特征嵌入向量；利用所述初始数值特征嵌入向量和所述初始算术特征嵌入向量对预设的联合神经网络模型进行迭代训练，直至模型拟合；获取模型拟合后的所述联合神经网络模型的权重平均值，得到所述数字文本的嵌入向量。2.如权利要求1所述的数字文本的嵌入向量生成方法，其特征在于，所述获取训练语料集，并对所述训练语料集进行预处理的步骤，具体包括：获取训练语料集，并查找所述训练语料集中的数字文本；获取预设的数字单位集合；根据所述数字单位集合对所述训练语料集中的数字文本进行字符串转化，得到所述数字文本对应的数值文本，其中，所述数值文本为所述数字文本对应的中文字符串。3.如权利要求2所述的数字文本的嵌入向量生成方法，其特征在于，所述利用完成预处理的所述训练语料集构建特征样本集的步骤，具体包括：获取所述训练语料集中的数值语料，并基于所述数值语料构建数值特征样本；获取所述训练语料集中的算术语料，并基于所述算术语料构建算术特征样本。4.如权利要求3所述的数字文本的嵌入向量生成方法，其特征在于，所述获取所述训练语料集中的数值语料，并基于所述数值语料构建数值特征样本的步骤，具体包括：遍历所述数值语料，获取所述数值语料中的所有数值文本，构建数值文本集；获取预设的滑动窗口，并利用所述滑动窗口在所述数值文本集中滑动，生成数值特征样本。5.如权利要求4所述的数字文本的嵌入向量生成方法，其特征在于，所述对所述数值特征样本进行词向量转化，得到初始数值特征嵌入向量的步骤，具体包括：获取所述数值特征样本中的所有数值文本，得到第一数值文本；依次将所述第一数值文本的每一个中文字符进行词向量转化，得到第一初始嵌入向量，其中，所述第一数值文本的每一个中文字符对应一个第一初始嵌入向量；统计每一个所述中文字符的频率系数；基于第一初始嵌入向量和每一个所述中文字符的频率系数，构建所述初始数值特征嵌入向量。6.如权利要求3所述的数字文本的嵌入向量生成方法，其特征在于，所述获取所述训练语料集中的算术语料，并基于所述算术语料构建算术特征样本的步骤，具体包括：遍历所述算术语料，获取所述算术语料中的算术文本；对所述算术文本进行语义识别，得到所述算术文本的运算符号；提取所述算术文本的数值文本，得到第二数值文本；2CN114781394A权利要求书2/2页基于所述第二数值文本和所述算术文本的运算符号，构建算术特征样本。7.如权利要求6所述的数字文本的嵌入向量生成方法，其特征在于，所述对所述算术特征样本进行词向量转化，得到初始算术特征嵌入向量的步骤，具体包括：依次将所述第二数值文本的每一个中文字符进行词向量转化，得到第二初始嵌入向量，其中，所述第二数值文本的每一个中文字符对应一个第二初始嵌入向量；将所述运算符号进行词向量转化，得到运算符嵌入向量；基于