文本语义理解方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114970541A(43)申请公布日2022.08.30(21)申请号202210513371.4(22)申请日2022.05.12(71)申请人吉林科讯信息科技有限公司地址130000吉林省长春市朝阳区前进大街996号力旺广场B座16楼1632室(72)发明人张泰宇孙庆华张志庆张轶鑫陈志刚(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师王雨(51)Int.Cl.G06F40/30(2020.01)G06F40/279(2020.01)G06F40/56(2020.01)G06F40/253(2020.01)权利要求书2页说明书12页附图4页(54)发明名称文本语义理解方法、装置、设备及存储介质(57)摘要本申请公开了一种文本语义理解方法、装置、设备及存储介质，本申请可以将源语种的目标文本翻译为目标语种的翻译后文本，其中源语种可以是小语种，目标语种可以是多资源样本语种，进而可以利用目标语种下较好的语义理解模型完成对源语种的目标文本的语义理解任务，解决了小语种文本语义理解结果准确性不高的问题。可知的，目标文本中的实体词对于语义理解过程是很重要的信息，本申请在将源语种的目标文本翻译为目标语种之前，首先识别出目标文本中的实体词并确定其在目标语种下的映射实体词，避免在翻译过程中出现实体丢失的问题，在此情况下，可以基于映射实体词及翻译后文本确定语义理解结果，能够进一步提升语义理解结果的准确性。CN114970541ACN114970541A权利要求书1/2页1.一种文本语义理解方法，其特征在于，包括：获取源语种的目标文本；识别所述目标文本中的实体词，获取所述实体词在目标语种下的映射实体词，并利用所述实体词的实体类型替换掉所述目标文本中的实体词，得到替换后文本；将所述替换后文本翻译为所述目标语种下的翻译后文本；基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。2.根据权利要求1所述的方法，其特征在于，在得到所述翻译后文本之后，还包括：采用预配置的校对模块对所述翻译后文本进行语法纠正，得到纠正后翻译文本；所述基于所述翻译后文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果，包括：基于所述纠正后翻译文本及所述映射实体词，确定所述目标文本在所述目标语种下的语义理解结果。3.根据权利要求1所述的方法，其特征在于，所述识别所述目标文本中的实体词，包括：基于预配置的所述源语种的实体词库，在所述目标文本中检索匹配的实体词，所述实体词库中包含源语种下各实体类型的实体词。4.根据权利要求1所述的方法，其特征在于，所述获取所述实体词在目标语种下的映射实体词，包括：通过预配置的所述源语种与所述目标语种间的实体词映射关系，确定源语种的所述实体词在所述目标语种下的映射实体词；其中，所述实体词映射关系包括同一实体在所述源语种及所述目标语种下的文本表达。5.根据权利要求2所述的方法，其特征在于，所述校对模块为校对模型，所述采用预配置的校对模块对所述翻译后文本进行语法纠正，得到纠正后翻译文本，包括：将所述翻译后文本输入所述校对模型，得到校对模型输出的纠正后翻译文本；所述校对模型被配置为，对输入的翻译后文本进行语法纠正，以输出纠正后翻译文本的内部状态表示。6.根据权利要求5所述的方法，其特征在于，所述校对模型的训练过程，包括：获取翻译为所述目标语种的训练文本，及所述训练文本对应的纠正文本；将所述训练文本输入至所述校对模型，得到输出的生成文本；以所述生成文本趋近于所述纠正文本为训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件。7.根据权利要求6所述的方法，其特征在于，所述训练文本还标注有是否存在语法错误的正误标签，其中正误标签表明不存在语法错误的训练文本，对应的纠正文本为训练文本自身；所述校对模型还用于预测输入的所述训练文本是否存在语法错误，得到语法错误预测结果；所述以所述生成文本趋近于所述纠正文本为训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件，包括：2CN114970541A权利要求书2/2页以所述生成文本趋近于所述纠正文本为第一训练目标，以所述语法错误预测结果趋近于所述训练文本标注的正误标签为第二训练目标，结合所述第一训练目标及所述第二训练目标，更新所述校对模型的网络参数，直至达到设定训练结束条件。8.根据权利要求6所述的方法，其特征在于，所述获取翻译为所述目标语种的训练文本，包括：获取由所述源语种的训练文本翻译为所述目标语种下的翻译后训练文本；和/或，获取由除去所述目标语种外的其余各语种的训练文本翻译为所述目标语种下的翻译后训练文本；和/或，对所述目标语种的训练文本进行随机乱序，得到乱序后的训练文本。