基于源语言句法增强解码的神经机器翻译方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113901847A(43)申请公布日2022.01.07(21)申请号202111084535.8(22)申请日2021.09.16(71)申请人昆明理工大学地址650093云南省昆明市五华区学府路253号(72)发明人余正涛龚龙超相艳(74)专利代理机构昆明人从众知识产权代理有限公司53204代理人何娇(51)Int.Cl.G06F40/58(2020.01)G06F40/211(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书10页附图2页(54)发明名称基于源语言句法增强解码的神经机器翻译方法(57)摘要本发明涉及源语言句法增强解码的神经机器翻译方法，属于自然语言处理领域。本发明包括：解析源语言句子得到句法关系；使用句法感知的自注意力机制获取源语言句子和其句法相关部分的特征；通过交叉注意力网络提取源语言句子表征和句法相关表征中的信息，共同指导目标语言的生成；最后使用线性变换和softmax函数预测当前序列位置的词汇。本发明在有效利用人工标注的双语平行语料资源的同时，还能显式利用单语语料的句法信息；单语句法知识是理解语义和构建语言的重要依据，解决了神经网络机器翻译模型不能充分挖掘双语平行语料中有效信息这一难题。CN113901847ACN113901847A权利要求书1/3页1.基于源语言句法增强解码的神经机器翻译方法，其特征在于：所述方法的具体步骤如下：Step1、使用句法解析工具对平行语料中的源语言句子进行句法解析，得到其句法依赖关系，再将得到的句法依赖关系向量化，生成包含源语言句子中词与词之间关系的句法感知矩阵；Step2、通过词嵌入和位置嵌入对源语言句子进行特征编码，优化Transformer编码器中的自注意力网络，使得编码器在提取源语言句子特征的同时，利用句法感知矩阵生成一个额外的句法相关表征；Step3、在Transformer解码器中添加一个句法‑解码交叉注意力网络，利用编码‑解码和句法‑解码交叉注意力网络分别提取源语言句子的信息和句法相关表征的信息，将两种信息作为互补，共同指导目标语言的生成。2.根据权利要求1所述的基于源语言句法增强解码的神经机器翻译方法，其特征在于：所述步骤Step1的具体步骤为：Step1.1、在通用的NewsCommentaryv11(NC11)英德、德英和IWSLT14德英，以及标准低资源WMT18英土、IWSLT15英越翻译数据上训练和测试模型；对数据进行规范化，符号化处理；Step1.2、将规范化、符号化处理后的源语言句子经由句法解析工具进行句法解析，得到句子中词语与词语相互之间的句法依赖关系；Step1.3、将得到的源语言句子的句法依赖关系向量化，将其转换为一个l×l的句法感知矩阵，其中l为源语言句子中词语的个数，句法感知矩阵中的每个元素即代表对应两个词语之间的句法相关性，相关则置为有效，无关则置为无效；代表词语本身与本身关系的对角线位置元素也被置为有效。3.根据权利要求1所述的基于源语言句法增强解码的神经机器翻译方法，其特征在于：所述步骤Step2的具体步骤如下：Step2.1、源语言句子编码器用于提取源语言句子的文本特征，设x＝x1，x2，...，xl为一条源语言句子，句子长度l表示句子中有l个词；使用Transformer编码模块对源语言句子特征嵌入进行编码，为了能够利用序列的顺序，在编码模块中将位置编码添加到词嵌入表征中，它与词嵌入表征具有相同的维数，编码模块核心是自注意力机制，具体如下：Ex＝E(x1，x2，...，xl)其中，Ex为源语言输入文本的词嵌入表征，d表示源语言句子每个词经过嵌入表征提取l×d的词向量维度，Q，K，V∈R分别为查询向量、键向量、值向量，由词嵌入表征Ex经三个不同权重矩阵的线性变换得到；为缩放因子；为得到源语言句子句法相关的表征，在编码器自注意力机制中引入句法感知；在执行自注意力过程中，除Transformer原有的遮挡，将在步骤Step1中执行向量化得到的句法关系矩阵作用于注意力权重矩阵WA＝QKT，进行句法感知的遮挡，保留其中句法相关的部分，舍弃句法无关的部分；自注意力机制生成两个不同的权重矩阵：原注意力权重矩阵与句法相关的注意力权重，之后，两个注意力权重经由softmax(·)函数得到两个具体权重值，并分2CN113901847A权利要求书2/3页别作用于值向量V，由此，除原本的注意力表征之外，句法感知的自注意力还额外生成一个句法相关的注意力表征，式(1)变为：其中，syn(·)表示句法相关的遮挡。Step2.2、为了探索注意力的高度并行性，采用多头注意力机制多次并行地执行缩放的点积注意力；多头注意力