文本处理方法、模型训练方法、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113723094A(43)申请公布日2021.11.30(21)申请号202111033399.X(22)申请日2021.09.03(71)申请人北京有竹居网络技术有限公司地址101299北京市平谷区林荫北街13号信息大厦802室(72)发明人张嘉成吴雪晴李航(74)专利代理机构北京知帆远景知识产权代理有限公司11890代理人刘岩磊(51)Int.Cl.G06F40/284(2020.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书17页附图6页(54)发明名称文本处理方法、模型训练方法、设备及存储介质(57)摘要本申请提供了一种文本处理方法、模型训练方法、设备及存储介质，该方法包括：获取源文本；将源文本输入至序列到序列模型中，得到源文本对应的目标序列；将目标序列转换为目标表格。第一，通过本申请技术方案得到的目标表格不限于两列的形式，其形式灵活。第二，本申请提供的技术方案不需要预先定义实体类型，使得文本处理过程较为简单，从而可以提高文本处理效率。CN113723094ACN113723094A权利要求书1/4页1.一种文本处理方法，其特征在于，包括：获取源文本；将所述源文本输入至序列到序列模型中，得到所述源文本对应的目标序列；将所述目标序列转换为目标表格。2.根据权利要求1所述的方法，其特征在于，所述序列到序列模型是编码器和解码器框架，所述解码器为N层结构，所述解码器包括输出嵌入层、N层自注意力网络、N层第一处理网络和第二处理网络；所述自注意力网络采用的是单头自注意力机制或者多头自注意力机制；所述将所述源文本输入至序列到序列模型中，得到所述源文本对应的目标序列，包括：S1：所述编码器获取所述源文本，并对所述源文本处理，得到所述源文本的隐藏状态；S2：针对所述目标序列的任一个待输出词，所述输出嵌入层获取所述目标序列中的至少一个已输出词处理，并对所述至少一个已输出词处理，得到所述至少一个已输出词对应的至少一个词向量；S3：针对所述单头自注意力机制或者多头自注意力机制中的每个头，所述N层自注意力网络中的第一层自注意力网络获取所述至少一个词向量，并确定第一词向量与每个第二词向量的表头关系向量，根据所述第一词向量与所述每个第二词向量的表头关系向量、所述至少一个词向量得到第三词向量，所述第一词向量是所述至少一个词向量中的最后一个词向量，所述第二词向量是所述至少一个词向量中任一个词向量，所述第三词向量与所述第一词向量对应；S4：所述N层第一处理网络中的第一层第一处理网络根据所述隐藏状态对所述第三词向量进行处理，得到第四词向量；S5：所述N层自注意力网络中的第二层自注意力网络将所述第四词向量作为新第一词向量，将所述每个第二词向量经过所述第一层第一处理网络处理后的词向量作为新每个第二词向量，以执行S3，直至所述N层第一处理网络中的第N层第一处理网络输出所述第一词向量对应的第五词向量；S6：所述第二处理网络对所述第五词向量进行处理，得到所述待输出词。3.根据权利要求2所述的方法，其特征在于，所述第一层自注意力网络确定所述第一词向量与所述第二词向量的表头关系向量，包括：所述第一层自注意力网络确定所述第一词向量与所述第二词向量是否具有表头关系；若所述第一词向量与所述第二词向量不具有表头关系，则所述第一层自注意力网络确定所述第一词向量与所述第二词向量的表头关系向量为零向量；若所述第一词向量与所述第二词向量具有行表头关系，则所述第一层自注意力网络确定所述第一词向量与所述第二词向量的表头关系向量为第一向量；若所述第一词向量与所述第二词向量具有列表头关系，则所述第一层自注意力网络确定所述第一词向量与所述第二词向量的表头关系向量为第二向量。4.根据权利要求2或3所述的方法，其特征在于，所述第一层自注意力网络根据所述第一词向量与所述每个第二词向量的表头关系向量、所述至少一个词向量得到第三词向量，包括：所述第一层自注意力网络对所述第一词向量进行第一变换，得到所述第一词向量对应的查询；2CN113723094A权利要求书2/4页所述第一层自注意力网络对所述每个第二词向量进行第二变换，得到所述每个第二词向量对应的键；所述第一层自注意力网络根据所述第一词向量对应的查询、所述每个第二词向量对应的键和所述第一词向量与所述每个第二词向量的第一表头关系向量确定所述第一词向量与所述每个第二词向量的相似度，所述第一词向量与所述每个第二词向量的表头关系向量包括：所述第一表头关系向量，所述第一表头关系向量是所述每个第二词向量对应的键对应的表头关系向量；所述第一层自注意力网络对所述每个第二词向量进行第三变换，得到所述每个第二词向量