问答处理方法、装置、计算机设备和可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114116990A(43)申请公布日2022.03.01(21)申请号202010879758.2G06F40/284(2020.01)(22)申请日2020.08.27G06F40/289(2020.01)G06N20/00(2019.01)(71)申请人奇安信科技集团股份有限公司地址100088北京市西城区新街口外大街28号102号楼3层332号申请人网神信息技术（北京）股份有限公司(72)发明人汤良吕考考商清华付子曦张卓黄传明(74)专利代理机构北京英特普罗知识产权代理有限公司11015代理人程超(51)Int.Cl.G06F16/332(2019.01)G06F40/151(2020.01)G06F40/216(2020.01)权利要求书3页说明书11页附图3页(54)发明名称问答处理方法、装置、计算机设备和可读存储介质(57)摘要本发明提供了一种问答处理方法、装置、计算机设备和可读存储介质。该问答处理方法包括：获取目标文档的问题部分和内容部分，其中，内容部分包括至少两个文本块；根据问题部分和内容部分构建初始输入向量；将初始输入向量输入至预设的问答机器模型，其中，问答机器模型包括预训练模型层、注意力模型层和最终输出层；以及根据问答结果信息确定内容部分是否包括问题部分对应的答案和答案在内容部分中的位置。通过本发明，能够提升问答处理的准确性。CN114116990ACN114116990A权利要求书1/3页1.一种问答处理方法，其特征在于，包括：获取目标文档的问题部分和内容部分，其中，所述内容部分包括至少两个文本块；根据所述问题部分和所述内容部分构建初始输入向量；将所述初始输入向量输入至预设的问答机器模型，其中，所述问答机器模型包括预训练模型层、注意力模型层和最终输出层，所述预训练模型层用于对输入的所述初始输入向量处理后得到第一词向量，并输出至所述注意力模型层和所述最终输出层，所述注意力模型层用于对输入的所述第一词向量处理后得到第二词向量，并输出至所述最终输出层，所述第二词向量用于表征第一词语对所述第一词语所在文本块中其他词语的注意力大小，所述第一词语为所述内容部分的一个词语，所述最终输出层用于根据所述第一词向量和所述第二词向量输出问答结果信息；以及根据所述问答结果信息确定所述内容部分是否包括所述问题部分对应的答案和所述答案在所述内容部分中的位置。2.根据权利要求1所述的问答处理方法，其特征在于，所述文本块为一个段落或一个句子。3.根据权利要求1所述的问答处理方法，其特征在于，所述第二词向量还用于表征所述第一词语对所述问题部分中词语的注意力大小。4.根据权利要求3所述的问答处理方法，其特征在于，所述注意力模型层采用以下步骤根据所述第一词向量计算所述第二词向量：将所述第一词向量输入第一全连接函数得到第一向量；将所述第一词向量输入第二全连接函数得到第二向量；将所述第一词向量输入第三全连接函数得到第三向量，其中，所述第一全连接函数、所述第二全连接函数和所述第三全连接函数分别为所述注意力模型层中不同的全连接函数；根据所述问题部分和所述文本块构建注意力矩阵；根据所述第一向量、所述第二向量、所述第三向量和所述注意力矩阵计算所述第二词向量。5.根据权利要求4所述的问答处理方法，其特征在于，采用以下公式计算所述第二词向量：H′＝[h′1，h′2，...，h′n]＝L(C(W1，W2，...，Wn))Wi＝AiViV＝[V1，V2，...，Vn]＝L1(H)Q＝[Q1，Q2，...，Qn]＝L2(H)K＝[K1，K2，...，Kn]＝L3(H)H＝[h1，h2，...，hn]，采用以下公式计算所述最终输出层的输入：2CN114116990A权利要求书2/3页其中，H′为所述第二词向量，n为所述初始输入向量的处理阈值，C为拼接函数，L为全连接函数，V为所述第一向量，L1为所述第一全连接函数，H为所述第一词向量，S为归一化函数，M为所述注意力矩阵，Q为所述第二向量，L2为所述第二全连接函数，K为所述第三向量，L3为所述第三全连接函数，dk为归一化常量，i＝1，2，...n，为所述最终输出层的输入，α为预设权重。6.根据权利要求5所述的问答处理方法，其特征在于，根据所述问题部分和所述文本块构建注意力矩阵的步骤包括：构建n*n的矩阵M0；构建对应问题标志位的问题标志矩阵，并将所述问题标志矩阵设置为所述矩阵M0的第一个矩阵块，其中，所述第一个矩阵块为1*1的矩阵；构建对应所述问题部分的问题矩阵，并将所述问题矩阵设置为所述矩阵M0的第二个矩阵块，其中，所述第二个矩阵块为QU*QU的矩阵，QU为所述问题部分中词语的数量；构建对应所述内容起始标志位的内容起始标志矩阵，并将所述内