基于深层递进匹配的选择式机器阅读理解方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115936004A(43)申请公布日2023.04.07(21)申请号202211555163.7(22)申请日2022.12.06(71)申请人山东艺术学院地址250013山东省济南市历下区文化东路91号(72)发明人邹杰(74)专利代理机构济南信达专利事务所有限公司37100专利代理师孙园园(51)Int.Cl.G06F40/30(2020.01)G06N3/0464(2023.01)G06N3/048(2023.01)G06N3/08(2023.01)权利要求书8页说明书21页附图4页(54)发明名称基于深层递进匹配的选择式机器阅读理解方法及系统(57)摘要本发明公开了基于深层递进匹配的选择式机器阅读理解方法及系统，属于人工智能及自然语言处理技术领域，本发明要解决的技术问题为如何有效挖掘文章中的语义信息和问句中的关键信息以及如何增强文章中的语义信息和问句中的关键信息与选项之间的深层语义交互，提高选择式机器阅读理解预测的准确性，采用的技术方案为：该方法具体如下：获取选择式机器阅读理解数据集：从网络上下载已经公开的选择式机器阅读理解数据集或自行构建选择式机器阅读理解数据集；构建选择式机器阅读理解模型：基于深层递进匹配构建选择式机器阅读理解模型；训练选择式机器阅读理解模型：在选择式机器阅读理解数据集上对选择式机器阅读理解模型进行训练。CN115936004ACN115936004A权利要求书1/8页1.一种基于深层递进匹配的选择式机器阅读理解方法，其特征在于，该方法具体如下：获取选择式机器阅读理解数据集：从网络上下载已经公开的选择式机器阅读理解数据集或自行构建选择式机器阅读理解数据集；构建选择式机器阅读理解模型：基于深层递进匹配构建选择式机器阅读理解模型；训练选择式机器阅读理解模型：在选择式机器阅读理解数据集上对选择式机器阅读理解模型进行训练。2.根据权利要求1所述的基于深层递进匹配的选择式机器阅读理解方法，其特征在于，构建选择式机器阅读理解模型具体如下：构建输入数据：针对数据集中的每一条数据，将文章序列记为passage；将问句序列记为question；将所有候选选项序列记为response；根据正确答案，确定该条数据的标签，文章序列、问句序列和候选选项序列与标签共同组成一条输入数据；构建预训练嵌入表示：使用预训练语言模型BERT对输入数据进行嵌入处理，从而得到文章嵌入特征表示问句嵌入特征表示和选项嵌入特征表示公式如下：其中，passage表示文章序列；question表示问句序列；response表示选项序列；构建深层递进匹配表示：使用多层编码结构对文章嵌入表示依次进行特征编码操作，从而完成对文章嵌入表示的深层语义挖掘；同时，使用问句嵌入特征表示分别对每层的文章编码表示进行注意力筛选操作，从而得到第i层问句对齐的文章表示；再对选项嵌入特征表示和第i层问句对齐的文章表示进行Dot矩阵计算，从而得到第i层匹配表示；最后，联接第1层匹配表示到第n层匹配表示，从而得到深层递进匹配表示提取深层特征：使用一层二维卷积神经网络对深层递进匹配表示进行特征提取，得到卷积特征表示，再使用自注意力机制进行特征筛选，从而得到自筛特征表示；标签预测：经过一层维度为4、激活函数为Softmax的全连接网络处理，得到正确概率最高的选项。3.根据权利要求2所述的基于深层递进匹配的选择式机器阅读理解方法，其特征在于，构建深层递进匹配表示具体如下：第一层编码结构Encoder1对文章嵌入表示进行编码操作，得到文章第一层编码表示公式如下：其中，表示文章嵌入表示；对文章第一层编码表示和问句嵌入特征表示进行CrossAttention计算，从而得到第一层问句对齐的文章表示公式如下：2CN115936004A权利要求书2/8页其中，表示文章第一层编码表示；表示问句嵌入特征表示；对第一层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第一层匹配表示公式如下：其中，表示选项嵌入特征表示；表示第一层问句对齐的文章表示；第二层编码结构Encoder2对文章第一层编码表示进行编码操作，得到文章第二层编码表示公式如下：其中，表示文章第一层编码表示；对文章第二层编码表示和问句嵌入特征表示进行CrossAttention计算，从而得到第二层问句对齐的文章表示公式如下：其中，表示文章第二层编码表示；表示问句嵌入特征表示；对第二层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第二层匹配表示公式如下：其中，表示选项嵌入特征表示；表示第一层问句对齐的文章表示；第三层编码结构Encoder3对文章第二层编码表示进行编码操作；以此类推，进行多次反复编码；根据选择式机器阅读理解模型预设的层次深度，直到生成第二层问