一种基于注意力机制的深度学习知识追踪方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114723054A(43)申请公布日2022.07.08(21)申请号202210379090.4(22)申请日2022.04.12(71)申请人山东师范大学地址250014山东省济南市历下区文化东路88号(72)发明人徐连诚王广超卢浩冉王新华郭磊(74)专利代理机构济南圣达知识产权代理有限公司37221专利代理师李琳(51)Int.Cl.G06N5/02(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06Q50/20(2012.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于注意力机制的深度学习知识追踪方法及系统(57)摘要本发明属于知识追踪领域，提供了一种基于注意力机制的深度学习知识追踪方法及系统，通过采用自我注意机制可以保留上下文顺序信息，在学生的整个历史序列中显式地调用题目交互，明确计算长短期历史序列中每个元素之间的不同权重，并捕捉动态的长期和短期知识状态，以划分子序列的形式准确地捕获和增强学生的长期和短期知识状态，学生在当前时间跨度的连续行为反映了学生的短期知识表示，而在当前时间跨度之前的所有历史行为都反映了学生的长期知识状态，自我注意机制能够自适应地学习学生长期和短期连续行为的对应依赖关系。CN114723054ACN114723054A权利要求书1/2页1.一种基于注意力机制的深度学习知识追踪方法，其特征在于，包括如下步骤：获取学习序列，对学习序列进行预处理得到长期学习序列和短期学习序列；基于短期学习序列和卷积神经网络得到短期学习序列特征，结合短期学习序列特征和短期自注意力网络，生成近期学习知识状态表征；基于长期学习序列和循环神经网络得到长期学习序列特征，结合长期学习序列特征和长期自注意力网络，生成长期学习知识状态表征；将近期学习知识状态表征和长期学习知识状态表征结合融合模块进行融合，产生最终的知识状态表征，基于最终的知识状态预测得到学生掌握知识状态的评估结果。2.如权利要求1所述的一种基于注意力机制的深度学习知识追踪方法，其特征在于，所述对学习序列进行预处理得到长期学习序列和短期学习序列包括：将学习序列进行独热编码操作，根据时间戳信息将学习序列分为长期学习序列和短期学习序列。3.如权利要求1所述的一种基于注意力机制的深度学习知识追踪方法，其特征在于，所述短期自注意力网络和长期自注意力网络的结构一致，均包括多头自注意力层，标准化层、前馈神经网络以及标准化层。4.如权利要求1所述的一种基于注意力机制的深度学习知识追踪方法，其特征在于，对长期学习序列，将循环操作中提取的层次化特征通过长期自注意力模块来绘制全局依赖关系，并捕获序列本身中的项目交互；对短期学习序列，将其一维卷积输出特征输出送入短期自注意力模块，使用长短期自注意力机制分别发掘两个序列之间的相似信息。5.如权利要求1所述的一种基于注意力机制的深度学习知识追踪方法，其特征在于，所述将近期学习知识状态和长期学习知识状态结合融合模块进行融合，表示为：P＝(FW+b)σ(z),其中，P表示最终预测值，F表示融合后的表示，是知识点潜在因素组成的矩阵，σ()(r)表示logistic函数，W是模型参数，b是偏置向量；Fl表示长期自注意力网络第r层的值，也就是学生在长集上时间t步的最终长期自我关注表征，表示短期自注意力网络第r层的值，表示概念嵌入矩阵的第i行向量。6.如权利要求1所述的一种基于注意力机制的深度学习知识追踪方法，其特征在于，所述特征聚合的方法包括：采用循环单元门控个数为输入特征向量的个数进行循环递归操作；对输入特征向量进行池化操作，然后使用卷积核个数为输入特征向量的1/4、卷积核大小为1*1的卷积进行卷积操作；将上述处理结果进行连接操作，完成特征融合操作。7.如权利要求1所述的一种基于注意力机制的深度学习知识追踪方法，其特征在于，所述学习序列为一个二元组，包含学生在时间步尝试的问题，以及表示学生回答是否正确的标签。8.一种基于注意力机制的深度学习知识追踪系统，其特征在于，包括：2CN114723054A权利要求书2/2页学习序列预处理模块，被配置为：获取学习序列，对学习序列进行预处理得到长期学习序列和短期学习序列；近期学习知识状态生成模块，被配置为：基于短期学习序列和卷积神经网络得到短期学习序列特征，结合短期学习序列特征和短期自注意力网络，生成近期学习知识状态表征；长期学习知识状态生成模块，被配置为：基于长期学习序列和循环神经网络得到长期学习序列特征表征，结合长期学习序列特征和长期自注意力网络，生成长期学习知识状态；知识追踪模块，被配置为：将近期学习知识状态表征和长期学习知识状态表征结合融合模块进行融合，产生最终的知识状态表征，基于最终的知