一种基于自注意力机制的深度知识追踪模型.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113704235A(43)申请公布日2021.11.26(21)申请号202110887444.1(22)申请日2021.08.03(71)申请人桂林电子科技大学地址541004广西壮族自治区桂林市桂林金鸡路1号(72)发明人刘铁园陈威常亮(51)Int.Cl.G06F16/215(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书4页附图4页(54)发明名称一种基于自注意力机制的深度知识追踪模型(57)摘要本发明涉及机器学习，深度学习及数据挖掘等技术领域，具体是一种基于自注意力机制的深度知识追踪模型。针对目前基于循环神经网络的知识追踪方法中普遍存在的可解释性差和长期依赖问题，提供了一种基于自注意力机制的模型，在一定程度提高可解释性且没有长期依赖问题。且利用了学习过程中的时间信息，以时间信息代替位置编码，结合遗忘曲线理论，模拟学习过程中的遗忘行为，同时，使用以知识点信息为主，以题目信息为辅，两者结合的建模方法，以保留题目的差异信息且避免了题目数量过多带来的参数爆炸，造成模型难以训练的问题。CN113704235ACN113704235A权利要求书1/1页1.本发明涉及机器学习，深度学习及数据挖掘等技术领域，具体是一种基于自注意力机制的深度知识追踪模型。针对目前基于循环神经网络的知识追踪方法中普遍存在的可解释性差和长期依赖问题，提供了一种基于自注意力机制的模型，在一定程度提高可解释性且没有长期依赖问题。且利用了学习过程中的时间信息，以时间信息代替位置编码，结合遗忘曲线理论，模拟学习过程中的遗忘行为。同时，使用以知识点信息为主，以题目信息为辅，两者结合的建模方法，以保留题目的差异信息且避免了题目数量过多带来的参数爆炸，造成模型难以训练的问题。2.根据权利要求1所述的一种基于自注意力机制的深度知识追踪模型，其特征是：在学习轨迹的嵌入方面，本发明考虑了题目之间的差异性所带来的影响，并使用特征信息对其建模。题目特征嵌入与知识点嵌入结合，最终的嵌入结果可以有效避免题目数量过多带来的参数爆炸，训练困难问题，且保留了题目的差异信息。3.根据权利要求1所述的一种基于自注意力机制的深度知识追踪模型，其特征是：在模型选择方面，使用了自注意力模型Transformer为基础，因此不存在循环神经网络带来的长期依赖问题，这使模型可以对更长的学习序列进行建模。基于循环神经网络的模型在应对长序列的轨迹信息时，会将其截断为多份，视为多个学习者的学习信息。相对而言，Transformer则不需要截断操作，能更好的拟合现实中的学习行为。4.根据权利要求1所述的一种基于自注意力机制的深度知识追踪模型，其特征是：Transformer模型完全以自注意力机制为基础，自注意力是一种特殊的注意力机制。在深度学习中，一种有效的可解释性模块就是注意力模块。注意力机制的使用显著的提高了模型的可解释性。5.根据权利要求1所述的一种基于自注意力机制的深度知识追踪模型，其特征是：在计算自注意力值时使用了时间信息代替位置嵌入，在计算时，使用一个衰减因子，衰减因子以遗忘曲线理论为依据。用时间信息作为衡量衰减的因素。在计算间隔较长的两个题目的注意力值时，衰减因子会加大权重的衰减。这种衰减的权重契合与现实中的遗忘行为，可以有效地对遗忘行为建模。2CN113704235A说明书1/4页一种基于自注意力机制的深度知识追踪模型(一)技术领域[0001]本发明涉及机器学习，深度学习及数据挖掘等技术领域，具体是一种基于自注意力机制的深度知识追踪模型。(二)背景技术[0002]近年来，随着智能辅导系统和大规模在线开放课程等在线教育平台的发展和普及，数百万的用户选择通过在线平台学习.相比传统的线下教育，在线学习系统最显著的优势在于其能保留学习者详尽的学习轨迹，提供了调查不同轨迹下学习者行为效能的条件。然而，在线学习平台上学生与教师人数的悬殊使人工的辅导变得不现实。如何利用在线学习系统的优势，从学生的学习轨迹中挖掘出潜在的学习规律，以提供个性化的指导，达到人工智能辅助教育的目的，成为了研究者密切关注的问题。[0003]知识追踪是实现人工智能辅助教育的有力工具，目前已经成为了ITS的一个主要组成部分，被广泛应用于各个在线教育平台，如edX、Coursera和爱学习。知识追踪旨在建立学生知识状态随时间变化的模型，以判断学生对知识的掌握程度。[0004]在知识追踪领域，目前基于深度学习的方法占据主要地位，在已有基于深度学习的方法中，又以循环神经网络及其变体的使用为主。循环神经网络的序列结构使其符合学习中的近因效应并保留了学习轨迹信息，能够较好的拟合现实中的学习过程，因此被广泛应用于知