一种基于注意力机制的MOOCs辍学预测模型构建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116028861A(43)申请公布日2023.04.28(21)申请号202211492150.X(22)申请日2022.11.25(71)申请人北京工业大学地址100025北京市朝阳区平乐园100号(72)发明人宋睿赖英旭庄俊玺刘静靳晓宁(74)专利代理机构北京思海天达知识产权代理有限公司11203专利代理师王兆波(51)Int.Cl.G06F18/241(2023.01)G06F123/02(2023.01)G06N3/045(2023.01)G06Q50/20(2012.01)权利要求书1页说明书6页附图2页(54)发明名称一种基于注意力机制的MOOCs辍学预测模型构建方法(57)摘要本发明提供了一种基于注意力机制的MOOCs辍学预测模型构建方法，该方法对MOOCs平台学习者原始学习行为数据进行数据预处理，建立二维学习行为计数数据集，首先通过卷积神经网络提取内部特征以及通道注意力提取特征通道之间的相互依赖关系；接着放入LSTM训练保留特征时序关系，并与多头自注意力结合强化有效特征权重；最后将加权特征向量放入分类器训练得到预测结果。针对所构建的模型，设置训练集和测试集，训练集用于模型训练，用训练好的模型对测试集进行预测，得到预测结果。本发明能够实现MOOCs平台学习者在学习一段时间后是否辍学的预测，具有一定的理论价值与实际应用意义。CN116028861ACN116028861A权利要求书1/1页1.一种基于注意力机制的MOOCs辍学预测模型构建方法，其特征在于，包括以下步骤：步骤1、建立模型输入数据集，根据MOOCs平台上提供的学习者原始在线学习行为记录，建立二维的学习行为计数矩阵，分为时间和行为两个维度，时间维度描述课程期间的时间切片，学习者的学习行为通常是阶段性的，同时考虑学习行为的稀疏性，将时间片长度定义为10天；行为维度则从数据集原始行为数据中提取更加细化的行为数据；步骤2、将步骤1中得到的二维学习行为计数矩阵放入CNN+通道注意力模块进行训练，首先通过卷积层提取每个时间段的特征，再利用通道注意力机制提取特征通道之间的相互依赖关系，学习并自动获取每个特征通道的权重，最后乘以原始的特征图，完成在通道维度上对原始特征的特征加权；步骤3、针对步骤2得到的加权特征图，采用LSTM+多头注意力模块进一步提取有效特征权重，按照时间片先后顺序抽取特征排列成一维向量，然后放入LSTM训练，通过被称作“门”的结构让信息选择式通过，提取特征时序关系，再通过多头自注意力进行切分点积拼接得到加权特征向量；步骤4、将具有时序关系的加权特征向量通过全连接层输出一维向量，最后放入sigmoid函数进行分类，根据概率得到对应的预测结果；此外为了验证预测结果的有效性，设置对照试验对模型预测结果进行对比分析。2.如权利要求1所述的一种基于注意力机制的MOOCs辍学预测模型构建方法，其特征在于，步骤2所述CNN+通道注意力模块中，包括两层二维卷积层和通道注意力机制，特征数据集先通过两层CNN逐层提取输入数据的各类特征，接着放入通道注意力机制提取通道维度上的权重，并乘以原始特征图，得到具有权重的特征图；两层卷积神经网络卷积核个数分别为32和64，卷积核大小为3*3，padding为1，步长为1；通道注意力机制包括挤压和激励两个操作，Squeeze操作是对卷积层提取的特征图在通道维度进行全局平均池化，得到维度为1×1×C的向量，Excitation则是将1×1×C的向量经过两层全连接层并用sigmoid函数得到0到1之间的标量，作为通道的权重，最后与原始的特征图乘以对应的权重，得到新的加权特征图。3.如权利要求1所述的一种基于注意力机制的MOOCs辍学预测模型构建方法，其特征在于，步骤3所述LSTM+多头注意力模块中，经过CNN+通道注意力模块得到的特征图，按照时间片先后顺序抽取特征排列成一维向量，通过LSTM提取特征间的时序关系，隐藏层个数为64，得到的向量维度为64*64，多头注意力机制根据LSTM输出向量提取Query(Q)矩阵、Key(K)矩阵和Value(V)矩阵并进行线性变换,在通道维度上对它们进行8倍尺度的切分，再分别使用缩放点积运算，将运算结果拼接，得到加权特征向量，Query(Q)矩阵、Key(K)矩阵和Value(V)矩阵即为LSTM输出。4.如权利要求1所述的一种基于注意力机制的MOOCs辍学预测模型构建方法，其特征在于，步骤4所述分类结果模块，将上一模块得到的加权特征向量转化为一维向量，经过两层全连接层和sigmiod函数得到预测概率，根据概率最终得到分类预测结果；第一层全连接神经元个数为128，训练过程中以0.2的概率随机丢失，防止过拟合，激活函数为ReLU函数，