基于光照生成对抗网络的课堂听课异常检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109241830A(43)申请公布日2019.01.18(21)申请号201810831224.5(22)申请日2018.07.26(71)申请人合肥工业大学地址230009安徽省合肥市屯溪路193号(72)发明人谢昭张安杰吴克伟肖泽宇童赟(74)专利代理机构安徽合肥华信知识产权代理有限公司34112代理人余成俊(51)Int.Cl.G06K9/00(2006.01)G06Q50/20(2012.01)权利要求书5页说明书11页附图3页(54)发明名称基于光照生成对抗网络的课堂听课异常检测方法(57)摘要本发明公开了一种基于光照生成对抗网络的课堂听课异常检测方法，包括有以下步骤：采集真实课堂头部姿态数据、渲染光照课堂头部姿态数据、构建光照生成对抗网络、产生生成对抗样本、构建头部姿态检测模型、课堂头部姿态检测、课堂听课异常检测。本发明通过使用深度神经网络，提高了对头部区域定位的准确性，降低非头部区域对不听课状态判断的干扰。CN109241830ACN109241830A权利要求书1/5页1.一种基于光照生成对抗网络的课堂听课异常检测方法，其特征在于：包括有以下步骤：步骤S1：采集真实课堂头部姿态数据：采集并获取真实课堂中的视频帧，构建头部位置检测模型，标记候选头部位置图像，获取训练集和训练参数；步骤S2：渲染光照课堂头部姿态数据：根据设计的课堂学生3D模型，设置模型中头部姿态、光照条件、摄像机拍摄角度参数，多次渲染，获取渲染光照下的课堂图像集合；步骤S3：构建光照生成对抗网络：根据11层光照生成对抗网络，求解光照生成对抗网络的目标损失，训练光照生成对抗网络；步骤S4：产生生成对抗样本：使用真实课堂头部姿态数据，获取不同光照条件、拍摄角度、不同人物的光照渲染头部位置图像，使用训练后的光照生成对抗网络模型参数，生成优化后的的渲染光照头部位置图像，计算光照优化头部位置图像的判决得分，设置逼真图像阈值，选取大于阈值的作为逼真的渲染光照头部位置图像；步骤S5：构建头部姿态检测模型：将逼真的渲染光照头部位置图像作为头部姿态检测的训练数据，类别标记头部姿态检测的训练数据，设置头部姿态检测模型，通过训练获得头部姿态检测模型的参数；步骤S6：课堂头部姿态检测：使用生成对抗头部姿态检测模型，实现课堂头部姿态检测；步骤S7：课堂听课异常检测：输入课堂实时采集视频，提取视频帧，使用构建的模型和训练参数，设置听课异常检测机制，获得不同状态学生的比例。2.根据权利要求1所述的基于光照生成对抗网络的课堂听课异常检测方法，其特征在于：所述的采集真实课堂头部姿态数据，具体包括以下步骤：步骤S1-1：采集真实课堂视频；步骤S1-2：获取课堂视频中的视频帧，并进行滑动窗口采样，获得候选头部位置图像，每个头部位置图像包含RGB三层颜色通道；步骤S1-3：构建头部位置检测模型，共8层的神经网络模型，其中前6层为卷积神经网络，第7层和第8层为全连接网络；步骤S1-3-1：前6层卷积神经网络使用相同的参数，每层的滤波器尺寸为3*3，滤波器数量为256，池化方法为求和池化，即256通道中响应值求和结果，保留为最后的输出响应，激励函数形式为relu函数；步骤S1-3-2：第7层的全连接层，将256特征神经元映射为4096特征神经元，全连接映射参数矩阵为256*4096；步骤S1-3-3：第8层的全连接层，将4096特征神经元映射为单个神经元，全连接映射参数矩阵为4096*2，其中，最后输出层神经元的类别为1表示是头部位置图像，0表示不是头部位置图像；2CN109241830A权利要求书2/5页步骤S1-4：对步骤S1-2获取的候选头部位置图像进行标记，获得头部训练数据，和非头部训练数据，构建头部位置检测训练集；步骤S1-5：使用步骤S1-4获取的头部位置检测训练集，对步骤S1-3构建的头部位置检测模型进行训练，获得训练后的头部位置检测模型参数wheadpos；步骤S1-6：对步骤S1-2获取的候选头部位置图像，使用训练后的头部位置检测模型参数wheadpos，进行人脸判断，可以辨别出头部和非头部，从而可以提取测试视频的真实头部位置图像realheadpos。3.根据权利要求2所述的基于光照生成对抗网络的课堂听课异常检测方法，其特征在于：所述的渲染光照课堂头部姿态数据，具体包括以下步骤：步骤S2-1：设计课堂学生3D模型；步骤S2-2：在课堂学生3D模型中设置学生听课的头部姿态；步骤S2-3：在课堂学生3D模型中设置光照条件；步骤S2-4：在课堂学生3D模型中设置摄像机拍摄角度；步骤S2-5：根据步骤S2-1，步骤S2-2，步骤S2-3，步骤S2-4设置的条件，进行多次拍摄，获取渲染光照下的课堂图像集