简洪豆_基于局部信息融合的行为识别研究410.docx

PAGE\*MERGEFORMATI学校代码：10200研究生学号：XXXXXXXXXX分类号：TP31密级:硕士学位论文基于局部信息融合的行为识别研究ResearchonBehaviorRecognitionBasedonLocalInformationFusion作者：XX指导教师：XX一级学科：计算机科学与技术二级学科：计算机系统结构研究方向：计算机视觉与模式识别学位类型：学术硕士东北师范大学学位评定委员会2020年5月独创性声明本人郑重声明：所提交的学位论文是本人在导师指导下独立进行研究工作所取得的成果。据我所知，除了特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。对本人的研究做出重要贡献的个人和集体，均已在文中作了明确的说明。本声明的法律结果由本人承担。学位论文作者签名：日期：学位论文使用授权书本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规定，即：东北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权东北师范大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其它复制手段保存、汇编本学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：指导教师签名：日期：日期：学位论文作者毕业后去向：工作单位：电话：通讯地址：邮编：摘要人类视觉和行为识别技术是计算机科学、视觉技术和人工智能视频技术领域的重要学术研究主题。在这个信息时代，人们的日常生活和工作离不开一个具有强大的人眼视觉和运动识别功能的设备，先进的人机交互，无人驾驶，智能视频和监控，在移动机器人领域具有非常的重要。对诸如定位和卫星导航，虚拟现实以及此类人工智能产品之类的智能设备的需求也在不断增长。因此，对于人工智能视频技术中人体行为识别技术的研究与开发具有重要的学术研究价值和意义。目前的人体行为识别方法对短视频的人体行为识别处理效果较好，例如双流神经网络、3d卷积神经网络、时空卷积神经网络等识别方法。这些行为识别网络的视频输入或是随机选择的一个原始的RGB图像，或是选择堆叠一组密集的RGB图像，或是一组光流图。但是对于长视频而言，密集的选择一组图像帧无法比较客观的表示全局信息。因此本文从短视频的理论与技术实际的角度出发，针对长视频的人体行为识别提出了一种基于关键帧的局部信息融合的分段视频识别网络(KeyFrameSegmentNetwork，KFSN)，该方法将长视频分为等长的多段视频分别进行人体行为的识别，再把分段的短视频的识别结果进行融合。这种网络是基于长时间建模的思想，它很好的结合了稀疏时间视频采样的策略，使整个动作视频能高效学习。本文中所提出的识别方法已在公共数据集UCF101和HMDB51上进行了多次实验。得出的实验结果表明，本文提出的KFSN网络能够取得较好的行为识别效果，在UCF101可以达到95.0％的识别率，在HMDB51上可以达到70.1%的识别率。优于一些现有的行为识别网络性能。关键词：行为识别；关键帧提取；局部信息；信息融合IIAbstractHumanvisionandbehaviorrecognitiontechnologyareimportantacademicresearchtopicsinthefieldsofcomputerscience,visualtechnology,andartificialintelligencevideotechnology.Inthisinformationage,people'sdailylifeandworkareinseparablefromadevicewithpowerfulhumaneyevisionandmotionrecognitionfunctions,advancedhuman-computerinteraction,un