“基于Hadoop的大数据分析”课程规划与设计.pdf

“基于Hadoop的大数据分析”课程规划与设计“基于Hadoop的大数据分析”课程规划与设计摘要：大数据时代社会各行业对大数据方向人才的需求凸显，为顺应产业发展需要，我校改革课程设置，建设以开源分布式框架Hadoop为技术基础的大数据分析课程。文章从目标内容设置、师资团队建设、实践中心配备、授课方式特色，以及考核制度革新多个方面展开对课程规划与设计的详细论述，藉此为国家和社会培养具有工程意识和创新思维的高素质精英人才，也为其他高校同类课程的开设提供一定的借鉴和参考。关键词：Hadoop；大数据；课程规划；人才培养；授课方式中图分类号：TP311文献标识码：A文章编号：1009-3044（2015）07-0190-03Abstract：Intheeraofbigdata，thedemandfortalentsfromallwalksoflifeisincreasing.Inordertoadapttotheneedofindustrialdevelopment，wearecarryingoutthecurriculumreformbyconstructingabigdataanalysiscoursebasedonHadoop.Severalaspectsofthecourseonthedesignandplanningarediscussedindetail.TheyarethetargetandcontentMapReduce为核心，为开发者提供了系统底层细节透明的分布式基础架构，从而轻松地组织计算资源，利用集群的能力完成海量数据的处理，目前其已发展成为包含很多开源框架项目的生态系统[7-8]。因此该课程即以Hadoop为基础来展开对大数据分析的原理、技术和方法的讲授。2明确目标，落实人才培养2.1培养对象大数据分析涉及到众多学科内容，如计算机网络、数据库原理、数据结构、分布式系统、LINUX操作系统、云计算、数据挖掘、算法设计与分析等基础性课程等，本课程可作为计算机学科研究生的专业课和本科高年级学生的专业选修课。因为处于该阶段的学生有了足够的知识储备，并且对学科方向有了清晰的认识，对未来的就业前景也不再迷茫，有更多学习上的主动性和进取心。此外，鼓励学生拓展知识领域，自觉阅读国内外文献资料和网络资源，为该门课程的学习打下坚实的基础。2.2培养目标很多行业领域都为大数据方向的专业技术人才提供了施展才华的舞台，如电子商务、金融证券、科研院所、互联网企业、大公司的数据中心，以及政府机关部门等。当前大数据方向的岗位需求大致分为三类，分别是：系统研发工程师，负责海量数据业务模型构建、分布式云存储、NoSQL数据库架构以及数据平台优化升级等；应用开发工程师，负责利用海量非结构化数据研发基于大数据技术的应用程序及行业解决方案，为单位创造良好的经济效益或社会效益；大数据分析师，负责从纷繁复杂的海量数据中找到数据间的潜在关系，挖掘大数据蕴藏的巨大利益并指导产品研发。课程即从系统框架搭建、应用研发及数据分析三个主要层面培养具有扎实理论基础和实战经验的高素质、实用型大数据人才。在授课过程中，注重学生工程意识和实践创新能力养成，指导学生密切结合自身对未来职业的发展规划，在通识整体的前提下选择某一特定领域进行深入钻研。对于有意继续深造的学生，则引导其深入学科领域前沿，掌握最新的原理方法，并大胆提出自己的设想，小心地科研探索求证。2.3教学内容课程内容把基础理论与工程实践相结合，详细讲述大数据分析的原理和关键技术，系统阐释大数据平台搭建、优化和数据分析方法，并深入探究当今世界大数据分析的成功案例及典型应用。在授课时不局限于Hadoop框架本身，而是扩展到其整个生态系统，如图1所示，引导学生充分利用这些开源框架提供的便利，并在技术精深后为开源社区贡献出自己的才智。本课程内容分为三个部分，第一部分介绍Hadoop的发展史和技术特点，从而把握分布式计算框架现状及未来发展方向，为企业的技术选型和架构设计提供决策支持；第二部分全面掌握Hadoop的宏观架构和应用场景，并通过贯穿课程的服务器日志分析项目进行实战锻炼，从而熟练使用Hadoop进行MapReduce程序开发，课程还涵盖分布式计算领域的常用算法，帮助学生拓宽视野，在利用大数据方面取得积极进展；第三部分将深入理解Hadoop技术架构的原理细节，对Hadoop运作机制和管理优化有清晰全面的把握，可以独立规划和部署生产环境的Hadoop集群，掌握Hadoop基本运维思路和方法，对Hadoop集群进行管理和优化。3多举措并举，打造课程精品3.1校企合作，建设优秀的师资团队大数据分析是一门理论性和实践性都很强的课程，对其原理性和前沿性的理解高校中从事该学科教学和研究的教师理解更为深刻，但对该产业应用领域的理解没人