大数据时代下数据分析课程的探索.docx

大数据时代下“数据分析”课程的探索张蕾，魏立斐（上海海洋大学信息学院，上海浦东201306）摘要：大数据时代下，迫切需要从海量的数据中揭示内在规律、发掘有用信息、帮助人们科学决策。这正是“数据分析”课程研究的基本内容。本文分析了信息与计算科学等本科专业开设“数据分析”课程中存在的一些问题，从教学目标、教学内容、教学方式与学时分配等方面，提出了“数据分析”课程的一些建议及初步探索方案。关键词：数据分析；大数据；课程探索中图分类号：G642.0文献标志码：A文章编号：1674-9324（2015）25-0154-02一、引言作为最早提出“大数据时代到来”的企业，麦肯锡公司曾指出：“大数据已渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来[1]。”继云计算、物联网、移动互联网之后，“大数据”作为信息技术领域又一次颠覆性的技术革命，已经在金融、医药、交通、海洋等各个行业以及物理学、生物学、环境学、药学等科学领域广泛应用[2]。然而，如何从海量并貌似杂乱无序的数据中揭示内在规律，挖掘有用信息，进而通过辅助决策系统、专家系统等进行科学的决策，是大数据时代面临的重要科学问题。尤其是对这些纷繁复杂的数据进行科学的分析，实现“数据—信息—知识”[3]三个层次的提炼，正是“数据分析”课程主要研究的内容。“数据分析”课程是国内绝大多数高校在信息与计算科学等信息类专业的本科生开设的必修课/选修课[4]，是“概率论与数理统计”课程的后续延伸及应用，也是“数据挖掘”课程的先修课程。“数据分析”课程主要介绍了数据分析的基本理论与方法，详细叙述数据分析中线性回归分析、方差分析、主成分分析、典型相关分析、判别分析、聚类分析和Bayes分析等重要的分析方法。虽然“数据分析”课程可看作数理统计学理论与方法的综合应用，但其更注重实际的应用问题解决的全过程，从中得到有价值的信息与知识。在大数据时代下，大量数据分析处理需求大大助长了各行业及企业对统计、计算机背景相结合的人才的需求[5]，如数据分析师、数据工程师、数据科学家等等，迫切需要同时掌握数据分析的基本理论与数据分析具体技术，并且能够通过计算机软件（SAS、SPSS、Eviews等）对数据进行分析与处理的复合型人才[6]。通过“数据分析”课程，学生将初步掌握数据分析的基本理论与方法，培养和锻炼利用实际数据来分析、解决实际问题的能力，这些技能将对学生升学深造和就业工作，具有非常重要的意义。本文在对“数据分析”课程多年的观察与教学的基础上，对本科阶段“数据分析”课程存在问题进行深入剖析，并给出一些初步的建议。二、存在问题然而，笔者在最近几年的授课过程中，发现“数据分析”课程在学生的学习过程和能力培养方面容易存在以下问题：1.理论课程难度较大，造成学生学习困难。“数据分析”课程作为“概率论与数理统计”、“高等代数”等课程的后续课程，需要学生对数学类专业课有比较扎实的基础与深入的理解。如“数据分析”课程中的回归方程的显著性检验方法，需要学生已经掌握“概率论与数理统计”的多元正态分布的定义和数字特征、假设检验等内容，同时具有“高等代数”的矩阵运算（包括矩阵的加、乘法，求逆阵，计算特征值和特征向量等）的基础。同时，“数据分析”与“概率论与数理统计”课程在内容上也是有所差异的：前者强调从实际数据中挖掘尽可能多的有用信息，属于后者的理论与方法的综合应用。因此，“数据分析”课程的理论难度较大，对于学生学习提出了很高的要求。2.动手能力要求高，考验学生的编程能力。“数据分析”课程的知识点不仅仅停留在理论推导上，对于已经建立的数学模型，需要借助与计算机对大批量的数据进行处理，尤其是常用的统计软件在汉化过程中，不能很好地解决专业术语的翻译。因此在运用计算机软件解决实际问题时，对学生计算机编程能力和专业外语知识要求也很高。如在SAS中，有一整套的编程命令，以命令的方式来建立数据集，并对数据集进行操作，甚至在实现某些分析算法（如Box-Cox变换）的时候，还会调用到选择语句和循环语句。学生往往处于被动学习的地位，只能按照教师的指导，运行一些简单的程序，如仅仅敲打书上例题程序，缺少实验过程中的动手分析、设计和测试环节，无法发挥学生的积极性与创造性。这样的实验很难让学生体会到实际的数据处理及编程环境，学会解决编程中碰到的意外问题，因此难以激发学生的实验兴趣，从而降低了教学的效果。3.对于计算机运行结果，需要较高的分析问题能力，考察学生分析能力。很多同学能够通过计算机调用统计软件中各程序模块的运行，但仅仅能达到验证结果的目的，往往对计算结果中所包含的统计学等深层次的含义知之甚少，更不必说从中提炼出有用的知识。如很多同学知道某统计量的假设检验概率值p<0.0001，仅表