C02 利用Python实现大数据分析与数据挖掘技术培训(5天).pdf

Python已经成为数据分析和数据挖掘的首选语言，作为除了Java、C/C++/C#
外最受欢迎的语言。

本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业
务问题，在数据挖掘标准过程指导下，采用Python分析工具，实现数据挖掘项
目的每一步操作，从数据预处理、数据建模、数据可视化，到最终数据挖掘结束，

匡助学员掌握Python用于数据挖掘，提升学员的数据化运营及数据挖掘的能力。
通过本课程的学习，达到如下目的：

1、全面掌握Python语言以及其编程思想。
2、掌握常用扩展库的使用，特殊是数据挖掘相关库的使用。
3、学会使用Python完成数据挖掘项目整个过程。
4、掌握利用Python实现可视化呈现。
5、掌握数据挖掘常见算法在Python中的实现。

5天时间
(全部模块讲完需要5天时间，可以根据时间需求拆份内容模块)。

业务支持部、IT系统部、大数据系统开辟部、大数据分析中心、网络运维
部等相关技术人员。

课程为实战课程，要求：
1、每一个学员自备一台便携机(必须)。

2、便携机中事先安装好Excel2022版本及以上。
3、便携机中事先安装好Python3.6版本及以上。
注：讲师现场提供开源的安装程序、扩展库，以及现场分析的数据源。

语言基础+挖掘模型+案例演练+开辟实践+可视化呈现

采用互动式教学，环绕业务问题，展开数据分析过程，全过程演练操作，让
学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。

目的：掌握基本的Python编程思想与编程语句，熟悉常用数据结构的操作
1、Python简介
2、开辟环境搭建
Python的安装
扩展库的安装

3、掌握Python的简单数据类型
字符串的使用及操作
整数、浮点数

4、掌握基本语句：
if、while、for、print等

基本运算：
函数定义、参数传递、返回值

5、掌握复杂的数据类型：列表/元组
列表操作：访问、添加、修改、删除、排序

列表切片、复制等
列表相关的函数、方法
元组的应用

6、复杂数据类型：字典
创建、访问、修改、删除、遍历

字典函数和方法
7、复杂数据类型：集合

8、掌握面向对象编程思想
创建类、继承类
模块

9、函数定义、参数传递、返回值
10、标准库与扩展库的导入

11、异常处理:try-except块
演练：基本的Python编程语句

目的：掌握数据集结构及基本处理方法，进一步巩固Python语言

1、数据挖掘常用扩展库介绍
Numpy数组处理支持

Scipy矩阵计算模块

Matplotlib数据可视化工具库
Pandas数据分析和探索工具
StatsModels统计建模库
Scikit-Learn机器学习库
Keras深度学习(神经网络)库
Gensim文本挖掘库

2、数据集读取与操作：读取、写入
读写文本文件

读写CSV文件

读写Excel文件
从数据库获取数据集

3、数据集的核心数据结构(Pandas数据结构)
DataFrame对象及处理方法
Series对象及处理方法
演练：用Python实现数据的基本统计分析功能

目的：掌握作图扩展库，实现数据可视化

1、常用的Python作图库
Matplotlib库
Pygal库

2、实现分类汇总
演练：按性别统计用户人数
演练：按产品+日期统计各产品销售金额

3、各种图形的画法
直方图

饼图

折线图
散点图

4、绘图的美化技巧
演练：用Python库作图来实现产品销量分析，并可视化

目的：掌握数据挖掘标准流程
1、数据挖掘概述

2、数据挖掘的标准流程(CRISP-DM)
商业理解

数据准备
数据理解
模型建立
模型评估
模型应用
3、数据挖掘常用任务与算法
案例：用大数据实现精准营销的项目过程

目的：掌握数据预处理的基本环节，以及Python的实现
1、数据预处理
异常值处理：3σ准则，IQR准则

缺失值插补：均值、拉格朗日插补
数据筛选/抽样
数据的离散化处理
变量变换、变量派生

2、数据的基本分析
相关分析：原理、公式、应用

方差分析：原理、公式、应用
卡方分析：原理、公式、应用
主成份分析：降维

案例：用Python实现数据预处理及数据准备

1、常见分类预测的模型与算法
2、如何评估分类预测模型的质量
查准率

查全率

ROC曲线

3、逻辑回归分析模型
逻辑回归的原理

逻辑回归建模的步骤

逻辑回归结果解读

案例：用sklearn库实现银行贷款违约预测
4、决策树模型
决策树分类的原理

决策树的三个关键问题
决策树算法与实现
案例：电力窃漏用户自动识别