聚类分析、判别分析、主成分分析、因子分析.pdf

聚类分析、判别分析、主成分分析、因子分析

主成分分析与因子分析的区别

1.目的不同：因子分析把诸多变量看成由对每一个变量都有作用
的一些公共因子和仅对某一个变量有作用的特殊因子线性组合而
成，因此就是要从数据中控查出对变量起解释作用的公共因子和特
殊因子以及其组合系数；主成分分析只是从空间生成的角度寻找能
解释诸多变量变异的绝大部分的几组彼此不相关的新变量（主成
分）。

2.线性表示方向不同：因子分析是把变量表示成各公因子的线性
组合；而主成分分析中则是把主成分表示成各变量的线性组合。

3.假设条件不同：主成分分析中不需要有假设；因子分析的假设
包括：各个公共因子之间不相关，特殊因子之间不相关，公共因子
和特殊因子之间不相关。

4.提取主因子的方法不同：因子分析抽取主因子不仅有主成分
法，还有极大似然法，主轴因子法，基于这些方法得到的结果也不
同；主成分只能用主成分法抽取。

5.主成分与因子的变化：当给定的协方差矩阵或者相关矩阵的特
征值唯一时，主成分一般是固定的；而因子分析中因子不是固定
的，可以旋转得到不同的因子。

6.因子数量与主成分的数量：在因子分析中，因子个数需要分析
者指定（SPSS根据一定的条件自动设定，只要是特征值大于1的因
子主可进入分析），指定的因子数量不同而结果也不同；在主成分
分析中，成分的数量是一定的，一般有几个变量就有几个主成分
（只是主成分所解释的信息量不等）。

7.功能：和主成分分析相比，由于因子分析可以使用旋转技术帮
助解释因子，在解释方面更加有优势；而如果想把现有的变量变成
少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进
入后续的分析，则可以使用主成分分析。当然，这种情况也可以使

用因子得分做到，所以这种区分不是绝对的。

1/6下载文档可编辑
1、聚类分析

基本原理：将个体（样品）或者对象（变量）按相似程度（距离远

近）划分类别，使得同一类中的元素之间的相似性比其他类的元素

的相似性更强。目的在于使类间元素的同质性最大化和类与类间元

素的异质性最大化。

常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的

聚类，分解法，加入法。

注意事项：1.系统聚类法可对变量或者记录进行分类，K-均值法只

能对记录进行分类；

2.K-均值法要求分析人员事先知道样品分

为多少类；

3.对变量的多元正态性，方差齐性等要

求较高。

应用领域：细分市场，消费行为划分，设计抽样方案等

2、判别分析

基本原理：从已知的各种分类情况中总结规律（训练出判别函

数），当新样品进入时，判断其与判别函数之间的相似程度（概率

最大，距离最近，离差最小等判别准则）。

2/6下载文档可编辑
常用判别方法：最大似然法，距离判别法，Fisher判别法，Bayes

判别法，逐步判别法等。

注意事项：1.判别分析的基本条件：分组类型在两组以上，解释变

量必须是可测的；

2.每个解释变量不能是其它解释变量的

线性组合（比如出现多重共线性情况时，判别权重会出现问题）；

3.各解释变量之间服从多元正态分布

（不符合时，可使用Logistic回归替代），且各组解释变量的协方

差矩阵相等（各组协方方差矩阵有显著差异时，判别函数不相

同）。

相对而言，即使判别函数违反上述适用条件，也很稳健，对结果影

响不大。

应用领域：对客户进行信用预测，寻找潜在客户（是否为消费者，

公司是否成功，学生是否被录用等等），临床上用于鉴别诊断。

3、主成分分析/因子分析

主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信

息的前提下把多个指标转化为几个综合指标（主成分),即每个主成

分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成

3/6下载文档可编辑
分比原始变量具有某些更优越的性能（主成分必须保留原始变量

90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。

因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内

部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几

个综合因子。（因子分析是主成分的推广，相对于主成分分析，更

倾向于描述原始变量之间的相关关系）

求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵

出发（相关阵R已知）。

（实际研究中，总体协方差阵与相关阵是未知

的，必须通过样本数据来估计）

求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小

二乘法，a因子提取法。

注意事项：1.由协方差阵出发与由相关阵出发求解主成分所得结果

不一致时，要恰当的选取某一种方法；

2.对于度量单位或是取值范围在同量级的

数据，可直接求协方差阵；对于