主成分分析和因子分析.ppt

主成分分析和因子分析汇报什么？主成分分析成绩数据（student.sav）从本例可能提出的问题空间的点7椭球的长短轴9主轴和主成分主成分之选取主成分分析的数学对于我们的数据，SPSS输出为特征值的贡献还可以从SPSS的所谓碎石图看出怎么解释这两个主成分。前面说过主成分是原始六个变量的线性组合。是怎么样的组合呢？SPSS可以输出下面的表。如用x1,x2,x3,x4,x5,x6分别表示原先的六个变量，而用y1,y2,y3,y4,y5,y6表示新的主成分，那么，第一和第二主成分为可以把第一和第二主成分的载荷点出一个二维图以直观地显示它们如何解释原来的变量的。这个图叫做载荷图。该图左面三个点是数学、物理、化学三科，右边三个点是语文、历史、外语三科。图中的六个点由于比较挤，不易分清，但只要认识到这些点的坐标是前面的第一二主成分载荷，坐标是前面表中第一二列中的数目，还是可以识别的。因子分析主成分分析与因子分析的公式上的区别因子分析的数学对于我们的数据，SPSS因子分析输出为这个表说明六个变量和因子的关系。为简单记，我们用x1,x2,x3,x4,x5,x6来表示math（数学），phys（物理），chem（化学），literat（语文），history（历史），english（英语）等变量。这样因子f1和f2与这些原变量之间的关系是（注意，和主成分分析不同，这里把成分（因子）写在方程的右边，把原变量写在左边；但相应的系数还是主成分和各个变量的线性相关系数，也称为因子载荷）：24这里，第一个因子主要和语文、历史、英语三科有很强的正相关；而第二个因子主要和数学、物理、化学三科有很强的正相关。因此可以给第一个因子起名为“文科因子”，而给第二个因子起名为“理科因子”。从这个例子可以看出，因子分析的结果比主成分分析解释性更强。这些系数所形成的散点图（在SPSS中也称载荷图）为计算因子得分该输出说明第一和第二主因子为（习惯上用字母f来表示因子）可以按照如下公式计算，该函数称为因子得分（factorscore）。SPSS实现(因子分析与主成分分析)因子分析和主成分分析的一些注意事项主成分分析(PrincipalComponentsAnalysis)洛衫矶对12个人口调查区的数据动机如果有变量x1,...,xp,数学上可以把它们变换成一组新的变量(称为成分）y1,...,yp,使得:(1)每一个y是那些x的线性组合,即yi=ai1x1+…+aipxp;（Y=a’X)(2)系数aij的平方和为1,即ai=(ai1,...,aip)T是单位向量;(3)y1是这样的线性组合中方差最大的,y2为和y1不相关的线性组合中使方差最大的,如此下去,一般地,yj为与y1,y2,…,yj-1都不相关的方差最大的线性组合.头几个变量（主成分）由于其方差最大,往往包含了绝大部分信息,人们就可以用它们来描述原来用p个变量所代表的现象.简化也就完成了.矩阵情况向量X的线性组合a’X的方差为Var(a’X)=a’Cov(X)a;Cov(X)未知；于是用X的样本相关阵R来近似.因此，我们要寻找向量a使得a’Ra最大的p×p矩阵.而对于观测值X=(x1,…,xp),其中xi=(x1i,…,xni),i=1,…,p,的样本相关阵第(ij)-元素为关于特征值和特征向量特征方程|R-lI|=0的解为特征值l,这里R为一个p维正定方阵.l通常有p个根l1≥l2≥…≥lp.满足(R-liI)xi=0的向量xi为li的特征向量.对任意向量a有性质为了我们简化的目的,通常选取特征值最大的几个特征向量作为代表.利用计算机软件就自动地得到这些特征值和特征向量.由于变量不同的尺度会影响结果,因此,在各变量尺度差别大时,一般可以用样本相关阵而不是协方差阵来做(这通常在软件的选项之中).步骤取上面几个行向量组成所需的主成分变换矩阵.主成分i为:yi=ai1x1+…+aipxp(yi贡献率为li/∑jlj)第一主成分:使Var(a1’X)最大的单位向量a1(a1’a1=1);而l1=a1’Ra1=Var(a1’X);这里R为X的相关阵.第二主成分:满足Cov(a1’X,a2’X)=0而且使Var(a2’X)最大的单位向量a2(a2’a2=1);而l2=a2’Ra2=Var(a2’X)………………………………………….第k主成分:满足Cov(ai’X,ak’X)=0(i=1,…,k-1),而且使Var(ak’X)最大的单位向量ak(ak’ak=1);而lk=ak’Rak=Var(ak’X).头m个主成分的累积贡献率:这里aij为第i个特征向量的第j个分量;第i个主成分的载荷平方和为该主成分的方差,等于其特征值li.所选的m个主成分对变量xj的总方差贡献为洛衫矶对12个人口调查区的数据(data15-01)特征值、累