主成分回归分析(PPT).pdf

主成分回归分析
一、主成分估计
主成分估计是以P个主成分中的前q个贡
献大的主成分为自变量建立回归方程，
估计参数的一种方法。
它可以消除变量间的多重共线性。
回归方程yb0b1x1b2x2bpxpe
对各变量进行标准化处理Y*X*e
对于解释变量X*，使得z=X*U

Y*X*eX*UUe
令U
Y*Ze
Y*Zcce(c1,2,...,q)

Y*1Z12Z2...qZq
1
ˆcZcZcZcY*
n
11zy*
zy*i1i
1111i1
n
2z2y2*2zy*
i2i
i1


zn
qqynq
ziqyi*
i1
n
zi1yi*/1
i1
zi2yi*2


ziqyi*q
n
ˆ
jzijyi*j
i1
U
U
ˆ
cUˆcˆ1U1ˆ2U2ˆqUq
1、给定c，q1q
jpc,jpc
j1j1

2、删去0.01的特征根所对应的主成分。
q1
3、5q
j1j
SPSS实现
1、对所有变量进行标准化(Analyse-
description)
2、对所有标准化后的自变量求主成分Z(factor)
3、选择前几个主成分
4、计算主成分得分(transform-compute)
5、y与主成分进行回归(analyse-regression)，
求出α系数值。
6、computeUˆ,求出β系数，即可得出
消除多重共线性的标准回归方程。
例3.9经济工作者希望通过国内总产值
x1，存储量x2，消费总量x3,去预测进口
总额y,为此收集了某地区共计十一年的有
关数据，利用主成分估计建立回归方程。
(数据见spssex/ex309)

Z1=0.7066*zx1+0.0435*zx2+0.7066*zx3
Z2=-0.0357*zx1+0.9990*zx2-0.0258*zx3
yˆ*0.690z10.191z2
例3.10影响电的需求量的指标有：(1)钢的产
量x1;(2)生铁产量x2;(3)钢材产量x3;(4)有色金
属产量x4;(5)原煤产量x5;(6)水泥产量x6;(7)机
械工业总产值x7;(8)化肥产量x8;(9)硫酸产量
x9;(10)烧碱产量x10;(11)棉纱产量x11共11个
指标。收集了23年的指标值，建立发电站需求
模型。(数据见spssex/ex310)
Z1=0.3145*zx1+0.3027*zx2+0.3100*zx3+0.2782*zx
4+0.2518*zx5+0.3110*zx6+0.3116*zx7+0.3075*zx8
+0.3034*zx9+0.3145*zx10+0.3050*zx11
Z2=-0.0522*zx1+0.2949*zx2-
0.0469*zx3+0.3696*zx4+0.7199*zx5-0.1919*zx6-
0.1391*zx7-0.2421*zx8-0.3361*zx9-0.1481*zx10-
0.0536*zx11
二、主成分分析筛选变量法
1、将原始样本数据标准化后，作主成分变换
Z=X*U

Upu1pu2pupp

2、剔除Up中绝对值最大的ui1p所对应的变量
具有较小特征根对应的主成分含有较少的信息。
3、将剩余p-1个标准化变量X*(1)再作主
成分分析Z(1)=X*(1)U(1)
4、再考虑最小特征根对应的特征向量，
找出绝对值最大的特征向量，剔除与之
对应的变量。
直至满足给定条件时停止。
5、将因变量与剩余变量作回归
三、主成分回归法
先将原始变量作主成分估计，得到标准
化后的y与主成分的回归方程。
离差平方和分解：
222
**ˆ*ˆ*
yiyyiyiyiy
222
**ˆ*ˆ*
yiyiyiyi
2
ˆ*ˆ*ˆ*ˆˆˆˆˆˆ
yiYYZZZZ

1ˆ1
ˆ
ˆˆˆ22
12p

ˆ
pp

ˆ1

ˆp
ˆˆˆ2ˆ2ˆ2ˆ2ˆ2
1122pp1122ppjj
j1

ˆ
p
ˆ2
任一构成jj是主成分Z