回归分析、主成分分析、贝叶斯判别.doc

1实验内容
（1）掌握回归分析的思想和计算步骤；
（2）编写程序完成回归分析的计算，包括后续的显著性检验、残差分析、Box-Cox变换等内容。
2模型建立与求解(数据结构与算法描述)
Y与X1,X2,…,QUOTE的关系可表示为Y=f(X1,X2,…,QUOTE)+ε,回归分析既是利用Y与X1,X2,…,QUOTE的观测数据，并在误差项的某些假定下确定f(X1,X2,…,QUOTE)。利用统计推断方法对所确定的函数的合理性一级由此关系所揭示的Y与X1,X2,…,QUOTE的关系作分析。
用最小二乘法计算回归参数
QUOTE
总离差平方和
QUOTE
残差平方和
QUOTE
回归平方和
QUOTE
SST=SSE+SSR
R为复相关系数
QUOTE
Box-Cox变换
对Y做如下变换：
QUOTE
通过最大似然方法确定QUOTE问题转化为选择QUOTE，使

达到最小，其中

QUOTE
3.实验数据为：
习题2.4
QUOTE
误差方差估计为：4.9445e+004
复相关系数：0.9595
exersice2_6
得b=-54.98774.70820.3393R=0.9376
因此回归方程为：y=-54.9877+4.7082X1+0.3393X2
习题2.9
QUOTE
复相关系数：0.8202
4．程序代码清单：
2.4
functionhuigui(X,Y)
D=xlsread('2.4.xls');
p=3;n=15;
X=D(:,1:end-1);
Y=D(:,end);
a=ones(n,1);
X=[a,X];
B=(inv(X'*X))*X'*Y
H=X*inv(X'*X)*X';
y1=mean(Y);%ƽ¾ùÖµ
y2=B(1)+B(2).*X(:,2)+B(3).*X(:,3);%»Ø¹éÖµ
SST=sum((Y-y1).^2)%×ÜÀë²îƽ·½ºÍ
SSE=sum((Y-y2).^2)%²Ð²îƽ·½ºÍ
SSR=sum((y2-y1).^2)%»Ø¹éƽ·½ºÍ
MSR=SSR/(p-1)%¾ù·½»Ø¹é
MSE=SSE/(n-p)%¾ù·½²Ð²î
F=MSR/MSE;
R=sqrt(SSR/SST)%¼ÆË㸴Ïà¹ØϵÊý
o=SSE/(n-p)%·½²î¹À¼ÆÖµ
y3=y2-Y;%²Ð²îÖµ
e=(eye(n)-H)*Y;%²Ð²îÏòÁ¿
plot(Y,e,'*')
未进行Box-Cox变换时的残差分析

进行Box-Cox变换后，残差图为

2.6
loadexersice2_6.txt
data=exersice2_6;
[b,R]=reg(data)

function[b,R]=reg(data)
X=data(:,1:end-1);
Y=data(:,end);
temp=ones(length(data),1);
X=[temp,X];
b=inv(X'*X)*X'*Y;
YY=X*b;
SST=sum((Y-mean(Y)).^2);
SSE=sum((Y-YY).^2);
R=sqrt(1-SSE/SST);

2.9
functionhuigui(X,Y)
D=xlsread('2.9.xls');
p=4;n=23;
X=D(:,1:end-1);
Y=D(:,end);
a=ones(n,1);
X=[a,X];
B=(inv(X'*X))*X'*Y
H=X*inv(X'*X)*X';
y1=mean(Y);%ƽ¾ùÖµ
y2=B(1)+B(2).*X(:,2)+B(3).*X(:,3)+B(4).*X(:,4);%»Ø¹éÖµ
SST=sum((Y-y1).^2);%×ÜÀë²îƽ·½ºÍ
SSE=sum((Y-y2).^2);%²Ð²îƽ·½ºÍ
SSR=sum((y2-y1).^2);%»Ø¹éƽ·½ºÍ
MSR=SSR/(p-1);%¾ù·½»Ø¹é
MSE=SSE/(n-p);%¾ù·½²Ð²î
F=MSR/MSE;
R=sqrt(SSR/SST)%¼ÆË㸴Ïà¹ØϵÊý
o=SSE/(n-p);%·½²î¹À¼ÆÖµ
y3=y2-Y;%²Ð²îÖµ
e=(eye(n)-H)*Y;%²Ð²îÏòÁ¿
plot(Y,e,'*')

残差分析

上课纪律（20%）实验过程及结果（40%）实验报告质量（40%）总分：教师签字：

模型建立与求解(数据结构与算法描述)
主成分分析：将p个特征变量QUOTE通过线性组合综合成尽量小的几个综合性变量QUOTE(q<p),而且要求QUOTE能充分反映原来