第10章 线性回归分析.ppt

第10章线性回归分析例设一个质点作匀速直线运动，其位移可以表示为S=α+βt。但在实验中由于受到环境等干扰因素的作用，在每一个时刻，人们观察到的不是准确的位移，而是具有误差S+ε,记这一观测值为Y，则所有观察数据满足不确定型的函数关系例：宝丽来公司y——胶卷感光率的变动例：收入与食品消费这时，两个变量之间的不确定关系，可以用下式表示：例一个假想的社区有100户家庭组成，要研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系。
即如果知道了家庭的月收入，能否预测该社区家庭的平均月消费支出水平。0例多孩率与人均收入这时两个变量之间的不确定关系可以大致用如下包含对数的函数关系表示：10.1一元线性回归变量X，Y之间成立的关系式对它们的每对对应的样本值都成立，因此对任一对样本值Xi，Yi，i=1,2,…,n,有10.1.2高斯基本假设（6）E(Xiuj)=0对所有的i和j都成立。10.1.3普通最小二乘法(OLS:OrdinaryLeastSquare)为了使得回归直线最好地拟合所有样本数据，就应该使所有残差绝对值都尽可能小。为此，我们求参数的估计值使残差平方和在高斯的基本假设下，按上式计算得到的参数估计值是最优的线性无偏估计量(BLUE,BestLinearUnbiasedEstimator)。即OLS估计量是线性估计量并且是无偏的，在所有的无偏估计量中，的方差是最小的。10.2多元线性回归对公司的实际数据，采用普通最小二乘法估计出回归方程为10.2.1多元线性回归模型的基本假设（高斯假设）为便于讨论，对多元线性回归模型，常使用矩阵形式高斯假设（3）；因此条件（3）意味着（4）在（6）中的要求k<n，实际上是要求样本数据的数量n大于解释变量的个数（或待估计的参数的个数）k。而注意到矩阵X为10.2.2普通最小二乘估计式由于残差的平方和可以表示为由条件（6）可知矩阵可逆。因此正规方程组的解为10.2.3普通最小二乘估计量的性质具体来说10.2.4普通最小二乘估计量的方差和分布即可以证明：10.2.6判定系数R2（CoefficientofDetermination)（1）使用不同的数据建立的线性回归方程对样本数据的拟合程度是有差别的。
（2）线性回归方程对样本数据的拟合程度越好，样本数据所代表的解释变量与被解释变量之间的线性关系就越显著，从而越适合用线性回归方程来描述解释变量与被解释变量的相关关系。并且可以证明我们就把解释变差平方和在总变差平方和中占的比重称为判定系数，记为R2，即例1970-1982年美国“期望扩充”菲利普斯曲线根据上表，可知回归的结果为10.2.7回归效果的F检验易知10.2.9校正的判定系数(AdjustedR2)10.2.10回归系数的T检验对给定的显著性水平α，查t分布表可得临界值此外，t检验统计量也可用于10.2.11回归系数的置信区间10.2.14标准回归系数经过标准化处理，原始方程：10.3逐步回归为此，考虑一种新的方法来检验βj是否小到足以让我们剔除Xj的地步。10.3.2偏解释变差（偏回归平方和）和并且10.3.3逐步回归法逐步移除(Backward)：与前面相比现在反过来进行变量的挑选。先让所有变量进入模型，然后逐步将统计量Fj的值小的变量从模型中剔除，剩下那些该统计量能通过在某一给定显著性水平下的显著性检验的变量。10.4用SPSS处理经典回归问题例10.4.2多元线性回归模型10.4.2逐步回归法10.5多元线性回归的三大基本问题完全多重共线性在实际问题中并不多见，即便出现了完全多重共线性，也容易判别出来。其中cjj就是矩阵对角线上第j个元素。因此OLS估计量的方差将变得非常大，这意味着估计的误差非常大。2多重共线性的后果（4）R2的值变得接近于1，给出虚假的回归结果好的结果。3若干判别是否存在多重共线性的方法（4）.通过条件指数检验4.多重共线性的处理（3）改变模型的结构（4）恰当处理滞后变量（5）增加数据10.5.2异方差问题使用截面数据建立的模型较易出现异方差性。.在前面的讨论中我们已经提到：3.异方差问题存在的判断Yi（2）通过ei与Xi的相关性来判别。4.异方差的处理（2）用下面的广义最小二乘法，求原方程的系数10.5.3广义最小二乘法(GLS)（3）WLS估计法容易证明此时新的随机扰动项例住房支出由数据分析，以及由散点图更进一步，X与残差绝对值的Spearman等级相关系数为0.560，在显著性水平5%下显著异于零。10.5.4自相关（序列相关）问题2.实际问题中产生序列相关的主要原因3.序列相关的后果4.序列相关的检验i（2）一阶自相关的DW检验法思路：DW检验法要检验ρ=0是否成立，若等式成立，则，所检验的模型不存在自相关；否则存在序列相关。使用的统计量为DW统计量，其计算