经典线性回归模型.docx

第二章经典线性回归模型
一、线性回归模型的概念
1、一元线性回归模型
（1）总体回归模型
总体回归模型：，
总体回归方程：
说明：确定性部分——Y对于给定X的期望值
随机部分——代表了排除在模型以外的所有因素对Y的影响。它是期望为0的，具有一定分布的随机变量。

研究的目标：
①确定总体回归方程的参数
②随机扰动项的分布（想想看，为什么？）

（2）样本回归模型
问题：我们往往无法获得全体数据，无法准确的分析出总体回归参数。能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？
画一条直线以尽好地拟合该散点图，由于样本取自总体，可以用该直线近似地代表总体回归线。该直线称为样本回归线。

样本回归模型：
样本回归方程：

（3）样本回归线与总体回归线的关系

2、多元线性回归模型
在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量有关。

斜率“β”的含义是其它变量不变的情况下，Xj改变一个单位对因变量所产生的影响

即对于n组观测值，有

定义：

多元线性回归模型的矩阵形式为（总体）：，
（样本），
二、经典线性回归模型的统计假设
引言：为什么要做基本假定
①为了保证参数估计得以进行（或者有意义）
②为保证参数估计量具有良好的性质。
③对于随机扰动的分布作出假定，才可能确定所估计参数的分布性质，也才可能进行假设检验

（1）线性假定。总体模型为

（2）严格外生性
即E(ut|X)=0,t=1,2,…,n；
含义：ut与所有解释变量都不相关
注；如果E(ut|X)=c，c为某常熟，但不一定为0.当回归方程中有常数项时，可以将这个非零的期望c并入常数项。

命题1：,扰动项的无条件期望为0

命题2，随机变量与扰动项正交。

（3）球形假定
无自相关假设
cov(ui,uj|Xi,Xj)=0,即E(uiuj|Xi,Xj)=0,i≠j
含义：表明产生干扰的因素是完全随机的。此次干扰和彼此干扰互不相关，相互独立

同方差假设
，即：
含义：①所需估计的方差数简化为一个。
②可以推出，因变量可能取值的分散程度也是相同的。
③每个观测的可信程度是一样的。

（2）（3）可以合并为：

假设（2），（3）说明随机项u的方差－协方差矩阵为对角矩阵：

（4）各解释变量之间不存在严格的线性关系（即不存在“严格的多重共线性”）
即X是满秩的。此时矩阵X’X也是满秩的，
所以行列式，保证了可逆。是OLS估计可以进行的前提。
含义：
①从直观含义来看。模型中的变量对于解释Y提供了新的信息，不能由其他信息完全替代
②从参数的含义来看。保持其他信息不变时，如果存在严格多重共线，则无法做到
③从系数的求解来看：缺少足够信息将两变量的影响区分开来
三、最小二乘估计
1、最小二乘估计原理
分析：直观上看，也就是要求在X和Y的散点图上穿过各观测点画出一条“最佳”直线，如下图所示。

选择一个好的拟合标准。，使得拟合的直线为最佳。

因可正可负，所以取最小。
取最小值

2、最小二乘估计的正规方程
最小二乘方法要求残差平方和最小

即，满足

可以写成：

也就是（正规方程，矩条件）：

3、一元线性回归模型的最小二乘估计
例如：一元线性回归的最小二乘估计

最小化：即找到使得残差平方和最小的参数近似值

用残差表示得到：，并可以推导得到：
正规方程：

得参数估计：

可以从两个角度来理解参数估计：
①、参数估计量
给出了两个(随机的）估计量，此时强调估计量受到一个确定性变量和一个随机变量的影响。因此也是随机的。（估计量的分布是怎样的？）
②、参数估计值
将的具体观测数据带入公式，计算出具体的数值。此时表现为一个确定的数字。

4、最小二乘估计的矩阵表示
（具体可以参考陈强的书）

我们的目标是使得回归的残差平方和达到最小，即：

则它的一阶条件为：
化简得：
四、OLS估计量的性质
1、线性性(有助于确定估计量的分布)

2、无偏性（有助于确定正态分布的均值）

即
其中，
两边取期望
与零均值假定，以及非随机解释变量两个假设有关

3、最小方差性（有助于确定正态分布的方差）
(1)方差-协方差矩阵：

（2）方差协方差矩阵的计算
方法1：

方法2

估计量的方差协方差矩阵为：

五、最小二乘估计量的分布
1、多元线性回归中的无偏估计为

k为所有参数的个数，包括常数项。n-k是自由度
可以得到：
①估计量的方差为：
②样本方差为：
③样本标准差为：

2、OLS估计的分布
OLS估计量是随机变量，必须确定其分布才能进行区间估计和假设检验
分析：
①分布：根据线性性的性质：
随机干扰项是服从正态分布的随机变量，决定了Y也是服从正态分布的随机变量。
OL