多元线性回归模型分析.pptx

第三章多元线性回归模型**多元线性回归模型是我们课程的重点，原因在于：
多元线性回归模型应用非常普遍；
原理和方法是理解更复杂计量经济学模型的基础；
内容较为丰富。本章主要内容§3.1多元线性回归模型的描述1、多元线性回归模型的形式以多元线性回归模型的一般形式——K元线性回归模型入手进行讲解，其模型结构如下：
在研究中，我们根本无法了解式（1）所示的总体模型的特征，而只能通过样本特征来近似考察。
设经过n次试验，得到n个样本，如下所示：在计量经济学分析中，通常会借助矩阵工具，在此亦将多元线性模型表示成矩阵形式，以便于下一步的数学运算。（1）线性性。即要求模型关于参数是线性的，关于扰动项是可加的。
（2）满秩。说明解释变量之间是线性无关的，这一假设很重要，在后面会经常受到。
（3）回归性。x与不相关。
（4）x的DGP是外生的。x相对于y是外生的，是非随机的。
（5）球形扰动。同方差性和非自相关性。
（6）正态假设。
2、多元回归方程及偏回归系数的含义偏回归系数的含义如下：
1度量着在X2,X3,…,Xk保持不变的情况下，X1每变化1个单位时，Y的均值E(Y)的变化，或者说1给出X1的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。
其他参数的含义与之相同。需要说明的是，如果令x1≡1，则1便是常数项。习惯上把常数项看成为一个虚变量的系数，在参数估计过程中该虚变量的样本观测值始终取1。
常数项的作用在于中心化误差。§3.2参数的OLS估计我们的模型是：要使残差平方和即上述结果，亦可从矩阵表示的模型

出发，完全用矩阵代数推导出来。残差平方和注意到上式中所有项都是标量，且注：这只是得到了求极值的必要条件。到目前为止，仍不能确定这一极值是极大还是极小。接下来考察求极值充分条件。注意到上述条件只是极小化问题的必要条件，为了判断充分性，我们需要求出目标函数的Hessian矩阵：样本回归线的数值性质（3）的证明方法1
因为Σei=0，所以对两边求和即可。极大似然估计Y的随机抽取的n组样本观测值的联合概率对数似然函数为

参数的极大似然估计

结果与参数的普通最小二乘估计相同矩估计(MomentMethod,MM)同理，方差的估计量是样本的二阶中心矩。
现在，考虑一元线性回归模型中的假设条件：可见，与OLS估计量的正规方程组是相同的。
多元线性回归模型矩估计的矩条件通常是这样构造的：
对于多元线性回归模型
Y=Xβ+ε
两边分别左乘，即得到解此正规方程组即得参数的估计量，这种估计方法称为矩估计。其参数估计结果与OLS一致。
样本形式：用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到：对每个方程的两边求期望，有：得到一组矩条件

求解这组矩条件，即得到参数估计量
与OLS、ML估计量等价
矩方法是工具变量方法(InstrumentalVariables,IV)和广义矩估计方法(GeneralizedMomentMethod,GMM)的基础
在矩方法中关键是利用了

如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件。这就是IV。
如果存在＞k+1个变量与随机项不相关，可以构成一组方程数＞k+1的矩条件。这就是GMM。广义矩估计中，矩条件的个数大于参数个数，会出现什么问题呢？
过度识别
则必须想办法调和出现在过度识别系统中相互冲突的估计。那如何解决呢？
广义矩估计的思想是使得样本矩与总体矩的加权距离（即马氏距离）最小。主要是考虑到不同的矩所起的作用可能不同。注意：GMM估计是一个大样本估计。在大样本的情况下，GMM估计量是渐进有效的，在小样本情况下是无效的。所以，只有在大样本情况下，才能使用GMM方法进行参数估计。二、投影和投影矩阵——OLS估计的几何性质显然，矩阵M的作用是，它乘积作用在某个向量y上，就可以得到这个向量y基于数据变量的最小二乘回归的残差向量，因此经常将这个矩阵称为“残差生成矩阵”(residualmaker)。这里需要注意M的定义和所作用的变量，是所作用变量关于M定义中数据矩阵的回归残差。即显然，X基于自己的线性回归的最小二乘残差一定为零，则必然有(即使验证也十分显然)：这说明最小二乘回归与残差是正交的。因此，这样的分解是正交分解，也就是说最小二乘的拟合值向量和残差向量是正交的(意味着这两个向量之间的夹角为垂角)。这时也可以得到：注释：假设y在矩阵X的各列生成的线性空间上的投影是yp，则yp的定义是：为了更好地理解上述定义和公式，我们将一些有用的结论归纳为下述命题：
命题1在线性模型的最小二乘估计中，可以得到：
（1）P+M=I（显然）
（2）PM=MP=0，即矩阵P与M是正交的。
证明：因为P=I-M，所以PM=（I-M）M=M-M2=0
（3）矩阵