极大似然估计.docx

极大似然估计
极大似然估计是非线性模型中非常重要的一种估计方法。最小二乘法是极大似然估计在线性模型中的特例。
似然函数
假设随机变量xt的概率密度函数为f(xt)，其参数用θ=(1,2,…,k)表示，则对于一组固定的参数θ来说，xt的每一个值都与一定的概率相联系。即给定参数θ，随机变量xt的概率密度函数为f(xt)。相反若参数θ未知，当得到观测值xt后，把概率密度函数看作给定xt的参数θ的函数，这即是似然函数。
L(θ|xt)=f(xt|θ)
似然函数L(θ|xt)与概率密度函数f(xt|θ)的表达形式相同。所不同的是在f(xt|θ)中参数θ是已知的，xt是未知的；而在L(θ|xt)中xt是已知的观测值，参数θ是未知的。
对于n个独立的观测值x=(x1,x2,…,xn)，其联合概率密度函数为

其对应的似然函数为：

经常使用的是对数似然函数，即对L(θ|xt)取自然对数：
LnL(θ|xt)=log[f(xt|θ)]
例STYLEREF1\s1.SEQ例\*ARABIC\s11正态分布随机变量的似然函数
设一组随机变量xi,（i=1,2,…,n）是相互独立的，且服从正态分布N(,2)。存在N个独立的观测值x=(x1,x2,…,xn)。xi的似然函数为

=
其中，表示标准正态分布的概率密度函数，
xi的对数似然函数为：

其中，
(x1,x2,…,xn)的联合似然函数为

=
例STYLEREF1\s1.SEQ例\*ARABIC\s12泊松分布的对数似然函数
假设每5分钟到达商店的顾客的数目服从Poisson分布，有N个样本观测值(x1,x2,…,xN)。
每个随机变量的概率密度函数，即似然函数为：

其对数似然函数为

由于每个观测值都是独立的，因此这N个观测值的对数似然函数为

例STYLEREF1\s1.SEQ例\*ARABIC\s13指数分布随机变量的似然函数
极大似然估计
极大似然估计的原理
极大似然估计是指使得似然函数极大化的参数估计方法，即估计那些使得样本(x1,x2,…,xn)）出现的概率最大的参数。
例STYLEREF1\s1.SEQ例\*ARABIC\s14正态分布的ML估计
对于n个相互独立的随机变量x=(x1,x2,…,xn)，xi~N(,2)（i=1,2,…,n）。
根据前面推导的(x1,x2,…,xn)的联合似然函数：

两个一阶条件分别为

可以求出未知参数的估计量分别为
，
例STYLEREF1\s1.SEQ例\*ARABIC\s15泊松分布的ML估计。
未知参数要使得观测到这N个值得概率最大，即令上述对数似然函数对的偏导数等于0。

例STYLEREF1\s1.SEQ例\*ARABIC\s16指数分布的ML估计。
例STYLEREF1\s1.SEQ例\*ARABIC\s17线性回归模型的ML估计。
设回归模型为y=xβ+u，uiNIID(0,2)。
由yiN(xiβ,2)，得yi的似然函数是

yi的对数似然函数为

若yi是相互独立的，则(y1,y2,…,yn)的对数似然函数为

极大化似然函数，两个一阶条件为

解上述方程可得
；。
另外一种常见的方便推导方法是利用集中对数似然函数（concentratedlog-likelihood）。由对数似然函数的第二个一阶条件

可得：。将其带入对数似然函数便得到了集中对数似然函数

根据一阶条件可得ML估计量。实际上，最大化极大似然函数等价于最小化残差平方和。因此，在误差项服从正态分布的假定下，β的极大似然估计量与LS估计量完全相同。ML方法与LS方法对回归方差的估计量不同，ML估计量是有偏的。但后面将会看到，当误差项服不服从正态分布时，β的ML估计量与LS估计量是不一样的，ML估计量比LS估计量渐进有效。
ML估计量的统计特征
ML估计方法的盛行在于其估计量的优良的大样本（或渐进）特征。在一定的正则条件下，ML估计量具有如下特征（正则条件及详细证明请参见Greene（2000））。设DGP的真实参数值为θ0，ML估计量为。具有如下特征。
一致性：
渐进正态性：，其中，
渐进有效性：的方差达到Cramer-Rao下界。
Cramer-Rao下界：
如果yi的概率密度函数满足正则条件，那么，所有一致渐进正态估计量的方差下限为

不变性：如果函数f，如果f连续且连续可微，那么f(θ0)的ML估计量为f()。
似然函数的导数矩
对于随机变量yi，其概率密度函数为f(y,)。在一定的正则条件下，似然函数的导数具有如下特征。
，都是随机变量的随机抽样。这意味着，如果样本是独立抽样的，那么gi与gj不相关，Hi与Hj也不相关。
似然函数的一