极大似然估计及其性质.docx

极大似然估计及其性质

一、极大似然估计
设联合密度函数为

则似然函数为
似然函数
为使关于的似然函数最大化，求的一个估计，使获得的已观测到的样本值的概率自大化，即最大似然估计量（MLE）。
定义对数似然函数为

则

最大化的值也会最大化，对的导数称作得分，将得分定义为0，即可解出（MLE），即

二、MLE的性质
1、一致性。

2、渐进正态性。

式中为信息矩阵

当是一个维向量时，表示个偏导数组成的列向量，即

而的二阶导数为

3、渐进有效性。

4、不变性。
如果是的MLE，是的连续函数，则是的MLE。
5、得分的均值为0，方差为。
三、线性模型的极大似然估计
设

的多元正态密度函数为

关于的多元条件密度为

是由中元素关于中元素的偏导数组成的矩阵转换成的行列式的绝对值，并且为恒等矩阵。则上述意义下的对数似然函数为

求的偏导数

令其为零，可解出极大似然估计

并且，，但不是的无偏估计，由于（基于同方差性），因此，求二阶导数为

按照信息矩阵的定义，则

它的逆为
为满秩矩阵
将、的结果代入似然函数，可得似然函数的最大值为

其中，为常数，它与模型中的任何参数都无关系。
四、三大检验
设一般线性假设为

为阶矩阵，为维已知向量。
设无约束条件的似然函数最大值为，约束条件的似然函数最大值为，则似然比为

如果很小，则凭自觉拒绝原假设，在某些情况下，可以由的某些特殊变换来对的“很小”导出精确的有限样本检验（统计）量，普遍适用的大样本检验是

通过拉格朗日函数（求条件极值）求最大化

可得约束的极大似然估计，令其残差为，的约束条件的极大似然估计为，则

其中，为常数，它与模型中的任何参数都无关系。由似然比

2、检验。
在成立下，有，可得

为中约束条件的个数。用的一致估计量代替上式中的，则

3、LM检验。
记得分为

当约束条件有效时，应趋近于。则此时，有。可以证明，在成立的情况下，

其中

用代替，代替，向量满足，则

并且，信息矩阵的逆矩阵为

所以，

Engle证明了，在大样本下，

其中，为对的辅助函数的可决系数。