最大似然估计的MATLAB实现.doc

最大似然估计的matlab实现
实验目的：
在MVU估计量不存在或存在但不能求解的情况下，最大似然估计是获得实用估计的最通用的方法，利用它可简便地实现对复杂的估计问题的求解。对绝大多数实用的最大似然估计，当观测数据足够多时，其性能是最优的。本实验旨在通过网格搜索法和Newton-Raphson迭代法实现对未知信号的最大似然估计，并观察估计性能随样本数据量和信噪比的变化，加深对最大似然估计的理解。
实验原理：
对于一个达不到CRLB的估计问题，不存在一个有效的估计量，不能实现利用充分估计量求解MVU估计的办法。利用基于最大似然原理的估计量，即最大似然估计量（MLE），可以求得非常接近于MVU估计量的估计量。其近似的本质在于，对于足够多的数据记录，MLE具有渐近有效性。、
设信号x的PDF已知，为。当存在两个估计量和，且，显然会更倾向于选取为估计量，即。
似然函数表征参数给定条件下输入x的概率密度，当时使达到最大，表明使此输入x的出现概率最大。现在观测到的输入x，可判断为由使它最可能出现的那个引起的。
因此，最大似然估计的优点是无需知道参量的先验知识，同时代价函数也不必给定，对未知先验概率的变量估计适用。
实验内容：
问题：
设观测数据集为

其中是方差为的WGN，N、已知，试通过网格搜索法和Newton-Raphson迭代法求出频率的MLE，并分析估计性能随N、SNR的变化。

分析：
是方差为的WGN，有x[n]的PDF为

使得上式取得最大值时的即为所求估计量。对求导，得

当取得最大值时，最大。

方案：
网格搜索法

从上式可以看出的值只与第二项有关，有

在的变化范围0~0.5内，使得最大的值即为所求估计量。运用网格搜索法，以0.01的间隔递增，分别代入。
Newton-Raphson迭代法
迭代方法通过求导函数的零值而使对数似然函数最大，即

使用迭代方法求解此方程，令

假设有一个求解上式的初始猜测值，称为f1,，如果g(f)在f1附近是近似线性的，能近似表示为

令g(f)=0，求解对应的f2，利用f2作为新的猜测值，对函数g再次线性化，并重复上述方法求得新的零值。最终这个猜测值序列将收敛到g(f)的真零值。
Newton-Raphson迭代法是根据前一个猜测值，求出一个新的猜测值，即

当时，可认为迭代结束，得到估计量