贝叶斯估计.docx

信号的参数估计一般指参数在观测时间内不随时间变化，故是静态估计。若被估计参量是随机过程或非随机的未知过称，则称为波形估计或状态估计，波形估计或状态估计是动态估计。

3.2贝叶斯估计
贝叶斯估计是基于后验概率分布（posteriordistribution）的一类估计方法，其中后验概率分布中采用了先验信息（priorinformation）。所谓先验信息，是指已知待估计参数的概率密度函数，不管是随机变变量或是未知的固定常数。而后验概率分布具有下面的形式，
。
注意两点：1，不必满足标准化条件，即，但是必须是非负的，并且代表似真比（ratioofplausibility），若，则说明在和两个值之间我们更倾向于为真值；
2，实际上就是，是通过试验得到数据X以后的概率密度函数，仅当时有明确的含义。
下面讨论中，代表，代表。
类似于信号检测中的问题，贝叶斯估计在参数估计中对于不同的估计结果赋予了不同的代价值，然后求解平均代价最小的情况。
估计误差为，我们只关心估计误差的代价，于是代价函数，是估计误差的单变量函数。典型的代价函数有三种：
⑴平方型
，它强调了大误差的影响
⑵绝对值
，给出了代价随估计误差成比例增长
⑶均匀型

这种代价函数给出了估计误差绝对值大于某个值时，代价等于常数，而估计误差绝对值小于某个值时，代价等于零。
在贝叶斯估计中，要求估计误差引起的代价的平均值最小。由于是估计误差的函数，又是观测值的函数，所以是和的联合函数。
所以代价的平均值为：
（3-7）

（3-8）
为了在准则下导出估计量，我们分析
和都是非负的。
所以要求最小，也就是要求对每一个都最小。
我们定义条件代价（准则）为：
（3-9）
因此贝叶斯估计就变为要求条件代价最小。
以下由代价函数推导出相应的估计方法——估计量。
最小均方误差估计
MinimumMeanSquareEstimation（MMSE或简记为MS）
平方型代价函数：
则，比较均方误差
要求最小，即最小均方误差估计，也就是使，下面推导估计量的形式。
得到：
分开后得：
而上式左面（**）
带回的估计结果：（3-10）可见，这种估计就是求取信号在后验概率密度函数意义下的均值，即条件均值。也就是说，最小均方误差估计就是条件均值估计。
看（3-10）式估计的另一种形式：由于已知的是先验概率和条件概率，由此，根据贝叶斯公式
（*）可将（3-10）式化为：
（3-11）为什么的说明：对（*）式积分

上式左边
代回上式
所以最小均方误差准则求估计的两种算法：
1）（条件均值）
2）
最大后验概率估计MaximumAposterioriProbability
均匀型代价函数--
由定义的条件代价（准则）为：

将代入式上式得

要求最小，也就是要使最大。假设足够小，在区间内被视为常数。因此要使最大，也就是使时刻最大。
后验概率最大
所以这种估计也被称为最大后验概率估计。如果最大值处于的许可范围内，且具有连续的一阶导数。则获得最大值的必要条件是：

因为自然对数是自变量的单调函数，所以有：

称为最大后验方程。
为了反映观测量和先验知识对估计量的影响，利用关系式：

求对数：

并对求导数，可得到另一种形式的最大后验概率方程，即：

（3-12）
式（3-12）的解就是所要求的估计量。
式中第一项与估计参量的先验概率有关，第二项依赖于观测量。
所以贝叶斯均匀型代价函数的这种估计等价成关于信号的最大后验估计。
所以最大后验估计准则求估计的两种算法
1）直接求后验的
2）
由第2式可以看出，引入先验分布后，估计结果将偏向使较大的值，而确实反映了我们在试验之前对参数取值的倾向性。同时随着样本数的不断增加，也随之变大，从而对估计量的影响越来越小，的点除外。
无论是哪种准则导出的贝叶斯估计，都需要已知先验分布。以下是的几种取法：
1，本身是具有物理意义的参数，在取值范围内令，反之为零。
2，实践当中，先验信息形式，若为标准差，则取；若为边界值，即，则取区间上的均匀分布。
何时用贝叶斯估计，或者说何时应用先验信息：
1，可重复性试验，如果已经有一些试验结果，则可利用已经获取的数据来构造后验概率分布，并以作为下一次试验的先验分布；
2，本身确实为随机变量，并且概率分布已知；
3，本身为物理量，有一定的取值范围，并且希望估计结果不会超出这一范围。
4，普通方法不能同时估计几个耦合在一起的参数，但是如果已知这些参数的概率分布，则采用贝叶斯方法能够同时估计这些参数。

为了比较不同准则下的贝叶斯估计量，特举以下例子。
例3-3：观察样本为
其中是零均值的高斯白噪声，具有单位方差。
已知信号的概率密度函数为
⑴求最小均方误差估计
解：由于参数的最小均方误差估计就是平方型代价函数最小的贝叶斯估计，它等于已知样本情况下的条件