贝叶斯估计.ppt

贝叶斯估计BayesEstimation例子：几个学派（1）频率学派的观点几个学派（2）贝叶斯学派的观点批评1：置信区间批评2：评价方法回忆贝叶斯规则贝叶斯方法6.4.2贝叶斯公式的密度函数形式0是未知的，它是按先验分布()产生的。为把先验信息综合进去，不能只考虑0，对的其它值发生的可能性也要加以考虑，故要用()进行综合。这样一来，样本x1,…,xn和参数的联合分布为:
h(x1,x2,…,xn,)=p(x1,x2,…,xn)()，
这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；在没有样本信息时，人们只能依据先验分布对作出推断。在有了样本观察值x1,x2,…,xn之后，则应依据h(x1,x2,…,xn,)对作出推断。由于
h(x1,x2,…,xn,)=(x1,x2,…,xn)m(x1,x2,…,xn)，
其中
是x1,x2,…,xn的边际概率函数，它与无关，不含的任何信息。因此能用来对作出推断的仅是条件分布(x1,x2,…,xn)，它的计算公式是

这个条件分布称为的后验分布，它集中了总体、样本和先验中有关的一切信息。6.4.3贝叶斯估计
基于后验分布(x1,x2,…,xn)对所作的贝叶斯估计有多种，常用有如下三种：
使用后验分布的密度函数最大值作为的点估计，称为最大后验估计；
使用后验分布的中位数作为的点估计，称为后验中位数估计；
使用后验分布的均值作为的点估计，称为后验期望估计。
用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记为。例6.4.2设某事件A在一次试验中发生的概率为，为估计，对试验进行了n次独立观测，其中事件A发生了X次，显然Xb(n,)，即

假若我们在试验前对事件A没有什么了解，从而对其发生的概率也没有任何信息。在这种场合，贝叶斯本人建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为的先验分布，因为它取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。由此即可利用贝叶斯公式求出的后验分布。具体如下：先写出X和的联合分布

然后求X的边际分布

最后求出的后验分布

最后的结果说明XBe(x+1,n-x+1)，其后验期望估计为
(6.4.4)某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:“抽检3个全是合格品”与“抽检10个全是合格品”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（两者都为0），而用贝叶斯估计两者分别是0.2和0.083。
由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。例6.4.3设x1,x2,…,xn是来自正态分布N(,02)的一个样本，其中02已知，未知，假设的先验分布亦为正态分布N(,2)，其中先验均值和先验方差2均已知，试求的贝叶斯估计。
解：样本x的分布和的先验分布分别为由此可以写出x与的联合分布

其中，。若记

则有
注意到A,B,C均与无关，由此容易算得样本的边际密度函数

应用贝叶斯公式即可得到后验分布

这说明在样本给定后，的后验分布为
N(B/A,1/A)，即
后验均值即为其贝叶斯估计：

它是样本均值与先验均值的加权平均。例子：正态分布置信区间估计：6.4.4共轭先验分布先验知识从哪儿来？反对贝叶斯学派的观点综上所述综上所述