贝叶斯方法估计推断决策.pptx

第一节贝叶斯推断方法第一节贝叶斯推断方法3．先验信息，即在抽样之前有关统计推断的一些信息。譬如，在估计某产品的不合格率时，假如工厂保存了过去抽检这种产品质量的资料，这些资料（包括历史数据）有时估计该产品的不合格率是有好处的。这些资料所提供的信息就是一种先验信息。又如某工程师根据自己多年积累的经验对正在设计的某种彩电的平均寿命所提供的估计也是一种先验信息。由于这种信息是在“试验之前”就已有的，故称为先验信息。以前所讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统计学。本节将简要介绍贝叶斯统计学中的点估计方法。二、贝叶斯公式的密度函数形式贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后二年发表的一篇论文《论归纳推理的一种方法》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。初等概率论中的贝叶斯公式是用事件的概率形式给出的。可在贝叶斯统计学中应用更多的是贝叶斯公式的密度函数形式。下面结合贝叶斯统计学的基本观点来引出其密度函数形式。贝叶斯统计学的基本观点可以用下面三个观点归纳出来。假设Ⅱ当给定θ后，从总体p（x│θ）中随机抽取一个样本,该样本中含有θ的有关信息。这种信息就是样本信息。1先验分布定义3.1将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π（θ），称为参数θ的先验分布。在这个联合密度函数中。当样本给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数这就是贝叶斯公式的密度函数形式，其中称为θ的后验密度函数，或后验分布。而是样本的边际分布，或称样本的无条件分布，它的积分区域就是参数θ的取值范围，随具体情况而定。如果此时我们对事件A的发生没有任何了解，对的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（0，1）上的均匀分布作为的先验分布。因为它在（0，1）上每一点都是机会均等的。这个建议被后人称为贝叶斯假设。样本X与参数的联合分布为即贝叶斯统计学首先要想方设法先去寻求θ的先验分布。先验分布的确定大致可分以下几步：注：2β分布含有两个参数a与b，不同的a与b就对应不同的先验分布，因此这种分布的适应面较大第二步，根据先验信息在先验分布族中选一个分布作为先验分布，使它与先验信息符合较好。利用θ的先验信息去确定β分布中的两个参数a与b。从文献来看，确定a与b的方法很多。例如，如果能从先验信息中较为准确地算得θ先验平均和先验方差，则可令其分别等于β分布的期望与方差最后解出a与b。如果从先验信息获得，责可解得a=3，b=12这意味着θ的先验分布是参数a=3，b=12的β分布。假如我们能从先验信息中较为准确地把握θ的两个分位数，如确定θ确定的10％分位数θ0。1和50％的中位数θ0。5，那可以通过如下两个方程来确定a与b。假如的信息较为丰富，譬如对此产品经常进行抽样检查，每次都对废品率作出一个估计，把这些估计值看作的一些观察值，再经过整理，可用一个分布去拟合它。假如关于的信息较少，甚至没有什么有用的先验信息，那可以用区间（0，1）上的均匀分布（a=b=1情况）。用均匀分布意味着我们对的各种取值是“同等对待的”，是“机会均等的”。贝叶斯本人认为，当你对参数θ的认识除了在有限区间（c，d）之外，其它毫无所知时，就可用区间（c，d）上的均匀分布作为θ的先验分布。这个看法被后人称之为“贝叶斯假设”。确定了先验分布后，就可计算出后验分布，过程如下x=0，1，…，n，0<θ<1最后在给出X=x的条件下，θ的后验密度为如果用（0，1）上的均匀作为θ的先验分布，则θ的贝叶斯估计为后验分布为三、常用的一些共轭先验分布EX1设θ是一批产品的不合格率，已知它不是0.1就是0.2，且其先验分布为π（0.1）=0.7,π（0.2）=0.3假如从这批产品中随机取8个进行检查，发现有2个不合格，求θ的后验分布。EX2设一卷磁带上的缺陷数服从泊松分布P（λ）其中λ可取1.0和1.5中的一个,又设λ的先验分布为π（1.0）=0.4π（1.5）=0.6假如检查一卷磁带发现了3个缺陷，求λ的后验分布。四、贝叶斯推断（估计）例如经典统计学认为参数的无偏估计应满足：其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本尚为出现过，而多数从未出现的样本也要参与平均是实际工作者难以理解的。故在贝叶斯推断中不用无偏性，而条件方法是容易被