第一章先验分布与后验分布.pptx

第一章先验分布与后验分布第一节三种信息
第二节贝叶斯公式
第三节共轭先验分布
第四节超参数模型
第五节多参数模型
第六节充分统计量统计学中有二个主要学派：频率学派与贝叶斯学派，他们之间有共同点，又有不同点，为了说清楚他们之间的异同点，我们从统计推断所使用的三种信息说起。总体信息

即总体分布或总体所属分布族给我们的信息，譬如，“总体是正态分布”这一句话就给我们带来很多信息：它的密度函数是一条钟形曲线；它的一切阶矩都存在；有关正态变量（服从正态分布的随机变量）的一些事件的概率可以计算；还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。总体信息是很重要的信息，为了获取此种信息往往耗资巨大。样本信息

即从总体抽取的样本给我们提供的信息。这是最“新鲜”的信息，并且愈多愈好。人们希望通过对样本的加工和处理对总体的某些特征作出较为精确的统计推断。没有样本就没有统计学可言。这是大家都理解的事实。
基于上述两种信息进行的统计推断被称为经典统计学，它的基本观点是把数据（样本）看成是来自具有一定概率分布的总体，所研究的对象是这个总体而不局限于数据本身。
先验信息

即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。先验信息在日常生活和工作中也经常可见，不少人在自觉地或不自觉地使用它。
对先验信息进行加工获得的分布今后称为先验分布。这个先验分布是综合了该厂过去产品的质量情况。如果这个分布的概率绝大部分集中在θ=0附近，那该产品可认为是“信得过产品”。假如以后的多次抽检结果与历史资料提供的先验分布是一致的。使用单位就可以对它作出“免检产品”的决定，或者每月抽检一、二次就足够了，这就省去了大量的人力与物力。可见历史资料在统计推断中应加以利用。
基于上述三种信息（总体信息、样本信息和先验信息）进行的统计推断被称为贝叶斯统计学。它与经典统计学的主要差别在于是否利用先验信息。在使用样本信息上也是有差异的。贝叶斯学派重视已出现的样本观察值，而对尚未发生的样本观察值不予考虑，贝叶斯学派很重视先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导致不合理的结论。
贝叶斯学派的最基本的观点是：任一个未知量θ都可看作一个随机变量，应该用一个概率分布去描述对θ的未知状况。这个概率分布是在抽样前就有的关于θ的先验信息的概率陈述。这个概率分布被称为先验分布。有时还简称为先验（Prior）。因为任一未知量都有不确定性，而在表述不确定性程度时，概率与概率分布是最好的语言。贝叶斯公式的密度函数形式

1.设总体指标X有依赖于参数“的密度函数”在经典统计中常记为p(x;θ)，它表示在参数空间中不同的θ对应不同的分布。可在贝叶斯统计中记为p(x|θ)，它表示在随机变量θ给定某个值时，总体指标X的条件分布。
2.根据参数θ的先验信息确定先验分布π(θ)。这是贝叶斯学派在最近几十年里重点研究的问题。已获得一大批富有成效的方法。在以后章节将介绍其中一些主要方法，本书第三章和第七章将系统地介绍。第二节贝叶斯公式4.样本x和参数θ的联合分布把三种可用的信息都综合进去了。

5.我们的任务是要对未知数θ作出统计推断。在没有样本信息时，人们只能据先验分布对θ作出推断。在有样本观察值x之后，我们应该依据h(x,θ)对θ作出推断。6.在θ是离散随机变量时,先验分布可用先验分布列表示。这时后验分布也是离散形式。

后验分布是三种信息的综合

一般说来,先验分布π(θ)是反映人们在抽样前对θ的认识,后验分布π(θ|x)是反映人们在抽样后对θ的认识。之间的差异是由于样本x出现后人们对θ认识的一种调整。所以后验分布π(θ|x)可以看作是人们用总体信息和样本信息（综合称为抽样信息）对先验分布作π(θ)调整的结果。1.3.1共轭先验分布

大家知道，在区间(0,1)上的均匀分布是贝塔分布Be(1,1)。这时从例1.2.1中可以看到一个有趣的现象。二项分布b(n,θ)中的成功概率θ的先验分布若取Be(1,1),则其后验分布也是贝塔分布Be(x+1,n-x+1)。其中,x为n次独立试验中成功出现次数#先验分布与后验分布同属于一个贝塔分布族,只是其参数不同而已。这一现象不是偶然的，假如把θ的先验分布换成一般的贝塔分布Be(α+β),其中α>0,β>0。经过类似计算可以看出，θ的后验分布仍是贝塔分布Be(α+x,β+n-x)，此种先验分布被称为θ的共轭先验分布。
定义1.3.1

设θ是总体分布中的参数（或参数向量），π(θ)是θ的先验密度函数，假如由抽样信息算得的后验密度函数与π(θ)有相同的函数形式，则称π(θ)是θ的（自然）共轭先验分布。1.3.2后验分布的计算

在给定样本分布p(x|