先验分布与后验分布ppt课件.ppt

1一、统计推断中可用的三种信息
二、贝叶斯公式
三、共轭先验分布
四、超参数及其确定
五、多参数模型
六、充分统计量1.总体信息：总体分布或所属分布族提供给我们的信息
2.样本信息：从总体抽取的样本提供给我们的信息
3.先验信息：在抽样之前有关统计推断的一些信息。(两个例子）一、贝叶斯公式的三种形式例1.5投资决策问题假设Ⅰ随机变量X有一个密度函数p(x;θ)，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)是在给定θ后的一个条件密度函数，因此记为p(x│θ)更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。假设Ⅲ从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。在这个联合密度函数中。当样本给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：3.贝叶斯公式的离散形式：前面的分析总结如下：人们根据先验信息对参数θ已有一个认识，这个认识就是先验分布π(θ)。通过试验，获得样本。从而对θ的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步，可看出，获得样本的的效果是把我们对θ的认识由π(θ)调整到。所以对θ的统计推断就应建立在后验分布的基础上。例1.4设事件A的概率为，即。为了估计而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布
即即：注：1.伽玛分布与贝塔分布简介：2.特例：当p=q=1时，βⅠ(1,1)型分布即为区间[0，1]上的均匀分布；
当p=q=1/2，βⅠ(1/2,1/2)型分布称为反正弦分布，密度函数为：

设，则的密度函数为：3.为什么将贝塔分布作为θ的先验分布族是恰当的？§1.3共轭先验分布(2)确定先验分布:(3)计算后验分布:补充例题：
设X表示人的胸围，根据经验，胸围是近
似服从正态分布的。现测量了n=10000个
人的胸围，得样本均值为39.8(cm)，样本
方差为4，假设θ的先验分布为N(38,9)，
求θ的后验分布。
(答案：N(39.8,1/2500))二、怎样简化后验分布的计算——省略常数因子利用后验分布的核重新证明例1.6例1.7证明：二项分布的成功概率θ的共轭先验分布是贝塔分布。三、共轭先验分布的优缺点例1.8例1.6中后验均值与后验方差的合理解释。例1.9对例1.7中后验分布的均值和方差的解释。分析：后验分布Be(α+x,β+n-x)的均值和方差可写为：2829四、常用的一些共轭先验分布解题的基本思路：3233常用的一些共轭先验分布§1.4超参数及其确定1.利用先验矩：2.利用先验分位数：求解方法：1利用贝塔分布和F分布间的关系，对不同的α与β多算一些值，使积分值逐渐逼近0.25.
2对一些典型的α与β，寻求其上下四分位数，这样可获得一张表，（见课本18页）查表即可
3.利用先验矩和先验分位数§1.5多参数模型例1.12试求正态均值与正态方差的（联合）共轭先验分布及后验分布。（P24）1.取先验分布为的情形43back3.取先验分布为共轭先验分布的情形例有一实验站关于生长小麦的经验为每块样地的均值
和标准差分别为100及10的正态分布，现在他们研究施加激
素的影响。在12块地施加激素后所得产量如下(单位：千克)：
141,102,73,171,137,91,81,157,146,69,121,134
关于方差的信息是均值、标准差分别约为300及160；
关于均值的信息是均值约为110，约为15即相当于观测了
15个观测值。
求:(1)的共轭先验；
(2)的后验密度函数；
(3)的边际后验；
(4)对已知情况下的条件后验密度函数。§1.6充分统计量定义：设是来自分布函数F(x|θ)的一个样本，T=T(x)是统计量，假如在给定T(x)=t的条件下，x的条件分布与θ无关的话，则称该统计量为θ的充分统计量。

充分统计量的一个重要特性：当得到充分统计量T的某个取值t之后，而失去原样本的观察值也没有关系。因为我们可以根据上述的条件分布来构造某个随机试验，从中获得来自总体的一个新样本，这个新样本虽不能完全恢复老样本的原状，但它与老样本所含的有关参数θ的信息是一样的。
因子分解定理：一个统计量T(x)对参数θ是充分的充要条件是：存在一个t与θ的函数g(t,θ)和一个样本x的函数h(x)，使得对任一样本x和任意θ，样本的联合密度p(x|θ)可表示为它们的乘积，即：p(x|θ)=g(T(x),θ)h(x)二、贝叶斯统计中充分统计量的有关结论及应用例是来自正态总体的一个样本，其密度函数为5354关于定理1.6