贝叶斯统计原理及方法.pptx

贝叶斯统计贝叶斯统计[1]贝叶斯统计与决策．BergerJO．中国统计出版社．1998[2]现代贝叶斯统计．KotzS,吴喜之．中国统计出版社．1999[3]贝叶斯统计推断．张尧庭、陈汉峰．科学出版社．1991课程考核：闭卷考试伽玛函数伽玛分布§5.4.4伽玛分布的两个特例则X的密度函数为贝塔函数证明证明贝塔分布贝塔分布的数学期望和方差（Bayes，Thomas）(1702─1761)贝叶斯是英国数学家.1702年生于伦敦；1761年4月17日卒于坦布里奇韦尔斯.贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被选为英国皇家学会会员.如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等.贝叶斯方法(Bayesianapproach)英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，其形成可追溯到20世纪30年代。到50～60年代，已发展为一个有影响的学派。时至今日，其影响日益扩大。本书共六章，可分二部分。前三章围绕先验分布介绍贝叶斯推断方法。后三章围绕损失函数介绍贝叶斯决策方法。阅读这些内容仅需要概率统计基本知识就够了。目录第一章先验分布与后验分布经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。§1.1三种信息经典统计学：基于以上两种信息进行的统计推断被称为经典统计学。说明：它的基本观点是把数据（样本）看成是来自具有一定概率分布的总体，所研究对象是这个总体而不局限于数据本身。据现有资料看，这方面最早的工作是高斯和勒让德德误差分析、正态分布和最小二乘法。从十九世纪末期到二十世纪中叶，经皮尔逊、费歇和奈曼等人杰出的工作创立了经典统计学。随着经典统计学的持续发展与广泛应用，它本身的缺陷也逐渐暴露出来了。（1）总体信息:总体分布提供的信息。（2）样本信息:抽取样本所得观测值提供的信息。（3）先验信息:人们在试验之前对要做的问题在经验上和资料上总是有所了解的，这些信息对统计推断是有益的。先验信息即是抽样（试验）之前有关统计问题的一些信息。一般说来，先验信息来源于经验和历史资料。先验信息在日常生活和工作中是很重要的。贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。例1.1英国统计学家Savage曾考察如下2个统计实验：A。一位常饮牛奶加茶的妇女声称，她能辨别先倒进杯子里的是茶还是牛奶。对此做了10次试验，她都正确地说出了。B。一位音乐家声称，他能从一页乐谱辨别出是海顿还是莫扎特的作品。在10次这样的试验中，他都能正确辨别。在这两个统计试验中，假如认为被试验者是在猜测，每次成功的概率为0.5，那么10次都猜中的概率为2-10=0.0009766，这是一个很小的概率，是几乎不可能发生的，所以“每次成功概率为0.5”的假设应该被拒绝。被试验者每次成功的概率要比0.5大得多。这不是猜测，而是他们的经验在帮了他们的忙。例1.2“免检产品”是怎样决定的？某厂的产品每天都有抽验几件，获得不合格品率θ的估计。在经过一段时间后就积累大量的资料，根据这些历史资料（先验信息的一种）对过去产品的不合格品率可构造一个分布：基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。在使用样本信息上也是有差异的.贝叶斯学派重视已出现的样本观察值,而对尚未发生的样本观察值不予考虑.贝叶斯学派的基本观点：任一未知量都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量新的分布—后验分布；任何关于的统计推断都应该基于的后验分布进行。第二，按图1.1中的概率不是在大量重复试验中获得的，而是学生们根据自己的生活经历的积累对该事件发生可能性所给出的信念，这样给出的概率在贝叶斯统计中是允许的，并称为主观概率。（它也符合概率的三条公理）。这一点频率学派是频率学派难以接受的，他们认为经典统计学使用大量重