贝叶斯决策.docx

贝叶斯决策贝叶斯决策模式识别第2章贝叶斯决策理论与统计判别方法武汉大学电子信息学院1贝叶斯决策理论模式识别学习指南主要内容是说明分类识别中为什么会有错分类,在何种情况下会出现错分类?错分类的可能性会有多大?在理论上指明了怎样才能使错分类最少?不同的错分类造成的危害是不同的,有的错分类种类造成的危害更大,因此控制这种错分类则是更重要的.为此引入了一种"风险"与"损失"概念,希望做到使风险最小.要着重理解"风险"与"损失"的概念,以及在引入"风险"概念后的处理方法.武汉大学电子信息学院2贝叶斯决策理论模式识别理解这一章的关键是要正确理解先验概率,类概率密度函数,后验概率这三种概率,对这三种概率的定义,相互关系要搞得清清楚楚.Bayes公式正是体现这三者关系的式子,要透彻掌握.武汉大学电子信息学院3贝叶斯决策理论模式识别2.1引言模式识别是一种分类(classify)问题,即根据识别对象所呈现的观察值,将其分到某个类别中去.统计决策理论是处理模式分类问题的基本理论之一,对模式分析和分类器(classifier)的设计起指导作用.贝叶斯决策理论是统计模式识别中的一个基本方法,我们先讨论这一决策理论,然后讨论涉及统计判别方法的一些基本问题.武汉大学电子信息学院4贝叶斯决策理论模式识别特征向量与特征空间例:苹果的直径尺寸限定在7厘米到15厘米之间,它们的重量在3两到8两之间变化.如果直径长度x用厘米为单位,重量y以两为单位.那么,由x值从7到15,y值从3到8包围的二维空间就是对苹果进行度量的特征空间.总体概率分布已知要决策分类的类别数一定武汉大学电子信息学院5贝叶斯决策理论模式识别贝叶斯决策理论所要讨论的问题各类别ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x|ωi)已知的条件下,如何对某一样本按其特征向量分类的问题.几种常用的决策规则正态分布时统计决策的问题以及错误概率等问题武汉大学电子信息学院6贝叶斯决策理论模式识别2.2几种常用的决策规则不同的决策规则反映了分类器设计者的不同考虑,对决策结果有不同的影响.其中最有代表性的是:基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策武汉大学电子信息学院7贝叶斯决策理论模式识别2.2.1基于最小错误率的贝叶斯决策分类识别中为什么会有错分类,在何种情况下会出现错分类?错分类的可能性会有多大?当某一特征向量值X只为某一类物体所特有,即对其作出决策是容易的,也不会出什么差错.问题在于出现模棱两可的情况.此时,任何决策都存在判错的可能性.条件概率:P(*|#)是条件概率的通用符号,P(ωK|X)是表示在X出现条件下,样本为ωK类的`概率.武汉大学电子信息学院8贝叶斯决策理论模式识别先验概率,后验概率,概率密度函数先验概率P(ω1)及P(ω2)由先验知识在识别前就得到的概率后验概率P(ω1|X)概率密度函数P(X|ω1)及P(X|ω2)联合概率P(X,ωi)武汉大学电子信息学院9贝叶斯决策理论模式识别先验概率,后验概率,概率密度函数Bayes(贝叶斯)公式是根据联合概率这一概念推出的P(x,ωi)=P(x|ωi)P(ωi)=P(ωi|x)P(x)贝叶斯公式实质上是通过观察x,把状态的先验概率P(i)转化为后验概率P(i|x)武汉大学电子信息学院10贝叶斯决策理论模式识别图2.1武汉大学电子信息学院11贝叶斯决策理论模式识别图2.2武汉大学电子信息学院12贝叶斯决策理论模式识别基于最小错误率的贝叶斯决策基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的(1)后验概率:如果则武汉大学电子信息学院13贝叶斯决策理论模式识别(2)如果则(3)似然比:如果则否则武汉大学电子信息学院14贝叶斯决策理论模式识别(4)似然比写成相应的负对数形式:如果则否则武汉大学电子信息学院15贝叶斯决策理论模式识别例2.1假设在某地区切片细胞中正常(ω1)和异常(ω2)两类的先验概率分别为P(ω1)=0.9,P(ω2)=0.1.现有一待识别细胞呈现出状态x,由其类条件概率密度分布曲线查得p(x|ω1)=0.2,p(x|ω2)=0.4,试对细胞x进行分类.解:利用贝叶斯公式,分别计算出状态为x时ω1与ω2的后验概率武汉大学电子信息学院16贝叶斯决策理论模式识别P(ω1|x)=0.818>P(ω2|x)=0.0182因此判定该细胞为正常细胞比较合理.武汉大学电子信息学院17贝叶斯决策理论模式识别基于最小错误率的贝叶斯决策的证明平均错误率:在观测值可能取值的整个范围内错识率的均值武汉大学电子信息学院18贝叶斯决策理论模式识别两类别情况:当P(w2|x)>p(w1|x)时决策为w2,对观测值x有P(w1|x)概率的错误率R1:作出w1决策的所有观测值区域,条件错误概率为p(w2|x)R2:条件错误