贝叶斯决策-贝叶斯决策例题讲解.docx

贝叶斯决策:贝叶斯决策例题讲解3.贝叶斯决策张朝晖[e-mail]河北师范大学数学与信息科学学院2011.7.29主要内容二.最小错误率贝叶斯决策三.最小风险的贝叶斯决策四.应用模式识别的分类(状态决策)问题：根据识别对象的特征观测，将其划分到某类别统计模式识别：用概率统计的观点和方法来解决模式识别问题贝叶斯决策论（统计决策理论）：是统计模式识别的基本方法和基础;利用概率的不同，进行分类决策、或决策代价折衷;----“最优分类器”几个基本概念：[1]特征空间及特征维数:d维特征空间,记为ℜ=RTd[2]特征向量:x=[x1,...,xd]∈RT或：观察x为d维，x=[x1,x2,...,xd]；[3]类别状态数c,类别状态变量ω:dx1,x2,...,xd分别为随机变量。各具体类别状态：第一类，ω=ω1；...；第c类，ω=ωc[4]先验概率：预先已知的，或者可以估计的模式识别系统位于某一类别的概率。一般的c类问题：各类别ωi的先验概率P(ωi),i=1,...,cP(ω1)+...+P(ωc)=1几个基本概念：[5]样本分布密度(或：总体概率密度)p(x)∫p(x)dx=1ℜ[6]类条件概率密度(class-conditionalprobabilitydensity)函数系统位于某种类别条件下，模式样本x出现的概率密度分布函数。同一类别的事物的各属性具有一定的变化范围，以函数形式表示，记为：p(x|ωi),i=1,...,c∫p(x|ωi)dx=1,ℜii=1,...,c[7]后验概率(posteriorprobability)来自系统的某个具体模式样本，属于某种类别的概率。记为：P(ωi|x),i=1,...,c∑P(ωi|x)=1i=1c主要内容一.引言二.情况1.两类问题的最小错误率贝叶斯决策情况2.多类问题的最小错误率贝叶斯决策三.最小风险的贝叶斯决策四.应用3.两类问题情况下，基于最小错误率的贝叶斯决策两类问题情况下，基于问题1：什么是错误率(误差率，平均错误率)问题2：最大后验概率决策是否意味着最小错误率决策？问题3：问题4：基于最小错误率的贝叶斯决策规则是什么？如何计算最小错误率判决规则下的错误率？3.两类问题情况下，基于最小错误率的贝叶斯决策(续1)两类问题情况下，基于(1)错误率(平均错误率)错误率(平均错误率)是关于P(e|x)的期望，记为P(e)对于连续随机变量x，有P(e)=∫P(e|x)p(x)dxℜ(2)最大后验概率贝叶斯决策就是基于最小错误率贝叶斯决策每一个具体观测x的判决，都对应一个条件错误概率P(e|x)，显然，P(e|x)是关于x的函数；对于大量观测进行判决时，得到平均错误概率P(e)=∫P(e|x)p(x)dx，其中P(e|x)≥0,p(x)≥0对于所有x，若能保证决策时关于x的后验概率最大，则可保证P(e|x)最小，则有P(e)最小。(5)错误率(平均错误率)的计算如图1维特征空间时，P(e)=∫P(e|x)p(x)dxℜ=P(ω2)∫p(x|ω2)dx+P(ω1)∫p(x|ω1)dxℜ1tℜ2+∞=P(ω2)∫p(x|ω2)dx+P(ω1)∫p(x|ω1)dx−∞t=P(ω2)P2(e)+P(ω1)P1(e)(2)错误率(平均错误率)的计算直接计算：P(e)=∫P(e|x)p(x)dx=ℜcccℜ=ℜ1∪ℜ2∪∪ℜc∫P(e,x)dx=∑P(x∉ℜi,ωi)=∑∑P(x∈ℜj,ωi)i=1ci=1j=1j≠i=∑∑P(ωi)P(x∈ℜj|ωi)i=1j=1j≠ic工作量大(2)错误率(平均错误率)的计算间接计算：平均正确率P(c)=∑P(x∈ℜi,ωi)i=1c=∑P(ωi)P(x∈ℜi|ωi)=∑P(ωi)∫p(x|ωi)dxi=1i=1cℜicc所以P(e)=1−P(c)=1−∑P(ωi)∫p(x|ωi)dxi=1ℜi多类情况下，基于最小错误率的判决规则，各等价形式(1)后验概率：若P(ωi|x)=maxP(ωj|x)j=1,2,..,c则x∈ωi类(2)似然概率×先验概率：若p(x|ωi)P(ωi)=maxP(ωj|x)P(ωj)j=1,2,...,c则x∈ωi类主要内容一.引言二.最小错误率贝叶斯决策问题描述；有关概念；决策意义、步骤、规则四.应用1.问题描述[1]观测xx为d维随机向量，x=[x1,x2,...,xd]x1,x2,...,xd分别为随机变量。T[2]状态空间Ωc个自然状态（c类），Ω={ω1,...,ωc}[3]决策空间(或：行动空间)A={α1,...,αk}对观测x可能采取的k个决策A注：c与k可能不同1.问题描述[4]损失函数λ(αi,ωj)=λij对真实类别状态为ωj的观察x，采取决策αi所带来的损失(或：风险),简