基于贝叶斯决策理论的分类器.ppt

第二章基于贝叶斯决策理论的分类器ClassifiersBasedonBayesDecisionTheory§1引言
§2Bayes决策理论
最小错误率的贝叶斯决策
最小风险的贝叶斯决策
§3Bayes分类器和判别函数
§4正态分布的Bayes决策§1引言⑵另一方面从样本的可分性来看：
当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。
当各类别之间出现混淆现象时，则分类困难。

这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。⒉三个重要的概率和概率密度
先验概率、类条件概率密度函数、后验概率。
⑴先验概率P(wi)
由样本的先验知识得到先验概率，可从训练集样本中估算出来。
例如，两类10个训练样本，属于w1为2个，属于w2为8个，则先验概率P(w1)=0.2，P(w2)=0.8。
⑵类条件概率密度函数p(x|wi)
模式样本x在wi类条件下，出现的概率密度分布函数。也称p(x|wi)为wi关于x的似然函数。
在本章中均假设已知上述概率和概率密度函数。⑶后验概率P(wi|x)
定义为某个样本x,属于wi类的概率,i=1,···,c。
如果用先验概率P(wi)来确定待分样本x的类别,依据显然是非常不充分的，须用类条件概率密度p(x|wi)来修正。
根据样本x的先验概率和类条件概率密度函数p(x|wi)用Bayes公式重新修正模式样本所属类的概率，称后验概率P(wi|x)。
3.用Bayes决策理论分类时要求：
①各类总体的概率分布是已知的。
②要决策的类别数c是一定的。§2Bayes决策理论类条件概率密度3.最小错误率的Bayes决策判定错误区域及错误率
真实状态w2，而把模式x判定属于w1类
真实状态w1，而把模式x判定属于w2类

平均错误率P(e)

决策规则实际上对每个x都使
p(e|x)取小者，移动决策面t
都会使错误区域增大，因此
平均错误率最小。⑵错误率计算：
多类时，特征空间分割成R1,···Rc，P(e)由c×(c-1)项组成，计算量大。

用平均正确分类率P(c)计算只有c项：例1：细胞识别
已知：正常类P(w1)＝0.9;异常类P(w2)＝0.1
待识别细胞x,从类条件概率密度曲线上查得
p(x|w1)＝0.2;p(x|w2)＝0.4

这种规则先验概率起决定作用。这里没有考虑错误分类带来的损失。4.最小风险的Bayes决策一般用决策表或损失矩阵表示上述三者关系。决策表表示各种状态下的决策损失，如下表：由于引入了“损失”的概念(即在错判时造成的损失)，不能只根据后验概率来决策，必须考虑所采取的决策是否使损失最小。
对于给定的x，决策ai，l可在c个l(ai,wj)中选一个，其相应的后验概率为P(wj|x)。
此时的条件期望损失，即后验概率加权和

在决策论中条件期望损失称为条件风险，即x被判为i类时损失的均值。
由于x是随机向量的观察值，不同的x采取不同决策ai，其条件风险的大小是不同的。⑵最小风险的Bayes决策规则：如果只有两类的情况下

这时最小风险的Bayes决策法则为：
如果R(a1|x)<R(a2|x),则x的真实状态w1,否则w2。
两类时最小风险Bayes决策规则的另两种形式：

例2：条件同例1，利用决策表，
按最小风险Bayes决策分类。

这里决策与例1结论相反为异常细胞。因损失起了主导作用。l不易确定，要与有关专家商定。例3：现有两类问题，比较两种Bayes决策。
已知：单个特征变量x为正态分布两类方差都为s2=1/2,均值分别为m=0,1
即

求：
①若先验概率P(w1)=P(w2)=1/2，计算最小错误率情况下的阈值x0。
②如果损失矩阵为
①最小错误概率情况下阈值x0(取对数运算)

②最小风险情况下阈值x0

如果这两类不是等概率，
P(w1)<P(w2),阈值左移
也就是说扩大最大可能
类的区域。可能性大的
类可产生更小的误差。⑶拒绝决策
在某些情况下拒绝决策比错误判别风险要小。
样本x在各种判别条件下的平均风险

当i=c+1时，如果R(ac+1|x)<R(ai|x),i=1,2,···,c则对x作出拒绝判别。
若此时各类拒绝判别风险相同，即都为lz，则

则拒绝判别的条件为
lz<R(ai|x),i=1,2,···,c。5.两种Bayes决策关系
①多类问题中，若损失函数为0—1时

②两类问题中，若有

即所谓对称损失函数的情况下，这时最小风险的Bayes决策和最小错误概率的Bayes决策方法相同。
6.此外还有下列三种主要的决策方法：
聂曼－皮尔逊决策：两类模