统计模式识别a-贝叶斯决策理论-OK.pdf

必要性

上一章是在模式几何
w
第三章1
可分（线性或者非线性）
w2
的前提下讨论的，这种情x2
况比较简单，对某些问题
统计模式识别(二)也能够进行判决。但是对
更多的问题来说，这种条
件并不能得到满足。基于
(概率分类法)此种情况，我们的分类将
贝叶斯决策理论借助于概率统计这一数学
Ox
工具来进行。1

概率分类法的主要研究内容目录

争取最优结果的统计决策方法讨论统计分类的判决准则
参数估计正态密度及其判别函数
–密度分布形式已知条件下的参数估计
密度函数的估计
–密度分布形式未知时的参数估计与决策
非参数方法
分类错误率问题
降低特征的维数
小结

1.统计分类的判决准则(1)Bayes法则

Bayes法则(最小错误率)基本概念
Bayes风险(最小风险)–先验概率：从以往的数据分析中得到的经验
基于Bayes法则的分类器值。
–后验概率：在得到信息之后，在对以往数据加
最小最大决策以修正的概率（一般也是条件概率）。
Neyman-Pearson决策–举例：
离散情况下的Bayes判决P(B)表示先验概率，在得到信息A后，则有P(B|A)
复合Bayes决策理论是后验概率，而也经常把P(A|B)叫条件概率。
公式：
–BayesPAB()
PAB(|)=
PB()

1
Bayes法则bBayes法则c

设有R类样本，分别为w,ww,..，若每类的先验Pw||X>ÎPXXwwÞ
12R(i)(ji)
概率为Pw,iR=1,2,..,。
(i)其中，i,j=1,2,...,,R且"¹ji
对于一样本X认为随机矢量X，每类的条件概率为
消去分母或取对数，可得等价的判别准则
PX(|w)
iP(|Xw)(Pw)>ÎP(|Xw)()PXwwÞ
根据Bayes公式，后验概率为：iijji

log(|)PXPwi+log()wi>+log(|)PXPwwjjlog()
P(XP|wwii)()
PX(wi|)=RÞXÎwi
PwwPX|
å(kk)()若定义似然比L(X)=P(|)(|)XwwPX，则
k=1ij

从后验概率出发，得到Bayes法则：L(X)>¹P(wj)/(Pwwii),ÞXÎ"ij

Bayes法则d(2)Bayes风险a

根据Bayes法则，对于一个两类问题，有风险：对于某一样本XÎwi，而采取行
动，则招致损失，简记为l，
如下结论：ajl(|)awjiij
称RX(|)a为取行动a时的条件风险
1.若对于某一样品X，有P(X||ww12)=PX()，jj
则说明X没有提供关于类别状态的任何信R
R(|aX)=l(|aww)PX(|)
息，完全取决于先验概率。jåiii
i=1
2.若，则判决完全取决于条件概总风险
PP(ww12)=()
率。R=òRX((a)|)()XPXdX
3.除此之外，Bayes法则提供最小错误概率的
其中a()X是对每一个X所可能取得行动aa
判决。12
aR中的一个。

Bayes风险bBayes风险c

例：两类问题判断准则：

–决策1：a1----〉决策为w类若
1RXRX(|aa12)<(|),
–决策2：a----〉决策为w类
22则假设采取行动a1的损失较小，X被判为
–l表示真类别为w，判决为w所招致的损失
ijij第一类
则推导：

R(|a1X)=+l11P(|w1X)lw212PX(|)
l11P(|w1X)+<+l21P(|w2X)l12P(|w1XPX)lw222(|)
R(|aX)=+lP(|wX)lwPX(|)
2121222即

(ll21--Î22)P(|)w2X<(ll1211)PXX(|)ww11Þ

2
Bayes风险dBayes判别与Bayes风险

用先验概率与条件概率代替后验概率，消去
P(x)Pw||X>ÎPXXwwÞ
(i)(ji)

(l21-l22)(|)()PXw22Pw<-(l12l11)(|)()PXPww11
P(|Xwi)(Pwi)>ÎP(|Xwj)()PXwwjiÞ
XÎw
1与X无关
log(|)PXPwi+log()wi>+log(|)PXPwwjjlog()
的常数
似然比ÞXÎw
P(|)XPw(llw-)()i
LX()=>121222
P(|)XPw(llw-)()
212111P(|)XPw(llw-)()
LX()=>121222
结论：若似然比大于某一与X无关的阈值，则决P(|)XPw(llw-)()
策为，被称为最小风险的决策。212111
w1Bayes

(3)基于Bayes法则的分类器a(3)基于Bayes法则的分类器b

分类器、判决函数、分界线(面)基于Bayes法则的判决函数有多种，如
Tg(X)=PXw|
X=(,x12xx,..)nw12,ww