bayes分类器设计.docx

实验二Bayes分类器设计
一、实验目得
通过实验,加深对统计判决与概率密度估计基本思想、方法得认识,了解影响Baｙeｓ分类器性能得因素,掌握基于Baｙes决策理论得随机模式分类得原理和方法。
二、实验内容
设计Baｙeｓ决策理论得随机模式分类器。
假定某个局部区域细胞识别中正常(ａ1)和非正常(a2)两类先验概率分别为正常状态:P(a1)=0、９;异常状态:Ｐ(a２)＝0、1。
三、方法手段
Baｙes分类器得基本思想就就是依据类得概率、概密,按照某种准则使分类结果从统计上讲就就是最佳得。换言之,根据类得概率、概密将模式空间划分成若干个子空间,在此基础上形成模式分类得判决规则。准则函数不同,所导出得判决规则就不同,分类结果也不同。使用哪种准则或方法应根据具体问题来确定。
四、Baｙeｓ算法
1、实验原理
多元正太分布得概率密度函数由下式定义

由最小错误概率判决规则,可得采用如下得函数作为判别函数

这里,为类别发生得先验概率,为类别得类条件概率密度函数,而N为类别数。
设类别,ｉ=1,2,……,N得类条件概率密度函数,ｉ=1,2,……,N服从正态分布,即有～,那么上式就可以写为

由于对数函数为单调变化得函数,用上式右端取对数后得到得新得判别函数替代原来得判别函数不会改变相应分类器得性能。因此,可取

显然,上式中得第二项与样本所属类别无关,将其从判别函数中消去,不会改变分类结果。这样,判别函数可简化为以下形式

2、实验步骤
1、求出两类样本得均值

２、求每一类样本得协方差矩阵

式中,l代表样本在类中得序号,其中
代表类得第l个样本,第ｊ个特征值;
代表类得个样品第ｊ个特征得平均值
代表类得第l个样品,第k个特征值;
代表类得个样品第ｋ个特征得平均值。
类得协方差矩阵为

３、计算出每一类得协方差矩阵得逆矩阵以及协方差矩阵得行列式
4、求出每一类得先验概率

5、将各个数值代入判别函数

判别边界为

五、Baｙes分类器实验结果
已知(图1)数据a=[0、３7600、０2４０0、2４40-0、17400、０460－0、39400、3760０、７720０、2660０、５080－0、4380－0、0640０、８16００、５9600、112０0、3540０、8380-０、7680０、42０0-0、79０0];其满足正态分布(图２)。
1、最小错误率贝叶斯决策

图1样本数据

图2样本得类条件概率
根据最小错误率准侧,计算其后验条件概率(图3),通过程序运行出结果细胞分类结果为:
１000１0０000０000000１10,其中,0为判成正常细胞,1为判成异常细胞。

图3后验条件概率
２、最小风险贝叶斯决策
根据最小风险判别准侧,其损失函数赋值为r=[0100０0;20０00］,则计算其条件风险概率(图4)通过程序运行出结果细胞分类结果为:
11１１11１011110１１10111,其中,０为判成正常细胞,１为判成异常细胞。

图4条件风险概率
3、两类分类器结果不同原因分析
由最小错误率得贝叶斯判决和基于最小风险得贝叶斯判决得出图形中得分类结果可以看出,样本０、0２4０,0、24４0等在前者中被分为“正常细胞”,在后者被分为“异常细胞”,分类结果不同。因为在给予最小风险贝叶斯判决中,影响决策结果得因素多了损失r这一项,所以当结合最小风险贝叶斯决策表进行计算时,‘损失’起了主导作用,导致出现两者结果得不一致。
六、Bayes分类器程序代码
funｃｔｉony=my_bayｅｓ(n,a)
%%%%％％%%%％％%％最小错误率贝叶斯决策
％构造实验数据
ａ=[０、3760０、0２4００、24４0-0、1７400、0460-0、394０0、37６00、7７20０、2660０、5０８0-0、４380-0、06４0０、81６00、59６0０、11200、35４00、８3８0－0、76800、４２00-0、7900];
ｎ=2０;%样本数
a＝(ｒound(10０*rand(n,1))/10０)*2、２-0、9;
%样本数为ｎ,特征数为１,数据在-０、9与1、3之间
ｆiｇurｅ
ｐlot(1:ｎ,ａ,'rx')
xｌabｅl('样本数');
ylabel(＇生化化验值＇);
ｔitle('样本数据:生化化验值');
ｐａｕsｅ;
%先验概率
P=[0、90、１];
%作类条件概率密度曲线p(x|ｗi)
ｘ＝-0、9:０、０1:1、3;
px(１,:)=(１/(sqrt(２*pi)＊0、３))*exp(-０、5*(ｘ／0、3)、^2);
px(2,:)=(１/(ｓqｒt(2*ｐｉ)*０、1))＊ｅxp(-0、５＊((x-1)/0、1)、^２);
fｉgｕre;
ｐlot(x,pｘ(1,:),'b＇,x,ｐx(２,:),'ｒ-－');