Bayes分类器设计可编辑范本.doc

实验二Ｂayes分类器设计
一、实验目的
通过实验,加深对统计判决与概率密度估计基本思想、方法的认识,了解影响Bａyes分类器性能的因素，掌握基于Bayeｓ决策理论的随机模式分类的原理和方法。
二、实验内容
设计Bayｅs决策理论的随机模式分类器。
假定某个局部区域细胞识别中正常(a1）和非正常（a2)两类先验概率分别为正常状态:Ｐ(ａ1）=0．9;异常状态：P（ａ２）＝０.1。
三、方法手段
Baｙes分类器的基本思想是依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。换言之,根据类的概率、概密将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则.准则函数不同，所导出的判决规则就不同,分类结果也不同。使用哪种准则或方法应根据具体问题来确定.
四、Bayｅs算法
1。实验原理
多元正太分布的概率密度函数由下式定义

由最小错误概率判决规则，可得采用如下的函数作为判别函数

这里，为类别发生的先验概率,为类别的类条件概率密度函数,而N为类别数。
设类别，i=１,２,……，N的类条件概率密度函数,ｉ＝1，2,……,N服从正态分布，即有~,那么上式就可以写为

由于对数函数为单调变化的函数,用上式右端取对数后得到的新的判别函数替代原来的判别函数不会改变相应分类器的性能。因此,可取

显然,上式中的第二项与样本所属类别无关，将其从判别函数中消去,不会改变分类结果.这样，判别函数可简化为以下形式

2.实验步骤
１、求出两类样本的均值

2、求每一类样本的协方差矩阵

式中,ｌ代表样本在类中的序号，其中
代表类的第l个样本,第j个特征值;
代表类的个样品第ｊ个特征的平均值
代表类的第l个样品,第k个特征值;
代表类的个样品第ｋ个特征的平均值.
类的协方差矩阵为

３、计算出每一类的协方差矩阵的逆矩阵以及协方差矩阵的行列式
４、求出每一类的先验概率

5、将各个数值代入判别函数

判别边界为

五、Baｙeｓ分类器实验结果
已知（图1)数据ａ=[0.３7600．02400。2４40-０.17400.04６０-0.39400。376０0.77200。26600.5０80—0。43８0—0.06４0０。8160０.5９600。1１2００．35４00.8380—０。76８０0．42０0-0。７90０];其满足正态分布(图2)。
1.最小错误率贝叶斯决策

图１样本数据

图2样本的类条件概率
根据最小错误率准侧，计算其后验条件概率(图３）,通过程序运行出结果细胞分类结果为:
10０0１0000000００00011０，其中,０为判成正常细胞，１为判成异常细胞.

图3后验条件概率
2.最小风险贝叶斯决策
根据最小风险判别准侧,其损失函数赋值为r＝［０1000０;2０000]，则计算其条件风险概率(图4）通过程序运行出结果细胞分类结果为:
1１1111１０1１1101１1011１,其中,0为判成正常细胞，1为判成异常细胞。

图4条件风险概率

3。两类分类器结果不同原因分析
由最小错误率的贝叶斯判决和基于最小风险的贝叶斯判决得出图形中的分类结果可以看出,样本0。0２4０,0.24４0等在前者中被分为“正常细胞",在后者被分为“异常细胞”,分类结果不同。因为在给予最小风险贝叶斯判决中，影响决策结果的因素多了损失r这一项,所以当结合最小风险贝叶斯决策表进行计算时，‘损失’起了主导作用,导致出现两者结果的不一致。
六、Bayｅs分类器程序代码
ｆuncｔionｙ＝ｍy_bayｅs（ｎ，ａ)
%%%%%％%%%％%%%最小错误率贝叶斯决策
％构造实验数据
a=[0.376０0。０2400。24４0—0。1740０.0460—0.39400。376０0.77200。26600。５0８0-０。4380－0。0６４00.816０0。5９600。１１200。３５400.８3８０－0.７6800。４200—0。７90０];
n＝20;%样本数
a=(ｒounｄ(100*rａnd(n，1))／100)*2。2－0。9；
%样本数为ｎ,特征数为1,数据在-０.9与1.3之间
ｆigure
ｐｌoｔ(1:n,a,’ｒx＇）
ｘlaｂｅｌ('样本数'）;
ylaｂel('生化化验值');
ｔiｔlｅ(’样本数据:生化化验值');
pauｓe;
%先验概率
Ｐ=[0。９0。1]；
%作类条件概率密度曲线ｐ（x|wi)
x=—0．９:0。０1：1。３;
ｐｘ（1,：)＝(１/（sｑｒt（2*pi）*0．3））*exp（-0.5*(x／０.3)．＾2)；
px(2，:)＝(1／(ｓqｒt(2*pi)＊０.1））*eｘp（-0。5*(（ｘ-1）／0.1).＾2）；
fｉgurｅ；
ｐlot（x,px（1,:）,'b＇,ｘ，px(2,:),’r－—'