Bayes分类器设计.doc

实验二Bayes分类器设计
一、实验目的
通过实验，加深对统计判决与概率密度估计基本思想、方法的认识,了解影响Bayes分类器性能的因素,掌握基于Bayes决策理论的随机模式分类的原理和方法。
二、实验内容
设计Ｂａyes决策理论的随机模式分类器。
假定某个局部区域细胞识别中正常(a1)和非正常(a2)两类先验概率分别为正常状态:P（ａ1)＝0.９;异常状态：Ｐ（a2)=0.1。
三、方法手段
Baｙeｓ分类器的基本思想是依据类的概率、概密,按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类的概率、概密将模式空间划分成若干个子空间,在此基础上形成模式分类的判决规则。准则函数不同,所导出的判决规则就不同，分类结果也不同。使用哪种准则或方法应根据具体问题来确定。
四、Bａyeｓ算法
1.实验原理
多元正太分布的概率密度函数由下式定义

由最小错误概率判决规则，可得采用如下的函数作为判别函数

这里,为类别发生的先验概率,为类别的类条件概率密度函数,而N为类别数。
设类别,i=１，2，……，N的类条件概率密度函数,ｉ=1，２,……，N服从正态分布,即有~,那么上式就可以写为

由于对数函数为单调变化的函数，用上式右端取对数后得到的新的判别函数替代原来的判别函数不会改变相应分类器的性能。因此,可取

显然,上式中的第二项与样本所属类别无关，将其从判别函数中消去,不会改变分类结果。这样,判别函数可简化为以下形式

2.实验步骤
1、求出两类样本的均值

２、求每一类样本的协方差矩阵

式中，ｌ代表样本在类中的序号，其中
代表类的第l个样本,第ｊ个特征值;
代表类的个样品第j个特征的平均值
代表类的第l个样品,第k个特征值；
代表类的个样品第k个特征的平均值。
类的协方差矩阵为

3、计算出每一类的协方差矩阵的逆矩阵以及协方差矩阵的行列式
４、求出每一类的先验概率

5、将各个数值代入判别函数

判别边界为

五、Ｂaｙes分类器实验结果
已知(图1)数据a=[0．３7600.０２400.２440-0.174００.0460-0.39400.3７600．7７２０0.26600.5０80-0.4380-0.0６4０0．8１600．５9600.１1２00.3540０．83８0-0.７６８00.４2００-０.7900];其满足正态分布(图2）。
1．最小错误率贝叶斯决策

图１样本数据

图２样本的类条件概率
根据最小错误率准侧,计算其后验条件概率（图3)，通过程序运行出结果细胞分类结果为：
１0０0１000000000００0１10,其中，0为判成正常细胞，1为判成异常细胞。

图3后验条件概率
2.最小风险贝叶斯决策
根据最小风险判别准侧，其损失函数赋值为ｒ=[01000０;２００00],则计算其条件风险概率(图4)通过程序运行出结果细胞分类结果为:
１11１11１０1111011１0111,其中，0为判成正常细胞，1为判成异常细胞。

图4条件风险概率

3.两类分类器结果不同原因分析
由最小错误率的贝叶斯判决和基于最小风险的贝叶斯判决得出图形中的分类结果可以看出,样本0.0240,0.2440等在前者中被分为“正常细胞”，在后者被分为“异常细胞”,分类结果不同。因为在给予最小风险贝叶斯判决中，影响决策结果的因素多了损失ｒ这一项，所以当结合最小风险贝叶斯决策表进行计算时，‘损失’起了主导作用,导致出现两者结果的不一致。
六、Baｙeｓ分类器程序代码
funｃtiony=my_baｙes(n，a)
%％%%%%%%%％%%%最小错误率贝叶斯决策
%构造实验数据
a=[0.3７600.02400．２4４０-０.１7400．0460－0.3９40０.3７6０0．77２00.26600．5０8０-0.４38０-0．０640０.81600.５９600.１1200．35４０0．83８０-０.７6８00.42００-0.７900];
n=2０;%样本数
a=(ｒound(10０＊rand（n，１))/１00)*2．2-0.9；
%样本数为n,特征数为１,数据在-0．9与1.3之间
fｉgｕre
pｌot(1：n，ａ,＇rx'）
xlabel('样本数');
yｌabel('生化化验值'）;
tiｔlｅ('样本数据:生化化验值');
paｕse；
％先验概率
P＝［0.9０.1];
％作类条件概率密度曲线ｐ(ｘ｜wi）
x＝-０．9:０.01:１．3;
px(1，:)=(1/(sqrt(2＊pi）*0.3))＊eｘｐ(-０．5＊(x/0.３).^2)；
ｐｘ（2，:)=（１/(sqrt(２*ｐi)*0.1))*exp(-0．5＊（(x-1）／0．1)．^2)；
fｉgure;
ｐloｔ(x,pｘ(1,:），'ｂ',x，px(2,:）,＇ｒ--'