模式识别-贝叶斯决策.ppt

模式识别原理课程内容连续特征的贝叶斯决策基于最小错误率的贝叶斯决策2024/9/82024/9/82024/9/82024/9/8例子
设正常细胞为1类，异常细胞为2类，P(1)＝0.85,P(2)=0.15,由一次化验的观测值x在类概率密度分布曲线上查得p(x|1)=0.15,p(x|2)=0.45,判断x属于哪一类？基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策最小风险贝叶斯决策与最小错误率贝叶斯决策的关系2024/9/8最大似然比判决规则最大似然比判决规则损失函数对决策阈值的影响例子拒绝判决最小最大损失准则判决2024/9/82024/9/82024/9/82024/9/82024/9/8曲线：在0-1中任意取不同值按最小损失准则可确定相应的最佳，然后计算出相应的最小平均损失R，得到与R的曲线。
虚线：在左边的黑点为时，最小平均损失Ra，此时得到。当变化时，不变，则得到的R为虚线上的点，此时的损失大于曲线时的情况，称为最大可能损失。
我们希望变化时，最大可能
的损失R最小，则

b=0是平行于横轴的直线
对应于曲线最大值结论：
在不精确知道或变动情况时，为使最大的可能损失最小，应该选择最小损失R取最大值时的来设计分类器，此时相对其他在最优设计下的R要大。但当在(0,1)发生变化时，其相应的最大损失为最小。
若取0-1损失函数，则

平均损失等于最小错误率判决规则的错误率Neyman-Pearson判决准则决策规则分类器、判别函数和决策面两类情况（二分分类器）决策域、决策面正态分布的贝叶斯决策单变量正态分布多变量正态分布最小错误率下正态分布的判别函数2024/9/82024/9/8当先验概率相同时，判别函数为：情况2：所有类的协方差矩阵相同，各特征存在相关性，i=判别函数决策面方程情况3：i为任意决策面在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差矩阵是一样的，那么无论先验概率相等不相等，都可以用线性分界面实现。
最小欧氏距离分类器则要求正态分布协方差矩阵为单位阵，先验概率相等。
如果希望用线性分类器实现错分率少的分类，则两类用正态分布近似时，应要求其协方差矩阵相似，先验概率相近才行。
协方差矩阵不相等时，为了实现错分率小，分界面类型就要比线性函数类型复杂了，在正态分布条件下，一般是超二次曲面分类器的错误率计算理论计算正态分布且等协方差阵（i＝j=)
总体思路就是通过函数变换，将多维正态分布下的积分计算转化为一维正态分布下的积分计算
通过等价的负对数似然比决策规则，实现变换2024/9/8错误率的上界若条件概率为正态分布，则可得上界的解析解2024/9/8Bhattacharyya界离散特征的贝叶斯决策2024/9/8贝叶斯置信网定义给定证据，计算命题的置信度（概率推断）Pearl算法