模式识别-武大计算机科学与技术课件2.pdf

2

2009级本科生课程
模式识别
(PatternRecognition)
武汉大学计算机学院袁志勇

Email:[e-mail]
第2章线性判别分析

2.1判别函数
2.2线性判别函数
2.3线性判别函数的性质
2.4广义线性判别函数
2.5线性分类器设计
2.6分段线性分类器设计(*:不要求)
•统计模式识别在模式识别学科方向中研究历史最长，
是模式识别的主要理论。
统计模式识别分为判别函数法和聚类分析法两大类。
判别函数法属于监督分类，聚类分析法属于非监督分
类。
判别函数法需要有足够的先验知识，首先利用已知
类别的训练样本集确定出判别函数，然后再利用训练
好的判别函数对未知的模式进行识别分类。
在判别函数法中，又可分为线性判别函数法、非线
性判别函数法和统计决策方法等，其中线性判别函数
法和非线性判别函数法是几何分类法，用于研究确定
性事件的识别分类；统计决策方法是概率分类法，用
于研究随机事件的识别分类。
线性判别函数法
几何分类法
判别函数法非线性判别函数法
统计模式统计决策方法概率分类法
识别

聚类分析法
几何分类法:研究确定性事件的分类
概率分类法:研究随机事件的分类

图:统计模式识别方法的分类
•在科研、生产和日常生活中，经常会遇到各
种各样的判别问题，即要根据某个体的特征
的观察值，判断它属于几个类别中的哪一个
类。如，医生根据病人的生理指标（体温、
血压、白细胞数目等）来判断病人生何种病
等就属此类。其实，在生物学分类、医疗诊
断、地质找矿、石油钻探、天气预报等诸多
领域，判别分析方法已经成为一种有效的统
计推断方法。
•简单地说，所谓判别分析问题，就是指在已
有给定的若干个模式类（若干个总体）的观
察资料的基础上，构造出一个或多个判别函
数，并能由此函数对未知其所属类别的新的
模式作出判断，决定其应属于哪个模式类。
2.1判别函数

如下图：三类的分类问题，它们的边界
线就是一个判别函数。

x2

ω2
ω1

x1

边界ω3
2.1判别函数

假设对一模式X已提取n个特征，表示为：

T
X=(x1,x2,x3,...,xn)
X是n维空间的一个向量
模式识别问题就是根据模式X的n个特征

(指标)来判别模式属于ω1,ω2,…,ωm类中
的哪一类。
2.1判别函数

•判别函数包含两类：
一类是线性判别函数：
•线性判别函数
•广义线性判别函数
–（所谓广义线性判别函数就是把非线
性判别函数映射到另外一个空间变成
线性判别函数）
•分段线性判别函数
另一类是非线性判别函数
2.2线性判别函数

分别对两类问题和多类问题进行讨论。

T
¾(一)两类问题即：ωi=(ω1,ω2),M=2
1.二维情况：取两个特征向量
T
X=(x1,x2),n=2
这种情况下判别函数：

g(x)=w1x1+w2x2+w3

w为参数，x1,x2为坐标向量
2.2线性判别函数

¾1.二维情况
在两类别情况下，判别函数g(x)具有以下性质：

⎧>∈0,Xω1
gx()=⎨g(x)=0,X不定
⎩<∈0,Xω2
这是二维情况下判别由判别边界分类。情况如图：

xω1
2+
−
g(x)=w1x1+w2x2+w3
ω2
x1
2.2线性判别函数

¾2.n维情况
T
现提取n个特征为：X=(x1,x2,x3,...xn)

判别函数：g(x)=w1x1+w2x2+......+wnxn+wn+1
T
W0=(w1,w2,...,wn)为权向量，
T
X＝(x1,x2,...,xn)为模式向量。
另外一种表示方法：g(x)=WTX
T
Wwwww=(12,,...,nn,+1)为增广权向量，
T
Xxxx＝(12,,...,n，1)为增广模式向量。
2.2线性判别函数

¾2.n维情况

™模式分类：

T⎧>∈0,Xω1
gx()=WX⎨
⎩<∈0,Xω2
™g(x)=WTX=0为判别边界。当n=2时，二维情况的判别边
界为一直线；当n=3时，判别边界为一平面；当n>3时，
则判别边界为一超平面。
2.2线性判别函数

¾(二)多类问题
对于多类问题，模式有ω1,ω2,…,ωm个类别。可
分三种情况：
1.第一种情况：每一模式类与其他模式类间可用单个判别平
面把一个类分开。这种情况，M类可有M个判别函数，且具
有以下性质：

T⎧>∈0,Xωi
gxii()=WX⎨
⎩<=0,其他,iM1,2,...,。
T
式中Wwwwwiiiinin=(,12,...,,+1)为第i个判别函数的
权向量。
¾1.第一种情况

下图所示，每一类别可用单个判别边界与其他类别分开。

若一模式X属于ω1，则由图可清楚看出：这时g1(x)>0而
g2(x)<0，g3(x)<0。